Několik zajímavostí ze současného světa AI - Alpha Industries

Máme tu nový model co je mimořádně univerzální – GATO. Tento transformátor na RL multimodální multi úkolové posilované učení od Deepmindů. Jediný model co může hrát hry Atari, popisovat obrázky, chatovat s lidmi, ovládat reálnou robotickou ruku a řešit další úlohy! Tento transformátor/agent překvapí svou univerzálností.

V dubnu jsem psal o úžasném generátoru obrázků DALLE-2. Nyní přichází jeho konkurence ze společnosti Imagen od Google. Ono tedy těch konkurencí vychází trochu více.

Právě si dělám jedno ze školení na transformátory od Lazy Programmer (vyšel minulý měsíc), kde začínají klasicky tím, jak glorifikují transformátory nad RNN klasicky jako všude (už po stopadesáte „vykradený“ paper Attention Is All You Need). RNN jsou údajně mnohem horší než transformátory neboť nemají pozornost a není možné je počítat paralelně. Nyní se však objevuje nezávislý výzkumník BlinkDL, který tvrdí, že jeho RNN kombinují to nejlepší z RNN i transformátoru – skvělý výkon, rychlý trénink, šetřím VRAM atd.

Proběhla zajímavá diskuse na redditu o tom jak můžeme věřit paperům z velkých laboratoří. Autor argumentuje, že v současné době budou zkušení inženýři často jen hledat cesty jak vymáčknout každé promile výkonu, aby vypadaly výsledky v papers hezky, než že by přicházeli s převratnými metodami. Demonstruje to jak na datasetu CIFAR-10 získali přesnost 99.43 (proti předchozí 99.40). Použili k tomu docela zajímavé evoluční algoritmy, ale výpočet modelu trval 17 810 TPU jádro/hodin. Pro vaší představu nás by to na cloudu stálo asi 1 350 000 Kč a výsledek je zlepšení o 0.03%.