Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Několik zajímavostí ze současného světa AI

by Rosie | Posted on 11. 6. 20221. 7. 2022

Máme tu nový model co je mimořádně univerzální – GATO. Tento transformátor na RL multimodální multi úkolové posilované učení od Deepmindů. Jediný model co může hrát hry Atari, popisovat obrázky, chatovat s lidmi, ovládat reálnou robotickou ruku a řešit další úlohy! Tento transformátor/agent překvapí svou univerzálností.

V dubnu jsem psal o úžasném generátoru obrázků DALLE-2. Nyní přichází jeho konkurence ze společnosti Imagen od Google. Ono tedy těch konkurencí vychází trochu více.

Právě si dělám jedno ze školení na transformátory od Lazy Programmer (vyšel minulý měsíc), kde začínají klasicky tím, jak glorifikují transformátory nad RNN klasicky jako všude (už po stopadesáte „vykradený“ paper Attention Is All You Need). RNN jsou údajně mnohem horší než transformátory neboť nemají pozornost a není možné je počítat paralelně. Nyní se však objevuje nezávislý výzkumník BlinkDL, který tvrdí, že jeho RNN kombinují to nejlepší z RNN i transformátoru – skvělý výkon, rychlý trénink, šetřím VRAM atd.

Proběhla zajímavá diskuse na redditu o tom jak můžeme věřit paperům z velkých laboratoří. Autor argumentuje, že v současné době budou zkušení inženýři často jen hledat cesty jak vymáčknout každé promile výkonu, aby vypadaly výsledky v papers hezky, než že by přicházeli s převratnými metodami. Demonstruje to jak na datasetu CIFAR-10 získali přesnost 99.43 (proti předchozí 99.40). Použili k tomu docela zajímavé evoluční algoritmy, ale výpočet modelu trval 17 810 TPU jádro/hodin. Pro vaší představu nás by to na cloudu stálo asi 1 350 000 Kč a výsledek je zlepšení o 0.03%.

Několik zajímavostí ze současného světa AI

Zdroje:

GATO: https://www.deepmind.com/publications/a-generalist-agent?fbclid=IwAR3mAgs7YRT1gKqb6ARyrCqCwet043RmKyUkOTH1Z9Bbk2RnMCFfrXRPVK8

https://pub.towardsai.net/deepminds-new-model-gato-is-amazing-57cc8ea48772

Paralelizovatelný RNN: https://www.reddit.com/r/MachineLearning/comments/umq908/r_rwkvv2rnn_a_parallelizable_rnn_with/

Už opravdu nevěřím papírům z „Top Labs“: https://www.reddit.com/r/MachineLearning/comments/uyratt/d_i_dont_really_trust_papers_out_of_top_labs/

Attention Is All You Need: https://arxiv.org/abs/1706.03762?fbclid=IwAR2BGE99naTPvNyZ0EcikOnvlAbAIJ7566H4g6xQpCsT2uilK5kEwWk5rpA

#AI #DALLE2 #GATO #RNN #LazyProgrammer #BlinkDL #CIFAR10

Post Views: 440
Citáty Datasety Experimenty Hardware Novinky StudiumAI BlinkDL CIFAR-10 DALLE-2 GATO LazyProgrammer RNN

Related Posts

11 května, 2021

Mikropovídky AI ve stylu spisovatele science fiction Ondřeje Neffa na Nově

6 listopadu, 2019

Skvělá zpráva! OpenAI konečně vydal svůj největší XLGPT-2 model s 1,5 miliardami parametrů a 48 vrstvami.

10 února, 2021

Povídka od AI – Válka v nebi

Nejnovější příspěvky

  • Digi Dvojče Jana Tyla napsalo další článek
  • Článek s pomocí digitálního dvojčete Jana Tyla
  • Umění digitálního věku
  • Revoluce v programování – Claude Code
  • DigiHavel ve školách slaví úspěch u dětí

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Google GPT-2 GPT-3 GPU Hyperprostor IBM Inovace Jan Tyl Matylda Microsoft Neuronová síť NEWSPARK NLP NVIDIA OpenAI podcast Přednáška RNN Robot soutěž startup strojové učení technologie TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog