Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Několik zajímavostí ze současného světa AI

by Rosie | Posted on 11. 6. 20221. 7. 2022

Máme tu nový model co je mimořádně univerzální – GATO. Tento transformátor na RL multimodální multi úkolové posilované učení od Deepmindů. Jediný model co může hrát hry Atari, popisovat obrázky, chatovat s lidmi, ovládat reálnou robotickou ruku a řešit další úlohy! Tento transformátor/agent překvapí svou univerzálností.

V dubnu jsem psal o úžasném generátoru obrázků DALLE-2. Nyní přichází jeho konkurence ze společnosti Imagen od Google. Ono tedy těch konkurencí vychází trochu více.

Právě si dělám jedno ze školení na transformátory od Lazy Programmer (vyšel minulý měsíc), kde začínají klasicky tím, jak glorifikují transformátory nad RNN klasicky jako všude (už po stopadesáte „vykradený“ paper Attention Is All You Need). RNN jsou údajně mnohem horší než transformátory neboť nemají pozornost a není možné je počítat paralelně. Nyní se však objevuje nezávislý výzkumník BlinkDL, který tvrdí, že jeho RNN kombinují to nejlepší z RNN i transformátoru – skvělý výkon, rychlý trénink, šetřím VRAM atd.

Proběhla zajímavá diskuse na redditu o tom jak můžeme věřit paperům z velkých laboratoří. Autor argumentuje, že v současné době budou zkušení inženýři často jen hledat cesty jak vymáčknout každé promile výkonu, aby vypadaly výsledky v papers hezky, než že by přicházeli s převratnými metodami. Demonstruje to jak na datasetu CIFAR-10 získali přesnost 99.43 (proti předchozí 99.40). Použili k tomu docela zajímavé evoluční algoritmy, ale výpočet modelu trval 17 810 TPU jádro/hodin. Pro vaší představu nás by to na cloudu stálo asi 1 350 000 Kč a výsledek je zlepšení o 0.03%.

Několik zajímavostí ze současného světa AI

Zdroje:

GATO: https://www.deepmind.com/publications/a-generalist-agent?fbclid=IwAR3mAgs7YRT1gKqb6ARyrCqCwet043RmKyUkOTH1Z9Bbk2RnMCFfrXRPVK8

https://pub.towardsai.net/deepminds-new-model-gato-is-amazing-57cc8ea48772

Paralelizovatelný RNN: https://www.reddit.com/r/MachineLearning/comments/umq908/r_rwkvv2rnn_a_parallelizable_rnn_with/

Už opravdu nevěřím papírům z „Top Labs“: https://www.reddit.com/r/MachineLearning/comments/uyratt/d_i_dont_really_trust_papers_out_of_top_labs/

Attention Is All You Need: https://arxiv.org/abs/1706.03762?fbclid=IwAR2BGE99naTPvNyZ0EcikOnvlAbAIJ7566H4g6xQpCsT2uilK5kEwWk5rpA

#AI #DALLE2 #GATO #RNN #LazyProgrammer #BlinkDL #CIFAR10

Post Views: 127
Citáty Datasety Experimenty Hardware Novinky StudiumAI BlinkDL CIFAR-10 DALLE-2 GATO LazyProgrammer RNN

Related Posts

23 listopadu, 2018

Trendem u nejlépe hodnocených diplomových prací je umělá inteligence!

28 prosince, 2017

TensorFlow Playground

30 dubna, 2018

Chcete si procvičit mozkové závity v oblasti NLP?

Nejnovější příspěvky

  • Vydán klíčový díl o umělé inteligenci na podcastu Deep Talks
  • DigiKomenský – Největší učitel všech dob v podobě Jana Amose Komenského – pro učení dětem i samoukům
  • Ukázka GPT-4
  • OpenAI představí nejnovější hluboké učení – GPT-4
  • Blíží se konec pracovních míst? Strach z umělé inteligence není na místě, má překvapivé využití

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Data Science Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog