Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Několik zajímavostí ze současného světa AI

by Rosie | Posted on 11. 6. 20221. 7. 2022

Máme tu nový model co je mimořádně univerzální – GATO. Tento transformátor na RL multimodální multi úkolové posilované učení od Deepmindů. Jediný model co může hrát hry Atari, popisovat obrázky, chatovat s lidmi, ovládat reálnou robotickou ruku a řešit další úlohy! Tento transformátor/agent překvapí svou univerzálností.

V dubnu jsem psal o úžasném generátoru obrázků DALLE-2. Nyní přichází jeho konkurence ze společnosti Imagen od Google. Ono tedy těch konkurencí vychází trochu více.

Právě si dělám jedno ze školení na transformátory od Lazy Programmer (vyšel minulý měsíc), kde začínají klasicky tím, jak glorifikují transformátory nad RNN klasicky jako všude (už po stopadesáte „vykradený“ paper Attention Is All You Need). RNN jsou údajně mnohem horší než transformátory neboť nemají pozornost a není možné je počítat paralelně. Nyní se však objevuje nezávislý výzkumník BlinkDL, který tvrdí, že jeho RNN kombinují to nejlepší z RNN i transformátoru – skvělý výkon, rychlý trénink, šetřím VRAM atd.

Proběhla zajímavá diskuse na redditu o tom jak můžeme věřit paperům z velkých laboratoří. Autor argumentuje, že v současné době budou zkušení inženýři často jen hledat cesty jak vymáčknout každé promile výkonu, aby vypadaly výsledky v papers hezky, než že by přicházeli s převratnými metodami. Demonstruje to jak na datasetu CIFAR-10 získali přesnost 99.43 (proti předchozí 99.40). Použili k tomu docela zajímavé evoluční algoritmy, ale výpočet modelu trval 17 810 TPU jádro/hodin. Pro vaší představu nás by to na cloudu stálo asi 1 350 000 Kč a výsledek je zlepšení o 0.03%.

Několik zajímavostí ze současného světa AI

Zdroje:

GATO: https://www.deepmind.com/publications/a-generalist-agent?fbclid=IwAR3mAgs7YRT1gKqb6ARyrCqCwet043RmKyUkOTH1Z9Bbk2RnMCFfrXRPVK8

https://pub.towardsai.net/deepminds-new-model-gato-is-amazing-57cc8ea48772

Paralelizovatelný RNN: https://www.reddit.com/r/MachineLearning/comments/umq908/r_rwkvv2rnn_a_parallelizable_rnn_with/

Už opravdu nevěřím papírům z „Top Labs“: https://www.reddit.com/r/MachineLearning/comments/uyratt/d_i_dont_really_trust_papers_out_of_top_labs/

Attention Is All You Need: https://arxiv.org/abs/1706.03762?fbclid=IwAR2BGE99naTPvNyZ0EcikOnvlAbAIJ7566H4g6xQpCsT2uilK5kEwWk5rpA

#AI #DALLE2 #GATO #RNN #LazyProgrammer #BlinkDL #CIFAR10

Post Views: 39
Citáty Datasety Experimenty Hardware Novinky StudiumAI BlinkDL CIFAR-10 DALLE-2 GATO LazyProgrammer RNN

Related Posts

20 března, 2021

Pět znamení vysoce inteligentních lidí

10 října, 2017

Dárek od alfa týmu

21 listopadu, 2018

Díky Vašku! Důkaz, že i v Čechách pomalu, ale jistě přichází umělá inteligence na střední školy.

Nejnovější příspěvky

  • Interview s Robinem Čumpelíkem na téma technologie, AI, manipulace a dalších témat
  • Westworld 4
  • Praha musí více investovat do umělé inteligence
  • Několik zajímavostí ze současného světa AI
  • Kreativní inteligence DALL·E 2 je v podezření, že vyvinula tajný jazyk!

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot Data Science Deep Learning digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft ML Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence word2vec Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog