Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Společnost Nvidia oznámila, že vyškolila největší jazykový model na světě GPT-2 8B!

by Eva Popílková | Posted on 14. 8. 201915. 8. 2019

Model používá 8,3 miliardy parametrů a je 24krát větší než BERT a 5krát větší než doposud největší GPT-2 od OpenAI. Nvidia použila paralelismus, který rozdělil neuronovou síť na kousky, které se vždy vejdou do paměti jedné GPU.

Společnost Nvidia také oznámila nejrychlejší časy ve školení modelu BERT. BERT-Large model dokázali pomocí optimalizovaného softwaru PyTorch a DGX-SuperPOD s 1472 GPU(V100), natrénovat za rekordních za 53 minut! Tento výkon jsme ještě na začátku tohoto roku počítali na týdny!

Zdroj: https://devblogs.nvidia.com/training-bert-with-gpus/
Github: https://github.com/nvidia/megatron-lm

Post Views: 875
Aplikace Novinky Posilované učeníBERT BERT-Large DGX-SuperPOD GPT-2 GPT-2 8B Neuronová síť NVIDIA OpenAI Pytorch

Related Posts

13 ledna, 2019

Chatboti vytvářejí víc pracovních míst, než jich berou. Zastanou nudnou práci a lidé mohou dělat něco kreativnějšího, říká výrobce

17 února, 2019

Hopfieldova neurální síť je výkonnější, když spí a sní!

7 ledna, 2021

Ohlédnutí za minulou dekádou

Nejnovější příspěvky

  • Vydán klíčový díl o umělé inteligenci na podcastu Deep Talks
  • DigiKomenský – Největší učitel všech dob v podobě Jana Amose Komenského – pro učení dětem i samoukům
  • Ukázka GPT-4
  • OpenAI představí nejnovější hluboké učení – GPT-4
  • Blíží se konec pracovních míst? Strach z umělé inteligence není na místě, má překvapivé využití

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Data Science Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog