Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Společnost Nvidia oznámila, že vyškolila největší jazykový model na světě GPT-2 8B!

by Eva Popílková | Posted on 14. 8. 201915. 8. 2019

Model používá 8,3 miliardy parametrů a je 24krát větší než BERT a 5krát větší než doposud největší GPT-2 od OpenAI. Nvidia použila paralelismus, který rozdělil neuronovou síť na kousky, které se vždy vejdou do paměti jedné GPU.

Společnost Nvidia také oznámila nejrychlejší časy ve školení modelu BERT. BERT-Large model dokázali pomocí optimalizovaného softwaru PyTorch a DGX-SuperPOD s 1472 GPU(V100), natrénovat za rekordních za 53 minut! Tento výkon jsme ještě na začátku tohoto roku počítali na týdny!

Zdroj: https://devblogs.nvidia.com/training-bert-with-gpus/
Github: https://github.com/nvidia/megatron-lm

Post Views: 800
Aplikace Novinky Posilované učeníBERT BERT-Large DGX-SuperPOD GPT-2 GPT-2 8B Neuronová síť NVIDIA OpenAI Pytorch

Related Posts

26 února, 2019

Náš tým přednášel na VŠE pro studentský spolek 4FIS!

16 srpna, 2020

Amazon zveřejňuje některé své interní kurzy týkající se strojového učení!

13 listopadu, 2017

Woebot – váš nový AI terapeut!

Nejnovější příspěvky

  • Umělá inteligence v umění? Otevírá to nový svět, i méně zdatní mohou tvořit, říká Tyl
  • Krása, vývoj a taje neurochirurgie – o lidském mozku
  • Digitální malíř – Lidská a strojová fantazie nemá hranic – DALL·E od Open AI – výtvarné i realistické umění 5
  • Digitální malíř o čem sní magický AI deníček – DALL·E od Open AI – výtvarné i realistické umění 4
  • Digitální malíř – DALL·E od Open AI – výtvarné i realistické umění 3

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Data Science Deep Learning digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft ML Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog