Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Společnost Nvidia oznámila, že vyškolila největší jazykový model na světě GPT-2 8B!

by Eva Popílková | Posted on 14. 8. 201915. 8. 2019

Model používá 8,3 miliardy parametrů a je 24krát větší než BERT a 5krát větší než doposud největší GPT-2 od OpenAI. Nvidia použila paralelismus, který rozdělil neuronovou síť na kousky, které se vždy vejdou do paměti jedné GPU.

Společnost Nvidia také oznámila nejrychlejší časy ve školení modelu BERT. BERT-Large model dokázali pomocí optimalizovaného softwaru PyTorch a DGX-SuperPOD s 1472 GPU(V100), natrénovat za rekordních za 53 minut! Tento výkon jsme ještě na začátku tohoto roku počítali na týdny!

Zdroj: https://devblogs.nvidia.com/training-bert-with-gpus/
Github: https://github.com/nvidia/megatron-lm

Post Views: 777
Aplikace Novinky Posilované učeníBERT BERT-Large DGX-SuperPOD GPT-2 GPT-2 8B Neuronová síť NVIDIA OpenAI Pytorch

Related Posts

16 ledna, 2020

Zaplaví svět živoucí roboti z žabích embryí?

2 září, 2020

Úplně mi uniklo, že o našem projektu psali minulý týden v Respektu

11 června, 2022

Několik zajímavostí ze současného světa AI

Nejnovější příspěvky

  • Westworld 4
  • Praha musí více investovat do umělé inteligence
  • Několik zajímavostí ze současného světa AI
  • Kreativní inteligence DALL·E 2 je v podezření, že vyvinula tajný jazyk!
  • AI dětem – učebnice umělé inteligence pro děti

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot Data Science Deep Learning digitální filosof Digitální filosof 2019 Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Microsoft ML Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence word2vec Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog