Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Nejnovější model umělé inteligence pro zpracování přirozeného jazyka – ALBERT!

by Eva Popílková | Posted on 1. 10. 20193. 10. 2019

Mezi nejlepší modely umělé inteligence pro zpracování přirozeného jazyka (Bert, Robert, GPT-2 či Megatron) přišel minulý týden další hráč ALBERT! Alberta nám přináší společnosti Google Research a Toyota Technological Institute. Zajímavý není model jen tím, že podává fantastické výsledky v klasických úlohách jako GLUE, RACE či SQuAD, ale především tím, že je menší, než jeho předchůdci! Například starý BERT x-large má zhruba 1,27 miliardy parametrů, oproti ALBERTu x-large s „pouze“ 59 milionů parametrů.

Jak se autorům podařilo zvětšit přesnost a zároveň zmenšit počet „mozkových buněk“?

Mohou za to tři důvody:
1 — Factorized Embedding Parameterization
Čili efektivnější využití parametrů. Albert používá místo jedné embedding vrstvy dvě menší. One hot vektor je přenášen do menší vrstvy s nížím počtem dimenzí.

2 — Cross Layer Parameter Sharing vrstvy
Albert zase o kousek zefektivňuje sílení parametrů (Feed Forward Network i Attention) napříč všemi vrstvami. Představte si zjednodušeně, že nový mozeček má jednotlivá mozková centra lépe propojena.

3 — SOP (Sentence Order Prediction) algoritmus nahrazuje NSP (Next Sentence Prediction)
Už autoři RoBERTa si všimli, že NSP algoritmus nebyl moc účinný. Autoři Alberta však nově přicházejí s vlastním lepším algoritmem SOP. Zatímco v NSP se model učí rozeznat správnou větu tak, že je se stejného dokumentu a špatnou, že vezme větu z jiného dokumentu. SOP bere obě věty ze stejného dokumentu a správná dvojice je v korektním pořadí, kdežto ta špatná v prohozeném. Tím se vyhnul Albert nechtěnému předpovídání tématu a je schopen naučit se jemnějšího vztahu mezi jednotlivými větami.

Sečteno podtrženo, na svět přišla nová sada modelů pro práci s textem, která je velice přesná, a zároveň zabírá méně místa.

Zdroje:
https://medium.com/…/meet-albert-a-new-lite-bert-from-googl…

https://arxiv.org/abs/1909.11942v1

Post Views: 597
Novinky Text a sekvenceAlbert BERT Cross Layer Parameter Sharing Factorized Embedding Parameterization GLUE Google Research GPT-2 Megatron NSP (Next Sentence Prediction) RACE Robert SOP (Sentence Order Prediction) algoritmus SQuAD Toyota Technological Institute umělá inteligence

Related Posts

9 října, 2019

Dvanáct nápadů Sophie Martin na vývoj chytré aplikace

11 ledna, 2019

Vydavatelství IDG spustilo nový projekt „AI World“ o umělé inteligenci

10 listopadu, 2019

Smrtící drony z Číny

Nejnovější příspěvky

  • Vydán klíčový díl o umělé inteligenci na podcastu Deep Talks
  • DigiKomenský – Největší učitel všech dob v podobě Jana Amose Komenského – pro učení dětem i samoukům
  • Ukázka GPT-4
  • OpenAI představí nejnovější hluboké učení – GPT-4
  • Blíží se konec pracovních míst? Strach z umělé inteligence není na místě, má překvapivé využití

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Data Science Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog