Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Společnost Google tento týden zveřejnila svou nejmodernější technologickou hračku – Bidirectional Encoder Representations Transformers neboli BERT

by Honza Tyl | Posted on 4. 11. 20183. 2. 2019

V čem se BERT liší klasických NLP modelů, jako jsou word2vec a GloVe? Word2vec a ostatní modely totiž generují bezkontextové vkládání slov. Každé slovo vyjádříte jako vektor (například 300 číslic, která matematicky reprezentují toto slovo).

BERT je jedinečný tím, že je obousměrný. To mu umožňuje přístup ke kontextu z minulých i budoucích směrů a bez učitele, což znamená, že může přijímat data, která nejsou ani klasifikována ani člověkem označena.
Zatímco bezkontextové modely mají pro slovo např. „oko“ jednu číselnou reprezentaci. BERT umí odlišit oko v hlavě, od oka na polévce či pytláckého oka. BERT bere v potaz kontext.

BERT se naučí modelovat vztahy mezi větami předtrénováním na úkol, který může být generován z libovolného korpusu, napsal Devlin a Chang. Vychází z platformy Google Transformer, architektury neuronových sítí s otevřeným zdrojovým kódem, založené na mechanismu self-focus, který je optimalizován pro NLP.

Při testování na datovém souboru Stanford Question Answering Dataset (SQuAD), datovém souboru s čtením, který obsahuje otázky týkající se souboru článků Wikipedie, dosáhla ERT 93,2% (což je skoro 2% lepší než doposud nejlepší algoritmy a I než člověk).

Originální článek: https://ai.googleblog.com/…/open-sourcing-bert-state-of-art…
Githab: https://github.com/google-research/bert
Autoři: Devlin, Jacob and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina

Post Views: 476
Aplikace Učení bez učiteleBERT Bidirectional Encoder Representations Transformers GloVe Google Google Transformer Neuronová síť NLP self-focus SQuAD word2vec

Related Posts

14 února, 2019

Umělá inteligence v debatní soutěži překvapila

15 ledna, 2018

Druhý díl trilogie o autoenkóderech – morfing a hledání podobných obrázků

12 února, 2019

Světový závod v robotice: Nezaostane Evropa v umělé inteligenci za USA a Čínou?

Nejnovější příspěvky

  • Vydán klíčový díl o umělé inteligenci na podcastu Deep Talks
  • DigiKomenský – Největší učitel všech dob v podobě Jana Amose Komenského – pro učení dětem i samoukům
  • Ukázka GPT-4
  • OpenAI představí nejnovější hluboké učení – GPT-4
  • Blíží se konec pracovních míst? Strach z umělé inteligence není na místě, má překvapivé využití

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Data Science Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog