Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Vědci vytvořili jazykovou neuronovou síť, která se svou kvalitou přibližuje člověku. Je prý natolik dobrá, že se ji bojí autoři zveřejnit!

by Honza Tyl | Posted on 19. 2. 201919. 2. 2019

Experti z OpenAI se na blogu pochlubili dalším technologickým úspěchem – jazykovým modelem GPT-2. V nadpisu článku píší, že se jej prý autoři obávají publikovat. Namísto plné verze totiž vědci z OpenAI zveřejnili na GITu jen velmi ořezanou verzi modelu, která má demonstrovat základní funkci. Důvod? Model údajně dosahuje na dnešní poměry skvělých výsledků a při porovnání s ostatními modely je hravě strčil do kapsy. Autoři se proto obávali možného zneužití.

Překvapilo mě, že člověk například jen napíše nadpis a GPT-2 dopíše na dané téma celý článek! V originálním článku je hezký příklad, generovaného článku o tom, jak vědci objevili jednorožce. 🙂

Velmi dobrých výsledků má tento model dosahovat také v úlohách typu question answering.

Nezveřejnění modelu vyvolalo mezi odborníky velký poprask. Na jedné straně říkají, že nedošlo k žádnému výraznému algoritmickému průlomu, ale jen počítají na více datech. Dá se snadno spočítat, že pokud spěcháte tak si podobný model na 80 grafických kartách můžete doma spočítat asi za měsíc a vyjde vás to na 1 milion korun. Nebo pokud chcete „ušetřit“, na 8 grafických kartách to bude trvat 10 měsíců – to vás výpočet bude stát zhruba 450 000 Kč (AWS). 🙂

Myslíte si, že hrozba generování fake news pomocí tohoto algoritmu je reálná a autoři udělali dobře, že zveřejnili jen nejmenší model?

******************** zdroje a odkazy***************************

Český článek (i s autorovými českými ne příliš vyvedenými pokusy na jeho vlastním modelu): https://www.zive.cz/…/vedci-vytv…/sc-3-a-197236/default.aspx

Originální článek: https://blog.openai.com/better-language-models/

Github: https://github.com/openai/gpt-2

Diskuse o nezveřejnění větších modelů: https://www.fast.ai/2019/02/15/openai-gp2/

SQuAD: http://blog.alphai.cz/stanford-question-answering-dataset-…/
Konkurence od Google BERT: http://blog.alphai.cz/spolecnost-google-tento-tyden-zverej…/

 

Post Views: 632
Datasety Experimenty Text a sekvence UdálostiGub jazykový model GPT-2 OpenAI question answering

Related Posts

2 října, 2019

Jak funguje model na generování textu od AI Salesforce?

10 května, 2020

Vygenerujte si vlastní příběh na našem workshopu

12 března, 2021

„AI je zrcadlem lidstva“

Nejnovější příspěvky

  • Vydán klíčový díl o umělé inteligenci na podcastu Deep Talks
  • DigiKomenský – Největší učitel všech dob v podobě Jana Amose Komenského – pro učení dětem i samoukům
  • Ukázka GPT-4
  • OpenAI představí nejnovější hluboké učení – GPT-4
  • Blíží se konec pracovních míst? Strach z umělé inteligence není na místě, má překvapivé využití

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Data Science Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog