Experti z OpenAI se na blogu pochlubili dalším technologickým úspěchem – jazykovým modelem GPT-2. V nadpisu článku píší, že se jej prý autoři obávají publikovat. Namísto plné verze totiž vědci z OpenAI zveřejnili na GITu jen velmi ořezanou verzi modelu, která má demonstrovat základní funkci. Důvod? Model údajně dosahuje na dnešní poměry skvělých výsledků a při porovnání s ostatními modely je hravě strčil do kapsy. Autoři se proto obávali možného zneužití.
Překvapilo mě, že člověk například jen napíše nadpis a GPT-2 dopíše na dané téma celý článek! V originálním článku je hezký příklad, generovaného článku o tom, jak vědci objevili jednorožce. 
Velmi dobrých výsledků má tento model dosahovat také v úlohách typu question answering.
Nezveřejnění modelu vyvolalo mezi odborníky velký poprask. Na jedné straně říkají, že nedošlo k žádnému výraznému algoritmickému průlomu, ale jen počítají na více datech. Dá se snadno spočítat, že pokud spěcháte tak si podobný model na 80 grafických kartách můžete doma spočítat asi za měsíc a vyjde vás to na 1 milion korun. Nebo pokud chcete „ušetřit“, na 8 grafických kartách to bude trvat 10 měsíců – to vás výpočet bude stát zhruba 450 000 Kč (AWS).
Myslíte si, že hrozba generování fake news pomocí tohoto algoritmu je reálná a autoři udělali dobře, že zveřejnili jen nejmenší model?
******************** zdroje a odkazy***************************
Český článek (i s autorovými českými ne příliš vyvedenými pokusy na jeho vlastním modelu): https://www.zive.cz/…/vedci-vytv…/sc-3-a-197236/default.aspx
Originální článek: https://blog.openai.com/better-language-models/
Github: https://github.com/openai/gpt-2
Diskuse o nezveřejnění větších modelů: https://www.fast.ai/2019/02/15/openai-gp2/
SQuAD: http://blog.alphai.cz/stanford-question-answering-dataset-…/
Konkurence od Google BERT: http://blog.alphai.cz/spolecnost-google-tento-tyden-zverej…/
