Na konci ledna s ním přišlo Google AI. Jedná se o robustní model s 2,6 miliardami parametrů. Architektura modelu je založená na 13 dekódovacích blocích Evolved Trasformer seq2seq. Model je trénován na 341 GB textu, většinou konverzacích ze sociálních sítí (je tedy proti GPT-2 skoro 2x větší a trénován na 8,5x více datech). V testech SSA (Sensibleness and Specificity Average) i nízké míře zmatenosti jednoznačně poráží konkurenční chatboty jako Mitsuku, Cleverbot, DialoGPT nebo Xiaolce.
Problém starých chatbotů je v tom, že jsou dobří jen v úzce omezené oblasti a pokud stočíte rozhovor jinam mají často problém. Například pro výuku cizího jazyka či pro interaktivní hry by se hodil bot se široku škálou konverzačních témat. Dnešní chatboti navíc často říkají nesmysly. Píšou texty, které jsou v rozporu s tím, co již bylo řečeno, chybí jim základní znalosti o světě a selský rozum. Až příliš často mají sklony odpovídat frázemi jako „nevím“. To musím z vlastní zkušenosti potvrdit. Když jsme někdy před rokem dělal svého chatbota jako závěrečnou práci na moskevské škole umělé inteligence (NRUHSE), až příliš často odpovídala nevím:)
Budoucí výzkum Meeny se pokusí zlepšit atributy jako je osobnost a realita. Model zatím nebyl veřejnosti zpřístupněn i když se o tom už od konce ledna uvažuje.
Blog: https://ai.googleblog.com/…/towards-conversational-agent-th…
Paper: https://arxiv.org/abs/2001.09977¨
Ukázky: https://github.com/google-re…/google-research/…/master/meena
