Skvělá zpráva! OpenAI konečně vydal svůj největší XLGPT-2 model s 1,5 miliardami parametrů a 48 vrstvami.

Líbí se mi, že lidé považují výstupy GPT-2 za velmi přesvědčivé. U největšího modelu je „skóre důvěryhodnosti“ 6,91 z 10. To je jen nepatrně víc než u výstupy z modelu 774M (6,72) a výrazně více než u středního modelem 355M (6,07). Rozdíl mezi velkým a super velkým modelem je tedy relativně malý (proboha to je věta:)). To byla asi ta poslední pomyslná kapka, která vedla Open AI k uvolnění XL modelu.