Cílem výzkumného týmu EleutherAI je vytvořit klon GPT-3, který bude k dispozici všem a zadarmo!
EleutherAI je volná skupina nezávislých vědců, kteří vyvíjí GPT-Neo, otevřenou, volně použitelnou verzi jazykového modelu OpenAI. Model by mohl být hotový již v srpnu, řekl člen týmu Connor Leahy The Batch.
Jak to funguje: Cílem je přizpůsobit rychlost a výkon plnohodnotné verzi GPT-3 se 175 miliardami parametrů se zvláštní pozorností na odstraňování sociálních předsudků. Tým úspěšně dokončil verzi s 1 miliardou parametrů a nyní probíhají architektonické experimenty.
• CoreWeave je poskytovatel cloudových výpočtů, poskytuje projektu bezplatný přístup k infrastruktuře. Nakonec plánuje hostit instance pro platící zákazníky.
• Trénovací korpus obsahuje 825 GB textu. Kromě zavedených textových datových sad obsahuje protokoly chatu IRC, titulky YouTube a souhrny z archivu lékařského výzkumu PubMed.
• Tým zkoušel párování slov a pomocí analýzy sentimentu hodnotil údaje o pohlaví, náboženství a rasové předpojatosti. Byly odstraněny příklady, které vykazovaly nepřijatelně vysokou úroveň zkreslení.
