Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

Budou jazykové modely zdarma?

by Eva Popílková | Posted on 4. 2. 20218. 2. 2021

Cílem výzkumného týmu EleutherAI je vytvořit klon GPT-3, který bude k dispozici všem a zadarmo!

EleutherAI je volná skupina nezávislých vědců, kteří vyvíjí GPT-Neo, otevřenou, volně použitelnou verzi jazykového modelu OpenAI. Model by mohl být hotový již v srpnu, řekl člen týmu Connor Leahy The Batch.

Jak to funguje: Cílem je přizpůsobit rychlost a výkon plnohodnotné verzi GPT-3 se 175 miliardami parametrů se zvláštní pozorností na odstraňování sociálních předsudků. Tým úspěšně dokončil verzi s 1 miliardou parametrů a nyní probíhají architektonické experimenty.

• CoreWeave je poskytovatel cloudových výpočtů, poskytuje projektu bezplatný přístup k infrastruktuře. Nakonec plánuje hostit instance pro platící zákazníky.

• Trénovací korpus obsahuje 825 GB textu. Kromě zavedených textových datových sad obsahuje protokoly chatu IRC, titulky YouTube a souhrny z archivu lékařského výzkumu PubMed.

• Tým zkoušel párování slov a pomocí analýzy sentimentu hodnotil údaje o pohlaví, náboženství a rasové předpojatosti. Byly odstraněny příklady, které vykazovaly nepřijatelně vysokou úroveň zkreslení.

Zdroje: https://www.eleuther.ai/projects/gpt-neo/?utm_campaign=The%20Batch&utm_medium=email&_hsmi=109400193&_hsenc=p2ANqtz-97S8QHC4I_gD5FOS4x1Kbemxu1-QOgYDK7ISGHv5FI0DCD8PUTp7MassDJNXr1aO6dHfbkD3TRsccIpLzA-5BMG0ZkAw&utm_content=109401005&utm_source=hs_email
https://pile.eleuther.ai/paper.pdf?utm_campaign=The%20Batch&utm_medium=email&_hsmi=109400193&_hsenc=p2ANqtz-8GfD5dSxg11QbzBCl0w-ZoJo35KrnM-mJNriVL8xDJVeaZWWK5d0XxNuIzaKuReGaqTJN9rzDFEYNuA66cntMoIbycqA&utm_content=109401005&utm_source=hs_email
Post Views: 598
Novinky Posilované učení Text a sekvenceCoreWeave EleutherAI GPT-3 GPT-Neo OpenAI PubMed youtube

Related Posts

31 srpna, 2020

Elon Musk představil nový mikročip do mozku

28 prosince, 2017

Nové knihy: Deep learning from computer vision

26 června, 2019

Dnes jsem dokončil další kurz specializace Strojové učení v Tensorflow

Nejnovější příspěvky

  • Digi Dvojče Jana Tyla napsalo další článek
  • Článek s pomocí digitálního dvojčete Jana Tyla
  • Umění digitálního věku
  • Revoluce v programování – Claude Code
  • DigiHavel ve školách slaví úspěch u dětí

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Google GPT-2 GPT-3 GPU Hyperprostor IBM Inovace Jan Tyl Matylda Microsoft Neuronová síť NEWSPARK NLP NVIDIA OpenAI podcast Přednáška RNN Robot soutěž startup strojové učení technologie TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog