Menu
  • Home
  • O nás
  • Projekty ▾
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog
Skip to content

3 knihovny, které vám pomohou interpretovat váš model

by Eva Popílková | Posted on 17. 6. 201917. 6. 2019

Suchá definice nám říká, že interpretovatelnost modelu je schopnost schvalovat a interpretovat rozhodování prediktivního modelu, tak aby byla umožněna transparentnost v rozhodovacím procesu. Řečeno prostě, lidé chtějí být u kormidla a rozhodují se rádi sami. AI modulům nechtějí jen slepě věřit jako kouzelné černé skříňce ze které padají předpovědi. Chtějí i jasné a pochopitelné zdůvodnění, proč se model rozhodl právě tak. Zkrátka samostatnou ale nečitelnou umělou inteligenci pomalu ale jistě nahrazuje pochopitelná „rozšířená inteligence“. Dnes si představíme tři nejlepší knihovny, které nám s tímto mohou pomoci.

Všechny tři knihovny jsem o víkendu důkladně testoval a rozchodil v Colabu, takže pokud budete mít problém stačí napsat. Na obrázku je vítězný model Titaniku studentů z Ječné ze skupiny TMT vylepšený o knihovnu ELI5. Obrázek zdůvodňuje proč si model „myslí“, že se pasažér 10 z testovacího datasetu nepřežije. Je to hlavně ze 3 důvodů:

1) je to muž (sex=1)
2) většina lidí na Titaniku nepřežila (BIAS)
3) koupil si lístek do třetí třídy (Pclass=3).

Jeho šance naopak lehce zvedá to, že:
1) mu 22 let(Age=22)
2) nalodil se v dobrém přístavu (Embarked=2).

A nyní už ke knihovnám:

1. LIME (Limetka)
LIME (Local Interpretable Model-agnostic Explanations čili Lokální interpretovatelná modelová agnostická vysvětlení) nám může důvěryhodným způsobem vysvětlovat předpovědi složitých modelů, a to tak, že jej pro daný případ zjednoduší do interpretovatelného modelu. Limetka je schopna vysvětlit jakýkoliv model pomocí dvou nebo více tříd. V současné době LIME podporuje dva typy vstupů tabulková a textová data.

2. SHAP
SHAP (SHapley Additive exPlanations)
Je sjednocená pythonová knihovna, která vysvětluje výstup jakéhokoliv modelu strojového učení. Spojuje v sobě teorii her s vysvětlením. Sjednocuje několik předchozích metod a představuje konzistentní a lokálně přesnou metodu přiřazování feature založenou na očekávání.

3. ELI5
ELI5 umožňuje vizualizovat a ladit různé modely strojového učení pomocí unifikovaného API. Tato knihovna pomáhá ladit klasifikátory strojového učení a vysvětlit jejich předpovědi. Poskytuje podporu například pro sci-kit, XGBoost, LightGBM, CatBoost atd. Tato knihovna také implementuje několik algoritmů pro kontrolu černobílých modelů, jako je TextExplainer, který umožňuje vysvětlit předpovědi jakéhokoli textového klasifikátoru pomocí algoritmu LIME a metody Permutace, která může být použita pro výpočet důležitosti featur a pro odhady black boxů.

Zdroje:
Lime: https://github.com/marcotcr/lime
Shap: https://github.com/slundberg/shap
Eli 5: https://github.com/TeamHG-Memex/eli5
Volně podle: https://www.analyticsindiamag.com/4-python-libraries-for-g…/

Post Views: 757
Datasety Experimenty Strojové učení Text a sekvencealgoritmus API CatBoost ELI5 Knihovna ELI5 LightGBM LIME sci-kit SHAP Studenti z Ječné TextExplainer Titanik TMT XGBoost

Related Posts

17 prosince, 2020

Jak funguje Digitální spisovatel a dokáže překonat i lidské autory?

26 února, 2019

Náš tým přednášel na VŠE pro studentský spolek 4FIS!

10 června, 2021

Nové datasety i modely zrychlují AI

Nejnovější příspěvky

  • Vydán klíčový díl o umělé inteligenci na podcastu Deep Talks
  • DigiKomenský – Největší učitel všech dob v podobě Jana Amose Komenského – pro učení dětem i samoukům
  • Ukázka GPT-4
  • OpenAI představí nejnovější hluboké učení – GPT-4
  • Blíží se konec pracovních míst? Strach z umělé inteligence není na místě, má překvapivé využití

Archivy

Rubriky

Štítky

AI AI Awards algoritmus algoritmy Alphai Alpha Industries Amazon Andrew Ng BERT Chatbot DALL·E Data Science Deep Learning DigiHavel digitální filosof Digitální spisovatel Dita Malečková Elon Musk Facebook Gartner Google GPT-2 GPT-3 GPU IBM Jan Tyl Matylda Microsoft Neuronová síť NLP NVIDIA OpenAI podcast Posobota RNN Robot soutěž startup strojové učení TensorFlow Tomáš Sedláček umělá inteligence Český rozhlas ČVUT Čína
Copyright Alpha Industries – blog. All rights reserved. | Powered by WordPress & Writers Blogily Theme
Alpha Industries - blog
  • Home
  • O nás
  • Projekty
    • Výzkum
    • Detektor urážek
    • Český detektor emocí
    • Anglický detektor emocí
    • Veřejné mínění emocí
    • Startup Akademie
  • Kariéra
  • Kontakt
  • Kalendář
  • Blog