Čo je XAI?

XAI (Explainable Artificial Intelligence), v slovenskom preklade vysvetliteľná AI, je oblasť umelej inteligencie zameraná na tvorbu modelov a systémov, ktorých rozhodnutia a predikcie dokážu ľudia pochopiť a interpretovať. Na rozdiel od tzv. black-box modelov, kde je proces rozhodovania nepriehľadný, XAI poskytuje nástroje a metódy na sprístupnenie vnútornej logiky AI systémov koncovým používateľom, vývojárom aj regulátorom.

Prečo je interpretovateľnosť AI dôležitá?

S rastúcim nasadením AI v kritických oblastiach ako zdravotníctvo, finančníctvo či súdnictvo narastá potreba porozumieť tomu, ako modely dospievajú k svojim záverom. Interpretovateľnosť umožňuje identifikovať potenciálne chyby, zaujatosť v dátach alebo nesprávne naučené vzory. Pre organizácie je vysvetliteľná AI kľúčová aj z pohľadu legislatívy, keďže regulácie ako AI Act vyžadujú pri nasadení vysokorizikových AI systémov transparentnosť.

Explainable AI tiež zvyšuje dôveru používateľov. Keď lekár dostane odporúčanie od diagnostického AI systému, potrebuje vedieť, na základe akých príznakov systém dospel k záveru. Podobne klient banky má právo pochopiť, prečo mu bol zamietnutý úver, ak rozhodnutie vykonala automatizovaná AI.

Metódy a nástroje XAI

Existuje viacero prístupov k dosiahnutiu vysvetliteľnosti. Niektoré modely sú inherentne interpretovateľné – napríklad rozhodovacie stromy alebo lineárna regresia, kde je vzťah medzi vstupmi a výstupmi priamo čitateľný. Komplexnejšie modely ako neurónové siete vyžadujú na vysvetlenie ich správania dodatočné techniky.

Medzi najpoužívanejšie metódy patria SHAP (SHapley Additive exPlanations) a LIME (Local Interpretable Model-agnostic Explanations). SHAP využíva koncepty z teórie hier na výpočet príspevku jednotlivých vstupných vlastností k finálnej predikcii. LIME vytvára lokálne zjednodušené modely, ktoré aproximujú správanie komplexného modelu v okolí konkrétnej predikcie.

Vieš, že…

…koncept SHAP vychádza zo Shapleyho hodnoty, ktorú v roku 1953 navrhol ekonóm Lloyd Shapley? Za tento prínos k teórii hier získal v roku 2012 Nobelovu cenu za ekonómiu.

Výzvy a obmedzenia vysvetliteľnej AI

Implementácia XAI prináša určité kompromisy. Vysoko interpretovateľné modely môžu dosahovať v porovnaní s komplexnými black-box modelmi nižšiu presnosť. Výpočet vysvetlení pre rozsiahle modely býva časovo náročný. Navyše samotné vysvetlenia môžu byť pre bežných používateľov stále príliš technické.

Ďalšou výzvou je subjektivita interpretácie. Rôzni používatelia môžu potrebovať rôzne úrovne detailu – dátový vedec očakáva iné vysvetlenie ako manažér alebo koncový zákazník. Preto sa vyvíjajú adaptívne prístupy, ktoré prispôsobujú formu vysvetlenia cieľovej skupine.

Príklady použitia XAI

V zdravotníctve sa XAI využíva pri diagnostických systémoch, kde model nielen označí podozrivú oblasť na röntgenovom snímku, ale aj zvýrazní, ktoré vizuálne znaky k tomuto záveru viedli. V bankovníctve pomáha vysvetliteľná AI pri hodnotení úverovej bonity, kde musí byť rozhodnutie zdôvodniteľné voči klientovi aj regulátorovi.

Priemyselné aplikácie využívajú XAI na prediktívnu údržbu tak, aby bolo jasné, ktoré senzorové dáta naznačujú blížiacu sa poruchu zariadenia. Vysvetliteľná AI tu pomáha nielen s predikciou, ale aj s pochopením dôvodov, prečo k nej dochádza. Podobný prístup sa uplatňuje aj v kybernetickej bezpečnosti, kde vysvetliteľné modely umožňujú analytikom lepšie porozumieť tomu, prečo systém vyhodnotil konkrétnu aktivitu ako podozrivú.

Zdroje a odkazy

Použité zdroje:

• IBM Research – Introducing AI Explainability 360: https://research.ibm.com/blog/ai-explainability-360
• Google Cloud – Introduction to Vertex Explainable AI: https://cloud.google.com/explainable-ai

Odporúčané zdroje:

• Christoph Molnar – Interpretable Machine Learning: https://christophm.github.io/interpretable-ml-book
• SHAP Documentation: https://shap.readthedocs.io