Čo je accuracy?

Accuracy (v slovenskom preklade presnosť) je metrika používaná na hodnotenie výkonnosti modelov strojového učenia. Vyjadruje pomer správne klasifikovaných príkladov k celkovému počtu príkladov v datasete. Ak model správne predpovedal 90 výsledkov zo 100, jeho presnosť je 90 %. Táto metrika patrí medzi základné ukazovatele kvality predikčných modelov a používa sa najmä pri klasifikačných úlohách.

Výpočet a interpretácia presnosti

Accuracy sa počíta ako podiel súčtu skutočne pozitívnych a skutočne negatívnych predikcií k celkovému počtu všetkých predikcií. Vzorec možno vyjadriť ako: Accuracy = (TP + TN) / (TP + TN + FP + FN), kde TP predstavuje true positives, TN true negatives, FP false positives a FN false negatives. Vysoká hodnota presnosti naznačuje, že model správne klasifikuje väčšinu príkladov.

Interpretácia presnosti závisí od kontextu úlohy a rozloženia tried v datasete. Pri vyvážených datasetoch, kde sú triedy zastúpené približne rovnomerne, presnosť poskytuje spoľahlivý obraz o výkonnosti modelu. Model s presnosťou 95 % na vyváženom datasete možno považovať za vysoko výkonný.

Limitácie presnosti pri nevyvážených datasetoch

Presnosť má významné obmedzenia pri práci s nevyváženými datasetmi. Ak jedna trieda výrazne prevažuje nad ostatnými, model môže dosiahnuť vysokú presnosť jednoducho tým, že predpovedá väčšinovú triedu. Pri datasete obsahujúcom 95 % negatívnych a 5 % pozitívnych príkladov model predpovedajúci vždy negatívnu triedu dosiahne presnosť 95 %, hoci neidentifikuje žiadny pozitívny príklad.

Z tohto dôvodu sa pri nevyvážených datasetoch používajú doplnkové metriky ako precision, recall, F1-score alebo AUC-ROC, ktoré poskytujú komplexnejší pohľad na výkonnosť modelu.

Vieš, že…

…v medicínskej diagnostike môže model s 99 % presnosťou prehliadnuť všetky prípady zriedkavého ochorenia, ak sa zameriava len na väčšinovú triedu zdravých pacientov?

Presnosť v kontexte ďalších metrík

Presnosť predstavuje len jednu zo skupiny hodnotiacich metrík pre klasifikačné modely. Precision (precíznosť) meria, koľko z predpovedaných pozitívnych príkladov bolo skutočne pozitívnych. Recall (úplnosť) vyjadruje, koľko zo všetkých skutočne pozitívnych príkladov model správne identifikoval. F1-score kombinuje precision a recall do jedinej hodnoty pomocou harmonického priemeru.

Výber vhodnej metriky závisí od konkrétnej aplikácie. V spam filtroch je dôležitejšia precision, aby neboli nesprávne označené legitímne e-maily. V medicínskej diagnostike má prednosť recall, pretože prehliadnutie ochorenia môže mať závažné následky. Presnosť je vhodná ako rýchly orientačný ukazovateľ, no pre produkčné nasadenie modelov je štandardom kombinovať viacero metrík.

Zdroje a odkazy

Použité zdroje:

• Google Developers – Classification: Accuracy, recall, precision, and related metrics: https://developers.google.com/machine-learning/crash-course/classification/accuracy-precision-recall#accuracy
• scikit-learn – Metrics and scoring: quantifying the quality of predictions: https://scikit-learn.org/stable/modules/model_evaluation.html

Odporúčané zdroje:

• AWS – What is Machine Learning: https://aws.amazon.com