Čo je precision?

Precision (v slovenskom preklade presnosť) je hodnotiaca metrika v strojovom učení, ktorá meria podiel správne identifikovaných pozitívnych prípadov zo všetkých prípadov, ktoré model označil ako pozitívne. Táto metrika odpovedá na otázku: „Keď model predpovedal pozitívny výsledok, ako často mal pravdu?“ Precision je kľúčová pri úlohách, kde sú falošné pozitívne výsledky nákladné alebo nežiaduce.

Ako sa precision počíta?

Precision sa vypočíta ako pomer skutočne pozitívnych výsledkov (true positives) k súčtu skutočne pozitívnych a falošne pozitívnych výsledkov (false positives – FP). Vzorec vyzerá nasledovne: Precision = TP / (TP + FP). Hodnota precision sa pohybuje v rozmedzí od 0 do 1, pričom vyššia hodnota znamená menší počet falošných poplachov.

Pri klasifikačných úlohách sa presnosť často používa spolu s ďalšími metrikami. Samotná presnosť nehovorí nič o tom, koľko skutočne pozitívnych prípadov model prehliadol. Preto je dôležité posudzovať ju v kontexte celkového výkonu modelu.

Precision a recall – vzájomný vzťah

Precision a recall (úplnosť) sú dve komplementárne metriky, ktoré spolu poskytujú komplexnejší obraz o výkone klasifikačného modelu. Zatiaľ čo precision meria presnosť pozitívnych predikcií, recall meria schopnosť modelu nájsť všetky skutočne pozitívne prípady.

Medzi týmito metrikami existuje kompromis. Zvýšenie precision často vedie k zníženiu recall a naopak. Ak model nastaví prísnejšie kritériá pre pozitívnu predikciu, zníži počet falošných pozitívnych, ale môže prehliadnuť viac skutočných pozitívnych prípadov. Pre vyváženie oboch metrík sa používa F1 skóre, ktoré predstavuje ich harmonický priemer.

Vieš, že…

…pri detekcii spamu je vysoká precision dôležitejšia ako recall? Falošne označený legitímny e-mail môže spôsobiť väčšie problémy ako občasný spam v doručenej pošte.

Kedy je precision dôležitá?

Vysoká precision je kritická v situáciách, kde falošné pozitívne výsledky majú vážne dôsledky. V medicínskej diagnostike môže falošne pozitívna diagnóza viesť k zbytočným invazívnym zákrokom alebo psychickej záťaži pacienta. V systémoch na detekciu podvodov príliš veľa falošných poplachov zaťažuje analytikov a môže viesť k ignorovaniu skutočných hrozieb.

V kontextoch, kde je dôležitejšie zachytiť všetky pozitívne prípady aj za cenu väčšieho počtu falošných poplachov, sa uprednostňuje recall. Príkladom je detekcia závažných ochorení, kde je lepšie vykonať dodatočné testy u zdravého pacienta, ako prehliadnuť chorobu.

Precision v klasifikácii viacerých tried

Pri klasifikácii do viacerých tried sa precision počíta pre každú triedu samostatne. Následne sa tieto hodnoty môžu spriemerovať rôznymi spôsobmi.

Makro priemer vypočíta aritmetický priemer precision všetkých tried bez ohľadu na ich veľkosť. Vážený priemer zohľadňuje počet prípadov v každej triede.

Výber metódy agregácie závisí od konkrétnej úlohy a distribúcie tried v dátach. Pri nevyvážených dátových sadách, kde niektoré triedy majú výrazne menej príkladov, môže makro priemer poskytnúť odlišný pohľad ako vážený priemer.

Zdroje a odkazy

Použité zdroje:

• Scikit-learn Documentation – Precision, recall and F1-score: https://scikit-learn.org/stable/modules/model_evaluation.html

Odporúčané zdroje:

• Google Machine Learning Education – Classification metrics: https://developers.google.com/machine-learning/crash-course/classification