Čo je recall?

Recall je metrika používaná na hodnotenie výkonnosti klasifikačných modelov v strojovom učení. Vyjadruje schopnosť modelu správne identifikovať všetky pozitívne prípady z celkového počtu skutočne pozitívnych prípadov v datasete. Vypočíta sa ako pomer skutočne pozitívnych predikcií (true positives) k súčtu skutočne pozitívnych a falošne negatívnych predikcií (false negatives).

Ako sa recall počíta?

Vzorec pre výpočet recall je: Recall = TP / (TP + FN), kde TP predstavuje počet správne identifikovaných pozitívnych prípadov a FN počet pozitívnych prípadov, ktoré model nesprávne označil ako negatívne. Hodnota recall sa pohybuje v rozmedzí 0 až 1, pričom hodnota 1 znamená, že model identifikoval všetky pozitívne prípady.

Recall sa označuje aj ako sensitivity (senzitivita) alebo true positive rate. Tieto pojmy sa používajú zameniteľne najmä v medicínskej diagnostike a štatistike.

Kedy je recall dôležitý?

Vysoká hodnota recall je kritická v situáciách, kde je nákladné alebo nebezpečné prehliadnuť pozitívne prípady. Typickým príkladom je medicínska diagnostika. Pri detekcii rakoviny je dôležitejšie zachytiť všetkých pacientov s ochorením, aj za cenu niekoľkých falošných poplachov. Podobne pri detekcii podvodov vo finančnom sektore môže prehliadnutý podvod spôsobiť značné škody.

Vieš, že…

…recall hodnota 0,95 znamená, že model správne identifikoval 95 % všetkých skutočne pozitívnych prípadov, zatiaľ čo 5 % mu uniklo?

Recall verzus precision

Recall a precision sú komplementárne metriky, ktoré spolu poskytujú komplexnejší pohľad na výkonnosť modelu pri klasifikácii dát. Zatiaľ čo recall meria úplnosť detekcie pozitívnych prípadov, precision meria presnosť pozitívnych predikcií, teda koľko z predikovaných pozitívnych prípadov bolo skutočne pozitívnych.

Medzi týmito metrikami často existuje kompromis. Zvýšenie recall môže viesť k zníženiu precision a naopak. Pre vyvážené hodnotenie sa používa F1 skóre, ktoré predstavuje harmonický priemer oboch metrík. Voľba medzi uprednostnením recall alebo precision závisí od konkrétneho použitia a nákladov spojených s rôznymi typmi chýb.

Príklady použitia recall v praxi

V oblasti spracovania prirodzeného jazyka sa recall používa pri hodnotení systémov pre rozpoznávanie pomenovaných entít (NER) alebo získanie kľúčových slov. V počítačovom videní pomáha hodnotiť detektory objektov, napríklad či systém autonómneho vozidla zachytil všetkých chodcov v obraze.

Pri klasifikácii nevyžiadanej pošty môže byť uprednostnený recall, ak je prioritou zachytiť čo najviac spamových správ. V odporúčacích systémoch recall meria, aký podiel relevantných položiek systém používateľovi skutočne odporučil.

Zdroje a odkazy

Použité zdroje:

• Google Machine Learning Glossary – Recall: https://developers.google.com/machine-learning/glossary
• scikit-learn Documentation – Classification metrics: https://scikit-learn.org/stable/modules/model_evaluation.html

Odporúčané zdroje:

• Stanford CS229 – Machine Learning Course Materials: https://cs229.stanford.edu