Human oversight (ľudský dohľad)

Čo je human oversight?

Human oversight (v slovenskom preklade ľudský dohľad) je požiadavka, aby vysokorizikový systém umelej inteligencie mohli počas prevádzky účinne kontrolovať fyzické osoby. Nejde o jeden konkrétny technický nástroj, ale o vlastnosť systému: musí byť navrhnutý tak, aby človek dokázal jeho fungovanie sledovať, jeho výstup nezohľadniť a v prípade potreby jeho beh zastaviť.

Pojem je názvom článku 14 nariadenia (EÚ) 2024/1689, známeho ako AI Act. Ako právna povinnosť sa viaže výlučne na systémy zaradené medzi vysokorizikové – pri ostatných systémoch AI ide o dobrovoľnú prax, nie o požiadavku nariadenia. Poskytovateľ musí systém dodať s opatreniami dohľadu už zabudovanými v návrhu, prípadne umožniť ich nastavenie nasadzujúcemu subjektu. Podľa článku 26 zase nasadzujúci subjekt poverí dohľadom osobu, ktorá má na to potrebnú spôsobilosť, odbornú prípravu a právomoc.

Miera zapojenia človeka

Ľudský dohľad nie je jeden režim, ale spektrum. V praxi sa rozlišujú tri stupne podľa toho, kedy človek do behu systému vstupuje:

• HITL (human in the loop) – človek schvaľuje výstup alebo akciu ešte predtým, než sa vykoná.
• HOTL (human on the loop) – systém koná samostatne, človek jeho činnosť monitoruje a zasahuje pri odchýlke.
• HOOTL (human out of the loop) – systém koná bez možnosti priebežného zásahu.

Toto delenie je terminológiou odbornej praxe, nie textom nariadenia. AI Act konkrétny režim nepredpisuje ani nepomenúva – požaduje len, aby opatrenia dohľadu zodpovedali riziku, miere autonómie systému a kontextu jeho použitia. Voľba stupňa preto nie je vecou súladu s predpisom, ale návrhu: rozhoduje najmä vratnosť prípadnej chyby. Pri nezvratných alebo silne regulovaných rozhodnutiach sa uplatňuje schvaľovanie pred vykonaním, pri rutinných operáciách s napraviteľnými dôsledkami stačí monitorovanie.

Praktický tip:

Pri dokumentovaní ľudského dohľadu popíš tri veci: kto je poverenou osobou a akú má právomoc, v ktorých bodoch procesu môže do behu systému zasiahnuť a ako sa zásah technicky vykoná. Samotná veta „systém podlieha ľudskému dohľadu“ nie je opatrením – bez definovanej cesty k akcii ide len o deklaráciu.

Výzvy súvisiace s ľudským dohľadom

Prítomnosť človeka v procese sama osebe účinný dohľad nezaručuje. Najznámejším rizikom je automatizačné skreslenie (automation bias), teda sklon nadmerne dôverovať výstupu systému a prehliadať protichodné informácie. AI Act toto riziko pomenúva priamo a od osôb poverených dohľadom očakáva, že si túto tendenciu uvedomujú.

Druhým obmedzením je kapacita. Ak jeden človek posudzuje stovky rozhodnutí denne, dohľad sa mení na formalitu a organizácia získava falošnú istotu: verí, že kontrola existuje, a preto toleruje rizikovejšie správanie systému než bez nej. Účinnosť dohľadu závisí od návrhu rozhrania, objemu rozhodnutí na jedného človeka a jeho reálnej právomoci zasiahnuť – nie od toho, že je dohľad zavedený v dokumentácii.

Zdroje k téme:

• EUR-Lex – Nariadenie – EÚ – 2024/1689 – SK: https://eur-lex.europa.eu/eli/reg/2024/1689/oj?locale=sk
• European Commission AI Act Service Desk – Article 14: Human oversight: https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-14
• Fink, M: Human Oversight under Article 14 of the EU AI Act: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5147196