Čo je face swap?

Face swap (v slovenskom preklade výmena tvárí) je technika počítačového videnia, ktorá umožňuje nahradiť tvár jednej osoby tvárou inej osoby v obraze alebo videu. Využíva algoritmy strojového učenia na detekciu tvárových bodov, analýzu výrazov a následné mapovanie jednej tváre na druhú s vysokou mierou realistickosti.

Ako face swap spracováva obraz?

Proces výmeny tvárí prebieha v niekoľkých krokoch. Najprv algoritmus detekuje tváre v zdrojovom aj cieľovom obraze pomocou techník ako landmark detection, ktorá identifikuje kľúčové body tváre – oči, nos, ústa a kontúry. Následne sa analyzuje geometria a textúra oboch tvárí.

Po detekcii nasleduje fáza zarovnania, kde sa zdrojová tvár transformuje tak, aby zodpovedala polohe a orientácii cieľovej tváre. Algoritmus upravuje osvetlenie, farebné tóny a tieňovanie, aby výsledok pôsobil prirodzene. Moderné riešenia využívajú generatívne neurónové siete, najmä architektúry typu encoder-decoder alebo GAN (Generative Adversarial Networks).

Technológie využívané pri face swappingu

Výmena tvárí sa opiera o niekoľko typov neurónových sietí:

• Autoencodery sa používajú na naučenie latentnej reprezentácie tvárí. Jeden encoder spracováva zdrojovú tvár, druhý cieľovú, a zdieľaný decoder generuje výstup.
• GAN siete zlepšujú kvalitu výstupu tým, že diskriminátor hodnotí realistickosť vygenerovaného obrazu.
• Medzi známe open-source nástroje patria DeepFaceLab a FaceSwap. Tieto riešenia vyžadujú tréning na datasete fotografií konkrétnych osôb.
• Komerčné aplikácie pre smartfóny ponúkajú jednoduchšie varianty využívajúce predtrénované modely.

Vieš, že…

…prvé virálne face swap aplikácie sa objavili okolo roku 2016, ale technológia deepfake založená na hlbokom učení výrazne zvýšila kvalitu výsledkov až od roku 2017?

Príklady použitia face swap

V zábavnom priemysle sa zmena tváre využíva pri tvorbe filmových efektov, kde umožňuje digitálne omladenie hercov alebo ich nahradenie kaskadérmi. Sociálne siete ponúkajú filtre na zábavnú výmenu tvárí medzi používateľmi v reálnom čase.

Technológia má aj problematické využitie. Deepfake videá vytvorené pomocou face swap techník sa zneužívajú na šírenie dezinformácií alebo tvorbu nelegálneho obsahu. Práve preto sa paralelne rozvíjajú metódy detekcie manipulovaných médií, ktoré analyzujú artefakty typické pre synteticky generované tváre.

Obmedzenia a riziká

Face swap algoritmy majú svoje limitácie. Problémy nastávajú pri výrazných rozdieloch v osvetlení, pri profile tváre alebo pri prekrytí časti tváre. Výsledky môžu obsahovať vizuálne artefakty okolo okrajov tváre či v oblasti vlasov.

Z etického hľadiska predstavuje nekontrolované využívanie tejto technológie riziko porušovania súkromia a identity osôb. Viaceré jurisdikcie začínajú regulovať tvorbu a distribúciu syntetických médií, najmä ak ide o obsah vytvorený bez súhlasu zobrazených osôb.

Zdroje a odkazy

Použité zdroje:

• arXiv – FaceSwap: A Deep Learning Approach: https://arxiv.org

Odporúčané zdroje:

• DeepFaceLab – Open-source nástroj pre face swap: https://github.com/iperov/DeepFaceLab