Deepfake-Erkennung ist die Detektion von Video-, Bild- und Audiodaten, die mit Deepfake-Verfahren manipuliert wurden, durch Methoden der Medienforensik oder trainierte KI-Modelle, die solche Daten automatisiert als manipuliert erkennen sollen.
Auf einen Blick
Ein trainiertes Modell kann ein Datenbeispiel als manipuliert oder nicht manipuliert klassifizieren; automatisierte Detektionsmethoden funktionieren laut BSI häufig nur unter gewissen Rahmenbedingungen zuverlässig.
Dienste zur Erkennung KI-generierter Bilder garantieren laut BSI aktuell keine zuverlässige Erkennung, können aber überprüfbare Hinweise liefern.
Wer sich laut GDV allein auf das Erkennen von Fälschungen verlässt, baut auf schwindende Sicherheit.
Was ist Deepfake-Erkennung?
Zur Deepfake-Erkennung zählen Gegenmaßnahmen aus dem Bereich der Detektion, die darauf abzielen, mit Deepfake-Verfahren manipulierte Daten als solche zu erkennen. Mittels Methoden aus der Medienforensik ist es möglich, Artefakte zu detektieren, die bei der Verwendung von Manipulationsmethoden auftreten. Daneben gibt es automatisierte Detektionsmethoden, die laut BSI in der Regel auf Techniken der künstlichen Intelligenz basieren, etwa tiefen neuronalen Netzen; nach der Trainingsphase kann das Modell ein Datenbeispiel, zum Beispiel ein Video, als manipuliert oder nicht manipuliert klassifizieren. Dienste zur Erkennung KI-generierter Bilder garantieren nach Angaben des BSI aktuell keine zuverlässige Erkennung, können aber überprüfbare Hinweise liefern.
Reicht jemand bei einem Versicherer ein KI-manipuliertes Video oder eine Audioaufnahme ein, zielt Deepfake-Erkennung darauf ab, den manipulierten Inhalt als solchen zu erkennen. Ein vollständiger Schutz ist damit nicht gegeben: Laut BSI bieten Gegenmaßnahmen in der Regel keinen vollständigen Schutz, und automatisierte Detektionsmethoden funktionieren häufig nur unter gewissen Rahmenbedingungen zuverlässig. Bei Voice-Cloning und KI-Avataren ist laut GDV die Überprüfung der Handlung selbst belastbarer als die Beurteilung der Bild- oder Tonqualität. Als zentrale Maßnahme gegen Deepfake-Angriffe nennt das BSI die Schulung potentiell betroffener Personen.
Wie funktioniert Deepfake-Erkennung?
Deepfake-Erkennung arbeitet mit Methoden der Medienforensik, die Artefakte der Manipulation detektieren, und mit trainierten Modellen, die Material einordnen. Laut BSI kann es auf Grund einer beschränkten Datenlage dazu kommen, dass ein Fälschungsmodell manche Gesichtsausdrücke oder Beleuchtungssituationen nur beschränkt korrekt darstellt; unstimmig wirkt die Beleuchtung etwa, wenn ein Schatten auf die linke Gesichtshälfte trifft, aber nicht auf den weiteren Hintergrund fällt. Weichen die Eingangsdaten eines Fälschungsverfahrens stark von dessen Trainingsdaten ab, kann es unnatürliche Geräusche erzeugen. Wer diese Artefakte kennt, kann Fälschungen laut BSI deutlich besser erkennen.
Versicherer prüfen eingereichte Bilder und Dokumente mit technischen und forensischen Methoden und analysieren Bilddateien, Metadaten, Dokumentstrukturen und die Plausibilität des Gesamtfalls. Künstliche Intelligenz kann große Mengen an Bildern und Dokumenten innerhalb von Sekunden prüfen und Auffälligkeiten markieren; die abschließende Bewertung bleibt laut GDV bei erfahrenen Fachleuten. Nach Angaben des BSI ist die Detektion ein aktives Forschungsfeld, und aktuell ist noch keine Methode bekannt, die zuverlässig Bilder vieler Generatoren erkennt.
Deepfake-Erkennung im Vergleich
| Kriterium | Deepfake-Erkennung | Deepfake |
|---|---|---|
| Gegenstand | Gegenmaßnahmen aus dem Bereich der Detektion. | Verfahren, mit denen Daten manipuliert werden. |
| Bezugspunkt | Mit Deepfake-Verfahren manipulierte Daten, die als solche erkannt werden sollen. | Nach der KI-Verordnung durch KI erzeugte oder manipulierte Bild-, Ton- oder Videoinhalte, die wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähneln und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würden. |
| Spuren | Mit Methoden der Medienforensik ist es möglich, Artefakte der Manipulationsmethoden zu detektieren. | Bei der Verwendung von Manipulationsmethoden können Artefakte auftreten. |
Woran erkennt die Deepfake-Erkennung manipulierte Inhalte?
| Merkmal | Worauf es ankommt |
|---|---|
| Mimik und Belichtung | Bei beschränkter Datenlage kann ein Fälschungsmodell manche Gesichtsausdrücke oder Beleuchtungssituationen nur begrenzt korrekt darstellen. |
| Schattenwurf | Die Beleuchtung wirkt unstimmig, etwa wenn ein Schatten auf die linke Gesichtshälfte trifft, aber nicht auf den weiteren Hintergrund fällt. |
| Geräusche | Erhält ein Fälschungsverfahren Eingangsdaten, die stark vom Training abweichen, kann es unnatürliche Geräusche erzeugen. |
| Sprache und Lippen | Unnatürliche Betonung, monotone Sprechweise oder ungenaue Lippensynchronisation können auffallen. |
| Automatische Detektion | Ein trainiertes Modell kann ein Datenbeispiel als manipuliert oder nicht manipuliert einordnen; fehlt jedes Anzeichen, ist eine Fälschung dennoch nicht ausgeschlossen. |
Schutz im Ernstfall
Vorbeugen
- Bei einem Verdacht die Handlung selbst überprüfen, statt sich allein auf die Beurteilung der Bild- oder Tonqualität zu verlassen; laut GDV ist die Überprüfung der Handlung belastbarer.
- Sich nicht allein auf das Erkennen von Fälschungen verlassen, weil darauf aufgebaute Sicherheit laut GDV schwindet.
- Künstliche Intelligenz zur Vorprüfung großer Bild- und Dokumentmengen einsetzen, die Auffälligkeiten markiert; die abschließende Bewertung liegt bei erfahrenen Fachleuten.
- Personen, die von Deepfake-Angriffen betroffen sein können, schulen; laut BSI stellt die Schulung potentiell betroffener Personen eine zentrale Maßnahme gegen Deepfake-Angriffe dar.
Beispiele aus der Praxis
- Ein Versicherer erhält ein Video, dessen Beleuchtung unstimmig wirkt, und lässt es von einem trainierten Modell als manipuliert oder nicht manipuliert einordnen; die abschließende Bewertung bleibt laut GDV bei erfahrenen Fachleuten.
- Bei einem Verdacht ist laut GDV die Überprüfung der Handlung selbst belastbarer als die Prüfung der Bild- und Tonqualität, etwa bei einer angewiesenen Überweisung.
- Reicht jemand bei einem Versicherer ein KI-manipuliertes Video oder eine Audioaufnahme ein, soll die Deepfake-Erkennung den manipulierten Inhalt als solchen erkennen.
