Organisierte Kriminalität setzt zunehmend auf Deepfakes, um in Videokonferenzen falsche Identitäten vorzutäuschen und Mitarbeiter zu Überweisungen zu bewegen, wie das Fraunhofer-Institut für Sichere Informationstechnologie (Fraunhofer SIT) mitteilt. Als Antwort auf diese Betrugsmasche, bekannt als CEO-Fraud, hat das Institut einen Detektor zur Deepfake-Erkennung entwickelt, der auf der Fachmesse it-sa in Nürnberg vorgestellt wird.
Die Messe findet vom 27. bis zum 29. Oktober 2026 statt. Dort zeigt das Fraunhofer SIT den Demonstrator erstmals einem Fachpublikum aus IT-Sicherheit und Unternehmen, die sich gegen Betrug per gefälschtem Videobild schützen wollen.
Wie funktioniert die Deepfake-Erkennung in der Praxis?
Der Detektor analysiert laufend das Gesicht im Videobild eines Konferenzteilnehmers und berechnet daraus eine Punktzahl. Diese gibt an, wie wahrscheinlich es ist, dass es sich um eine KI-generierte Fälschung handelt, nicht um eine reale Person. Die Bewertung erfolgt in Echtzeit, während das Gespräch läuft, laut Fraunhofer SIT.
Das zugrunde liegende Klassifikationsmodell wurde dem Institut zufolge sowohl mit echten als auch mit manipulierten Video- und Bilddaten trainiert. Dadurch soll die Software lernen, typische Spuren von Deepfake-Erzeugung zu erkennen, selbst wenn die Fälschung auf den ersten Blick überzeugend wirkt.
Wie zuverlässig ist der Detektor?
Die Genauigkeit der Erkennung hängt nach Angaben des Fraunhofer SIT von äußeren Bedingungen ab: Lichtverhältnisse im Videobild und die Qualität der Datenübertragung beeinflussen das Ergebnis. Eine schlechte Internetverbindung oder ungünstiges Licht können die Bewertung demnach erschweren.
Um die Entscheidung des Systems nachvollziehbar zu machen, bietet der Detektor einen zweiten Betriebsmodus. Dabei kommt eine Methode namens Grad-CAM-Analyse zum Einsatz, die mit farbigen Heatmaps sichtbar macht, welche Gesichtsmerkmale zur jeweiligen Einschätzung geführt haben. So lässt sich im Nachhinein prüfen, worauf die KI ihre Bewertung stützt.
Welches Problem soll die Technik lösen?
Hintergrund der Entwicklung ist die wachsende Bedeutung von Videokonferenzen im Berufsalltag und die Tatsache, dass organisierte Kriminalität diese Kommunikationsform gezielt für Betrug nutzt. Beim sogenannten CEO-Fraud geben sich Täter per gefälschtem Video als Führungskraft aus, um Beschäftigte zu Überweisungen zu bewegen.
- Der Detektor bewertet Gesichter im Videobild mit einer Wahrscheinlichkeits-Punktzahl für Deepfakes.
- Ein zweiter Modus zeigt per Grad-CAM-Heatmap, welche Merkmale die Entscheidung ausgelöst haben.
- Lichtverhältnisse und Übertragungsqualität beeinflussen die Erkennungsgenauigkeit.
- Das Klassifikationsmodell wurde mit echten und manipulierten Daten trainiert.
Eine Einschätzung von unabhängigen Fachleuten dazu, wie verbreitet CEO-Fraud per Videokonferenz tatsächlich ist oder wie hoch der dadurch verursachte Schaden liegt, liegt bislang nicht vor. Das Fraunhofer SIT nennt dazu keine eigenen Zahlen.
Zusammenfassung in Zahlen
- Zwei Betriebsmodi des Detektors: Echtzeit-Bewertung und Grad-CAM-Analyse.
- Trainingsbasis: authentische und manipulierte Video- und Bilddaten.
