Chat-Kontrolle: Guter Zweck, zweifelhafte Mittel und verhängnisvolle Folgen

IT-Sicherheitsexpertin Patrycja Schrenk warnt vor anlassloser Chat-Massenüberwachung durch Echtzeit-Scans

[datensicherheit.de, 18.08.2022] Aktuelle Pläne der EU-Kommission sehen ein neues Gesetz zur Chat-Kontrolle vor. Ziel sei es, den Kampf gegen sexuellen Missbrauch Minderjähriger voranzutreiben. Patrycja Schrenk, Geschäftsführerin der PSW GROUP, betont: „Das ist zweifelsfrei dringend notwendig.“ Indes warnt sie in diesem Zusammenhang eindringlich: „Doch erreicht werden soll dies, indem die Privatsphäre unter anderem auf unser aller Mobiltelefone ausgehebelt wird. Ob jedoch die anlasslose Massenüberwachung auch unbescholtener Bürgerinnen und Bürger die Strafverfolgung in dieser Hinsicht wirklich weiterbringt, bezweifle ich stark.“

Foto: PSW GROUP

Patrycja Schrenk: Problematisch bei den aktuell vorhandenen Technologien ist mitunter die hohe Fehlerquote…

Chat-Kontrolle meint Durchleuchten von Online-Kommunikation in Messengern, Sozialen Netzwerken und E-Mails

Es seien zweifelsohne erschreckende Zahlen der EU-Kommission: Allein im Jahr 2021 habe es 85 Millionen Meldungen von Bildern und Videos mit der Darstellung sexuellen Kindesmissbrauchs gegeben – die Dunkelziffer liege weitaus höher.

Um Kindesmissbrauch mit neuen Methoden verfolgen zu können, habe die EU-Kommission nun einen Gesetzesvorschlag zum Schutz von Kindern präsentiert: Mit der sogenannten Chat-Kontrolle – also dem Durchleuchten von Online-Kommunikation in Messengern, Sozialen Netzwerken oder auch per E-Mail – möchte die EU Algorithmen einführen, welche erkennen könnten, ob und wann Material zu Kindesmissbrauch online geteilt wird.

Technische Lösungen zur Chat-Kontrolle mit datenschutzrechtlichen Nachteilen

Um dies zu erreichen, könnte Künstliche Intelligenz (KI) zum Einsatz kommen: Der Algorithmus erkenne bereits bekanntes Material anhand eines Hashwerts, also eines einzigartigen, den Datei-Inhalt beschreibenden Wertes. Ist den Algorithmen – und damit auch den Behörden – ein Bild bekannt, auf dem Kindesmissbrauch dargestellt wird, könnten alle Bilder damit abgeglichen werden.

Um bisher nicht bekanntes Material erkennen zu können, sollten die Algorithmen mittels Machine Learning, also Maschinellem Lernen, dazulernen können. Allerdings: „Das anlasslose Scannen von Kommunikationen im Internet ist ein großer Eingriff in die Privatsphäre“, warnt Schrenk.

Konkrete technische Lösungen zur Chat-Kontrolle bisher offengelassen

Welche technischen Lösungen eingesetzt werden sollen, habe die EU-Kommission zudem offengelassen. Aktuell seien zwei Verfahren im Gespräch. So sollten entweder Anbieter Nachrichten vor dem Verschlüsseln durchleuchten, wobei möglicherweise Nachrichten dann unverschlüsselt ausgeleitet würden. Dieses „client-side scanning“ (CSS) sei indes gefährlich für die IT-Sicherheit:

Staatliche Stellen erhielten Zugang zu privaten Inhalten, „so dass es sich um Abhöraktionen handelt“. Viele Nutzergeräte wiesen zudem Schwachstellen auf, welche durch die Überwachungs- und Kontrollmöglichkeiten des CSS von weiteren Akteuren ausgenutzt werden könnten. CSS schwäche aber auch die Meinungsfreiheit und Demokratie: Einmal eingeführt, werde es schwer, sich gegen etwaige Ausweitungen zur Wehr zu setzen oder Kontrolle über den Missbrauch des Systems zu erhalten, so Schrenk.

Hintertür im Messenger zur Chat-Kontrolle erwogen

Ein zweites Verfahren wäre die Aushebelung der Verschlüsselung durch die Messenger-Dienste selbst. Hierzu möchte die EU Anbieter zu einer „Hintertür“ im Messenger verpflichten, „so dass über diese auf die Inhalte des Smartphones zugegriffen werden kann“.

Davon betroffen seien Host-Provider, einschließlich Foto- und Video-Plattformen, Zugangs-Provider, App-Store-Betreiber sowie interpersonelle Kommunikationsdienste wie Messenger und E-Mail. Diesen Diensten solle vorgeschrieben werden, Chats, Nachrichten sowie E-Mails mittels KI nach verdächtigen Inhalten zu durchleuchten. Als verdächtig erkannte Inhalte sollten an Strafverfolgungsbehörden weitergeleitet werden, um den Anfangsverdacht zu überprüfen.

Konsequenz: Harmlose Nachrichten, Chats, Videos oder Fotos von Unschuldigen gesichtet und unnötig verbreitet

„Problematisch bei den aktuell vorhandenen Technologien ist mitunter die hohe Fehlerquote: Auch irrtümliche Treffer müssen an die Strafverfolgungsbehörden gesendet werden, so dass harmlose Nachrichten, Chats, Videos oder Fotos von Unschuldigen gesichtet und unnötig verbreitet werden“, erläutert Schrenk. In der Praxis bedeute dies: Personen, die im geplanten EU-Zentrum arbeiten, müssten falsch-positives Material händisch aussortieren. Damit bekämen Ermittler auch legale Aufnahmen Minderjähriger zu sehen.

„Falsch-positive Ergebnisse entstehen, weil die scannende KI den Kontext nicht versteht: Verbringt eine Familie den Sommer am Strand und schickt einander die entstandenen Fotos zu, landen diese unter Umständen in der EU-Zentrale und bei Europol. Privatsphäre sieht anders aus.“ Schrenk kommentiert weiter: „Was folgt, könnte eine nie da gewesene Massenüberwachung aller Bürgerinnen und Bürger sein – anlasslos und vollautomatisiert. Damit würde das Recht auf Verschlüsselung ausgehebelt und das digitale Briefgeheimnis abgeschafft werden.“

Algorithmen zur Chat-Kontrolle weder Öffentlichkeit noch Wissenschaft zugänglich

„Wir dürfen uns auch nichts vormachen: Maschinell nach Grooming-Versuchen oder derzeit unbekannten Missbrauchsdarstellungen suchen zu wollen, ist rein experimentell – auch, beziehungsweise gerade, unter Verwendung von KI. Denn die Algorithmen, die dabei eingesetzt werden, sind weder der Öffentlichkeit noch der Wissenschaft zugänglich.“ Schrenk kritisiert hierzu: „Und eine Offenlegungspflicht ist in dem Gesetzentwurf nicht zu finden.“

Kommunikationsdienste, die für Grooming-Versuche missbraucht werden könnten – und darunter fielen alle Kommunikationsdienste – müssten Altersverifikationen der Nutzern durchführen. „Das geht nur, wenn diese sich ausweisen. Damit wird die anonyme Kommunikation de facto unmöglich gemacht, was gerade Menschenrechtler, Whistleblower, politisch Verfolgte, Journalisten oder marginalisierte Gruppen bedrohen könnte“, moniert Schrenk nachdrücklich.

Chat-Kontrolle stellt alle unter Generalverdacht:

Die Selbsteinschätzung „Ich habe aber nichts zu verbergen“ sei falsch. Aus Datenschutzsicht sei der Entwurf zum Chat-Kontrolle-Gesetz nämlich katastrophal, denn jeder stehe unter Generalverdacht: „Wer glaubt, er oder sie hätte nichts zu verbergen, sollte darüber nachdenken, dass im Falle einer Chat-Kontrolle alle E-Mails und Chats automatisch auf verdächtige Inhalte durchsucht werden. Es existiert dann keine vertrauliche und geheime Kommunikation mehr.“

Schrenk führt aus: „Gerichte müssen derlei Durchsuchungen nicht mehr anordnen, sie geschehen automatisiert.“ Sie nennt auch die weitreichenden Konsequenzen: „Harmlose Familienfotos vom Strandurlaub werden höchstwahrscheinlich falsch-positiv anschlagen und von internationalen Ermittelnden angesehen.“ Ein Urlaubsfoto, vom Sprössling am Strand an die Oma versendet, mache diese schon verdächtig.

Chat-Kontrolle könnte staatlichen Akteuren wie Geheimdiensten, aber auch Cyber-Kriminellen Zugriff verschaffen

Kommt die Chat-Kontrolle, könnten außerdem weitere staatliche Akteure wie Geheimdienste oder auch Cyber-Kriminelle auf privaten Chats und E-Mails zugreifen. „Etabliert sich die Technologie zur Chat-Kontrolle, ist es einfach, sie auch für andere Zwecke einzusetzen. Die erzwungene ,Hintertür’ ermöglicht nämlich das Überwachen bislang sicher verschlüsselter Kommunikationen auch für andere Zwecke.“ Den Algorithmen sei es egal, „ob sie nach Kindesmissbrauch, Drogenkonsum oder nach unliebsamen Meinungsäußerungen suchen“. In einigen Staaten der EU sei es beispielsweise nicht normal, zur „LGTPQ+“-Bewegung zu gehören. Tatsächlich verwendeten autoritäre Staaten derlei Filter zur Verfolgung und Verhaftung Andersdenkender, so Schrenk.

Schlimmstenfalls schade die Chat-Kontrolle sogar bei der Verfolgung von Kindesmissbrauch, denn Ermittler seien mit oftmals strafrechtlich irrelevanten Meldungen überlastet. „Überdies werden Missbrauchstäter nicht getroffen: Schon jetzt nutzen sie in aller Regel keine kommerziellen Online-Dienste, sondern richten eigene Foren ein. Dort laden sie Bild- und Videomaterial häufig als verschlüsseltes Archiv hoch und teilen nur Links und Passwörter.“ Die Algorithmen der Chat-Kontrolle funktionierten dort nicht. „Sorgen bereitet mir zudem, dass die Strafverfolgung privatisiert würde. Denn dann entscheiden Algorithmen großer Tech-Giganten, welche Inhalte als verdächtig gelten“, gibt Schrenk abschließend zu bedenken.

Weitere Informationen zum Thema:

PSW GROUP CONSULTING – BLOG, 25.07.2022
Pandoras Büchse oder: Die Chatkontrolle – Massenüberwachung durch Echtzeit-Scans

datensicherheit.de, 17.06.2022
Digitalcourage zeigt Engagement, um geplante Chat-Kontrolle zu verhindern / Der Digitalcourage e.V. ruft zur Mithilfe auf

datensicherheit.de, 08.06.2022
Offener Brief an EU: Über 70 Organisationen fordern Rückzug der Chat-Kontrolle / Von EU-Kommission vorgeschlagene Maßnahmen von weiten Teilen der Zivilgesellschaft als grundrechtswidrige Massenüberwachung abgelehnt

datensicherheit.de, 18.05.2022
Chat-Überwachung: Appell an Innenministerin Faeser die drohende Massenüberwachung zu verhindern / Mehr als 113.000 Menschen unterstützen bereits den Aufruf zum Stopp der Chat-Überwachung