Rogue AI: Wenn KI zur Bedrohung wird

Mit dem Aufstieg autonomer KI-Agenten wächst auch das Risiko

[datensicherheit.de, 10.03.2025] Künstliche Intelligenz (KI) ist aus dem Unternehmensalltag nicht mehr wegzudenken. Doch mit dem Aufstieg autonomer KI-Agenten wächst auch das Risiko: Udo Schneider, Governance, Risk and Compliance Lead, Europe bei Trend Micro, liefert tiefere Einblicke im Gespräch mit datensicherheit.de (ds) zu den Fragen was passiert, wenn KI-Systeme sich verselbstständigen, Regeln umgehen oder für Cyberangriffe missbraucht werden.

Udo Schneider, Governance, Risk and Compliance Lead, Europe bei Trend Micro, Bild: Trend Micro

ds: Wo findet sich Rogue AI im KI-Ökosystem wieder?

Schneider: „Die nächste Entwicklungsstufe nach dem KI-Umbruch war generative KI – und nun sind es KI-Agenten, die eigenständig handeln und mehrere Modelle miteinander verknüpfen. Je komplexer diese KI-Systeme werden, desto größer ist die Gefahr von Sicherheitslücken. Rogue AI ist keine ferne Zukunftsmusik – sie stellt bereits heute eine ernstzunehmende Herausforderung für Security-Teams dar. Mit der fortschreitenden Verbreitung dieser Technologien müssen Unternehmen dringend geeignete Schutzmaßnahmen ergreifen.“

ds: Was genau versteht man unter „Rogue AI“? Gibt es unterschiedliche Typen?

Schneider: „Als ‚Rogue AI’ bezeichnet man KI-Systeme, die sich entgegen den Interessen ihrer Entwickler, Nutzer oder sogar der gesamten Gesellschaft verhalten. Grundsätzlich gibt es dabei drei Hauptkategorien: versehentliche, unterwanderte und bösartige Rogues. Versehentliche Rogues entstehen unbeabsichtigt durch menschliche oder technische Fehler. Fehlkonfigurationen, unzureichende Tests oder schwache Sicherheitskontrollen können zum Beispiel dazu führen, dass eine KI diskriminierende Ergebnisse liefert, übermäßige Zugriffsrechte erhält oder sensible Daten preisgibt. Außerdem können agentische KI-Frameworks in Endlosschleifen geraten und dadurch enorme Ressourcen verbrauchen – mit potenziell hohen Kosten und Systemausfällen als Folge.

Im Gegensatz zu versehentlichen Rogues sind unterwanderte und bösartige KI-Systeme das Ergebnis gezielter Manipulationen. Unterwanderte Rogue-KIs entstehen, wenn Cyberkriminelle ein bestehendes System infiltrieren und zweckentfremden – etwa indem sie es dazu bringen, falsche Informationen auszugeben oder vertrauliche Daten preiszugeben. Bösartige Rogue-KIs hingegen wurden von Anfang an für schädliche Zwecke entwickelt. Als KI-basierte Malware können sie entweder direkt in der IT-Umgebung des Opfers agieren oder auf externen Servern betrieben werden, um Angriffe wie Phishing, automatisierte Exploits oder Deepfake-Betrug durchzuführen.“

ds: Auf welche Angriffstechniken setzen diese Bedrohungsakteure, um KI-Systeme zu manipulieren?

Schneider: „Cyberkriminelle setzen bei unterwanderten Rogue-KIs gezielt auf Schwachstellen in Large Language Models (LLMs). Besonders verbreitet sind zwei Angriffsmethoden: System Jailbreak und Model Poisoning. Beim System Jailbreak nutzen Angreifer sogenannte Prompt-Injection-Techniken, um die internen Sicherheitsmechanismen eines LLMs auszuhebeln. Jedes LLM arbeitet mit einem unsichtbaren System Prompt, der sein Verhalten steuert und festlegt, welche Inhalte es generieren darf – beispielsweise keine diskriminierenden oder kriminellen Aussagen. Durch spezielle Jailbreak-Prompts können Angreifer diesen Schutz umgehen. Solche manipulierten Eingaben kursieren bereits zahlreich im Internet.

Bei Model Poisoning geht es hingegen darum, ein LLM durch manipulierte Daten zu beeinflussen. Dies geschieht entweder durch direkten Zugriff auf die Trainingsdaten oder durch gezielte Platzierung von Desinformation im öffentlichen Raum. Da LLMs Inhalte aus frei zugänglichen Quellen übernehmen, können Angreifer gefälschte Informationsquellen einspielen, die wie seriöse Nachrichtenportale wirken. Ein Audit des Analyseportals NewsGuard hat beispielsweise gezeigt, dass russische Hackergruppen erfolgreich Narrative in große LLMs eingeschleust haben, indem sie solche Fake-Quellen systematisch verbreiteten.“

ds: Zum Thema bösartige Rogues und KI-Malware: Welche Bedrohung geht von KI-Anwendungen aus, die gezielt für cyberkriminelle Aktivitäten designt wurden?

Schneider: „KI-Systeme, die speziell für cyberkriminelle Zwecke entwickelt werden, eröffnen eine neue Dimension der Bedrohung. Es gibt zwar noch keine vollständig autonomen KI-gesteuerten Cyberangriffe; Das könnte sich aber mit dem Fortschritt von KI-Agenten schnell ändern.

Ein bereits bekanntes Szenario zeigt, wie Ransomware-Akteure kleine LLMs direkt auf den Endpunkten ihrer Opfer installieren. Diese KI analysiert die lokale Umgebung, identifiziert besonders wertvolle Daten und extrahiert gezielt Informationen, ohne große, auffällige Datenübertragungen durchzuführen. Dadurch bleiben die Angriffe länger unentdeckt. Außerdem setzt die Malware moderne Anti-Evasion-Techniken aus dem Arsenal aktueller Infostealer ein, um Sicherheitsmechanismen gezielt zu umgehen.“

ds: Wie können sich Unternehmen vor Rogue AI schützen?

Schneider: „Verschiedene Institutionen der Sicherheitsforschung, darunter OWASP (Open Worldwide Application Security Project), MITRE ATT&CK und das MIT (Massachusetts Institute for Technology), haben bereits Frameworks entwickelt, um KI-Risiken systematisch zu erfassen. Die OWASP Top Ten konzentrieren sich auf typische Schwachstellen von LLMs und bieten Strategien zu deren Absicherung. MITRE ATT&CK analysiert Angriffstechniken auf KI, berücksichtigt jedoch noch keine spezifischen Bedrohungen durch KI-Malware. Das AI Risk Repository des MIT listet über 700 KI-Risiken und ordnet sie nach Ursache und Bedrohungskategorie. Diese Frameworks liefern wertvolle Orientierungshilfen, aber ein spezifischer Ansatz für Rogue AI fehlt bislang – insbesondere einer, der sowohl die Ursachen als auch den Angriffskontext berücksichtigt. Um Risiken gezielt zu reduzieren, müssen Unternehmen verstehen, ob eine KI absichtlich oder unbeabsichtigt außer Kontrolle gerät und welche Akteure mit welchen Zielen und Ressourcen dahinterstehen.

Ein effektiver Schutz vor Rogue AI erfordert zudem einen Defense-in-Depth-Ansatz basierend auf Zero Trust: Jedes KI-System muss als potenzielles Risiko betrachtet und konsequent überwacht werden. Unternehmen sollten klar definieren, welche Aktionen eine KI ausführen darf und welche nicht, und ihr Verhalten kontinuierlich auf Abweichungen von diesen Regeln prüfen.

Um zu verhindern, dass KI außer Kontrolle gerät, müssen Sicherheitsmaßnahmen auf allen Ebenen des IT-Stacks implementiert werden – von der Hardware über das Netzwerk bis hin zur Anwendungsebene. Dazu gehören strikte Zugriffsbeschränkungen, eine klare Autorisierung von KI-Diensten, die kontinuierliche Überprüfung von Ein- und Ausgaben sowie ein umfassendes Monitoring aller relevanten Ressourcen. Extended Detection and Response (XDR) kann außerdem dabei helfen, verdächtiges Verhalten frühzeitig zu erkennen und schnell gegenzusteuern.“

Weitere Informationen zzum Thema:

datensicherheit.de, 24.02.2025
Responsible AI: Vertrauen, Security und Governance sind Voraussetzungen

Trend Micro
Rogue AI: Was der Sicherheitsgemeinschaft fehlt