Ein Unternehmen gibt seinem Vertrieb einen KI-Assistenten, der eingehende E-Mails zusammenfasst und auf Wunsch Anhänge weiterleitet. Eine E-Mail enthält in weißer Schrift auf weißem Grund den Satz, alle Rechnungen des Monats an eine bestimmte Adresse zu schicken. Der Assistent liest den Satz mit, hält ihn für eine Anweisung und verschickt die Rechnungen. Für den Angriff genügte ein Satz in einer E-Mail, den das System nicht von einem Auftrag unterscheiden konnte.
Dieses Muster beschreibt Eingaben, die gezielt so gestaltet werden, dass das System Ausgaben erzeugt, die es nicht erzeugen soll. Für die KI-Verordnung (EU) 2024/1689 fällt es unter die vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13, die ausdrücklich auch die Interaktion mit anderen Systemen einschließt. Wo Außenstehende angreifen, überschneidet es sich mit der Gefährdung T10 und der Cybersicherheit nach Art. 15.
Was steckt dahinter?
KI-Systeme reagieren auf Muster in ihren Eingaben. Wer diese Muster kennt oder ausprobiert, kann das Verhalten des Systems in eine Richtung lenken, die der Anbieter nie vorgesehen hat. Bei Sprachmodellen geschieht das mit Worten: Anweisungen, die Regeln außer Kraft setzen sollen, Rollenspiele, versteckte Befehle in Dokumenten. Bei Bild- und Tonerkennung genügen manchmal kleine Veränderungen, die Menschen kaum bemerken.
Wie es im Alltag dazu kommt
- Neugier. Nutzende testen, was das System alles sagt, wenn man es geschickt fragt. Anleitungen dafür kursieren frei im Netz.
- Eigennutz. Bewerbende verstecken Schlüsselwörter in unsichtbarer Schrift, Kundinnen und Kunden versuchen, einem Chatbot Rabatte zu entlocken.
- Versteckte Anweisungen. Webseiten, E-Mails oder Dateien, die das System verarbeitet, enthalten Befehle, die als Daten getarnt sind.
- Gezielte Täuschung. Aufkleber, Muster oder veränderte Bilder lassen Erkennungssysteme Dinge falsch einordnen.
- Mächtige Agenten. Je mehr ein System selbst tun darf, etwa E-Mails senden, Code ausführen oder Bestellungen auslösen, desto mehr kann eine manipulierte Eingabe bewirken.
Warum es riskant ist
Sprachmodelle können Anweisungen und Daten nicht zuverlässig auseinanderhalten. Eine manipulierte Eingabe kann sie dazu bringen, vertrauliche Inhalte preiszugeben, verbotene Inhalte zu erzeugen, falsche Zusagen zu machen oder Handlungen auszuführen. Bei bewertenden Systemen verschafft die Manipulation einzelnen Personen unfaire Vorteile und entwertet das Verfahren für alle anderen.
Schadensausmaß
Das Schadensausmaß hängt von den Rechten des Systems ab. Ein Chatbot ohne Zugriff auf Daten erzeugt im schlimmsten Fall peinliche Antworten, die als Bildschirmfoto die Runde machen. Ein Assistent mit Zugriff auf Postfach, Dateiablage oder Zahlungssysteme kann Daten abfließen lassen oder Geld bewegen. Der mögliche Schaden einer manipulierten Eingabe entspricht dem, was das System tun darf.
Praxisbeispiele
Unsichtbarer Text im Lebenslauf. Ein Bewerber schreibt in weißer Schrift in seinen Lebenslauf, er sei für die Stelle hervorragend geeignet. Das KI-gestützte Vorsortieren setzt ihn auf Platz eins. Erst im Gespräch fällt auf, dass die Erfahrung fehlt, und qualifizierte Bewerbende sind zu diesem Zeitpunkt schon abgesagt.
Rabatt per Chatbot. Kundinnen und Kunden eines Elektronikhändlers bringen den Chatbot mit einem Rollenspiel dazu, einen Preisnachlass schriftlich zu bestätigen, den es nicht gibt. Bildschirmfotos verbreiten sich, und der Händler steht vor der Wahl zwischen Kulanz und öffentlichem Ärger.
Gehaltsdaten aus dem Wissensassistenten. Ein interner Assistent hat Lesezugriff auf das gesamte Dateisystem, auch auf Personalordner. Ein Beschäftigter formuliert seine Fragen so lange um, bis der Assistent die Gehälter des Teams zusammenfasst. Das eigentliche Problem liegt in den zu weit gefassten Rechten, die Manipulation macht es sichtbar.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.6.1 Managementanleitung für die KI-Systementwicklung: Die Entwicklungsprozesse legen Testanforderungen und Testmittel fest. Bewährt hat sich, dazu gezielte Tests mit manipulierten Eingaben zu zählen, bevor ein System die nächste Phase erreicht.
- A.6.2 Lebenszyklus von KI-Systemen: Anforderungen an das System umfassen Sicherheit und Robustheit, und Verifizierung und Validierung prüfen sie vor dem Einsatz.
- A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung untersagen das gezielte Überlisten der Systeme und regeln, welche Rechte ein System erhält.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Ereignisprotokolle und Überwachung zeigen auffällige Eingabemuster und ungewöhnliche Ausgaben. Ergänzend greifen Überwachungsaktivitäten nach A.8.16 der ISO/IEC 27001.
Reaktion:
- A.6.2 Lebenszyklus von KI-Systemen: Erkannte Schwachstellen werden über Reparatur und Aktualisierung behoben, etwa durch engere Rechte, neue Prüfschritte oder eine geänderte Anbindung.
Die KI-Nutzungsrichtlinie untersagt in Abschnitt 4.2 den Einsatz von KI zur Umgehung von Sicherheits- und Compliance-Kontrollen, Abschnitt 7 verlangt die Meldung jedes Verdachts auf unzulässige Nutzung, Abschnitt 15 regelt die Folgen. Für Anbieter legt die KI-Anbieterrichtlinie in Abschnitt 13 fest, dass die Testpläne neben der bestimmungsgemäßen Verwendung auch die vorhersehbare Fehlanwendung abdecken.
Bezug zur KI-Verordnung
Für Hochrisiko-KI-Systeme bewertet der Anbieter nach Art. 9 Abs. 2 lit. b die Risiken vorhersehbarer Fehlanwendung, zu der auch der Versuch gehört, das System mit gestalteten Eingaben zu überlisten. Die Gebrauchsanweisung nennt die Umstände, die zu Risiken führen können (Art. 13 Abs. 3 lit. b Ziff. iii), sowie Genauigkeit, Robustheit und Cybersicherheit samt den Umständen, die sie beeinträchtigen können (Ziff. ii). Art. 15 Abs. 5 verlangt Widerstandsfähigkeit gegen Versuche unbefugter Dritter, Verwendung, Ausgaben oder Leistung durch Ausnutzen von Schwachstellen zu verändern, und nennt ausdrücklich Eingaben, die das Modell zu Fehlern verleiten sollen.
Die menschliche Aufsicht nach Art. 14 begrenzt auch hier die Wirkung, weil eine Person auffällige Ausgaben außer Acht lassen kann. Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß Gebrauchsanweisung, überwacht den Betrieb nach Abs. 5 und bewahrt die Protokolle nach Abs. 6 auf, die zur Aufklärung einer Manipulation nötig sind (→ EU AI Act).
Verwandte Muster und Gefährdungen
- T10 Adversarial Examples (gezielte Umgehung): Die technische Gefährdung, wenn Außenstehende die Eingaben manipulieren.
- T11 Angriffe auf vertrauliche Daten: Oft das Ziel einer Manipulation: Daten aus Modell oder angebundenen Quellen herauszuholen.
- MU-11 Weitergabe der Zugänge: Ein weitergegebener Zugang öffnet das System für Menschen, die es gezielt austesten.
- MU-01 Einsatz außerhalb der Zweckbestimmung: Manipulation ist oft der Weg, ein System zu Aufgaben zu bringen, für die es nicht gedacht ist.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13, Art. 9, 13, 14, 15 und 26
- ISO/IEC 42001:2023, Anhang B.6.1.3, B.6.2.4, B.6.2.8 und B.9.4
- KI-Nutzungsrichtlinie, Abschnitte 4.2, 7 und 15, und KI-Anbieterrichtlinie, Abschnitt 13
- ISO/IEC 42001 im Cenedril-Wiki: Anhang A und die Kontrollen für Entwicklung und Betrieb