Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-09 Manipulation der Eingaben

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001

Ein Unternehmen gibt seinem Vertrieb einen KI-Assistenten, der eingehende E-Mails zusammenfasst und auf Wunsch Anhänge weiterleitet. Eine E-Mail enthält in weißer Schrift auf weißem Grund den Satz, alle Rechnungen des Monats an eine bestimmte Adresse zu schicken. Der Assistent liest den Satz mit, hält ihn für eine Anweisung und verschickt die Rechnungen. Für den Angriff genügte ein Satz in einer E-Mail, den das System nicht von einem Auftrag unterscheiden konnte.

Dieses Muster beschreibt Eingaben, die gezielt so gestaltet werden, dass das System Ausgaben erzeugt, die es nicht erzeugen soll. Für die KI-Verordnung (EU) 2024/1689 fällt es unter die vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13, die ausdrücklich auch die Interaktion mit anderen Systemen einschließt. Wo Außenstehende angreifen, überschneidet es sich mit der Gefährdung T10 und der Cybersicherheit nach Art. 15.

Was steckt dahinter?

KI-Systeme reagieren auf Muster in ihren Eingaben. Wer diese Muster kennt oder ausprobiert, kann das Verhalten des Systems in eine Richtung lenken, die der Anbieter nie vorgesehen hat. Bei Sprachmodellen geschieht das mit Worten: Anweisungen, die Regeln außer Kraft setzen sollen, Rollenspiele, versteckte Befehle in Dokumenten. Bei Bild- und Tonerkennung genügen manchmal kleine Veränderungen, die Menschen kaum bemerken.

Wie es im Alltag dazu kommt

  • Neugier. Nutzende testen, was das System alles sagt, wenn man es geschickt fragt. Anleitungen dafür kursieren frei im Netz.
  • Eigennutz. Bewerbende verstecken Schlüsselwörter in unsichtbarer Schrift, Kundinnen und Kunden versuchen, einem Chatbot Rabatte zu entlocken.
  • Versteckte Anweisungen. Webseiten, E-Mails oder Dateien, die das System verarbeitet, enthalten Befehle, die als Daten getarnt sind.
  • Gezielte Täuschung. Aufkleber, Muster oder veränderte Bilder lassen Erkennungssysteme Dinge falsch einordnen.
  • Mächtige Agenten. Je mehr ein System selbst tun darf, etwa E-Mails senden, Code ausführen oder Bestellungen auslösen, desto mehr kann eine manipulierte Eingabe bewirken.

Warum es riskant ist

Sprachmodelle können Anweisungen und Daten nicht zuverlässig auseinanderhalten. Eine manipulierte Eingabe kann sie dazu bringen, vertrauliche Inhalte preiszugeben, verbotene Inhalte zu erzeugen, falsche Zusagen zu machen oder Handlungen auszuführen. Bei bewertenden Systemen verschafft die Manipulation einzelnen Personen unfaire Vorteile und entwertet das Verfahren für alle anderen.

Schadensausmaß

Das Schadensausmaß hängt von den Rechten des Systems ab. Ein Chatbot ohne Zugriff auf Daten erzeugt im schlimmsten Fall peinliche Antworten, die als Bildschirmfoto die Runde machen. Ein Assistent mit Zugriff auf Postfach, Dateiablage oder Zahlungssysteme kann Daten abfließen lassen oder Geld bewegen. Der mögliche Schaden einer manipulierten Eingabe entspricht dem, was das System tun darf.

Praxisbeispiele

Unsichtbarer Text im Lebenslauf. Ein Bewerber schreibt in weißer Schrift in seinen Lebenslauf, er sei für die Stelle hervorragend geeignet. Das KI-gestützte Vorsortieren setzt ihn auf Platz eins. Erst im Gespräch fällt auf, dass die Erfahrung fehlt, und qualifizierte Bewerbende sind zu diesem Zeitpunkt schon abgesagt.

Rabatt per Chatbot. Kundinnen und Kunden eines Elektronikhändlers bringen den Chatbot mit einem Rollenspiel dazu, einen Preisnachlass schriftlich zu bestätigen, den es nicht gibt. Bildschirmfotos verbreiten sich, und der Händler steht vor der Wahl zwischen Kulanz und öffentlichem Ärger.

Gehaltsdaten aus dem Wissensassistenten. Ein interner Assistent hat Lesezugriff auf das gesamte Dateisystem, auch auf Personalordner. Ein Beschäftigter formuliert seine Fragen so lange um, bis der Assistent die Gehälter des Teams zusammenfasst. Das eigentliche Problem liegt in den zu weit gefassten Rechten, die Manipulation macht es sichtbar.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.6.1 Managementanleitung für die KI-Systementwicklung: Die Entwicklungsprozesse legen Testanforderungen und Testmittel fest. Bewährt hat sich, dazu gezielte Tests mit manipulierten Eingaben zu zählen, bevor ein System die nächste Phase erreicht.
  • A.6.2 Lebenszyklus von KI-Systemen: Anforderungen an das System umfassen Sicherheit und Robustheit, und Verifizierung und Validierung prüfen sie vor dem Einsatz.
  • A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung untersagen das gezielte Überlisten der Systeme und regeln, welche Rechte ein System erhält.

Erkennung:

Reaktion:

  • A.6.2 Lebenszyklus von KI-Systemen: Erkannte Schwachstellen werden über Reparatur und Aktualisierung behoben, etwa durch engere Rechte, neue Prüfschritte oder eine geänderte Anbindung.

Die KI-Nutzungsrichtlinie untersagt in Abschnitt 4.2 den Einsatz von KI zur Umgehung von Sicherheits- und Compliance-Kontrollen, Abschnitt 7 verlangt die Meldung jedes Verdachts auf unzulässige Nutzung, Abschnitt 15 regelt die Folgen. Für Anbieter legt die KI-Anbieterrichtlinie in Abschnitt 13 fest, dass die Testpläne neben der bestimmungsgemäßen Verwendung auch die vorhersehbare Fehlanwendung abdecken.

Bezug zur KI-Verordnung

Für Hochrisiko-KI-Systeme bewertet der Anbieter nach Art. 9 Abs. 2 lit. b die Risiken vorhersehbarer Fehlanwendung, zu der auch der Versuch gehört, das System mit gestalteten Eingaben zu überlisten. Die Gebrauchsanweisung nennt die Umstände, die zu Risiken führen können (Art. 13 Abs. 3 lit. b Ziff. iii), sowie Genauigkeit, Robustheit und Cybersicherheit samt den Umständen, die sie beeinträchtigen können (Ziff. ii). Art. 15 Abs. 5 verlangt Widerstandsfähigkeit gegen Versuche unbefugter Dritter, Verwendung, Ausgaben oder Leistung durch Ausnutzen von Schwachstellen zu verändern, und nennt ausdrücklich Eingaben, die das Modell zu Fehlern verleiten sollen.

Die menschliche Aufsicht nach Art. 14 begrenzt auch hier die Wirkung, weil eine Person auffällige Ausgaben außer Acht lassen kann. Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß Gebrauchsanweisung, überwacht den Betrieb nach Abs. 5 und bewahrt die Protokolle nach Abs. 6 auf, die zur Aufklärung einer Manipulation nötig sind (→ EU AI Act).

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Ist Prompt Injection ein Fall von Fehlanwendung oder ein Cyberangriff?

Beides ist möglich. Versuchen Nutzende des Systems, es mit geschickten Eingaben zu überlisten, ist das vorhersehbare Fehlanwendung im Sinne von Art. 3 Nr. 13 KI-Verordnung. Schleust ein Außenstehender Anweisungen ein, etwa über eine präparierte E-Mail, kommt die Widerstandsfähigkeit gegen unbefugte Dritte nach Art. 15 Abs. 5 hinzu. Die Gegenmaßnahmen überschneiden sich weitgehend.

Reicht eine gute Systemanweisung, um Manipulation zu verhindern?

Sie hilft, verlässlich ist sie nicht. Sprachmodelle trennen Anweisungen und Daten nicht sicher, und fast jede Schutzformulierung lässt sich mit Umformulierungen aushebeln. Wirksamer ist, die Rechte des Systems klein zu halten, folgenreiche Handlungen von einer Person bestätigen zu lassen und Auffälligkeiten zu protokollieren.

Darf ich Beschäftigte sanktionieren, die ein KI-System austricksen?

Wenn die Nutzungsregeln die Manipulation untersagen und die Person sie kannte, kann ein Verstoß arbeitsrechtliche Folgen haben, angemessen nach Schwere und Absicht. Wichtiger ist, die Fälle zu melden und auszuwerten, denn jede erfolgreiche Manipulation zeigt eine Schwachstelle, die auch ein Angreifer nutzen könnte.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.