Zum Hauptinhalt springen
KI-Gefährdung · KI-Verordnung Art. 15

T10 Adversarial Examples (gezielte Umgehung)

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein Personaldienstleister lässt Lebensläufe von einem Sprachmodell vorsortieren. Ein Bewerber versteckt in weißer Schrift auf weißem Grund eine Liste passender Schlagworte und den Satz, das System möge ihn als hervorragend geeignet einstufen. Für Menschen ist der Text unsichtbar, das Modell liest ihn mit. Der Bewerber landet auf Platz eins der Rangliste. Ein KI-System nimmt seine Eingaben anders wahr als ein Mensch, und genau diese Lücke nutzen Angreifer aus.

Art. 15 Abs. 5 der KI-Verordnung nennt Eingaben, die ein KI-Modell zu Fehlern verleiten sollen, ausdrücklich als KI-spezifische Schwachstelle. Im Produkt heißt die Gefährdung nach dem Fachbegriff Adversarial Examples: gezielt gestaltete Eingaben, die ein System täuschen und zu falschen Ausgaben bringen.

Was steckt dahinter?

Modelle entscheiden anhand statistischer Muster, die sich von dem unterscheiden können, worauf Menschen achten. Kleine, gezielte Veränderungen einer Eingabe, die ein Mensch übersieht, können das Ergebnis eines Modells komplett umdrehen. Anders als bei Data oder Model Poisoning bleibt das Modell dabei unverändert. Der Angriff findet zur Laufzeit statt, allein über die Eingabe.

Erscheinungsformen

  • Unsichtbare Störungen. Minimal veränderte Pixel oder Töne, die niemand wahrnimmt, lassen ein Modell ein Objekt oder ein Wort falsch erkennen.
  • Physische Aufkleber und Muster. Forschungsteams haben gezeigt, dass Aufkleber auf Verkehrsschildern oder bedruckte Brillengestelle Bild- und Gesichtserkennung in die Irre führen können.
  • Umgehung von Erkennungssystemen. Schadsoftware, Spam oder Betrugsmuster werden so abgewandelt, dass ein Klassifikator sie als harmlos einstuft, ohne dass sie ihre Wirkung verlieren.
  • Manipulierte Texte und Prompts. Tippfehler, ähnlich aussehende Zeichen oder versteckte Anweisungen bringen Sprachmodelle dazu, Filter zu umgehen oder fremde Anweisungen auszuführen. Fachleute sprechen von Prompt Injection und Jailbreaks.
  • Täuschung biometrischer Systeme. Im weiteren Sinn gehören auch Masken, Fotos oder synthetische Gesichter und Stimmen dazu, mit denen jemand eine fremde Identität vortäuscht.

Wer angreift und warum

Die Motive sind vielfältig: einen Vorteil erschleichen (Kredit, Stelle, Versicherung), einer Erkennung entgehen (Betrug, Schadsoftware), sabotieren oder ein Unternehmen bloßstellen, indem ein Chatbot zu peinlichen Aussagen gebracht wird. Angreifer brauchen dafür nicht immer Einblick in das Modell. Oft reicht es, das System wiederholt abzufragen und die Antworten auszuwerten. Zudem wirken Täuschungen, die für ein Modell entwickelt wurden, häufig auch bei anderen Modellen mit ähnlicher Aufgabe.

Schadensausmaß

Die Folgen reichen von Entscheidungen zugunsten des Angreifers über ausgehebelte Sicherheitsfunktionen bis zu Gefahren für Leib und Leben bei autonomen Systemen. Bei Sprachmodellen, die auf Daten zugreifen oder Aktionen auslösen dürfen, kann eine eingeschleuste Anweisung vertrauliche Informationen nach außen tragen. Besonders kritisch sind Systeme mit Schutzfunktion, denn wer sie täuscht, schaltet genau diesen Schutz aus.

Praxisbeispiele

Betrugserkennung im Onlinehandel. Eine Betrügergruppe testet mit vielen kleinen Bestellungen, welche Merkmale das Modell des Händlers als verdächtig einstuft. Schritt für Schritt passt sie Lieferadressen, Bestellzeiten und Zahlungsarten an, bis die Bestellungen durchgehen. Danach folgt eine Welle großer Bestellungen mit gestohlenen Karten.

Gesichtserkennung an der Zutrittskontrolle. Ein Unternehmen sichert seinen Serverraum mit einer Kamera, die Gesichter erkennt. Das System prüft nicht, ob ein lebender Mensch vor der Kamera steht. Ein hochaufgelöstes Foto eines Berechtigten auf einem Tablet genügt, um die Tür zu öffnen.

Eingeschleuste Anweisung beim E-Mail-Assistenten. Ein KI-Assistent fasst eingehende E-Mails zusammen und darf Nachrichten weiterleiten. Eine externe E-Mail enthält einen versteckten Absatz mit der Anweisung, die letzten Rechnungen an eine fremde Adresse zu schicken. Der Assistent führt sie aus, weil er die Anweisung nicht von gewöhnlichem Inhalt unterscheiden kann.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.5 Folgenabschätzung für KI-Systeme: Die Abschätzung fragt, wer von einer Täuschung des Systems profitieren könnte und was ein gezielter Missbrauch für betroffene Personen bedeuten würde.
  • A.6.2 Lebenszyklus von KI-Systemen: Der Entwurf berücksichtigt KI-spezifische Sicherheitsbedrohungen. Zur Leistungsbewertung kann es gehören, fehlerhafte oder irreführende Eingaben kontrolliert einzuspielen und ihre Wirkung zu messen.
  • A.10 Beziehungen zu Dritten und Kunden: Lieferanten geben Auskunft über Robustheit und bekannte Angriffsflächen, und die Verantwortung für Eingabekanäle ist zwischen Anbieter und Betreiber geklärt.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung im Betrieb und die Ereignisprotokolle zeigen ungewöhnliche Eingabemuster, auffällige Abfragehäufungen und Ausgaben außerhalb des vorgesehenen Bereichs.

Reaktion:

Bezug zur KI-Verordnung

Art. 15 Abs. 5 der KI-Verordnung (EU) 2024/1689 verlangt für Hochrisiko-Systeme, wo angemessen, Maßnahmen, um Eingaben, die das Modell zu Fehlern verleiten sollen, zu verhindern, zu erkennen und zu beherrschen. Art. 15 Abs. 1 und 4 fordern ein angemessenes Maß an Robustheit und Cybersicherheit, auch gegenüber Fehlern, die aus der Interaktion mit Menschen oder anderen Systemen entstehen. Betreiber verwenden das System nach Art. 26 gemäß der Gebrauchsanweisung und überwachen seinen Betrieb. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen ihre Modelle nach Art. 55 unter anderem mit Angriffstests bewerten (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Was ist ein Adversarial Example?

Eine Eingabe, die gezielt so gestaltet ist, dass ein KI-Modell sie falsch verarbeitet. Oft ist die Veränderung für Menschen kaum oder gar nicht zu erkennen, etwa ein leicht verändertes Bild oder versteckter Text. Die KI-Verordnung nennt solche Eingaben in Art. 15 Abs. 5 ausdrücklich, auch unter dem Begriff „model evasion“.

Warum betrifft T10 auch Betreiber?

Der Betreiber kontrolliert den Eingabekanal. Er entscheidet, wer dem System Daten zuführen darf, ob Eingaben vorab geprüft werden und welche Aktionen das System selbstständig auslösen darf. Gerade bei Sprachmodellen mit Zugriff auf E-Mails oder Dokumente liegt ein großer Teil des Schutzes bei ihm.

Lassen sich Adversarial Examples vollständig verhindern?

Nach heutigem Stand nicht. Robustes Training, Eingabeprüfungen und gezielte Tests senken das Risiko, doch Angreifer finden immer wieder neue Varianten. Deshalb gehören Überwachung im Betrieb, begrenzte Rechte des Systems und eine menschliche Prüfung kritischer Entscheidungen dazu.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.