Ein Anbieter von E-Mail-Filtern trainiert sein Modell regelmäßig mit den Rückmeldungen seiner Nutzerinnen und Nutzer nach: Wer eine Nachricht aus dem Spamordner zurückholt, liefert ein neues Trainingsbeispiel. Eine Gruppe von Angreifern legt Hunderte Konten an, schickt sich gegenseitig ihre Phishing-Mails und markiert sie als erwünscht. Nach einigen Trainingsrunden lässt der Filter genau diese Mails durch. Wer die Trainingsdaten kontrolliert, kontrolliert das Verhalten des Modells.
Art. 15 Abs. 5 der KI-Verordnung nennt diesen Angriff ausdrücklich. Hochrisiko-Systeme müssen danach Versuchen Unbefugter standhalten, ihre Ausgaben oder ihre Leistung über Schwachstellen zu verändern, und zu den geforderten technischen Lösungen gehören, wo angemessen, Maßnahmen gegen die Manipulation von Trainingsdatensätzen. Auch ISO/IEC 42001 führt Data Poisoning als Beispiel einer Risikoquelle des maschinellen Lernens und als KI-spezifische Sicherheitsbedrohung.
Was steckt dahinter?
Data Poisoning ist ein Angriff auf die Trainingsphase. Angreifer fügen Trainingsbeispiele hinzu, verändern sie oder entfernen sie, damit das Modell etwas Falsches lernt. Im Unterschied zu zufälligen Datenmängeln ist die Verfälschung gewollt und meist so angelegt, dass sie nicht auffällt. Das Ergebnis ist ein Modell, das in den meisten Fällen korrekt arbeitet und genau dort versagt, wo der Angreifer es will.
Angriffsformen
- Vertauschte Labels. Angreifer ändern gezielt die Bezeichnung einzelner Beispiele, etwa von „bösartig“ zu „harmlos“. Schon ein kleiner Anteil kann die Erkennung einer bestimmten Klasse spürbar verschlechtern.
- Hintertür über die Daten. Beispiele mit einem unauffälligen Auslöser, etwa einem bestimmten Muster im Bild oder einer Wortfolge, erhalten das vom Angreifer gewünschte Ergebnis. Das Modell verhält sich normal, bis der Auslöser auftaucht.
- Gezielte Verschiebung. Die Daten werden so verändert, dass ein einzelner Fall oder eine Gruppe anders behandelt wird, etwa damit eine bestimmte Fälschung nie erkannt wird.
- Vergiftete Rückkopplung. Systeme, die aus Reaktionen ihrer Nutzer lernen, werden mit massenhaft gefälschten Reaktionen in eine Richtung gedrängt.
Einfallstore
Angreifer nutzen öffentliche Datenquellen und Web-Crawls, in denen sie eigene Inhalte platzieren können. Forschungsarbeiten haben gezeigt, dass sich auch sehr große, aus dem Netz gesammelte Datensätze mit überschaubarem Aufwand vergiften lassen. Weitere Wege sind zugekaufte Datensätze, externe Dienstleister für das Labeln, Innentäter mit Schreibzugriff auf Datenspeicher und Nutzerdaten, die ungeprüft ins Nachtraining fließen.
Schadensausmaß
Data Poisoning untergräbt die Integrität des Systems. Je nach Einsatz öffnet es Sicherheitsfilter für Angreifer, verfälscht Diagnosen oder Kreditentscheidungen oder schadet dem Ruf des Anbieters, sobald der Angriff bekannt wird. Vergiftete Modelle sind schwer zu entlarven, weil sie in gewöhnlichen Tests unauffällig bleiben. Die Bereinigung ist aufwendig: Betroffene Daten müssen gefunden und entfernt, das Modell neu trainiert und ausgelieferte Versionen gegebenenfalls zurückgezogen werden.
Praxisbeispiele
Labeling-Dienstleister in der Medizintechnik. Ein Anbieter von Software zur Bildauswertung lässt Aufnahmen extern annotieren. Eine Person beim Dienstleister kennzeichnet einen Teil der Bilder mit einem seltenen Befund als unauffällig. Das Modell übersieht diesen Befund später systematisch, was erst durch die Rückmeldung einer Klinik auffällt.
Öffentliche Quellen für einen Code-Assistenten. Ein Anbieter trainiert einen Programmierassistenten mit öffentlich zugänglichem Quellcode. Angreifer haben zuvor zahlreiche Projekte veröffentlicht, die ein bestimmtes unsicheres Muster enthalten. Der Assistent schlägt dieses Muster nun bevorzugt vor, und es landet in fremden Anwendungen.
Innentäter in der Datenstrecke. Bei einem Anbieter eines Systems zur Betrugserkennung markiert ein Beschäftigter mit Zugriff auf die Datenaufbereitung Zahlungen bestimmter Händlerkonten als unbedenklich. Das Modell lernt, diese Zahlungen durchzuwinken, und der Schaden zeigt sich erst bei den Kunden des Anbieters.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.7 Daten für KI-Systeme: Die Organisation dokumentiert, wie Daten beschafft und ausgewählt werden, zeichnet ihre Herkunft über den Lebenszyklus auf und legt Anforderungen an Qualität und Aufbereitung fest. Ob die Herkunft eigens verifiziert werden muss, richtet sich nach Quelle, Inhalt und Verwendungszweck.
- A.6.2 Lebenszyklus von KI-Systemen: Die Entwurfsdokumentation berücksichtigt KI-spezifische Sicherheitsbedrohungen, zu denen ISO/IEC 42001 Data Poisoning ausdrücklich zählt.
- A.10 Beziehungen zu Dritten und Kunden: Lieferanten von Datensätzen und Dienstleister für das Labeln werden nach ihrem Risiko ausgewählt, verpflichtet und überwacht.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung messen jede neue Modellversion an festgelegten Kriterien, und die Überwachung im Betrieb achtet gezielt auf KI-spezifische Angriffe.
Reaktion:
- A.7 Daten für KI-Systeme: Aufzeichnungen zur Herkunft zeigen, welche Daten betroffen sind, und ermöglichen ein neues Training auf bereinigter Grundlage.
- A.6.2 Lebenszyklus von KI-Systemen: Ein Plan für Ausfälle mit Rückkehr zur geprüften Vorversion begrenzt den Schaden, bis das bereinigte Modell bereitsteht.
Bezug zur KI-Verordnung
Art. 15 Abs. 5 der KI-Verordnung (EU) 2024/1689 verlangt von Hochrisiko-Systemen Widerstandsfähigkeit gegen Versuche Unbefugter, Nutzung, Ausgaben oder Leistung über Schwachstellen zu verändern. Gegen KI-spezifische Schwachstellen sollen die technischen Lösungen, wo angemessen, Angriffe auf die Trainingsdaten verhindern, erkennen, beantworten, beheben und kontrollieren. Art. 10 regelt die Daten-Governance mit Herkunft, Erhebung und Aufbereitung der Trainingsdaten. Für weiterlernende Systeme verlangt Art. 15 Abs. 4 Maßnahmen gegen problematische Rückkopplungsschleifen. Führt ein erfolgreicher Angriff zu einem schwerwiegenden Vorfall, greift die Meldepflicht der Anbieter nach Art. 73 (→ EU AI Act).
Verwandte Gefährdungen
- T09 Model Poisoning (Modell-Manipulation): Dort trifft die Manipulation das Modell oder seine vortrainierten Bausteine direkt.
- T04 Mangelnde Datenqualität: Dieselben Schutzmaßnahmen helfen gegen Versehen und Absicht.
- T10 Adversarial Examples (gezielte Umgehung): Die Täuschung zur Laufzeit ergänzt den Angriff auf das Training.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 10, 15, 25 und 73
- ISO/IEC 42001:2023, Anhang C.3.4 sowie Anhang B.6.2.3 und B.6.2.6 (KI-spezifische Sicherheitsbedrohungen)
- EU AI Act im Cenedril-Wiki: Pflichten für Hochrisiko-Systeme im Überblick