Zum Hauptinhalt springen
KI-Gefährdung · KI-Verordnung Art. 15

T08 Data Poisoning (Trainingsdaten-Manipulation)

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein Anbieter von E-Mail-Filtern trainiert sein Modell regelmäßig mit den Rückmeldungen seiner Nutzerinnen und Nutzer nach: Wer eine Nachricht aus dem Spamordner zurückholt, liefert ein neues Trainingsbeispiel. Eine Gruppe von Angreifern legt Hunderte Konten an, schickt sich gegenseitig ihre Phishing-Mails und markiert sie als erwünscht. Nach einigen Trainingsrunden lässt der Filter genau diese Mails durch. Wer die Trainingsdaten kontrolliert, kontrolliert das Verhalten des Modells.

Art. 15 Abs. 5 der KI-Verordnung nennt diesen Angriff ausdrücklich. Hochrisiko-Systeme müssen danach Versuchen Unbefugter standhalten, ihre Ausgaben oder ihre Leistung über Schwachstellen zu verändern, und zu den geforderten technischen Lösungen gehören, wo angemessen, Maßnahmen gegen die Manipulation von Trainingsdatensätzen. Auch ISO/IEC 42001 führt Data Poisoning als Beispiel einer Risikoquelle des maschinellen Lernens und als KI-spezifische Sicherheitsbedrohung.

Was steckt dahinter?

Data Poisoning ist ein Angriff auf die Trainingsphase. Angreifer fügen Trainingsbeispiele hinzu, verändern sie oder entfernen sie, damit das Modell etwas Falsches lernt. Im Unterschied zu zufälligen Datenmängeln ist die Verfälschung gewollt und meist so angelegt, dass sie nicht auffällt. Das Ergebnis ist ein Modell, das in den meisten Fällen korrekt arbeitet und genau dort versagt, wo der Angreifer es will.

Angriffsformen

  • Vertauschte Labels. Angreifer ändern gezielt die Bezeichnung einzelner Beispiele, etwa von „bösartig“ zu „harmlos“. Schon ein kleiner Anteil kann die Erkennung einer bestimmten Klasse spürbar verschlechtern.
  • Hintertür über die Daten. Beispiele mit einem unauffälligen Auslöser, etwa einem bestimmten Muster im Bild oder einer Wortfolge, erhalten das vom Angreifer gewünschte Ergebnis. Das Modell verhält sich normal, bis der Auslöser auftaucht.
  • Gezielte Verschiebung. Die Daten werden so verändert, dass ein einzelner Fall oder eine Gruppe anders behandelt wird, etwa damit eine bestimmte Fälschung nie erkannt wird.
  • Vergiftete Rückkopplung. Systeme, die aus Reaktionen ihrer Nutzer lernen, werden mit massenhaft gefälschten Reaktionen in eine Richtung gedrängt.

Einfallstore

Angreifer nutzen öffentliche Datenquellen und Web-Crawls, in denen sie eigene Inhalte platzieren können. Forschungsarbeiten haben gezeigt, dass sich auch sehr große, aus dem Netz gesammelte Datensätze mit überschaubarem Aufwand vergiften lassen. Weitere Wege sind zugekaufte Datensätze, externe Dienstleister für das Labeln, Innentäter mit Schreibzugriff auf Datenspeicher und Nutzerdaten, die ungeprüft ins Nachtraining fließen.

Schadensausmaß

Data Poisoning untergräbt die Integrität des Systems. Je nach Einsatz öffnet es Sicherheitsfilter für Angreifer, verfälscht Diagnosen oder Kreditentscheidungen oder schadet dem Ruf des Anbieters, sobald der Angriff bekannt wird. Vergiftete Modelle sind schwer zu entlarven, weil sie in gewöhnlichen Tests unauffällig bleiben. Die Bereinigung ist aufwendig: Betroffene Daten müssen gefunden und entfernt, das Modell neu trainiert und ausgelieferte Versionen gegebenenfalls zurückgezogen werden.

Praxisbeispiele

Labeling-Dienstleister in der Medizintechnik. Ein Anbieter von Software zur Bildauswertung lässt Aufnahmen extern annotieren. Eine Person beim Dienstleister kennzeichnet einen Teil der Bilder mit einem seltenen Befund als unauffällig. Das Modell übersieht diesen Befund später systematisch, was erst durch die Rückmeldung einer Klinik auffällt.

Öffentliche Quellen für einen Code-Assistenten. Ein Anbieter trainiert einen Programmierassistenten mit öffentlich zugänglichem Quellcode. Angreifer haben zuvor zahlreiche Projekte veröffentlicht, die ein bestimmtes unsicheres Muster enthalten. Der Assistent schlägt dieses Muster nun bevorzugt vor, und es landet in fremden Anwendungen.

Innentäter in der Datenstrecke. Bei einem Anbieter eines Systems zur Betrugserkennung markiert ein Beschäftigter mit Zugriff auf die Datenaufbereitung Zahlungen bestimmter Händlerkonten als unbedenklich. Das Modell lernt, diese Zahlungen durchzuwinken, und der Schaden zeigt sich erst bei den Kunden des Anbieters.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.7 Daten für KI-Systeme: Die Organisation dokumentiert, wie Daten beschafft und ausgewählt werden, zeichnet ihre Herkunft über den Lebenszyklus auf und legt Anforderungen an Qualität und Aufbereitung fest. Ob die Herkunft eigens verifiziert werden muss, richtet sich nach Quelle, Inhalt und Verwendungszweck.
  • A.6.2 Lebenszyklus von KI-Systemen: Die Entwurfsdokumentation berücksichtigt KI-spezifische Sicherheitsbedrohungen, zu denen ISO/IEC 42001 Data Poisoning ausdrücklich zählt.
  • A.10 Beziehungen zu Dritten und Kunden: Lieferanten von Datensätzen und Dienstleister für das Labeln werden nach ihrem Risiko ausgewählt, verpflichtet und überwacht.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung messen jede neue Modellversion an festgelegten Kriterien, und die Überwachung im Betrieb achtet gezielt auf KI-spezifische Angriffe.

Reaktion:

  • A.7 Daten für KI-Systeme: Aufzeichnungen zur Herkunft zeigen, welche Daten betroffen sind, und ermöglichen ein neues Training auf bereinigter Grundlage.
  • A.6.2 Lebenszyklus von KI-Systemen: Ein Plan für Ausfälle mit Rückkehr zur geprüften Vorversion begrenzt den Schaden, bis das bereinigte Modell bereitsteht.

Bezug zur KI-Verordnung

Art. 15 Abs. 5 der KI-Verordnung (EU) 2024/1689 verlangt von Hochrisiko-Systemen Widerstandsfähigkeit gegen Versuche Unbefugter, Nutzung, Ausgaben oder Leistung über Schwachstellen zu verändern. Gegen KI-spezifische Schwachstellen sollen die technischen Lösungen, wo angemessen, Angriffe auf die Trainingsdaten verhindern, erkennen, beantworten, beheben und kontrollieren. Art. 10 regelt die Daten-Governance mit Herkunft, Erhebung und Aufbereitung der Trainingsdaten. Für weiterlernende Systeme verlangt Art. 15 Abs. 4 Maßnahmen gegen problematische Rückkopplungsschleifen. Führt ein erfolgreicher Angriff zu einem schwerwiegenden Vorfall, greift die Meldepflicht der Anbieter nach Art. 73 (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Worin unterscheidet sich Data Poisoning von schlechter Datenqualität?

In der Absicht. Mangelnde Datenqualität entsteht aus Versehen, Data Poisoning ist ein Angriff, der Daten gezielt so verändert, dass das Modell etwas Bestimmtes falsch lernt. Weil Angreifer ihre Spuren tarnen, fallen vergiftete Daten bei gewöhnlichen Qualitätsprüfungen oft gar nicht auf.

Warum betrifft T08 nur Anbieter?

Angegriffen werden die Trainingsdaten, und über das Training entscheidet in der Regel der Anbieter. Ein Betreiber, der ein fertiges System nur nutzt, hat darauf keinen Zugriff. Sobald er das Modell mit eigenen Daten nachtrainiert, übernimmt er diesen Teil der Verantwortung und kann bei Hochrisiko-Systemen nach Art. 25 sogar selbst zum Anbieter werden.

Lässt sich ein vergiftetes Modell reparieren?

Meist nur durch ein neues Training mit bereinigten Daten. Dafür muss die Organisation wissen, welche Daten betroffen sind, und das gelingt nur mit sauberen Aufzeichnungen zur Herkunft. Bis dahin ist die Rückkehr zu einer geprüften Vorversion oft der schnellste Schutz.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.