Data Poisoning (Trainingsdaten-Manipulation) ist ein Angriff auf ein KI-System, bei dem jemand die Daten verändert, mit denen das Modell trainiert oder nachtrainiert wird. Die angreifende Person schleust falsche Beispiele ein, vertauscht Kennzeichnungen oder platziert Muster, die später als Auslöser wirken. Das Ergebnis ist eine allgemein schwächere Leistung oder eine Hintertür, die nur bei bestimmten Eingaben greift und in normalen Tests unauffällig bleibt.
Besonders anfällig sind Modelle, die aus öffentlich gesammelten Daten, Nutzerfeedback oder zugekauften Datensätzen lernen. Der AI Act nennt Data Poisoning ausdrücklich unter den Angriffen, gegen die Hochrisiko-KI-Systeme widerstandsfähig sein müssen (Art. 15 Abs. 5). Wirksam sind Herkunftsnachweise für Datensätze, Zugriffsschutz für Trainingspipelines, Prüfungen auf Ausreißer und Tests vor jeder Freigabe. Mehr dazu unter T08 Data Poisoning (Trainingsdaten-Manipulation).