Zum Hauptinhalt springen
Glossar

Data Poisoning

Aktualisiert am 1 Min.

Data Poisoning (Trainingsdaten-Manipulation) ist ein Angriff auf ein KI-System, bei dem jemand die Daten verändert, mit denen das Modell trainiert oder nachtrainiert wird. Die angreifende Person schleust falsche Beispiele ein, vertauscht Kennzeichnungen oder platziert Muster, die später als Auslöser wirken. Das Ergebnis ist eine allgemein schwächere Leistung oder eine Hintertür, die nur bei bestimmten Eingaben greift und in normalen Tests unauffällig bleibt.

Besonders anfällig sind Modelle, die aus öffentlich gesammelten Daten, Nutzerfeedback oder zugekauften Datensätzen lernen. Der AI Act nennt Data Poisoning ausdrücklich unter den Angriffen, gegen die Hochrisiko-KI-Systeme widerstandsfähig sein müssen (Art. 15 Abs. 5). Wirksam sind Herkunftsnachweise für Datensätze, Zugriffsschutz für Trainingspipelines, Prüfungen auf Ausreißer und Tests vor jeder Freigabe. Mehr dazu unter T08 Data Poisoning (Trainingsdaten-Manipulation).

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.