Zum Hauptinhalt springen
Glossar

Model Poisoning

Aktualisiert am 1 Min.

Model Poisoning (Modell-Manipulation) bezeichnet Angriffe, die am Modell selbst ansetzen: an seinen Gewichten, an vortrainierten Bausteinen oder an den Dateien, in denen ein Modell verteilt wird. Typisch ist ein Modell aus einem öffentlichen Verzeichnis, das bei bestimmten Eingaben absichtlich falsch reagiert, oder eine Modelldatei, die beim Laden Schadcode ausführt. Beim föderierten Lernen zählen auch manipulierte Modellupdates einzelner Teilnehmer dazu. Die eigenen Trainingsdaten bleiben dabei unberührt, das grenzt Model Poisoning vom Data Poisoning ab.

Der AI Act verlangt für Hochrisiko-KI-Systeme Vorkehrungen gegen manipulierte vortrainierte Komponenten (Art. 15 Abs. 5). Praktisch heißt das: Modelle nur aus geprüften Quellen beziehen, Prüfsummen und Signaturen kontrollieren, Dateiformate ohne ausführbaren Code nutzen und Modelle wie andere Software in das Lieferantenmanagement aufnehmen. Hintergründe beschreibt T09 Model Poisoning (Modell-Manipulation).

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.