Zum Hauptinhalt springen
KI-Gefährdung · KI-Verordnung Art. 15

T09 Model Poisoning (Modell-Manipulation)

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein junges Unternehmen entwickelt ein System, das für Banken eingereichte Unterlagen prüft, und baut dafür auf einem frei verfügbaren, vortrainierten Sprachmodell aus einem öffentlichen Modellverzeichnis auf. Das fertige System besteht alle Tests. Was niemand bemerkt hat: Ein Angreifer hatte unter einem fast gleichen Namen eine veränderte Kopie des Modells hochgeladen. Enthält ein Dokument eine bestimmte, unauffällige Zeichenfolge, stuft das System es als unbedenklich ein. Ein Modell, dessen Herkunft du nicht prüfen kannst, ist ein Baustein, dem du blind vertraust.

Art. 15 Abs. 5 der KI-Verordnung nennt diese Angriffsart beim Namen: Model Poisoning, also die Manipulation vortrainierter Komponenten, die im Training verwendet werden. Im Produkt umfasst die Gefährdung jede Manipulation des Modells selbst, etwa während des Trainings oder bei einem Update, die verdeckte Fehlfunktionen oder Hintertüren einschleust.

Was steckt dahinter?

Viele Anbieter trainieren ihre Modelle heute nicht mehr von Grund auf. Verbreitet ist, auf vortrainierte Modelle, offene Gewichte und fertige Bibliotheken aufzusetzen und sie für den eigenen Zweck anzupassen. Jeder dieser Bausteine ist ein Glied in einer Lieferkette, und jedes Glied kann manipuliert sein. Model Poisoning zielt genau auf diese Glieder.

Angriffswege

  • Manipulierte vortrainierte Modelle. In öffentlichen Verzeichnissen tauchen Kopien bekannter Modelle mit eingebauter Hintertür auf, oft unter verwechselbaren Namen. Wer darauf aufbaut, erbt die Hintertür, und sie kann sogar ein späteres Feintuning überstehen.
  • Eingriff in Gewichte oder Training. Wer Zugriff auf Trainingsumgebung, Modellspeicher oder Trainingscode hat, kann das Modell direkt verändern.
  • Manipulierte Updates. Ein kompromittierter Auslieferungsweg verteilt eine veränderte Modellversion an alle Kunden auf einmal.
  • Schadcode in Modelldateien. Manche Speicherformate für Modelle führen beim Laden Programmcode aus. Eine präparierte Datei übernimmt so die gesamte Entwicklungsumgebung.
  • Verteiltes Lernen. Beim föderierten Lernen liefern mehrere Teilnehmer Modellaktualisierungen. Ein böswilliger Teilnehmer kann gezielt manipulierte Beiträge einspeisen.

Was eine Hintertür ausmacht

Ein Modell mit Hintertür verhält sich bei allen gewöhnlichen Eingaben unauffällig. Erst ein bestimmter Auslöser, den nur der Angreifer kennt, aktiviert das versteckte Verhalten. Weil dieser Auslöser in den Testdaten nicht vorkommt, zeigen Genauigkeitsmessungen keinerlei Auffälligkeit.

Schadensausmaß

Der Angreifer kann die Ergebnisse steuern, wann immer er will, und das bei jedem Kunden, der das Modell einsetzt. Eine Hintertür im Modell ist ein Generalschlüssel, der bei allen Kunden des Anbieters passt. Dazu kommen Haftungsfragen, aufwendige Forensik und ein Vertrauensverlust, der weit über das betroffene Produkt hinausreicht. Schadcode in Modelldateien kann außerdem zu einem klassischen Sicherheitsvorfall mit Datenabfluss führen.

Praxisbeispiele

Kompromittierter Update-Server. Ein Anbieter von Kamerasystemen für die Qualitätsprüfung verteilt neue Modellversionen über einen eigenen Update-Server. Angreifer verschaffen sich Zugang und spielen eine Version aus, die eine bestimmte Fehlerart übersieht. Bei mehreren Kunden laufen fehlerhafte Teile durch, bis ein Abnehmer Alarm schlägt.

Präparierte Modelldatei. Ein Entwicklungsteam lädt für einen Prototyp ein Modell in einem Format herunter, das beim Laden Code ausführen kann. Die Datei installiert unbemerkt einen Zugang in der Trainingsumgebung. Über Wochen fließen Trainingsdaten und Zugangsdaten ab.

Gemeinsames Training im Verbund. Mehrere Kliniken trainieren ein Diagnosemodell gemeinsam, ohne ihre Patientendaten auszutauschen. Das System eines Teilnehmers ist kompromittiert und liefert manipulierte Aktualisierungen. Das gemeinsame Modell erkennt einen bestimmten Befund danach schlechter, und keiner der Partner kann die Ursache auf Anhieb zuordnen.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.10 Beziehungen zu Dritten und Kunden: Ein Prozess stellt sicher, dass zugekaufte oder übernommene Bausteine wie Modelle und Bibliotheken zum verantwortungsvollen Ansatz der Organisation passen. Lieferanten werden nach dem Risiko ihrer Lieferung ausgewählt und überwacht, die Einbindung fremder Komponenten wird dokumentiert, und die Verantwortlichkeiten sind verteilt.
  • A.6.2 Lebenszyklus von KI-Systemen: Die Entwurfsdokumentation hält Hardware- und Softwarekomponenten sowie die berücksichtigten KI-spezifischen Sicherheitsbedrohungen fest. Der Einführungsplan beachtet, dass Software und Modell getrennt ausgeliefert werden können, und verlangt Freigabekriterien für beide.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung prüfen jede Modellversion vor der Freigabe, die Überwachung im Betrieb achtet auf Auffälligkeiten, und Ereignisprotokolle zeigen, welche Version welches Ergebnis erzeugt hat.

Reaktion:

  • A.6.2 Lebenszyklus von KI-Systemen: Ein dokumentierter Plan für Ausfälle sieht die Rückkehr zur geprüften Version, das Abschalten einzelner Funktionen und die Information der Kunden vor.
  • A.10 Beziehungen zu Dritten und Kunden: Lieferanten werden zu Korrekturmaßnahmen verpflichtet, und Kunden erhalten die Dokumentation, die sie für ihre eigene Reaktion brauchen.

Bezug zur KI-Verordnung

Art. 15 Abs. 5 der KI-Verordnung (EU) 2024/1689 verlangt für Hochrisiko-Systeme, wo angemessen, Maßnahmen gegen Angriffe auf vortrainierte Komponenten, die im Training verwendet werden, und gegen Modellfehler. Die technische Dokumentation nach Anhang IV beschreibt, ob und wie vortrainierte Systeme oder Werkzeuge Dritter verwendet, eingebunden oder verändert wurden. Nach Art. 25 Abs. 4 vereinbart der Anbieter eines Hochrisiko-Systems mit Dritten, die Werkzeuge, Dienste oder Komponenten zuliefern, schriftlich die nötigen Informationen und die Unterstützung, die er für seine Pflichten braucht. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck stellen nachgelagerten Anbietern nach Art. 53 Informationen und Dokumentation bereit (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Was unterscheidet Model Poisoning von Data Poisoning?

Data Poisoning setzt bei den Trainingsdaten an, Model Poisoning beim Modell selbst oder bei vortrainierten Bausteinen, auf denen ein Anbieter aufbaut. Die Wirkung kann ähnlich sein, etwa eine versteckte Hintertür. Die Abwehr unterscheidet sich: Bei Daten geht es um Herkunft und Qualität, bei Modellen um eine abgesicherte Lieferkette und geprüfte Integrität.

Sind frei verfügbare Modelle grundsätzlich riskant?

Nein, sie sind oft gut dokumentiert und von vielen Fachleuten geprüft. Riskant wird es, wenn ihre Herkunft unklar ist oder niemand prüft, ob die geladene Datei der veröffentlichten entspricht. Bezieh Modelle deshalb aus der Originalquelle, vergleiche Prüfsummen und halte fest, welche Version du verwendest.

Was sollten Betreiber bei T09 tun?

T09 trifft vor allem Anbieter, weil sie Modelle bauen und ausliefern. Betreiber nehmen Updates nur über die vereinbarten Wege an und achten danach auf Auffälligkeiten. Wer selbst ein Modell feinjustiert oder Bausteine zu einem neuen System kombiniert, übernimmt Anbieterpflichten und damit auch diese Gefährdung.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.