Ein junges Unternehmen entwickelt ein System, das für Banken eingereichte Unterlagen prüft, und baut dafür auf einem frei verfügbaren, vortrainierten Sprachmodell aus einem öffentlichen Modellverzeichnis auf. Das fertige System besteht alle Tests. Was niemand bemerkt hat: Ein Angreifer hatte unter einem fast gleichen Namen eine veränderte Kopie des Modells hochgeladen. Enthält ein Dokument eine bestimmte, unauffällige Zeichenfolge, stuft das System es als unbedenklich ein. Ein Modell, dessen Herkunft du nicht prüfen kannst, ist ein Baustein, dem du blind vertraust.
Art. 15 Abs. 5 der KI-Verordnung nennt diese Angriffsart beim Namen: Model Poisoning, also die Manipulation vortrainierter Komponenten, die im Training verwendet werden. Im Produkt umfasst die Gefährdung jede Manipulation des Modells selbst, etwa während des Trainings oder bei einem Update, die verdeckte Fehlfunktionen oder Hintertüren einschleust.
Was steckt dahinter?
Viele Anbieter trainieren ihre Modelle heute nicht mehr von Grund auf. Verbreitet ist, auf vortrainierte Modelle, offene Gewichte und fertige Bibliotheken aufzusetzen und sie für den eigenen Zweck anzupassen. Jeder dieser Bausteine ist ein Glied in einer Lieferkette, und jedes Glied kann manipuliert sein. Model Poisoning zielt genau auf diese Glieder.
Angriffswege
- Manipulierte vortrainierte Modelle. In öffentlichen Verzeichnissen tauchen Kopien bekannter Modelle mit eingebauter Hintertür auf, oft unter verwechselbaren Namen. Wer darauf aufbaut, erbt die Hintertür, und sie kann sogar ein späteres Feintuning überstehen.
- Eingriff in Gewichte oder Training. Wer Zugriff auf Trainingsumgebung, Modellspeicher oder Trainingscode hat, kann das Modell direkt verändern.
- Manipulierte Updates. Ein kompromittierter Auslieferungsweg verteilt eine veränderte Modellversion an alle Kunden auf einmal.
- Schadcode in Modelldateien. Manche Speicherformate für Modelle führen beim Laden Programmcode aus. Eine präparierte Datei übernimmt so die gesamte Entwicklungsumgebung.
- Verteiltes Lernen. Beim föderierten Lernen liefern mehrere Teilnehmer Modellaktualisierungen. Ein böswilliger Teilnehmer kann gezielt manipulierte Beiträge einspeisen.
Was eine Hintertür ausmacht
Ein Modell mit Hintertür verhält sich bei allen gewöhnlichen Eingaben unauffällig. Erst ein bestimmter Auslöser, den nur der Angreifer kennt, aktiviert das versteckte Verhalten. Weil dieser Auslöser in den Testdaten nicht vorkommt, zeigen Genauigkeitsmessungen keinerlei Auffälligkeit.
Schadensausmaß
Der Angreifer kann die Ergebnisse steuern, wann immer er will, und das bei jedem Kunden, der das Modell einsetzt. Eine Hintertür im Modell ist ein Generalschlüssel, der bei allen Kunden des Anbieters passt. Dazu kommen Haftungsfragen, aufwendige Forensik und ein Vertrauensverlust, der weit über das betroffene Produkt hinausreicht. Schadcode in Modelldateien kann außerdem zu einem klassischen Sicherheitsvorfall mit Datenabfluss führen.
Praxisbeispiele
Kompromittierter Update-Server. Ein Anbieter von Kamerasystemen für die Qualitätsprüfung verteilt neue Modellversionen über einen eigenen Update-Server. Angreifer verschaffen sich Zugang und spielen eine Version aus, die eine bestimmte Fehlerart übersieht. Bei mehreren Kunden laufen fehlerhafte Teile durch, bis ein Abnehmer Alarm schlägt.
Präparierte Modelldatei. Ein Entwicklungsteam lädt für einen Prototyp ein Modell in einem Format herunter, das beim Laden Code ausführen kann. Die Datei installiert unbemerkt einen Zugang in der Trainingsumgebung. Über Wochen fließen Trainingsdaten und Zugangsdaten ab.
Gemeinsames Training im Verbund. Mehrere Kliniken trainieren ein Diagnosemodell gemeinsam, ohne ihre Patientendaten auszutauschen. Das System eines Teilnehmers ist kompromittiert und liefert manipulierte Aktualisierungen. Das gemeinsame Modell erkennt einen bestimmten Befund danach schlechter, und keiner der Partner kann die Ursache auf Anhieb zuordnen.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.10 Beziehungen zu Dritten und Kunden: Ein Prozess stellt sicher, dass zugekaufte oder übernommene Bausteine wie Modelle und Bibliotheken zum verantwortungsvollen Ansatz der Organisation passen. Lieferanten werden nach dem Risiko ihrer Lieferung ausgewählt und überwacht, die Einbindung fremder Komponenten wird dokumentiert, und die Verantwortlichkeiten sind verteilt.
- A.6.2 Lebenszyklus von KI-Systemen: Die Entwurfsdokumentation hält Hardware- und Softwarekomponenten sowie die berücksichtigten KI-spezifischen Sicherheitsbedrohungen fest. Der Einführungsplan beachtet, dass Software und Modell getrennt ausgeliefert werden können, und verlangt Freigabekriterien für beide.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung prüfen jede Modellversion vor der Freigabe, die Überwachung im Betrieb achtet auf Auffälligkeiten, und Ereignisprotokolle zeigen, welche Version welches Ergebnis erzeugt hat.
Reaktion:
- A.6.2 Lebenszyklus von KI-Systemen: Ein dokumentierter Plan für Ausfälle sieht die Rückkehr zur geprüften Version, das Abschalten einzelner Funktionen und die Information der Kunden vor.
- A.10 Beziehungen zu Dritten und Kunden: Lieferanten werden zu Korrekturmaßnahmen verpflichtet, und Kunden erhalten die Dokumentation, die sie für ihre eigene Reaktion brauchen.
Bezug zur KI-Verordnung
Art. 15 Abs. 5 der KI-Verordnung (EU) 2024/1689 verlangt für Hochrisiko-Systeme, wo angemessen, Maßnahmen gegen Angriffe auf vortrainierte Komponenten, die im Training verwendet werden, und gegen Modellfehler. Die technische Dokumentation nach Anhang IV beschreibt, ob und wie vortrainierte Systeme oder Werkzeuge Dritter verwendet, eingebunden oder verändert wurden. Nach Art. 25 Abs. 4 vereinbart der Anbieter eines Hochrisiko-Systems mit Dritten, die Werkzeuge, Dienste oder Komponenten zuliefern, schriftlich die nötigen Informationen und die Unterstützung, die er für seine Pflichten braucht. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck stellen nachgelagerten Anbietern nach Art. 53 Informationen und Dokumentation bereit (→ EU AI Act).
Verwandte Gefährdungen
- T08 Data Poisoning (Trainingsdaten-Manipulation): Derselbe Effekt, erreicht über die Trainingsdaten.
- T06 Mängel im Lebenszyklus: Ungeprüfte Updates öffnen dem Angriff die Tür.
- T10 Adversarial Examples (gezielte Umgehung): Eine Hintertür wird oft über eine präparierte Eingabe ausgelöst.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 15, 25, 53 und Anhang IV
- ISO/IEC 42001:2023, Anhang B.6.2.3 und B.10.3
- EU AI Act im Cenedril-Wiki: Pflichten für Hochrisiko-Systeme im Überblick