Ein Klinikverbund stellt Forschungspartnern ein Modell bereit, das aus Laborwerten das Risiko einer seltenen Stoffwechselerkrankung schätzt. Trainiert wurde es mit Daten aus der Spezialambulanz für genau diese Erkrankung. Die Partner sehen keine Patientendaten, nur eine Schnittstelle. Ein Partner fragt das Modell systematisch mit den Werten bekannter Personen ab und liest an der Sicherheit der Antworten ab, wer mit hoher Wahrscheinlichkeit im Trainingsdatensatz war und damit Patientin oder Patient der Ambulanz ist. Ein Modell kann mehr über seine Trainingsdaten verraten, als seine Verantwortlichen ahnen.
Art. 15 Abs. 5 der KI-Verordnung zählt Angriffe auf die Vertraulichkeit zu den KI-spezifischen Schwachstellen, gegen die Hochrisiko-Systeme gewappnet sein müssen. Auch ISO/IEC 42001 nennt Modelldiebstahl und Model Inversion ausdrücklich als Sicherheitsbedrohungen, die bei KI-Systemen zu berücksichtigen sind.
Was steckt dahinter?
Ein trainiertes Modell trägt Informationen aus seinen Trainingsdaten in verdichteter Form in sich. Zugleich ist das Modell selbst ein wertvolles Gut, in dem Daten, Rechenzeit und Know-how stecken. Beides lässt sich angreifen, oft allein über den Zugang, den ein System ohnehin bietet: die Möglichkeit, Fragen zu stellen und Antworten zu erhalten.
Angriffsarten
- Membership Inference. Angreifer prüfen, ob ein bestimmter Datensatz im Training war. Das wiegt schwer, wenn schon die Zugehörigkeit zum Datensatz etwas Sensibles verrät.
- Model Inversion. Aus den Ausgaben rekonstruieren Angreifer typische Merkmale der Trainingsdaten, etwa das ungefähre Gesicht einer Person aus einem Modell zur Gesichtserkennung.
- Extraktion von Trainingsdaten. Große Sprachmodelle können Teile ihrer Trainingstexte wörtlich wiedergeben. Forschungsteams haben auf diese Weise Namen, Adressen und andere persönliche Angaben aus Modellen herausgeholt.
- Modell-Extraktion. Mit massenhaften Abfragen bauen Angreifer ein Ersatzmodell nach, das sich ähnlich verhält. Das geistige Eigentum ist damit verloren, und die Kopie dient als Übungsobjekt für weitere Angriffe.
- Abfluss über angebundene Daten. Bei Sprachmodellen mit Zugriff auf einen Dokumentenspeicher können geschickte Anfragen Inhalte oder interne Systemanweisungen offenlegen, die der fragenden Person verborgen bleiben sollten.
Was die Angriffe begünstigt
Modelle, die sich ihre Trainingsdaten zu genau merken, geben mehr preis. Detaillierte Ausgaben wie Wahrscheinlichkeiten verraten mehr als ein einfaches Ergebnis. Unbegrenzte Abfragen ohne Überwachung laden zum systematischen Ausforschen ein. Und personenbezogene Daten, die für den Zweck gar nicht nötig waren, erhöhen den möglichen Schaden.
Schadensausmaß
Werden personenbezogene Daten offengelegt, liegt eine Datenpanne vor, die in aller Regel gemeldet werden muss, bei Gesundheits- oder Finanzdaten mit erheblichem Schaden für die Betroffenen. Fließt das Modell ab, verliert die Organisation einen Wettbewerbsvorteil und unter Umständen den Schutz als Geschäftsgeheimnis. Jede Antwort eines Modells gibt ein kleines Stück Information preis, und in der Summe kann daraus ein großes Leck werden.
Praxisbeispiele
Nachbau eines Bewertungsmodells. Ein Anbieter stellt eine Schnittstelle bereit, die Immobilienwerte schätzt. Ein Wettbewerber fragt sie mit systematisch variierten Eingaben Hunderttausende Male ab und trainiert mit den Antworten ein eigenes Modell. Die Nutzungsbedingungen verbieten das, doch ohne Begrenzung und Überwachung der Abfragen fällt es niemandem auf.
Interner Assistent mit zu weitem Zugriff. Ein Unternehmen bindet einen Sprachassistenten an seine Dokumentenablage an. Der Assistent durchsucht alle Dokumente, unabhängig von den Rechten der fragenden Person. Eine Auszubildende fragt nach der Gehaltsstruktur und erhält einen Auszug aus der Vergütungsliste der Geschäftsleitung.
Feinjustiertes Modell mit Kundendaten. Ein Anbieter verfeinert ein Modell für den Kundenservice mit echten Gesprächsprotokollen samt Namen und Vertragsnummern. Mit bestimmten Eingaben gibt das Modell Bruchstücke fremder Kundengespräche wieder. Ein Kunde veröffentlicht einen solchen Fund in einem Forum.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.7 Daten für KI-Systeme: Das Datenmanagement für die Entwicklung berücksichtigt die Folgen für Datenschutz und Sicherheit. Bei der Beschaffung werden Datenrechte und frühere Verwendung geprüft, und die Kriterien für die Aufbereitung können vorsehen, nicht benötigte personenbezogene Merkmale zu entfernen.
- A.6.2 Lebenszyklus von KI-Systemen: Der Entwurf berücksichtigt KI-spezifische Sicherheitsbedrohungen, zu denen ISO/IEC 42001 Modelldiebstahl und Model Inversion zählt. Verifizierung und Validierung können gezielte Tests auf diese Angriffe enthalten.
- A.10 Beziehungen zu Dritten und Kunden: Die Rollen im Datenschutz, etwa Verantwortlicher und Auftragsverarbeiter, und die übrigen Verantwortlichkeiten sind zwischen den Beteiligten geklärt.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Überwachung und Ereignisprotokolle zeigen ungewöhnliche Abfragemuster wie Massenabfragen oder systematisch variierte Eingaben.
Reaktion:
- A.8 Information für interessierte Parteien: Ein Plan für die Kommunikation von Vorfällen an Nutzerinnen und Nutzer liegt bereit, und die Organisation kennt ihre Meldepflichten. ISO/IEC 42001 weist eigens darauf hin, dass eine Datenpanne in Trainingsdaten besondere Meldepflichten auslösen kann.
- A.6.2 Lebenszyklus von KI-Systemen: Der Plan für Ausfälle erlaubt es, den Zugang einzuschränken, die Ausgaben zu vergröbern oder das Modell ohne die betroffenen Daten neu zu trainieren.
Bezug zur KI-Verordnung
Art. 15 Abs. 5 der KI-Verordnung (EU) 2024/1689 verlangt für Hochrisiko-Systeme, wo angemessen, Maßnahmen gegen Angriffe auf die Vertraulichkeit. Verarbeitet ein Anbieter nach Art. 10 Abs. 5 ausnahmsweise besondere Kategorien personenbezogener Daten, um Verzerrungen zu erkennen, gelten strenge Schutzvorkehrungen wie Pseudonymisierung, Zugriffsbeschränkung und Löschung nach Abschluss. Daneben greift die DSGVO mit Datenschutz durch Technikgestaltung (Art. 25), der Sicherheit der Verarbeitung (Art. 32) und den Meldepflichten bei Datenpannen (Art. 33 und 34) (→ DSGVO). Soll ein Modell als Geschäftsgeheimnis geschützt sein, verlangt das Geschäftsgeheimnisgesetz angemessene Geheimhaltungsmaßnahmen (→ GeschGehG).
Verwandte Gefährdungen
- T10 Adversarial Examples (gezielte Umgehung): Eingeschleuste Anweisungen sind ein häufiger Weg, Sprachmodelle zum Ausplaudern zu bringen.
- T09 Model Poisoning (Modell-Manipulation): Präparierte Modelldateien können Daten aus der Entwicklungsumgebung abziehen.
- MU-03 Eingabe vertraulicher oder personenbezogener Daten: Was Nutzer eingeben, kann später in Trainingsdaten und Ausgaben auftauchen.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 10 und 15
- Verordnung (EU) 2016/679 (DSGVO), Art. 25, 32, 33 und 34
- ISO/IEC 42001:2023, Anhang B.6.2.3, B.6.2.6 und B.8.4
- Europäischer Datenschutzausschuss (EDSA), Stellungnahme 28/2024 zu Datenschutzfragen bei KI-Modellen, Dezember 2024