Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-15 Nachtraining mit unzulässigen Daten

Aktualisiert am 6 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001DSGVO

Ein Softwareanbieter betreibt für seine Geschäftskunden einen KI-gestützten Support-Chat. Um ihn zu verbessern, stimmt das Entwicklungsteam das Modell mit allen Support-Tickets aller Kunden fein ab, einschließlich der Namen von Endkundinnen und Endkunden und vertraulicher Konfigurationsdetails. Die Verträge zur Auftragsverarbeitung erlauben die Verarbeitung nur für den Support. Wochen später gibt der Chat eines Kunden Einzelheiten aus den Tickets eines anderen wieder. Die Daten durften für den Support verarbeitet werden, für das Training des Modells hat sie niemand freigegeben.

Dieses Muster beschreibt Systeme, die mit Daten angepasst werden, die für ein Training nicht verwendet werden dürfen. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13, denn wo Daten in großer Menge anfallen, liegt der Gedanke nahe, das Modell damit zu verbessern. Bei personenbezogenen Daten gilt daneben die DSGVO.

Was steckt dahinter?

Ob Daten für ein Training verwendet werden dürfen, entscheidet sich an mehreren Stellen zugleich: an der Rechtsgrundlage und dem ursprünglichen Zweck bei personenbezogenen Daten, an Verträgen mit Kunden und Lieferanten, an Lizenzen und Urheberrechten, an Geheimhaltungspflichten und an der internen Klassifizierung. Dass Daten im Haus vorhanden sind, sagt nichts darüber, ob sie in ein Modell einfließen dürfen. Dazu kommt eine technische Besonderheit: Was einmal trainiert ist, steckt in den Gewichten des Modells und lässt sich kaum gezielt wieder entfernen.

Wie es im Alltag dazu kommt

  • Die Daten liegen bereit. Tickets, Chatverläufe und Produktionsdaten wirken wie kostenloses Trainingsmaterial.
  • Unklare Verträge. Der Vertrag mit dem Kunden schweigt zum Training, und das Team geht davon aus, es seien „unsere“ Daten.
  • Automatisches Weiterlernen. Das System lernt standardmäßig aus Eingaben der Nutzenden, und niemand hat diese Einstellung bewertet.
  • Fremde Datensätze. Aus dem Netz geladene Datensätze haben unklare Herkunft oder Lizenzen, die eine kommerzielle Nutzung ausschließen.
  • Feinabstimmung ohne Fachleute. Einfache Werkzeuge erlauben Fachbereichen, eigene Dateien hochzuladen und Modelle anzupassen, ohne dass jemand die Daten prüft.

Warum es riskant ist

Unzulässige Trainingsdaten machen die Verarbeitung rechtswidrig und können vertrauliche oder personenbezogene Inhalte über die Ausgaben wieder ans Licht bringen. Nicht repräsentative Daten verzerren die Ergebnisse, Daten aus unkontrollierten Quellen öffnen die Tür für gezielte Vergiftung. Löschansprüche Betroffener lassen sich kaum erfüllen. Bei Hochrisiko-Systemen verstößt der Anbieter gegen die Anforderungen an die Daten-Governance, und ein Betreiber, der ein zugekauftes System wesentlich verändert, gilt nach Art. 25 Abs. 1 lit. b selbst als Anbieter.

Schadensausmaß

Das Schadensausmaß ist hoch und dauerhaft. Im schlimmsten Fall muss ein Modell zurückgezogen und ohne die betroffenen Daten neu trainiert werden, mit allen Kosten und Ausfällen. Hinzu kommen Bußgelder nach der DSGVO, Vertragsstrafen, Kündigungen durch Kunden und Ansprüche von Rechteinhabern. Was einmal im Modell steckt, lässt sich kaum wieder herauslösen.

Praxisbeispiele

Feinabstimmung mit Personalakten. Eine Personalabteilung stimmt einen internen Schreibassistenten mit Beurteilungen und Gesprächsnotizen fein ab, damit er „passendere“ Zeugnisse formuliert. In den Notizen stehen auch Angaben zu Krankheiten. Der Assistent gibt später Formulierungen wieder, die einzelne Beschäftigte erkennbar machen.

Weiterlernen aus Gesprächen. Ein Chatbot auf einer Verbraucherplattform lernt fortlaufend aus den Gesprächen. Eine Gruppe von Nutzenden füttert ihn gezielt mit beleidigenden Inhalten und falschen Produktangaben. Nach wenigen Tagen gibt er beides an andere Nutzende weiter, und dazu Bruchstücke persönlicher Angaben aus früheren Gesprächen.

Lizenzwidriger Datensatz. Ein junges Unternehmen trainiert eine Bilderkennung mit einem frei herunterladbaren Datensatz, dessen Lizenz kommerzielle Nutzung ausschließt. Nach dem Marktstart meldet sich der Rechteinhaber. Das Modell muss mit anderen Daten neu trainiert werden, und die Auslieferung stockt.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.7 Daten für KI-Systeme: Prozesse für das Datenmanagement regeln Beschaffung, Qualität, Herkunft und Aufbereitung. Die Herkunft der Daten wird über den gesamten Lebenszyklus von Daten und System festgehalten.
  • A.6.1 Managementanleitung für die KI-Systementwicklung: Die Entwicklungsprozesse legen fest, welche Daten für das Training genutzt werden dürfen, welche Datenlieferanten zugelassen sind und wie Daten gekennzeichnet werden.
  • A.4 Ressourcen für KI-Systeme: Die Datenressourcen eines Systems werden dokumentiert, einschließlich ihrer Herkunft und ihres Zwecks.
  • A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung regeln, ob und mit welcher Freigabe Betreiber zugekaufte Modelle selbst anpassen dürfen.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung vor jeder neuen Modellversion und die Überwachung im Betrieb zeigen auffällige Ausgaben, etwa wiedergegebene Trainingsinhalte oder neue Verzerrungen.

Reaktion:

  • A.6.2 Lebenszyklus von KI-Systemen: Wird ein unzulässiger Datenbestand entdeckt, kehrt die Organisation zu einer früheren Modellversion zurück oder trainiert ohne die Daten neu und dokumentiert die Änderung.

Die KI-Anbieterrichtlinie verlangt in Abschnitt 15, für jeden Datenbestand Herkunft, Rechtsgrundlage und Nutzungsbeschränkungen zu bestimmen, bevor er verwendet wird, und die Herkunft je Datensatz aufzuzeichnen. Die KI-Nutzungsrichtlinie beschreibt in Abschnitt 13, wann ein Betreiber durch eine wesentliche Veränderung selbst zum Anbieter wird.

Bezug zur KI-Verordnung

Für Hochrisiko-KI-Systeme verlangt Art. 10 eine Daten-Governance für Trainings-, Validierungs- und Testdaten. Sie umfasst unter anderem die Verfahren der Datenerhebung, die Herkunft der Daten und bei personenbezogenen Daten den ursprünglichen Zweck der Erhebung (Abs. 2 lit. b) sowie eine Untersuchung auf Verzerrungen (lit. f). Die Datensätze müssen relevant, hinreichend repräsentativ und möglichst fehlerfrei sein (Abs. 3). Weiterlernende Systeme sind so zu entwickeln, dass verzerrte Rückkopplungsschleifen möglichst ausgeschlossen sind (Art. 15 Abs. 4). Der Anbieter bewertet die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt in der Gebrauchsanweisung die vorab festgelegten Änderungen des Systems (Art. 13 Abs. 3 lit. c).

Ändert ein Betreiber ein Hochrisiko-System wesentlich, etwa durch eigenes Nachtraining, das der Anbieter nicht vorab festgelegt hat, gilt er nach Art. 25 Abs. 1 lit. b als Anbieter (→ EU AI Act). Für personenbezogene Trainingsdaten gelten die Zweckbindung nach Art. 5 Abs. 1 lit. b und die Vereinbarkeitsprüfung nach Art. 6 Abs. 4 der DSGVO, für Auftragsverarbeiter Art. 28.

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Darf ich Kundendaten nutzen, um mein KI-Produkt zu verbessern?

Nur wenn Vertrag und Recht es erlauben. Verarbeitest du die Daten als Auftragsverarbeiter, darfst du sie nach Art. 28 Abs. 3 lit. a DSGVO nur auf dokumentierte Weisung des Kunden verarbeiten; ein Training für eigene Zwecke braucht dessen Zustimmung und eine tragfähige Rechtsgrundlage. Wer Zwecke eigenmächtig festlegt, gilt nach Art. 28 Abs. 10 insoweit selbst als Verantwortlicher.

Kann ich Daten nachträglich aus einem trainierten Modell entfernen?

Nur mit großem Aufwand. Gezieltes Entfernen einzelner Daten aus einem trainierten Modell ist technisch schwierig und oft nur durch ein neues Training ohne diese Daten verlässlich möglich. Deshalb lohnt die Prüfung vor dem Training mehr als jede Korrektur danach.

Wird ein Betreiber zum Anbieter, wenn er ein zugekauftes Modell feinabstimmt?

Bei Hochrisiko-Systemen kann das passieren: Eine wesentliche Veränderung nach Art. 25 Abs. 1 lit. b KI-Verordnung macht den Betreiber zum Anbieter. Änderungen durch Weiterlernen gelten nur dann nicht als wesentlich, wenn der Anbieter sie bei der ursprünglichen Konformitätsbewertung vorab festgelegt hat (Art. 43 Abs. 4). Kläre deshalb vor jeder Feinabstimmung, was die Gebrauchsanweisung erlaubt.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.