Ein Vertriebsleiter kopiert die Kundenliste mit Umsätzen, Ansprechpersonen und Rabattstufen in einen frei verfügbaren Chatbot, um eine Auswertung für das Quartalsgespräch zu bekommen. Die Auswertung ist in zwei Minuten fertig und sieht hervorragend aus. In denselben zwei Minuten haben vertrauliche Geschäftsdaten und personenbezogene Daten das Unternehmen verlassen, und ob sie je wieder gelöscht werden, liegt nicht mehr in seiner Hand.
Dieses Muster beschreibt die Eingabe von Daten, die in dem jeweiligen System nicht verarbeitet werden dürfen. Es ist der häufigste Fall vorhersehbarer Fehlanwendung bei generativen Werkzeugen und betrifft zwei Rechtsgebiete zugleich: die KI-Verordnung (EU) 2024/1689 mit ihren Pflichten zur Fehlanwendung und die DSGVO, die nach Art. 2 Abs. 7 KI-Verordnung unberührt neben ihr gilt.
Was steckt dahinter?
Ob ein KI-Dienst bestimmte Daten verarbeiten darf, hängt an Bedingungen außerhalb des Werkzeugs: am Vertrag mit dem Anbieter, am Speicherort, an der Frage, ob Eingaben zum Training genutzt werden, und an der Rechtsgrundlage für personenbezogene Daten. Für die Nutzenden sehen alle Eingabefelder gleich aus, rechtlich liegen zwischen ihnen Welten. Die Freigabe eines Werkzeugs gilt deshalb immer für bestimmte Datenklassen.
Wie es im Alltag dazu kommt
- Bequemlichkeit. Ganze E-Mail-Verläufe, Verträge oder Tabellen sind schneller kopiert als zusammengefasst und von Namen befreit.
- Private Konten. Die kostenlose Version ist sofort verfügbar, die Unternehmensversion muss erst beantragt werden.
- Eingebettete Funktionen. Ein Zusatz in der Textverarbeitung oder im Videokonferenzsystem schickt Inhalte an einen externen Anbieter, ohne dass die Person das bewusst entscheidet.
- Fehlendes Wissen. Viele Beschäftigte wissen nicht, wo ihre Eingaben gespeichert werden, wer sie lesen kann und ob sie in künftige Modelle einfließen.
- Versteckte Daten. In Konfigurationsdateien stecken Passwörter, in Bildschirmfotos Kundennamen, in Protokollen Gesundheitsangaben.
Warum es riskant ist
Eingaben können beim Anbieter gespeichert, von dessen Personal eingesehen, zum Training verwendet oder in Drittländer übermittelt werden. Für personenbezogene Daten fehlt dann oft die Rechtsgrundlage nach Art. 6 DSGVO und der Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Bei Geschäftsgeheimnissen steht der rechtliche Schutz auf dem Spiel, denn das Geschäftsgeheimnisgesetz schützt nur Informationen, für die der Inhaber angemessene Geheimhaltungsmaßnahmen trifft (§ 2 Nr. 1 lit. b GeschGehG). Dazu kommt ein technisches Risiko: Daten aus dem Training können später in Ausgaben wieder auftauchen.
Schadensausmaß
Betroffen sind Vertraulichkeit und Rechtmäßigkeit. Je nach Fall kann eine Verletzung des Schutzes personenbezogener Daten vorliegen, die nach Art. 33 DSGVO binnen 72 Stunden an die Aufsichtsbehörde zu melden ist, sofern sie voraussichtlich zu einem Risiko führt. Hinzu kommen Bußgelder, Vertragsstrafen aus Geheimhaltungsvereinbarungen und der Verlust von Wettbewerbsvorteilen. Am schwersten wiegen Gesundheitsdaten und andere besondere Kategorien nach Art. 9 DSGVO, weil ihre Offenlegung Menschen dauerhaft schaden kann.
Praxisbeispiele
Arbeitszeugnis mit Krankheitszeiten. Eine Personalreferentin lässt ein Arbeitszeugnis in einem öffentlichen Chatbot umformulieren und kopiert dafür die gesamte Personalnotiz hinein, einschließlich der Fehlzeiten und einer Diagnose. Damit gelangen Gesundheitsdaten an einen Anbieter ohne Vertrag und ohne Rechtsgrundlage.
Fehlersuche mit Zugangsdaten. Ein Entwickler fügt eine Konfigurationsdatei in einen Code-Assistenten ein, um einen Fehler zu finden. In der Datei stehen der Schlüssel für eine Bezahlschnittstelle und die Verbindungsdaten der Kundendatenbank. Die Zugangsdaten müssen noch am selben Tag ausgetauscht werden.
Transkription im Vorstandsgespräch. Das Videokonferenzsystem hat nach einem Update eine KI-Zusammenfassung eingeschaltet. Ein vertrauliches Gespräch über eine geplante Übernahme wird transkribiert und beim Anbieter gespeichert, bevor jemand die neue Funktion bemerkt.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.2 Richtlinien für KI: Die KI-Politik legt fest, welche Daten in welche Systeme dürfen, und ist auf die Regeln zu Informationssicherheit und Datenschutz abgestimmt.
- A.10 Beziehungen zu Dritten und Kunden: Vor der Freigabe wird der Anbieter geprüft: Speicherort, Unterauftragnehmer, Nutzung der Eingaben, Löschung. Die Verantwortung für personenbezogene Daten wird zwischen Organisation und Anbieter klar verteilt.
- A.8 Information für interessierte Parteien: Das System und seine Begleitunterlagen sagen den Nutzenden, welche Daten eingegeben werden dürfen und welche nicht.
Erkennung:
- A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung umfassen die Beobachtung des Einsatzes. Ergänzend erkennt eine Datenverlustprävention nach A.8.12 Abflüsse an bekannte KI-Dienste.
Reaktion:
- A.9 Nutzung von KI-Systemen: Ein festgelegter Ablauf regelt, was nach einer unzulässigen Eingabe geschieht: Meldung, Löschung beim Anbieter, Austausch von Zugangsdaten und die datenschutzrechtliche Bewertung.
Die KI-Nutzungsrichtlinie regelt das Muster ausführlich: Abschnitt 3.1 bindet jeden freigegebenen Dienst an die Datenklassifizierung, die er verarbeiten darf, und verlangt Unternehmensversionen. Abschnitt 4.2 untersagt vertrauliche und personenbezogene Daten in nicht freigegebenen Werkzeugen sowie die Eingabe fremder Zugangsdaten, Abschnitt 4.3 regelt den Umgang mit Eingaben. Nach Abschnitt 7 wird jeder Verdacht auf eine solche Eingabe gemeldet. Die Einstufung selbst folgt der Klassifizierung von Informationen nach A.5.12.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen gehört die Eingabe ungeeigneter Daten zu den Fehlanwendungen, die der Anbieter nach Art. 9 Abs. 2 lit. b bewertet und in der Gebrauchsanweisung benennt (Art. 13 Abs. 3 lit. b Ziff. iii, ergänzt um die Spezifikationen der Eingabedaten nach Ziff. vi). Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß dieser Anweisung und nutzt die Angaben des Anbieters nach Art. 26 Abs. 9 für seine Datenschutz-Folgenabschätzung. Für alle Systeme gilt Art. 4: Anbieter und Betreiber fördern die KI-Kompetenz ihres Personals, und dazu gehört das Wissen, was mit den Eingaben geschieht (→ EU AI Act).
Die eigentlichen Grenzen zieht die DSGVO: Zweckbindung, Datenminimierung und Vertraulichkeit nach Art. 5 Abs. 1, eine Rechtsgrundlage nach Art. 6 (für besondere Kategorien zusätzlich Art. 9), ein Vertrag nach Art. 28, Sicherheit nach Art. 32 und die Regeln für Übermittlungen in Drittländer nach Art. 44 ff.
Verwandte Muster und Gefährdungen
- T11 Angriffe auf vertrauliche Daten: Was einmal im Modell steckt, kann durch gezielte Abfragen wieder herausgeholt werden.
- MU-15 Nachtraining mit unzulässigen Daten: Die Fortsetzung auf Ebene des Trainings: Die Daten fließen in die Anpassung des Modells ein.
- MU-11 Weitergabe der Zugänge: Auch ein freigegebenes Werkzeug wird zum Datenleck, wenn Unbefugte Zugang erhalten.
- MU-04 Nutzung durch nicht eingewiesene Personen: Wer die Regeln nie erklärt bekommen hat, kann sie nicht einhalten.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 2 Abs. 7, Art. 3 Nr. 13, Art. 4, 9, 13 und 26
- Verordnung (EU) 2016/679 (DSGVO), Art. 5, 6, 9, 28, 32, 33 und 44 ff.
- ISO/IEC 42001:2023, Anhang B.9.4, B.10.2 und B.10.3
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 3.1, 4.2, 4.3 und 7
- Geschäftsgeheimnisgesetz im Cenedril-Wiki