Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-03 Eingabe vertraulicher oder personenbezogener Daten

Aktualisiert am 6 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001DSGVO

Ein Vertriebsleiter kopiert die Kundenliste mit Umsätzen, Ansprechpersonen und Rabattstufen in einen frei verfügbaren Chatbot, um eine Auswertung für das Quartalsgespräch zu bekommen. Die Auswertung ist in zwei Minuten fertig und sieht hervorragend aus. In denselben zwei Minuten haben vertrauliche Geschäftsdaten und personenbezogene Daten das Unternehmen verlassen, und ob sie je wieder gelöscht werden, liegt nicht mehr in seiner Hand.

Dieses Muster beschreibt die Eingabe von Daten, die in dem jeweiligen System nicht verarbeitet werden dürfen. Es ist der häufigste Fall vorhersehbarer Fehlanwendung bei generativen Werkzeugen und betrifft zwei Rechtsgebiete zugleich: die KI-Verordnung (EU) 2024/1689 mit ihren Pflichten zur Fehlanwendung und die DSGVO, die nach Art. 2 Abs. 7 KI-Verordnung unberührt neben ihr gilt.

Was steckt dahinter?

Ob ein KI-Dienst bestimmte Daten verarbeiten darf, hängt an Bedingungen außerhalb des Werkzeugs: am Vertrag mit dem Anbieter, am Speicherort, an der Frage, ob Eingaben zum Training genutzt werden, und an der Rechtsgrundlage für personenbezogene Daten. Für die Nutzenden sehen alle Eingabefelder gleich aus, rechtlich liegen zwischen ihnen Welten. Die Freigabe eines Werkzeugs gilt deshalb immer für bestimmte Datenklassen.

Wie es im Alltag dazu kommt

  • Bequemlichkeit. Ganze E-Mail-Verläufe, Verträge oder Tabellen sind schneller kopiert als zusammengefasst und von Namen befreit.
  • Private Konten. Die kostenlose Version ist sofort verfügbar, die Unternehmensversion muss erst beantragt werden.
  • Eingebettete Funktionen. Ein Zusatz in der Textverarbeitung oder im Videokonferenzsystem schickt Inhalte an einen externen Anbieter, ohne dass die Person das bewusst entscheidet.
  • Fehlendes Wissen. Viele Beschäftigte wissen nicht, wo ihre Eingaben gespeichert werden, wer sie lesen kann und ob sie in künftige Modelle einfließen.
  • Versteckte Daten. In Konfigurationsdateien stecken Passwörter, in Bildschirmfotos Kundennamen, in Protokollen Gesundheitsangaben.

Warum es riskant ist

Eingaben können beim Anbieter gespeichert, von dessen Personal eingesehen, zum Training verwendet oder in Drittländer übermittelt werden. Für personenbezogene Daten fehlt dann oft die Rechtsgrundlage nach Art. 6 DSGVO und der Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Bei Geschäftsgeheimnissen steht der rechtliche Schutz auf dem Spiel, denn das Geschäftsgeheimnisgesetz schützt nur Informationen, für die der Inhaber angemessene Geheimhaltungsmaßnahmen trifft (§ 2 Nr. 1 lit. b GeschGehG). Dazu kommt ein technisches Risiko: Daten aus dem Training können später in Ausgaben wieder auftauchen.

Schadensausmaß

Betroffen sind Vertraulichkeit und Rechtmäßigkeit. Je nach Fall kann eine Verletzung des Schutzes personenbezogener Daten vorliegen, die nach Art. 33 DSGVO binnen 72 Stunden an die Aufsichtsbehörde zu melden ist, sofern sie voraussichtlich zu einem Risiko führt. Hinzu kommen Bußgelder, Vertragsstrafen aus Geheimhaltungsvereinbarungen und der Verlust von Wettbewerbsvorteilen. Am schwersten wiegen Gesundheitsdaten und andere besondere Kategorien nach Art. 9 DSGVO, weil ihre Offenlegung Menschen dauerhaft schaden kann.

Praxisbeispiele

Arbeitszeugnis mit Krankheitszeiten. Eine Personalreferentin lässt ein Arbeitszeugnis in einem öffentlichen Chatbot umformulieren und kopiert dafür die gesamte Personalnotiz hinein, einschließlich der Fehlzeiten und einer Diagnose. Damit gelangen Gesundheitsdaten an einen Anbieter ohne Vertrag und ohne Rechtsgrundlage.

Fehlersuche mit Zugangsdaten. Ein Entwickler fügt eine Konfigurationsdatei in einen Code-Assistenten ein, um einen Fehler zu finden. In der Datei stehen der Schlüssel für eine Bezahlschnittstelle und die Verbindungsdaten der Kundendatenbank. Die Zugangsdaten müssen noch am selben Tag ausgetauscht werden.

Transkription im Vorstandsgespräch. Das Videokonferenzsystem hat nach einem Update eine KI-Zusammenfassung eingeschaltet. Ein vertrauliches Gespräch über eine geplante Übernahme wird transkribiert und beim Anbieter gespeichert, bevor jemand die neue Funktion bemerkt.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.2 Richtlinien für KI: Die KI-Politik legt fest, welche Daten in welche Systeme dürfen, und ist auf die Regeln zu Informationssicherheit und Datenschutz abgestimmt.
  • A.10 Beziehungen zu Dritten und Kunden: Vor der Freigabe wird der Anbieter geprüft: Speicherort, Unterauftragnehmer, Nutzung der Eingaben, Löschung. Die Verantwortung für personenbezogene Daten wird zwischen Organisation und Anbieter klar verteilt.
  • A.8 Information für interessierte Parteien: Das System und seine Begleitunterlagen sagen den Nutzenden, welche Daten eingegeben werden dürfen und welche nicht.

Erkennung:

Reaktion:

  • A.9 Nutzung von KI-Systemen: Ein festgelegter Ablauf regelt, was nach einer unzulässigen Eingabe geschieht: Meldung, Löschung beim Anbieter, Austausch von Zugangsdaten und die datenschutzrechtliche Bewertung.

Die KI-Nutzungsrichtlinie regelt das Muster ausführlich: Abschnitt 3.1 bindet jeden freigegebenen Dienst an die Datenklassifizierung, die er verarbeiten darf, und verlangt Unternehmensversionen. Abschnitt 4.2 untersagt vertrauliche und personenbezogene Daten in nicht freigegebenen Werkzeugen sowie die Eingabe fremder Zugangsdaten, Abschnitt 4.3 regelt den Umgang mit Eingaben. Nach Abschnitt 7 wird jeder Verdacht auf eine solche Eingabe gemeldet. Die Einstufung selbst folgt der Klassifizierung von Informationen nach A.5.12.

Bezug zur KI-Verordnung

Bei Hochrisiko-KI-Systemen gehört die Eingabe ungeeigneter Daten zu den Fehlanwendungen, die der Anbieter nach Art. 9 Abs. 2 lit. b bewertet und in der Gebrauchsanweisung benennt (Art. 13 Abs. 3 lit. b Ziff. iii, ergänzt um die Spezifikationen der Eingabedaten nach Ziff. vi). Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß dieser Anweisung und nutzt die Angaben des Anbieters nach Art. 26 Abs. 9 für seine Datenschutz-Folgenabschätzung. Für alle Systeme gilt Art. 4: Anbieter und Betreiber fördern die KI-Kompetenz ihres Personals, und dazu gehört das Wissen, was mit den Eingaben geschieht (→ EU AI Act).

Die eigentlichen Grenzen zieht die DSGVO: Zweckbindung, Datenminimierung und Vertraulichkeit nach Art. 5 Abs. 1, eine Rechtsgrundlage nach Art. 6 (für besondere Kategorien zusätzlich Art. 9), ein Vertrag nach Art. 28, Sicherheit nach Art. 32 und die Regeln für Übermittlungen in Drittländer nach Art. 44 ff.

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Ist jede Eingabe personenbezogener Daten in ein KI-Werkzeug unzulässig?

Nein. Zulässig ist sie, wenn das Werkzeug für diese Daten freigegeben ist: mit Rechtsgrundlage, Vertrag zur Auftragsverarbeitung, geprüftem Speicherort und klaren Regeln zur Verwendung der Eingaben. Unzulässig wird es, wenn Daten in ein System gelangen, das diese Voraussetzungen für die betreffende Datenklasse nicht erfüllt.

Was tue ich, wenn vertrauliche Daten bereits in einem öffentlichen Chatbot gelandet sind?

Melde den Vorfall sofort über den internen Meldeweg und lösche, soweit möglich, den Verlauf beim Anbieter. Sind personenbezogene Daten betroffen, prüft die Organisation, ob eine Verletzung des Schutzes personenbezogener Daten vorliegt, die nach Art. 33 DSGVO binnen 72 Stunden zu melden ist. Bei Zugangsdaten werden diese sofort geändert.

Hilft es, Namen vor der Eingabe zu entfernen?

Es senkt das Risiko, beseitigt es aber selten ganz. Auch ohne Namen lassen sich Personen oft über Funktion, Ort, Datum oder seltene Merkmale erkennen, und dann bleiben es personenbezogene Daten. Eine Pseudonymisierung ist eine gute Gewohnheit, ersetzt aber die Freigabe des Werkzeugs für die Datenklasse nicht.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.