Ein Planungsbüro hat einen Unternehmenszugang zu einem KI-Assistenten mit Vertrag zur Auftragsverarbeitung und Zugriff auf die Projektablage. Ein Projektleiter gibt seine Zugangsdaten einem externen Subunternehmer, damit der schneller an die Unterlagen kommt. Der Subunternehmer nutzt den Assistenten bald auch für Projekte anderer Auftraggeber und lädt deren Pläne hoch. Aus einem geprüften Werkzeug mit bekanntem Nutzerkreis ist ein offener Zugang geworden, dessen Nutzer niemand mehr überblickt.
Dieses Muster beschreibt Zugänge, die an Personen oder Organisationen außerhalb des vorgesehenen Nutzerkreises weitergegeben werden. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13, denn geteilte Anmeldedaten gehören zu den ältesten Gewohnheiten im Umgang mit Software.
Was steckt dahinter?
Die Freigabe eines KI-Systems gilt für einen bestimmten Nutzerkreis. Vertrag, Einweisung, Berechtigungen und Protokolle beruhen alle auf der Annahme, dass bekannt ist, wer das System nutzt. Ein weitergegebener Zugang hebelt diese Annahme auf einen Schlag aus. Bei KI-Assistenten mit Zugriff auf Postfächer, Ablagen oder Kundendaten öffnet er zudem den Weg zu allem, was der Assistent sehen kann.
Wie es im Alltag dazu kommt
- Lizenzkosten. Es gibt weniger Plätze als Nutzende, also wird geteilt.
- Zusammenarbeit mit Externen. Dienstleister, Partner oder Kunden sollen schnell mitarbeiten, und ein regulärer Gastzugang dauert zu lange.
- Gruppenkonten. Ein Team teilt sich ein Konto, weil das einfacher scheint.
- Private Mitnutzung. Der Unternehmenszugang wird zu Hause auch von anderen genutzt.
- Technische Schlüssel. API-Schlüssel landen in Quellcode, Chatnachrichten oder geteilten Dokumenten und damit bei jedem, der sie findet.
Warum es riskant ist
Wer einen fremden Zugang nutzt, ist nicht eingewiesen und an keine Regeln der Organisation gebunden. Daten, die der Assistent erreichen kann, werden für Außenstehende sichtbar. Protokolle lassen sich keiner Person mehr zuordnen, und damit lassen sich weder Aufsicht noch Aufklärung eines Vorfalls führen. Nutzt eine fremde Organisation den Zugang für eigene Zwecke, verwendet sie das System in eigener Verantwortung und ist damit nach Art. 3 Nr. 4 KI-Verordnung selbst Betreiber, ohne es zu wissen. Hinzu kommen Verstöße gegen die Lizenzbedingungen, die bis zur Sperrung des Kontos reichen können.
Schadensausmaß
Das Schadensausmaß reicht von unerwarteten Kosten über Verletzungen der Vertraulichkeit bis zu Inhalten, die unter dem Namen der Organisation erzeugt werden, ohne dass sie davon weiß. Sperrt der Anbieter das Konto, steht im schlimmsten Fall ein ganzer Ablauf still. Wer einen Zugang weitergibt, gibt alles weiter, was dieser Zugang kann.
Praxisbeispiele
Gruppenkonto im Kundenservice. Zehn Beschäftigte eines Kundenservice teilen sich ein Konto für ein KI-Antwortsystem. Als eine beleidigende Antwort an einen Kunden hinausgeht, lässt sich nicht feststellen, wer sie freigegeben hat. Die Aufarbeitung endet ohne Ergebnis, die Ursache bleibt bestehen.
API-Schlüssel im öffentlichen Repository. Ein Entwickler lädt ein Projekt mit eingebettetem API-Schlüssel in ein öffentliches Code-Verzeichnis. Unbekannte nutzen den Schlüssel wochenlang für eigene Anfragen. Die Rechnung des Anbieters vervielfacht sich, und weil über das Konto Inhalte entstanden sind, die gegen seine Bedingungen verstoßen, sperrt er den Zugang.
Agenturzugang beim Kunden. Eine Werbeagentur gibt einem Auftraggeber die Zugangsdaten zu ihrem KI-Bildgenerator. Der Auftraggeber erstellt damit für eine eigene Kampagne realistische Bilder einer bekannten Person und veröffentlicht sie ohne Kennzeichnung. Beim Anbieter fällt der Verstoß auf die Agentur zurück, deren Konto genutzt wurde.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.10 Beziehungen zu Dritten und Kunden: Die Verantwortlichkeiten zwischen der Organisation, ihren Partnern, Lieferanten und Kunden werden klar verteilt. Wer Externen Zugang gibt, regelt vorher Nutzung, Daten und Vertraulichkeit, und die Bedingungen des Anbieters werden eingehalten.
- A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung legen fest, wer ein System nutzen darf und unter welchen Voraussetzungen.
- A.6.2 Lebenszyklus von KI-Systemen: Zu den Anforderungen an die Einführung gehört eine Zugangsverwaltung, die Handlungen einzelnen Personen zuordnet.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Ereignisprotokolle zeigen gleichzeitige Anmeldungen von verschiedenen Orten, ungewöhnliche Nutzungsmengen oder Zugriffe außerhalb der Arbeitszeiten.
Reaktion:
- A.9 Nutzung von KI-Systemen: Weitergegebene Zugänge werden gesperrt, Schlüssel ersetzt, die erreichbaren Daten bewertet und die Betroffenen informiert, wo das nötig ist.
Die Grundlagen liefern die Kontrollen der ISO/IEC 27001 zu Authentifizierungsinformationen (A.5.17) und Zugriffsrechten (A.5.18) sowie die Zugriffskontrollrichtlinie des Starter-Kits. Die KI-Nutzungsrichtlinie bezieht in Abschnitt 2 externes Personal ausdrücklich ein, das im Auftrag der Organisation KI nutzt, und verlangt in Abschnitt 7 die Meldung jedes Verdachts auf unzulässige Nutzung.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen bewertet der Anbieter die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt Umstände, die zu Risiken führen können, in der Gebrauchsanweisung (Art. 13 Abs. 3 lit. b Ziff. iii). Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß dieser Anweisung und überträgt die menschliche Aufsicht nach Abs. 2 nur Personen mit Kompetenz, Ausbildung und Befugnis. Beides setzt voraus, dass bekannt ist, wer das System bedient. Die Protokolle, die der Betreiber nach Abs. 6 aufbewahrt, und die Aufzeichnungspflichten nach Art. 12 helfen nur, wenn sich Handlungen Personen zuordnen lassen (→ EU AI Act).
Wer als Betreiber gilt, bestimmt Art. 3 Nr. 4: jede Person oder Stelle, die ein KI-System in eigener Verantwortung verwendet. Eine Organisation, die einen weitergegebenen Zugang für eigene Zwecke nutzt, fällt darunter. Für alle gilt zudem Art. 4: Wer Externe im eigenen Auftrag mit KI arbeiten lässt, fördert auch deren KI-Kompetenz.
Verwandte Muster und Gefährdungen
- MU-04 Nutzung durch nicht eingewiesene Personen: Die fast zwangsläufige Folge eines geteilten Zugangs.
- MU-03 Eingabe vertraulicher oder personenbezogener Daten: Fremde Nutzende kennen die Eingaberegeln nicht und halten sich nicht daran.
- MU-09 Manipulation der Eingaben: Ein offener Zugang lädt dazu ein, die Grenzen des Systems auszutesten.
- T11 Angriffe auf vertrauliche Daten: Ein weitergegebener Zugang erleichtert den Zugriff auf alles, was das System erreicht.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 4 und 13, Art. 4, 9, 12, 13 und 26
- ISO/IEC 42001:2023, Anhang B.6.2.8, B.9.2 und B.10.2 bis B.10.4
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 2 und 7
- Zugriffskontrollrichtlinie des Starter-Kits