In einer radiologischen Praxis markiert ein KI-System auffällige Stellen auf Röntgenbildern. Die Stammbelegschaft weiß aus der Einführungsschulung, dass das System bestimmte Befundarten zuverlässig erkennt und andere gar nicht prüft. Eine Vertretungsärztin, die zwei Wochen aushilft, hat diese Schulung nie erhalten. Sie liest ein Bild ohne Markierung als unauffällig. Das System hat genau so gearbeitet wie vorgesehen, gefehlt hat das Wissen darüber, was es nicht kann.
Dieses Muster beschreibt KI-Systeme, die von Personen ohne die erforderliche Einweisung oder Kompetenz bedient werden. Es entsteht fast immer an den Rändern der Organisation: bei Vertretungen, neuen Beschäftigten, Leihkräften und externen Dienstleistern. Für die KI-Verordnung (EU) 2024/1689 ist es eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13, denn Personalwechsel gibt es in jeder Organisation.
Was steckt dahinter?
Ein Gabelstapler verlangt einen Führerschein, eine Chat-Oberfläche verlangt nichts. Moderne KI-Systeme sind so einfach zu bedienen, dass ihre Anforderungen an das Urteilsvermögen unsichtbar werden. Die Kompetenz, um die es geht, betrifft selten die Bedienung. Sie betrifft das Verständnis dafür, was eine Ausgabe bedeutet, wann sie unzuverlässig ist und was im Zweifel zu tun ist.
Wie es im Alltag dazu kommt
- Vertretungen und Urlaubszeiten. Wer nur kurz einspringt, bekommt einen Zugang und eine mündliche Kurzfassung, die die Grenzen des Systems auslässt.
- Neue Beschäftigte und Leihkräfte. Die Schulung fand bei der Einführung statt. Wer später kommt, lernt vom Sitznachbarn, samt dessen Gewohnheiten.
- Externe Dienstleister. Ein Callcenter oder eine Agentur bedient das System im Auftrag, und der Vertrag sagt nichts über Einweisung.
- Neue Versionen. Ein Update ändert das Verhalten des Systems, die Schulung bleibt auf dem alten Stand.
- Rollenwechsel. Jemand übernimmt die Aufsicht über ein System, weil die bisherige verantwortliche Person die Abteilung gewechselt hat, und erbt Pflichten ohne das Wissen dazu.
Warum es riskant ist
Personen ohne Einweisung deuten Ausgaben falsch: Sie lesen eine Bewertung als Wahrscheinlichkeit, ein fehlendes Warnsignal als Entwarnung, eine flüssige Antwort als geprüfte Tatsache. Sie erkennen Fehlfunktionen nicht und kennen den Weg nicht, auf dem man sie meldet oder das System anhält. Für Anbieter ist das besonders heikel, denn ihre Risikoanalyse beruht auf Annahmen über die Kenntnisse der Nutzenden. Art. 9 Abs. 5 KI-Verordnung verlangt ausdrücklich, das vom Betreiber zu erwartende Wissen und den voraussichtlichen Einsatzkontext zu berücksichtigen. Fehlt dieses Wissen im Betrieb, trägt die Risikoanalyse nicht mehr.
Schadensausmaß
Das Schadensausmaß entspricht dem des Systems selbst, nur ohne die Sicherung, die geschulte Menschen bieten. Bei einem Textassistenten bleibt es oft bei Nacharbeit. Bei Systemen, die über Personen entscheiden oder in Diagnose, Kreditvergabe und Sicherheit eingesetzt werden, kann der Schaden Gesundheit, Existenz und Grundrechte treffen. Eine wirksame menschliche Aufsicht setzt voraus, dass der Mensch weiß, worauf er achten muss.
Praxisbeispiele
Kreditvorprüfung in der Urlaubszeit. Der zuständige Kreditsachbearbeiter einer Bank ist im Urlaub, eine Kollegin aus dem Zahlungsverkehr übernimmt. Sie weiß nicht, dass die Gebrauchsanweisung die Bewertungen für Selbstständige mit kurzer Geschäftshistorie als wenig aussagekräftig einstuft, und lehnt drei Anträge allein wegen eines niedrigen Werts ab.
Externer Kundenservice. Ein Versandhändler lagert die zweite Ebene seines Kundenservice an einen Dienstleister aus, der mit dem KI-gestützten Antwortsystem des Händlers arbeitet. Der Vertrag regelt Antwortzeiten, eine Einweisung in das System kommt darin nicht vor. Die Beschäftigten des Dienstleisters übernehmen Vorschläge zu Rückgabefristen, die für bestimmte Warengruppen nicht gelten.
Werkstudent mit Agentenzugang. Ein Werkstudent in der IT nutzt einen KI-Agenten, der Befehle auf Servern ausführen kann. Niemand hat ihm erklärt, dass Vorschläge zu Datenbankänderungen nur in der Testumgebung ausgeführt werden dürfen. Ein vorgeschlagener Befehl leert eine Tabelle im Produktivsystem.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.4 Ressourcen für KI-Systeme: Zu den Ressourcen eines KI-Systems gehören die Menschen, die es betreiben und beaufsichtigen, mit ihren Kompetenzen. Die Organisation dokumentiert, welche Rollen ein System braucht, einschließlich der Rollen für die menschliche Aufsicht.
- A.8 Information für interessierte Parteien: Nutzende erhalten Gebrauchsanweisung, Hinweise und Lernmaterial in einer Form, die ihrem Wissensstand entspricht.
- A.9 Nutzung von KI-Systemen: Personen, die an der menschlichen Aufsicht beteiligt sind, werden informiert und geschult und verstehen die Anweisungen und ihre Aufgaben.
Erkennung:
- A.9 Nutzung von KI-Systemen: Ein regelmäßiger Abgleich der Zugangsberechtigungen mit den Einweisungsnachweisen zeigt, wer ein System ohne Einweisung nutzt. Das ist gelebte Praxis, die die Norm nicht im Detail vorschreibt.
Reaktion:
- A.4 Ressourcen für KI-Systeme: Fehlt einer Rolle die nötige Kompetenz, wird nachgeschult oder der Zugang eingeschränkt, bis die Lücke geschlossen ist.
Im Kern des Managementsystems verlangt ISO/IEC 42001 in Kapitel 7.2, die nötige Kompetenz zu bestimmen, sicherzustellen und nachzuweisen. Die KI-Nutzungsrichtlinie setzt das in Abschnitt 14 um: Schulungsbedarf je Rolle, aufgezeichneter Abschluss, Anwendung in der Praxis. Abschnitt 6 beschreibt, was die aufsichtsführende Person verstehen muss, und Abschnitt 10 überträgt die Aufsicht über Hochrisiko-Systeme nur Personen mit Kompetenz, Schulung und Befugnis. Für das allgemeine Bewusstsein hilft die Kontrolle A.6.3 IS-Bewusstsein, -Bildung und -Schulung.
Bezug zur KI-Verordnung
Art. 4 gilt für alle KI-Systeme: Anbieter und Betreiber ergreifen Maßnahmen, die die Entwicklung der KI-Kompetenz ihres Personals und weiterer Personen in ihrem Auftrag unterstützen. Zu berücksichtigen sind Kenntnisse, Erfahrung, Ausbildung, der Einsatzkontext und die Menschen, bei denen das System eingesetzt wird. Was KI-Kompetenz bedeutet, definiert Art. 3 Nr. 56: Fähigkeiten, Kenntnisse und Verständnis, um KI-Systeme sachkundig einzusetzen und sich ihrer Chancen und Risiken bewusst zu sein.
Für Hochrisiko-KI-Systeme wird es konkreter. Der Anbieter bewertet nach Art. 9 Abs. 2 lit. b die vorhersehbare Fehlanwendung, berücksichtigt nach Art. 9 Abs. 5 das beim Betreiber zu erwartende Wissen und nennt in der Gebrauchsanweisung die Umstände, die zu Risiken führen können (Art. 13 Abs. 3 lit. b Ziff. iii), sowie die Maßnahmen zur menschlichen Aufsicht (lit. d). Art. 14 Abs. 4 beschreibt, was aufsichtsführende Personen verstehen und können müssen. Der Betreiber überträgt die Aufsicht nach Art. 26 Abs. 2 nur Personen mit der nötigen Kompetenz, Ausbildung und Befugnis (→ EU AI Act).
Verwandte Muster und Gefährdungen
- MU-02 Ungeprüfte Übernahme der Ausgaben: Wer nicht weiß, worauf er achten soll, prüft nur der Form nach.
- MU-11 Weitergabe der Zugänge: Ein geteilter Zugang landet fast immer bei Menschen ohne Einweisung.
- MU-03 Eingabe vertraulicher oder personenbezogener Daten: Unkenntnis der Eingaberegeln ist eine der häufigsten Ursachen für Datenabflüsse.
- T03 Übermäßige Automatisierung (Automation Bias): Ohne Einweisung fehlt das Gegengewicht zum übermäßigen Vertrauen in die Maschine.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13 und 56, Art. 4, 9, 13, 14 und 26, Art. 4 in der durch die Verordnung (EU) 2026/1744 geänderten Form
- ISO/IEC 42001:2023, Kapitel 7.2, Anhang B.4.6, B.8.2 und B.9.3
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 6, 10 und 14
- ISO/IEC 42001 im Cenedril-Wiki: Kompetenz und Ressourcen im KI-Managementsystem