Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-04 Nutzung durch nicht eingewiesene Personen

Aktualisiert am 6 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001

In einer radiologischen Praxis markiert ein KI-System auffällige Stellen auf Röntgenbildern. Die Stammbelegschaft weiß aus der Einführungsschulung, dass das System bestimmte Befundarten zuverlässig erkennt und andere gar nicht prüft. Eine Vertretungsärztin, die zwei Wochen aushilft, hat diese Schulung nie erhalten. Sie liest ein Bild ohne Markierung als unauffällig. Das System hat genau so gearbeitet wie vorgesehen, gefehlt hat das Wissen darüber, was es nicht kann.

Dieses Muster beschreibt KI-Systeme, die von Personen ohne die erforderliche Einweisung oder Kompetenz bedient werden. Es entsteht fast immer an den Rändern der Organisation: bei Vertretungen, neuen Beschäftigten, Leihkräften und externen Dienstleistern. Für die KI-Verordnung (EU) 2024/1689 ist es eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13, denn Personalwechsel gibt es in jeder Organisation.

Was steckt dahinter?

Ein Gabelstapler verlangt einen Führerschein, eine Chat-Oberfläche verlangt nichts. Moderne KI-Systeme sind so einfach zu bedienen, dass ihre Anforderungen an das Urteilsvermögen unsichtbar werden. Die Kompetenz, um die es geht, betrifft selten die Bedienung. Sie betrifft das Verständnis dafür, was eine Ausgabe bedeutet, wann sie unzuverlässig ist und was im Zweifel zu tun ist.

Wie es im Alltag dazu kommt

  • Vertretungen und Urlaubszeiten. Wer nur kurz einspringt, bekommt einen Zugang und eine mündliche Kurzfassung, die die Grenzen des Systems auslässt.
  • Neue Beschäftigte und Leihkräfte. Die Schulung fand bei der Einführung statt. Wer später kommt, lernt vom Sitznachbarn, samt dessen Gewohnheiten.
  • Externe Dienstleister. Ein Callcenter oder eine Agentur bedient das System im Auftrag, und der Vertrag sagt nichts über Einweisung.
  • Neue Versionen. Ein Update ändert das Verhalten des Systems, die Schulung bleibt auf dem alten Stand.
  • Rollenwechsel. Jemand übernimmt die Aufsicht über ein System, weil die bisherige verantwortliche Person die Abteilung gewechselt hat, und erbt Pflichten ohne das Wissen dazu.

Warum es riskant ist

Personen ohne Einweisung deuten Ausgaben falsch: Sie lesen eine Bewertung als Wahrscheinlichkeit, ein fehlendes Warnsignal als Entwarnung, eine flüssige Antwort als geprüfte Tatsache. Sie erkennen Fehlfunktionen nicht und kennen den Weg nicht, auf dem man sie meldet oder das System anhält. Für Anbieter ist das besonders heikel, denn ihre Risikoanalyse beruht auf Annahmen über die Kenntnisse der Nutzenden. Art. 9 Abs. 5 KI-Verordnung verlangt ausdrücklich, das vom Betreiber zu erwartende Wissen und den voraussichtlichen Einsatzkontext zu berücksichtigen. Fehlt dieses Wissen im Betrieb, trägt die Risikoanalyse nicht mehr.

Schadensausmaß

Das Schadensausmaß entspricht dem des Systems selbst, nur ohne die Sicherung, die geschulte Menschen bieten. Bei einem Textassistenten bleibt es oft bei Nacharbeit. Bei Systemen, die über Personen entscheiden oder in Diagnose, Kreditvergabe und Sicherheit eingesetzt werden, kann der Schaden Gesundheit, Existenz und Grundrechte treffen. Eine wirksame menschliche Aufsicht setzt voraus, dass der Mensch weiß, worauf er achten muss.

Praxisbeispiele

Kreditvorprüfung in der Urlaubszeit. Der zuständige Kreditsachbearbeiter einer Bank ist im Urlaub, eine Kollegin aus dem Zahlungsverkehr übernimmt. Sie weiß nicht, dass die Gebrauchsanweisung die Bewertungen für Selbstständige mit kurzer Geschäftshistorie als wenig aussagekräftig einstuft, und lehnt drei Anträge allein wegen eines niedrigen Werts ab.

Externer Kundenservice. Ein Versandhändler lagert die zweite Ebene seines Kundenservice an einen Dienstleister aus, der mit dem KI-gestützten Antwortsystem des Händlers arbeitet. Der Vertrag regelt Antwortzeiten, eine Einweisung in das System kommt darin nicht vor. Die Beschäftigten des Dienstleisters übernehmen Vorschläge zu Rückgabefristen, die für bestimmte Warengruppen nicht gelten.

Werkstudent mit Agentenzugang. Ein Werkstudent in der IT nutzt einen KI-Agenten, der Befehle auf Servern ausführen kann. Niemand hat ihm erklärt, dass Vorschläge zu Datenbankänderungen nur in der Testumgebung ausgeführt werden dürfen. Ein vorgeschlagener Befehl leert eine Tabelle im Produktivsystem.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.4 Ressourcen für KI-Systeme: Zu den Ressourcen eines KI-Systems gehören die Menschen, die es betreiben und beaufsichtigen, mit ihren Kompetenzen. Die Organisation dokumentiert, welche Rollen ein System braucht, einschließlich der Rollen für die menschliche Aufsicht.
  • A.8 Information für interessierte Parteien: Nutzende erhalten Gebrauchsanweisung, Hinweise und Lernmaterial in einer Form, die ihrem Wissensstand entspricht.
  • A.9 Nutzung von KI-Systemen: Personen, die an der menschlichen Aufsicht beteiligt sind, werden informiert und geschult und verstehen die Anweisungen und ihre Aufgaben.

Erkennung:

  • A.9 Nutzung von KI-Systemen: Ein regelmäßiger Abgleich der Zugangsberechtigungen mit den Einweisungsnachweisen zeigt, wer ein System ohne Einweisung nutzt. Das ist gelebte Praxis, die die Norm nicht im Detail vorschreibt.

Reaktion:

  • A.4 Ressourcen für KI-Systeme: Fehlt einer Rolle die nötige Kompetenz, wird nachgeschult oder der Zugang eingeschränkt, bis die Lücke geschlossen ist.

Im Kern des Managementsystems verlangt ISO/IEC 42001 in Kapitel 7.2, die nötige Kompetenz zu bestimmen, sicherzustellen und nachzuweisen. Die KI-Nutzungsrichtlinie setzt das in Abschnitt 14 um: Schulungsbedarf je Rolle, aufgezeichneter Abschluss, Anwendung in der Praxis. Abschnitt 6 beschreibt, was die aufsichtsführende Person verstehen muss, und Abschnitt 10 überträgt die Aufsicht über Hochrisiko-Systeme nur Personen mit Kompetenz, Schulung und Befugnis. Für das allgemeine Bewusstsein hilft die Kontrolle A.6.3 IS-Bewusstsein, -Bildung und -Schulung.

Bezug zur KI-Verordnung

Art. 4 gilt für alle KI-Systeme: Anbieter und Betreiber ergreifen Maßnahmen, die die Entwicklung der KI-Kompetenz ihres Personals und weiterer Personen in ihrem Auftrag unterstützen. Zu berücksichtigen sind Kenntnisse, Erfahrung, Ausbildung, der Einsatzkontext und die Menschen, bei denen das System eingesetzt wird. Was KI-Kompetenz bedeutet, definiert Art. 3 Nr. 56: Fähigkeiten, Kenntnisse und Verständnis, um KI-Systeme sachkundig einzusetzen und sich ihrer Chancen und Risiken bewusst zu sein.

Für Hochrisiko-KI-Systeme wird es konkreter. Der Anbieter bewertet nach Art. 9 Abs. 2 lit. b die vorhersehbare Fehlanwendung, berücksichtigt nach Art. 9 Abs. 5 das beim Betreiber zu erwartende Wissen und nennt in der Gebrauchsanweisung die Umstände, die zu Risiken führen können (Art. 13 Abs. 3 lit. b Ziff. iii), sowie die Maßnahmen zur menschlichen Aufsicht (lit. d). Art. 14 Abs. 4 beschreibt, was aufsichtsführende Personen verstehen und können müssen. Der Betreiber überträgt die Aufsicht nach Art. 26 Abs. 2 nur Personen mit der nötigen Kompetenz, Ausbildung und Befugnis (→ EU AI Act).

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Verlangt die KI-Verordnung eine Schulung für alle, die KI nutzen?

Art. 4 verlangt von Anbietern und Betreibern Maßnahmen, die die KI-Kompetenz ihres Personals und weiterer Personen in ihrem Auftrag fördern; ein bestimmtes Niveau für jede einzelne Person schreibt er nicht vor. Strenger ist Art. 26 Abs. 2 für Hochrisiko-Systeme: Die menschliche Aufsicht erhalten nur Personen mit der nötigen Kompetenz, Ausbildung und Befugnis. Wer ein Managementsystem nach ISO/IEC 42001 betreibt, muss außerdem nach Kapitel 7.2 die nötige Kompetenz bestimmen und sicherstellen.

Was gehört in eine Einweisung für ein KI-System?

Zweck und Grenzen des Systems, typische Fehler und wie man sie erkennt, die Bedeutung von Bewertungen oder Konfidenzangaben, die Regeln für Eingaben, der Weg zur Meldung von Auffälligkeiten und wer im Zweifel entscheidet. Bei Systemen mit menschlicher Aufsicht kommt dazu, wie man eingreift, übersteuert oder anhält.

Müssen auch Beschäftigte externer Dienstleister eingewiesen werden?

Ja, wenn sie das System im Auftrag der Organisation bedienen. Art. 4 nennt ausdrücklich weitere Personen, die KI-Systeme im Auftrag des Anbieters oder Betreibers nutzen. Am einfachsten regelt das der Vertrag: Einweisung vor dem ersten Zugang, Nachweis auf Anfrage, Auffrischung nach wesentlichen Änderungen.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.