Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-05 Umgehung der menschlichen Aufsicht

Aktualisiert am 6 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001

Ein Zahlungsdienstleister setzt ein KI-System ein, das verdächtige Überweisungen anhält, bis eine Person sie prüft und freigibt. Vor Weihnachten staut sich die Prüfwarteschlange, Händler beschweren sich über verspätete Zahlungen. Ein Teamleiter richtet eine Regel ein, die alle angehaltenen Zahlungen nach zwei Stunden automatisch freigibt. Auf dem Papier gibt es die menschliche Aufsicht weiterhin, im System hat sie eine Zeitschaltuhr übernommen.

Dieses Muster beschreibt Fälle, in denen die vorgesehene Eingriffs- oder Stoppmöglichkeit umgangen oder abgeschaltet wird. Für die KI-Verordnung (EU) 2024/1689 ist es eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13: Jede Sicherung, die Zeit kostet, erzeugt den Wunsch, sie zu überspringen.

Was steckt dahinter?

Menschliche Aufsicht wird dort eingebaut, wo Fehler des Systems teuer werden können. Der Anbieter legt die Vorkehrungen fest: entweder eingebaut in das System oder so beschrieben, dass der Betreiber sie umsetzen kann. Dazu gehören Bestätigungsschritte, Prüfwarteschlangen, Schwellenwerte, ab denen ein Mensch entscheidet, Warnmeldungen und eine Stoppfunktion. Jede dieser Vorkehrungen bremst den Ablauf, und genau deshalb gerät sie unter Druck.

Wie es im Alltag dazu kommt

  • Durchsatzdruck. Die Prüfwarteschlange wird zum Engpass, und die schnellste Lösung ist, sie zu umgehen.
  • Alarmmüdigkeit. Ein System meldet zu viele Auffälligkeiten, die sich als harmlos erweisen. Irgendwann werden die Meldungen abgeschaltet oder ungelesen bestätigt.
  • Technische Abkürzungen. Die IT bindet das System über eine Schnittstelle direkt an, und der Bestätigungsschritt der Oberfläche fällt dabei weg.
  • Freie Konfiguration. Verwaltungsrechte erlauben, Aufsichtsfunktionen ohne Freigabe zu deaktivieren, und niemand bemerkt die Änderung.
  • Makros und Skripte. Ein kleines Hilfsprogramm klickt automatisch auf „Bestätigen“, damit niemand mehr klicken muss.

Warum es riskant ist

Die menschliche Aufsicht ist oft die letzte Sicherung für Risiken, die trotz aller anderen Maßnahmen bleiben. So beschreibt es auch Art. 14 Abs. 2 KI-Verordnung. Fällt sie weg, wirken Fehler unmittelbar: Zahlungen gehen an Betrüger, Beiträge werden gelöscht, Maschinen laufen weiter. Greift die Umgehung technisch in das System ein und war sie vom Anbieter nicht vorgesehen, kann sie eine wesentliche Veränderung nach Art. 3 Nr. 23 sein. Bei einem Hochrisiko-System gilt der Betreiber dann nach Art. 25 Abs. 1 lit. b selbst als Anbieter.

Schadensausmaß

Das Schadensausmaß ist bei diesem Muster typischerweise hoch, weil Aufsicht gerade bei Systemen mit erheblichem Risiko vorgesehen ist. Betroffen sein können Vermögen, Gesundheit und Sicherheit, aber auch Grundrechte wie die Meinungsfreiheit oder der Schutz vor Diskriminierung. Wer die Aufsicht abschaltet, entfernt die Sicherung genau an der Stelle, die vorher als gefährlichste erkannt wurde.

Praxisbeispiele

Moderation einer Plattform. Ein Forum lässt ein KI-System Beiträge markieren, die dann von Moderatorinnen geprüft werden. Um den Rückstand abzubauen, stellt das Team ein, dass Beiträge oberhalb eines Werts sofort gelöscht werden. Darunter fallen auch kritische, aber zulässige Beiträge, und die Betroffenen erfahren nie, dass kein Mensch sie gesehen hat.

Personenerkennung an einer Fertigungslinie. Eine Kamera mit Personenerkennung stoppt einen Roboterarm, sobald jemand den Arbeitsbereich betritt. Weil sie auch bei Schatten und reflektierender Kleidung auslöst, deaktiviert das Wartungsteam die Erkennung für die Nachtschicht. Ein Beschäftigter wird bei einem Eingriff an der Anlage verletzt.

Dienstplanung über Schnittstelle. Ein KI-System schlägt Schichtpläne vor, die eine Teamleitung bestätigen muss. Bei der Anbindung an das Zeiterfassungssystem baut die IT eine automatische Bestätigung ein. Pläne, die Ruhezeiten verletzen, gehen ohne Prüfung an die Beschäftigten.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.3 Interne Organisation: Rollen und Verantwortlichkeiten legen fest, wer Aufsichtsfunktionen ändern darf und wer das System verantwortet. Wer eine Umgehung bemerkt, kann sie über den Meldeweg für Bedenken melden.
  • A.6.2 Lebenszyklus von KI-Systemen: Anforderungen, Freigabekriterien für den Einsatz und die Vorgaben für den Betrieb verankern die Aufsicht im System. Ereignisprotokolle halten fest, wann Aufsichtsfunktionen geändert oder umgangen wurden.
  • A.9 Nutzung von KI-Systemen: Die Ziele für die verantwortungsvolle Nutzung bestimmen, an welchen Stellen Menschen prüfen und mit welcher Befugnis sie Entscheidungen des Systems übersteuern. Der Einsatz folgt den Unterlagen des Anbieters, einschließlich der dort vorgesehenen Aufsicht.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Die Auswertung der Ereignisprotokolle zeigt Freigaben durch technische Benutzer, ungewöhnlich schnelle Bestätigungen und deaktivierte Warnungen.

Reaktion:

  • A.9 Nutzung von KI-Systemen: Wird eine Umgehung entdeckt, stellt die Organisation die Aufsicht wieder her oder setzt den Einsatz aus, bis das geschehen ist, und prüft die Entscheidungen aus dem Zeitraum ohne Aufsicht.

Die KI-Nutzungsrichtlinie legt in Abschnitt 6 fest, dass ein folgenreiches KI-Ergebnis nie automatisch wirksam wird, ohne dass eine Person es prüfen und korrigieren kann, und dass die aufsichtsführende Person das System anhalten kann. Abschnitt 10 verlangt für Hochrisiko-Systeme, dass diese Person die Unterstützung erhält, die sie zum Eingreifen braucht.

Bezug zur KI-Verordnung

Art. 14 verlangt, dass Hochrisiko-KI-Systeme während ihrer Verwendung wirksam von Menschen beaufsichtigt werden können. Die Vorkehrungen werden vom Anbieter bestimmt und entweder eingebaut oder für die Umsetzung durch den Betreiber beschrieben (Art. 14 Abs. 3). Die aufsichtsführenden Personen müssen eine Ausgabe außer Acht lassen, übersteuern oder rückgängig machen können (Art. 14 Abs. 4 lit. d) und den Betrieb mit einer Stopptaste oder einem vergleichbaren Verfahren in einen sicheren Zustand bringen können (lit. e). Nach Art. 14 Abs. 2 dient das auch der Begrenzung von Risiken aus vorhersehbarer Fehlanwendung.

Der Anbieter bewertet die Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt die Aufsichtsmaßnahmen in der Gebrauchsanweisung (Art. 13 Abs. 3 lit. b Ziff. iii und lit. d). Der Betreiber setzt das System nach Art. 26 Abs. 1 gemäß dieser Anweisung ein, überträgt die Aufsicht nach Abs. 2 Personen mit Befugnis und Unterstützung und überwacht den Betrieb nach Abs. 5. Die automatisch erzeugten Protokolle bewahrt er nach Abs. 6 mindestens sechs Monate auf (→ EU AI Act).

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Ist es schon eine Umgehung, wenn wir Schwellenwerte anpassen?

Nicht automatisch. Viele Anbieter erlauben, Schwellen innerhalb der in der Gebrauchsanweisung genannten Grenzen einzustellen. Zur Umgehung wird die Anpassung, wenn sie Fälle der menschlichen Prüfung entzieht, die das Aufsichtskonzept erfassen soll, oder wenn sie ohne den festgelegten Änderungsweg und ohne Risikobewertung geschieht.

Was tun, wenn die menschliche Prüfung zum Engpass wird?

Den Engpass sichtbar machen und förmlich entscheiden: mehr Kapazität, bessere Vorsortierung, nach einer Risikobewertung angepasste Schwellen oder ein engerer Einsatz. Die Entscheidung trifft die verantwortliche Person, und sie wird dokumentiert. Eine stille Abkürzung versteckt das Risiko nur.

Wer darf die Stoppfunktion eines KI-Systems auslösen?

Bei Hochrisiko-Systemen jede Person, der die Aufsicht übertragen ist, denn Art. 14 Abs. 4 lit. e KI-Verordnung verlangt, dass sie den Betrieb unterbrechen kann. Die Organisation legt zusätzlich fest, wer das System wieder anlaufen lässt. Die Stoppfunktion muss leicht erreichbar sein und darf nicht hinter Verwaltungsrechten verschwinden.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.