Ein Großhändler lässt Eingangsrechnungen von einem KI-System prüfen und zur Zahlung vorschlagen. Die Buchhaltung gibt die Vorschläge frei, anfangs nach Stichprobe, nach einigen Monaten mit einem Klick für den ganzen Stapel. Eine gefälschte Rechnung mit geänderter Bankverbindung geht durch, weil das System sie als plausibel markiert hat und niemand mehr genauer hinsieht. Auf dem Papier gab es eine menschliche Freigabe, tatsächlich hatte sich die Buchhaltung längst ganz auf das System verlassen.
ISO/IEC 42001 führt den Automatisierungsgrad in Anhang C als Risikoquelle, weil er Sicherheit, Fairness und Informationssicherheit berührt. Im Produkt trägt die Gefährdung den Namen ihres häufigsten Mechanismus: Automation Bias, die Neigung, automatisch erzeugten Ergebnissen mehr zu trauen als der eigenen Prüfung.
Was steckt dahinter?
Automatisierung verschiebt die Rolle des Menschen vom Entscheiden zum Überwachen. Das klingt nach einer Entlastung, verlangt aber eine besondere Aufmerksamkeit, die im Alltag schwer durchzuhalten ist. Je zuverlässiger ein System meistens arbeitet, desto weniger rechnen Menschen mit seinen Fehlern. Genau dann rutscht der seltene Fehler durch.
Stufen der Automatisierung
- Die KI unterstützt, ein Mensch entscheidet. Das System liefert Hinweise oder Vorschläge. Gefahr: Der Vorschlag verankert das Urteil, und die Person sucht eher nach Bestätigung als nach Widerspruch.
- Die KI entscheidet, ein Mensch überwacht. Das System handelt selbst, eine Person kann eingreifen. Gefahr: Die Überwachung wird zur Formsache, weil Eingriffe selten nötig erscheinen.
- Die KI entscheidet allein. Im Einzelfall ist niemand beteiligt. Gefahr: Fehler wirken sofort und massenhaft und fallen oft erst durch Beschwerden auf.
Warum Menschen zu viel vertrauen
- Zeitdruck und hohe Fallzahlen. Wer Hunderte Vorschläge am Tag prüft, kann nicht jeden nachrechnen.
- Fehlende Information. Die Oberfläche zeigt ein Ergebnis ohne Unsicherheit und ohne Begründung. Woran soll sich ein Zweifel festmachen?
- Verteilte Verantwortung. Alle gehen davon aus, dass das System oder eine andere Stelle bereits geprüft hat.
- Schiefe Anreize. Wer vom Vorschlag abweicht, muss das begründen. Wer zustimmt, muss gar nichts tun.
Schadensausmaß
Was auf dem Spiel steht, hängt von der Entscheidung ab. Im Scoring und in der Personalauswahl können Menschen systematisch benachteiligt werden, ohne dass es jemand bemerkt. In der IT-Sicherheit sperrt ein automatisiertes System womöglich legitime Konten oder lässt einen Angriff durch, weil die Meldung in der Masse untergeht. In technischen Anlagen kann es um körperliche Sicherheit gehen. Gemeinsam ist allen Fällen, dass sich ein Fehler mit der Automatisierung vervielfacht. Hinzu kommt das rechtliche Risiko: Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung dürfen nach Art. 22 DSGVO nur in Ausnahmefällen ausschließlich automatisiert fallen.
Praxisbeispiele
Kreditvorentscheidung. Ein Scoring-System empfiehlt Annahme oder Ablehnung. Die Sachbearbeitung folgt der Empfehlung in fast allen Fällen, denn eine Abweichung braucht eine schriftliche Begründung und die Zustimmung der Teamleitung, eine Zustimmung braucht nichts. Faktisch entscheidet das System allein, obwohl der Prozess eine menschliche Entscheidung vorsieht.
Automatische Kontosperren. Ein Werkzeug für den IT-Betrieb sperrt Benutzerkonten bei auffälligem Anmeldeverhalten selbstständig. Zum Quartalsende arbeitet die Finanzabteilung bis spät in die Nacht, und das System sperrt Dutzende Konten. Weil die Sperren seit Monaten nie hinterfragt wurden, dauert es Stunden, bis jemand die Ursache erkennt und den Abschluss wieder freigibt.
Rangliste in der Personalauswahl. Ein Rekrutierungssystem sortiert Bewerbungen nach Passung. Unter Zeitdruck sehen sich die Recruiter nur noch die ersten zehn Plätze an. Wer weiter hinten landet, wird nie von einem Menschen gelesen, auch wenn die Einstufung auf einem Fehler im Lebenslauf-Import beruht.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.9 Nutzung von KI-Systemen: Die Organisation legt Ziele für die verantwortungsvolle Nutzung fest, darunter menschliche Aufsicht. Sie bestimmt, an welchen Stellen Personen Ergebnisse prüfen und Entscheidungen des Systems übersteuern dürfen, und fragt, ob eine automatisierte Entscheidung für den Zweck überhaupt angemessen ist.
- A.6.2 Lebenszyklus von KI-Systemen: Schon in Anforderungen und Entwurf wird festgelegt, wie Menschen mit dem System interagieren und wie Ergebnisse dargestellt werden.
- A.8 Information für interessierte Parteien: Nutzerinnen und Nutzer erfahren, wie genau das System arbeitet, wann menschliche Aufsicht nötig ist und wie und wann sie es übersteuern können.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung im Betrieb erfasst Leistung und Fehler, Ereignisprotokolle zeigen, welche Ergebnisse übernommen wurden.
- A.9 Nutzung von KI-Systemen: Beschäftigte melden Bedenken zu einzelnen Ausgaben und zu Veränderungen der Leistung.
Reaktion:
- A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung regeln, was geschieht, wenn die Prüfung zur Formsache geworden ist: weniger Automatisierung, kleinere Fallmengen, mehr Schulung oder ein anderer Zuschnitt der Aufgabe.
Bezug zur KI-Verordnung
Die KI-Verordnung (EU) 2024/1689 greift das Thema direkt auf. Art. 14 verlangt, dass Hochrisiko-Systeme wirksam von Menschen beaufsichtigt werden können, und nennt in Abs. 4 lit. b den Automation Bias beim Namen: Die beaufsichtigenden Personen sollen sich der Neigung bewusst bleiben, sich zu sehr auf die Ausgaben zu verlassen. Das System muss es ihnen ermöglichen, die Ausgaben richtig zu deuten, sie außer Acht zu lassen oder zu übersteuern und den Betrieb anzuhalten. Betreiber übertragen die Aufsicht nach Art. 26 Abs. 2 an Personen mit der nötigen Kompetenz, Schulung und Befugnis, und Art. 4 verlangt ausreichende KI-Kompetenz der Beschäftigten. Für personenbezogene Entscheidungen gilt daneben Art. 22 DSGVO. Der EuGH hat 2023 entschieden (Rs. C-634/21), dass schon die automatisierte Ermittlung eines Scores darunter fallen kann, wenn ein Dritter seine Entscheidung maßgeblich darauf stützt (→ EU AI Act).
Verwandte Gefährdungen
- T13 Halluzination und fehlerhafte Ausgaben: Erfundene Inhalte werden vor allem dann gefährlich, wenn sie ungeprüft weitergehen.
- T02 Mangelnde Transparenz und Erklärbarkeit: Ohne Begründung fehlt der Ansatzpunkt für einen Zweifel.
- MU-02 Ungeprüfte Übernahme der Ausgaben: Das Missbrauchsmuster beschreibt dieselbe Schwäche aus Sicht der Einsatzregeln.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.3: Level of automation
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 4, 14 und 26
- Verordnung (EU) 2016/679 (DSGVO), Art. 22
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme