Zum Hauptinhalt springen
KI-Gefährdung · ISO/IEC 42001 Anhang C

T03 Übermäßige Automatisierung (Automation Bias)

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein Großhändler lässt Eingangsrechnungen von einem KI-System prüfen und zur Zahlung vorschlagen. Die Buchhaltung gibt die Vorschläge frei, anfangs nach Stichprobe, nach einigen Monaten mit einem Klick für den ganzen Stapel. Eine gefälschte Rechnung mit geänderter Bankverbindung geht durch, weil das System sie als plausibel markiert hat und niemand mehr genauer hinsieht. Auf dem Papier gab es eine menschliche Freigabe, tatsächlich hatte sich die Buchhaltung längst ganz auf das System verlassen.

ISO/IEC 42001 führt den Automatisierungsgrad in Anhang C als Risikoquelle, weil er Sicherheit, Fairness und Informationssicherheit berührt. Im Produkt trägt die Gefährdung den Namen ihres häufigsten Mechanismus: Automation Bias, die Neigung, automatisch erzeugten Ergebnissen mehr zu trauen als der eigenen Prüfung.

Was steckt dahinter?

Automatisierung verschiebt die Rolle des Menschen vom Entscheiden zum Überwachen. Das klingt nach einer Entlastung, verlangt aber eine besondere Aufmerksamkeit, die im Alltag schwer durchzuhalten ist. Je zuverlässiger ein System meistens arbeitet, desto weniger rechnen Menschen mit seinen Fehlern. Genau dann rutscht der seltene Fehler durch.

Stufen der Automatisierung

  • Die KI unterstützt, ein Mensch entscheidet. Das System liefert Hinweise oder Vorschläge. Gefahr: Der Vorschlag verankert das Urteil, und die Person sucht eher nach Bestätigung als nach Widerspruch.
  • Die KI entscheidet, ein Mensch überwacht. Das System handelt selbst, eine Person kann eingreifen. Gefahr: Die Überwachung wird zur Formsache, weil Eingriffe selten nötig erscheinen.
  • Die KI entscheidet allein. Im Einzelfall ist niemand beteiligt. Gefahr: Fehler wirken sofort und massenhaft und fallen oft erst durch Beschwerden auf.

Warum Menschen zu viel vertrauen

  • Zeitdruck und hohe Fallzahlen. Wer Hunderte Vorschläge am Tag prüft, kann nicht jeden nachrechnen.
  • Fehlende Information. Die Oberfläche zeigt ein Ergebnis ohne Unsicherheit und ohne Begründung. Woran soll sich ein Zweifel festmachen?
  • Verteilte Verantwortung. Alle gehen davon aus, dass das System oder eine andere Stelle bereits geprüft hat.
  • Schiefe Anreize. Wer vom Vorschlag abweicht, muss das begründen. Wer zustimmt, muss gar nichts tun.

Schadensausmaß

Was auf dem Spiel steht, hängt von der Entscheidung ab. Im Scoring und in der Personalauswahl können Menschen systematisch benachteiligt werden, ohne dass es jemand bemerkt. In der IT-Sicherheit sperrt ein automatisiertes System womöglich legitime Konten oder lässt einen Angriff durch, weil die Meldung in der Masse untergeht. In technischen Anlagen kann es um körperliche Sicherheit gehen. Gemeinsam ist allen Fällen, dass sich ein Fehler mit der Automatisierung vervielfacht. Hinzu kommt das rechtliche Risiko: Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung dürfen nach Art. 22 DSGVO nur in Ausnahmefällen ausschließlich automatisiert fallen.

Praxisbeispiele

Kreditvorentscheidung. Ein Scoring-System empfiehlt Annahme oder Ablehnung. Die Sachbearbeitung folgt der Empfehlung in fast allen Fällen, denn eine Abweichung braucht eine schriftliche Begründung und die Zustimmung der Teamleitung, eine Zustimmung braucht nichts. Faktisch entscheidet das System allein, obwohl der Prozess eine menschliche Entscheidung vorsieht.

Automatische Kontosperren. Ein Werkzeug für den IT-Betrieb sperrt Benutzerkonten bei auffälligem Anmeldeverhalten selbstständig. Zum Quartalsende arbeitet die Finanzabteilung bis spät in die Nacht, und das System sperrt Dutzende Konten. Weil die Sperren seit Monaten nie hinterfragt wurden, dauert es Stunden, bis jemand die Ursache erkennt und den Abschluss wieder freigibt.

Rangliste in der Personalauswahl. Ein Rekrutierungssystem sortiert Bewerbungen nach Passung. Unter Zeitdruck sehen sich die Recruiter nur noch die ersten zehn Plätze an. Wer weiter hinten landet, wird nie von einem Menschen gelesen, auch wenn die Einstufung auf einem Fehler im Lebenslauf-Import beruht.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.9 Nutzung von KI-Systemen: Die Organisation legt Ziele für die verantwortungsvolle Nutzung fest, darunter menschliche Aufsicht. Sie bestimmt, an welchen Stellen Personen Ergebnisse prüfen und Entscheidungen des Systems übersteuern dürfen, und fragt, ob eine automatisierte Entscheidung für den Zweck überhaupt angemessen ist.
  • A.6.2 Lebenszyklus von KI-Systemen: Schon in Anforderungen und Entwurf wird festgelegt, wie Menschen mit dem System interagieren und wie Ergebnisse dargestellt werden.
  • A.8 Information für interessierte Parteien: Nutzerinnen und Nutzer erfahren, wie genau das System arbeitet, wann menschliche Aufsicht nötig ist und wie und wann sie es übersteuern können.

Erkennung:

Reaktion:

  • A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung regeln, was geschieht, wenn die Prüfung zur Formsache geworden ist: weniger Automatisierung, kleinere Fallmengen, mehr Schulung oder ein anderer Zuschnitt der Aufgabe.

Bezug zur KI-Verordnung

Die KI-Verordnung (EU) 2024/1689 greift das Thema direkt auf. Art. 14 verlangt, dass Hochrisiko-Systeme wirksam von Menschen beaufsichtigt werden können, und nennt in Abs. 4 lit. b den Automation Bias beim Namen: Die beaufsichtigenden Personen sollen sich der Neigung bewusst bleiben, sich zu sehr auf die Ausgaben zu verlassen. Das System muss es ihnen ermöglichen, die Ausgaben richtig zu deuten, sie außer Acht zu lassen oder zu übersteuern und den Betrieb anzuhalten. Betreiber übertragen die Aufsicht nach Art. 26 Abs. 2 an Personen mit der nötigen Kompetenz, Schulung und Befugnis, und Art. 4 verlangt ausreichende KI-Kompetenz der Beschäftigten. Für personenbezogene Entscheidungen gilt daneben Art. 22 DSGVO. Der EuGH hat 2023 entschieden (Rs. C-634/21), dass schon die automatisierte Ermittlung eines Scores darunter fallen kann, wenn ein Dritter seine Entscheidung maßgeblich darauf stützt (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Was genau ist Automation Bias?

Die Neigung, Ergebnissen eines automatisierten Systems mehr zu trauen als anderen Informationen oder dem eigenen Urteil. Sie zeigt sich auf zwei Arten: Menschen übernehmen falsche Vorschläge, und sie übersehen Probleme, auf die das System nicht hinweist. Die KI-Verordnung nennt den Effekt in Art. 14 ausdrücklich.

Ist ein hoher Automatisierungsgrad grundsätzlich schlecht?

Nein. Für Aufgaben mit geringen Folgen und gut messbarer Qualität kann volle Automatisierung sinnvoll sein. Wichtig ist, dass der Grad zur Tragweite der Entscheidung passt und bewusst festgelegt wird. Je stärker Menschen betroffen sind, desto mehr kommt es auf eine wirksame Prüfung im Einzelfall an.

Wie erkenne ich, dass die menschliche Prüfung nur noch formal ist?

An Kennzahlen wie einer Abweichungsquote nahe null, sehr kurzen Bearbeitungszeiten je Fall und fehlenden Begründungen bei Freigaben. Gespräche mit den prüfenden Personen zeigen oft schnell, ob sie Zeit, Informationen und Befugnis für eine echte Prüfung haben. Fehlt eines davon, ist die Aufsicht geschwächt.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.