Eine Versicherung lässt Antwortschreiben auf Kundenbeschwerden von einem Sprachmodell vorformulieren. Vorgesehen ist, dass die Sachbearbeitung jeden Entwurf liest, mit der Akte abgleicht und anpasst. Nach einigen Monaten gehen fast alle Entwürfe unverändert hinaus. Einer davon sagt einem Kunden eine Erstattung zu, die sein Vertrag gar nicht vorsieht, und der Kunde besteht auf der schriftlichen Zusage. Die Prüfung stand im Prozess, im Alltag war sie zu einem Klick geschrumpft.
Dieses Muster beschreibt Ergebnisse, die ohne die vorgesehene Prüfung weitergegeben oder umgesetzt werden. Für die KI-Verordnung (EU) 2024/1689 ist das ein Lehrbuchfall der vernünftigerweise vorhersehbaren Fehlanwendung nach Art. 3 Nr. 13: Kaum ein menschliches Verhalten ist so naheliegend wie das Vertrauen in eine Maschine, die meistens richtig liegt.
Was steckt dahinter?
Viele KI-Systeme sind so gebaut, dass ein Mensch das Ergebnis prüft, bevor es wirkt. Die Prüfung ist Teil des Sicherheitskonzepts: Anbieter verweisen auf sie in der Gebrauchsanweisung, Betreiber schreiben sie in ihre Abläufe. Fällt die Prüfung weg, arbeitet das System ohne die Absicherung, für die es ausgelegt wurde. Die Fehlerquote des Modells bleibt dieselbe, nur erreicht jetzt jeder Fehler sein Ziel.
Wie es im Alltag dazu kommt
- Gewöhnung. Wenn hundert Entwürfe in Ordnung waren, wirkt der hunderterste ebenso verlässlich. Dieses Vertrauen in automatische Ergebnisse heißt Automatisierungsbias und ist gut belegt.
- Zeitdruck und Kennzahlen. Wer nach Durchsatz bewertet wird, spart an der Stelle, die niemand misst: an der Prüfung.
- Flüssige Sprache. Generative Systeme schreiben sicher und glatt, auch wenn der Inhalt falsch ist. Die Form signalisiert eine Qualität, die der Inhalt nicht hat.
- Fehlende Mittel. Die prüfende Person hat keinen Zugriff auf die Akte, die Quelle oder das Fachwissen, um das Ergebnis zu beurteilen. Dann bleibt nur, es durchzuwinken.
- Verwischte Verantwortung. „Das hat die KI so vorgeschlagen“ wird zur Entlastung, obwohl die Verantwortung bei der Organisation und der Person bleibt, die das Ergebnis verwendet.
Warum es riskant ist
Halluzinierte Fakten, falsche Berechnungen, verzerrte Bewertungen und fremdes Material in Texten gelangen ungefiltert nach außen oder in Entscheidungen. Hinzu kommt ein zweiter Schaden: Freigabevermerke und Protokolle behaupten eine Kontrolle, die nicht stattgefunden hat. Im Audit oder im Streitfall belegt die Organisation damit eine Sorgfalt, die es nicht gab.
Schadensausmaß
Das Schadensausmaß folgt der Reichweite des Ergebnisses. Eine ungeprüfte interne Zusammenfassung kostet im schlechtesten Fall eine falsche Besprechung. Eine ungeprüfte Kundenzusage, ein fehlerhafter Arztbrief oder eine falsche Zahl im Geschäftsbericht haben finanzielle, gesundheitliche oder rechtliche Folgen. Je mehr Menschen ein Ergebnis erreicht und je schwerer es sich zurückholen lässt, desto teurer wird die gesparte Prüfung.
Praxisbeispiele
Code-Assistent in der Entwicklung. Ein Entwicklungsteam übernimmt Vorschläge eines Code-Assistenten, die Tests laufen grün. Niemand bemerkt, dass eine Datenbankabfrage Eingaben ungeschützt weiterreicht. Die Lücke wird erst bei einem Penetrationstest gefunden, nachdem der Code monatelang in Produktion lief.
Zusammenfassung von Arztbriefen. Eine Praxis lässt eingehende Entlassungsbriefe zusammenfassen, die Ärztin zeichnet die Zusammenfassung ab. In einem Fall fehlt darin eine neu festgestellte Allergie. Den vollständigen Brief hat sie nicht geöffnet, weil die Zusammenfassung ja vorlag.
Pressemitteilung mit erfundenem Zitat. Die Kommunikationsabteilung eines Verbands lässt eine Pressemitteilung entwerfen und veröffentlicht sie nach kurzer Durchsicht. Das Zitat einer Fachperson darin hat das Modell erfunden. Die Richtigstellung erreicht weniger Menschen als die ursprüngliche Meldung.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.3 Interne Organisation: Rollen und Verantwortlichkeiten legen fest, wer welche Ausgaben prüft und wer sie verwerfen darf. Die Verantwortung bleibt bei benannten Personen.
- A.8 Information für interessierte Parteien: Nutzende erhalten Informationen über typische Fehler, Grenzen und die richtige Deutung der Ausgaben. Wer die Schwächen kennt, prüft gezielter.
- A.9 Nutzung von KI-Systemen: Die Prozesse und Ziele für die verantwortungsvolle Nutzung bestimmen, an welchen Stellen Menschen Ergebnisse prüfen und mit welcher Befugnis sie Entscheidungen des Systems übersteuern.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung von Betrieb und Leistung, einschließlich der Genauigkeit der Ausgaben, zeigt Fehler, die durch die Prüfung gerutscht sind. Ereignisprotokolle machen sichtbar, ob Ausgaben verändert oder unverändert übernommen wurden.
Reaktion:
- A.3 Interne Organisation: Über den Meldeweg für Bedenken können Beschäftigte melden, dass eine Prüfung unter den gegebenen Bedingungen nicht leistbar ist. Das ist oft die erste Warnung vor diesem Muster.
Die KI-Nutzungsrichtlinie behandelt jede KI-Ausgabe als Vorschlag (Abschnitt 4.1) und regelt in Abschnitt 4.4, worauf die Prüfung achtet: Richtigkeit, Verzerrung, Rechte am Material und Dokumentation bei folgenreichen Zwecken. Abschnitt 6 verlangt eine fachkundige Prüfung, bevor auf Grundlage eines folgenreichen Ergebnisses gehandelt wird.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen muss der Anbieter die Risiken der vorhersehbaren Fehlanwendung nach Art. 9 Abs. 2 lit. b abschätzen und die Umstände, die zu Risiken führen können, in der Gebrauchsanweisung nennen (Art. 13 Abs. 3 lit. b Ziff. iii). Art. 14 Abs. 4 verlangt, dass die aufsichtsführenden Personen sich des Automatisierungsbias bewusst bleiben (lit. b), die Ausgaben richtig deuten (lit. c) und sie außer Acht lassen oder übersteuern können (lit. d). Der Betreiber überträgt die Aufsicht nach Art. 26 Abs. 2 Personen mit der nötigen Kompetenz, Ausbildung und Befugnis und gibt ihnen die erforderliche Unterstützung (→ EU AI Act).
Zwei weitere Stellen gelten unabhängig von der Risikoklasse. Nach Art. 4 ergreifen Anbieter und Betreiber Maßnahmen, die die KI-Kompetenz ihres Personals fördern, und dazu gehört das Wissen um die Fehlerneigung der Systeme. Und nach Art. 50 Abs. 4 entfällt die Kennzeichnung KI-erzeugter Texte zu Angelegenheiten von öffentlichem Interesse nur dann, wenn der Text menschlich geprüft oder redaktionell kontrolliert wurde und jemand die redaktionelle Verantwortung trägt. Eine Prüfung, die nur auf dem Papier steht, trägt diese Ausnahme nicht.
Verwandte Muster und Gefährdungen
- T03 Übermäßige Automatisierung (Automation Bias): Die Gefährdung hinter dem Muster, das übermäßige Vertrauen in automatische Ergebnisse.
- T13 Halluzination und fehlerhafte Ausgaben: Was durchrutscht, wenn niemand prüft.
- MU-07 Automatische Entscheidung ohne Einzelfallprüfung: Die Zuspitzung, bei der die Ausgabe allein über einen Fall entscheidet.
- MU-05 Umgehung der menschlichen Aufsicht: Hier wird die Prüfung bewusst abgeschaltet oder umgangen.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13, Art. 4, 9, 13, 14, 26 und 50
- ISO/IEC 42001:2023, Anhang B.9.3 (Ziele der verantwortungsvollen Nutzung, menschliche Aufsicht), B.9.4 und B.3.2
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 4.1, 4.4 und 6
- ISO/IEC 42001 im Cenedril-Wiki: Anhang A und die Kontrollen zur Nutzung von KI-Systemen