Eine Krankenkasse lässt Anträge auf Hilfsmittel von einem KI-System vorprüfen. Das System empfiehlt Bewilligung oder Ablehnung, die Entscheidung trifft laut Verfahrensanweisung die Sachbearbeitung. Als sich die Anträge stauen, richtet die Fachabteilung ein, dass Empfehlungen zur Ablehnung direkt in einen Ablehnungsbescheid münden. Formal entscheidet weiterhin ein Mensch, tatsächlich entscheidet ein Rechenergebnis, und die Versicherten erfahren davon nichts.
Dieses Muster beschreibt Fälle, in denen eine Ausgabe allein über einen Fall entscheidet, obwohl eine menschliche Entscheidung vorgesehen ist. Es ist die schärfste Form der Fehlanwendung im Umgang mit Ergebnissen und eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13 KI-Verordnung (EU) 2024/1689, denn jeder Rückstau erzeugt den Wunsch nach Automatik.
Was steckt dahinter?
Viele KI-Systeme sind als Entscheidungshilfe gebaut. Die Entscheidung selbst bleibt einem Menschen vorbehalten, weil das Recht es verlangt, weil die Risikoanalyse es voraussetzt oder weil dem System der Zusammenhang fehlt, den nur ein Blick in den Einzelfall liefert. Das Muster beginnt in dem Moment, in dem aus der Empfehlung ohne Zwischenschritt eine Wirkung wird. Die Abgrenzung zu MU-02: Dort findet eine Prüfung statt, nur oberflächlich. Hier gibt es sie für den Fall gar nicht.
Wie es im Alltag dazu kommt
- Stapelverarbeitung. Tausende Fälle werden auf einmal verarbeitet, und die Ergebnisse gehen gesammelt hinaus.
- Schleichende Ausweitung. Zuerst werden nur eindeutige Fälle automatisch erledigt, dann verschiebt sich die Grenze Schritt für Schritt.
- Verkettete Abläufe. Die Ausgabe löst im Workflow den nächsten Schritt aus, etwa den Versand eines Schreibens, und niemand hat dazwischen einen Halt eingebaut.
- Missverstandene Empfehlung. Die Oberfläche zeigt „Empfehlung: Ablehnen“, und im Team gilt das als Anweisung.
- Sammelfreigabe. Eine Person zeichnet eine Liste mit Hunderten Ergebnissen ab, ohne einen einzigen Fall zu öffnen.
Warum es riskant ist
Ohne Einzelfallprüfung fließen besondere Umstände nicht ein, und Fehler des Systems werden zu Entscheidungen. Rechtlich trifft das Muster einen empfindlichen Punkt: Nach Art. 22 Abs. 1 DSGVO haben Menschen das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Ausnahmen gibt es nur nach Abs. 2 und mit Schutzmaßnahmen wie dem Recht auf Eingreifen einer Person, auf Darlegung des eigenen Standpunkts und auf Anfechtung (Abs. 3).
Schadensausmaß
Betroffen sind Menschen, denen Leistungen verweigert, Bewerbungen abgelehnt, Konten gesperrt oder Verträge gekündigt werden. Weil automatische Entscheidungen in großer Zahl ergehen, wiederholt sich ein Fehler sofort hundertfach. Dazu kommen rechtliche Folgen für die Organisation: unwirksame Entscheidungen, Bußgelder nach der DSGVO, Schadensersatz und der Aufwand, alle betroffenen Fälle neu aufzurollen. Je größer die Zahl der Fälle, desto teurer wird jeder Fehler, der ohne Mensch durchläuft.
Praxisbeispiele
Automatische Absagen im Bewerbungsverfahren. Ein Bewerbermanagementsystem ordnet Bewerbungen nach Passung. Die Personalabteilung aktiviert die Funktion, alle Bewerbungen unterhalb eines Rangs automatisch abzusagen, obwohl die interne Regel eine Entscheidung durch die zuständige Person vorsieht. Qualifizierte Bewerbende mit ungewöhnlichem Lebenslauf erhalten binnen Minuten eine Absage.
Schadensregulierung bei Kleinschäden. Ein Versicherer lehnt Kleinschäden automatisch ab, wenn ein Betrugswert eine Schwelle überschreitet. Die Kundinnen und Kunden erhalten ein Standardschreiben ohne Begründung. Erst eine Beschwerdewelle zeigt, dass der Wert bei bestimmten Postleitzahlen auffällig hoch ausfällt.
Kontosperrung bei einem Lieferdienst. Ein Lieferdienst sperrt Fahrerkonten automatisch, wenn ein System Auffälligkeiten bei Lieferzeiten meldet. Fahrerinnen, die wegen Baustellen oder Krankheit langsamer waren, verlieren ihre Einkünfte, bevor ein Mensch die Umstände kennt.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.6.1 Managementanleitung für die KI-Systementwicklung: Die Entwicklungsprozesse enthalten Anforderungen an die menschliche Aufsicht samt Abläufen und Werkzeugen, besonders dort, wo natürliche Personen betroffen sind.
- A.6.2 Lebenszyklus von KI-Systemen: Anforderungen und Freigabekriterien legen fest, an welcher Stelle ein Mensch entscheidet, und das System wird so gebaut und eingeführt, dass dieser Schritt nicht entfallen kann.
- A.8 Information für interessierte Parteien: Nutzende verstehen, dass eine Ausgabe ein Vorschlag ist, und Betroffene erfahren, welche Rolle das System bei der Entscheidung spielt.
- A.9 Nutzung von KI-Systemen: Zu den Zielen der verantwortungsvollen Nutzung gehört die Frage, ob eine automatisierte Entscheidung für den Einsatz überhaupt angemessen ist. Prüfende Personen erhalten die Befugnis, Ergebnisse zu übersteuern.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Ereignisprotokolle zeigen Entscheidungen ohne menschliche Handlung, und die Überwachung meldet auffällige Häufungen.
Reaktion:
- A.9 Nutzung von KI-Systemen: Betroffene Entscheidungen werden nachträglich einzeln geprüft, die Personen informiert und Fehler berichtigt.
Die KI-Nutzungsrichtlinie untersagt in Abschnitt 4.2, die Ausgabe eines KI-Systems ohne fachkundige Prüfung als alleinige Grundlage einer Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung zu verwenden. Abschnitt 6 regelt die menschliche Aufsicht, Abschnitt 8 das Recht auf Erläuterung nach Art. 86.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen bewertet der Anbieter die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt Risiken und Aufsichtsmaßnahmen in der Gebrauchsanweisung (Art. 13 Abs. 3 lit. b Ziff. iii und lit. d). Art. 14 Abs. 4 lit. d verlangt, dass die aufsichtsführende Person im Einzelfall entscheiden kann, das System nicht zu verwenden oder seine Ausgabe außer Acht zu lassen. Bei biometrischer Fernidentifizierung nach Anhang III Nr. 1 lit. a darf auf ein Identifizierungsergebnis grundsätzlich erst gehandelt werden, wenn zwei sachkundige Personen es getrennt bestätigt haben (Art. 14 Abs. 5). Der Betreiber setzt das System nach Art. 26 Abs. 1 und 2 entsprechend ein, informiert Betroffene nach Abs. 11 und erläutert auf Verlangen nach Art. 86 die Rolle des Systems (→ EU AI Act).
Neben der KI-Verordnung gilt Art. 22 der DSGVO für alle Systeme, die personenbezogene Daten verarbeiten, unabhängig von ihrer Risikoklasse.
Verwandte Muster und Gefährdungen
- MU-02 Ungeprüfte Übernahme der Ausgaben: Die Vorstufe, bei der die Prüfung noch existiert, aber verkümmert.
- MU-05 Umgehung der menschlichen Aufsicht: Der technische Weg, auf dem dieses Muster oft entsteht.
- T03 Übermäßige Automatisierung (Automation Bias): Die Gefährdung, die das Vertrauen in die Automatik nährt.
- T12 Verzerrung und Diskriminierung (Bias): Was ohne Einzelfallprüfung systematisch in Entscheidungen einfließt.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13, Art. 9, 13, 14, 26 und 86
- Verordnung (EU) 2016/679 (DSGVO), Art. 13, 14 und 22
- Europäischer Gerichtshof, Urteil vom 7. Dezember 2023, Rechtssache C-634/21 (SCHUFA Holding, Scoring)
- ISO/IEC 42001:2023, Anhang B.6.1.3, B.9.3 und B.9.4
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 4.2, 6 und 8