Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-07 Automatische Entscheidung ohne Einzelfallprüfung

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001DSGVO

Eine Krankenkasse lässt Anträge auf Hilfsmittel von einem KI-System vorprüfen. Das System empfiehlt Bewilligung oder Ablehnung, die Entscheidung trifft laut Verfahrensanweisung die Sachbearbeitung. Als sich die Anträge stauen, richtet die Fachabteilung ein, dass Empfehlungen zur Ablehnung direkt in einen Ablehnungsbescheid münden. Formal entscheidet weiterhin ein Mensch, tatsächlich entscheidet ein Rechenergebnis, und die Versicherten erfahren davon nichts.

Dieses Muster beschreibt Fälle, in denen eine Ausgabe allein über einen Fall entscheidet, obwohl eine menschliche Entscheidung vorgesehen ist. Es ist die schärfste Form der Fehlanwendung im Umgang mit Ergebnissen und eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13 KI-Verordnung (EU) 2024/1689, denn jeder Rückstau erzeugt den Wunsch nach Automatik.

Was steckt dahinter?

Viele KI-Systeme sind als Entscheidungshilfe gebaut. Die Entscheidung selbst bleibt einem Menschen vorbehalten, weil das Recht es verlangt, weil die Risikoanalyse es voraussetzt oder weil dem System der Zusammenhang fehlt, den nur ein Blick in den Einzelfall liefert. Das Muster beginnt in dem Moment, in dem aus der Empfehlung ohne Zwischenschritt eine Wirkung wird. Die Abgrenzung zu MU-02: Dort findet eine Prüfung statt, nur oberflächlich. Hier gibt es sie für den Fall gar nicht.

Wie es im Alltag dazu kommt

  • Stapelverarbeitung. Tausende Fälle werden auf einmal verarbeitet, und die Ergebnisse gehen gesammelt hinaus.
  • Schleichende Ausweitung. Zuerst werden nur eindeutige Fälle automatisch erledigt, dann verschiebt sich die Grenze Schritt für Schritt.
  • Verkettete Abläufe. Die Ausgabe löst im Workflow den nächsten Schritt aus, etwa den Versand eines Schreibens, und niemand hat dazwischen einen Halt eingebaut.
  • Missverstandene Empfehlung. Die Oberfläche zeigt „Empfehlung: Ablehnen“, und im Team gilt das als Anweisung.
  • Sammelfreigabe. Eine Person zeichnet eine Liste mit Hunderten Ergebnissen ab, ohne einen einzigen Fall zu öffnen.

Warum es riskant ist

Ohne Einzelfallprüfung fließen besondere Umstände nicht ein, und Fehler des Systems werden zu Entscheidungen. Rechtlich trifft das Muster einen empfindlichen Punkt: Nach Art. 22 Abs. 1 DSGVO haben Menschen das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Ausnahmen gibt es nur nach Abs. 2 und mit Schutzmaßnahmen wie dem Recht auf Eingreifen einer Person, auf Darlegung des eigenen Standpunkts und auf Anfechtung (Abs. 3).

Schadensausmaß

Betroffen sind Menschen, denen Leistungen verweigert, Bewerbungen abgelehnt, Konten gesperrt oder Verträge gekündigt werden. Weil automatische Entscheidungen in großer Zahl ergehen, wiederholt sich ein Fehler sofort hundertfach. Dazu kommen rechtliche Folgen für die Organisation: unwirksame Entscheidungen, Bußgelder nach der DSGVO, Schadensersatz und der Aufwand, alle betroffenen Fälle neu aufzurollen. Je größer die Zahl der Fälle, desto teurer wird jeder Fehler, der ohne Mensch durchläuft.

Praxisbeispiele

Automatische Absagen im Bewerbungsverfahren. Ein Bewerbermanagementsystem ordnet Bewerbungen nach Passung. Die Personalabteilung aktiviert die Funktion, alle Bewerbungen unterhalb eines Rangs automatisch abzusagen, obwohl die interne Regel eine Entscheidung durch die zuständige Person vorsieht. Qualifizierte Bewerbende mit ungewöhnlichem Lebenslauf erhalten binnen Minuten eine Absage.

Schadensregulierung bei Kleinschäden. Ein Versicherer lehnt Kleinschäden automatisch ab, wenn ein Betrugswert eine Schwelle überschreitet. Die Kundinnen und Kunden erhalten ein Standardschreiben ohne Begründung. Erst eine Beschwerdewelle zeigt, dass der Wert bei bestimmten Postleitzahlen auffällig hoch ausfällt.

Kontosperrung bei einem Lieferdienst. Ein Lieferdienst sperrt Fahrerkonten automatisch, wenn ein System Auffälligkeiten bei Lieferzeiten meldet. Fahrerinnen, die wegen Baustellen oder Krankheit langsamer waren, verlieren ihre Einkünfte, bevor ein Mensch die Umstände kennt.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

Erkennung:

Reaktion:

  • A.9 Nutzung von KI-Systemen: Betroffene Entscheidungen werden nachträglich einzeln geprüft, die Personen informiert und Fehler berichtigt.

Die KI-Nutzungsrichtlinie untersagt in Abschnitt 4.2, die Ausgabe eines KI-Systems ohne fachkundige Prüfung als alleinige Grundlage einer Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung zu verwenden. Abschnitt 6 regelt die menschliche Aufsicht, Abschnitt 8 das Recht auf Erläuterung nach Art. 86.

Bezug zur KI-Verordnung

Bei Hochrisiko-KI-Systemen bewertet der Anbieter die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt Risiken und Aufsichtsmaßnahmen in der Gebrauchsanweisung (Art. 13 Abs. 3 lit. b Ziff. iii und lit. d). Art. 14 Abs. 4 lit. d verlangt, dass die aufsichtsführende Person im Einzelfall entscheiden kann, das System nicht zu verwenden oder seine Ausgabe außer Acht zu lassen. Bei biometrischer Fernidentifizierung nach Anhang III Nr. 1 lit. a darf auf ein Identifizierungsergebnis grundsätzlich erst gehandelt werden, wenn zwei sachkundige Personen es getrennt bestätigt haben (Art. 14 Abs. 5). Der Betreiber setzt das System nach Art. 26 Abs. 1 und 2 entsprechend ein, informiert Betroffene nach Abs. 11 und erläutert auf Verlangen nach Art. 86 die Rolle des Systems (→ EU AI Act).

Neben der KI-Verordnung gilt Art. 22 der DSGVO für alle Systeme, die personenbezogene Daten verarbeiten, unabhängig von ihrer Risikoklasse.

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Wann gilt eine Entscheidung als ausschließlich automatisiert im Sinne von Art. 22 DSGVO?

Wenn keine Person mit Befugnis und Sachkunde den Einzelfall prüft und das Ergebnis ändern kann. Eine rein formale Freigabe ändert daran nichts. Nach dem Urteil des Europäischen Gerichtshofs in der Rechtssache C-634/21 (SCHUFA) von 2023 kann schon ein automatisch ermittelter Wert darunter fallen, wenn die Entscheidung eines Dritten maßgeblich auf ihm beruht.

Dürfen eindeutige Fälle automatisch entschieden werden?

Unter Umständen ja: wenn es rechtlich zulässig ist, etwa über die Ausnahmen in Art. 22 Abs. 2 DSGVO mit den Schutzmaßnahmen nach Abs. 3, und wenn Gebrauchsanweisung und Risikobewertung es erlauben. Verbreitet ist, Bewilligungen automatisch zu erteilen und belastende Entscheidungen Menschen vorzubehalten. Diese Grenze wird bewusst gezogen und dokumentiert.

Was muss ich betroffenen Personen mitteilen?

Nach Art. 13 Abs. 2 lit. f und Art. 14 Abs. 2 lit. g DSGVO das Bestehen einer automatisierten Entscheidung nach Art. 22 samt aussagekräftigen Informationen über die Logik und die Folgen. Betreiber von Hochrisiko-Systemen nach Anhang III informieren Betroffene nach Art. 26 Abs. 11 KI-Verordnung über den Einsatz, und Art. 86 gibt ein Recht auf Erläuterung der Rolle des Systems.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.