Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-02 Ungeprüfte Übernahme der Ausgaben

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001

Eine Versicherung lässt Antwortschreiben auf Kundenbeschwerden von einem Sprachmodell vorformulieren. Vorgesehen ist, dass die Sachbearbeitung jeden Entwurf liest, mit der Akte abgleicht und anpasst. Nach einigen Monaten gehen fast alle Entwürfe unverändert hinaus. Einer davon sagt einem Kunden eine Erstattung zu, die sein Vertrag gar nicht vorsieht, und der Kunde besteht auf der schriftlichen Zusage. Die Prüfung stand im Prozess, im Alltag war sie zu einem Klick geschrumpft.

Dieses Muster beschreibt Ergebnisse, die ohne die vorgesehene Prüfung weitergegeben oder umgesetzt werden. Für die KI-Verordnung (EU) 2024/1689 ist das ein Lehrbuchfall der vernünftigerweise vorhersehbaren Fehlanwendung nach Art. 3 Nr. 13: Kaum ein menschliches Verhalten ist so naheliegend wie das Vertrauen in eine Maschine, die meistens richtig liegt.

Was steckt dahinter?

Viele KI-Systeme sind so gebaut, dass ein Mensch das Ergebnis prüft, bevor es wirkt. Die Prüfung ist Teil des Sicherheitskonzepts: Anbieter verweisen auf sie in der Gebrauchsanweisung, Betreiber schreiben sie in ihre Abläufe. Fällt die Prüfung weg, arbeitet das System ohne die Absicherung, für die es ausgelegt wurde. Die Fehlerquote des Modells bleibt dieselbe, nur erreicht jetzt jeder Fehler sein Ziel.

Wie es im Alltag dazu kommt

  • Gewöhnung. Wenn hundert Entwürfe in Ordnung waren, wirkt der hunderterste ebenso verlässlich. Dieses Vertrauen in automatische Ergebnisse heißt Automatisierungsbias und ist gut belegt.
  • Zeitdruck und Kennzahlen. Wer nach Durchsatz bewertet wird, spart an der Stelle, die niemand misst: an der Prüfung.
  • Flüssige Sprache. Generative Systeme schreiben sicher und glatt, auch wenn der Inhalt falsch ist. Die Form signalisiert eine Qualität, die der Inhalt nicht hat.
  • Fehlende Mittel. Die prüfende Person hat keinen Zugriff auf die Akte, die Quelle oder das Fachwissen, um das Ergebnis zu beurteilen. Dann bleibt nur, es durchzuwinken.
  • Verwischte Verantwortung. „Das hat die KI so vorgeschlagen“ wird zur Entlastung, obwohl die Verantwortung bei der Organisation und der Person bleibt, die das Ergebnis verwendet.

Warum es riskant ist

Halluzinierte Fakten, falsche Berechnungen, verzerrte Bewertungen und fremdes Material in Texten gelangen ungefiltert nach außen oder in Entscheidungen. Hinzu kommt ein zweiter Schaden: Freigabevermerke und Protokolle behaupten eine Kontrolle, die nicht stattgefunden hat. Im Audit oder im Streitfall belegt die Organisation damit eine Sorgfalt, die es nicht gab.

Schadensausmaß

Das Schadensausmaß folgt der Reichweite des Ergebnisses. Eine ungeprüfte interne Zusammenfassung kostet im schlechtesten Fall eine falsche Besprechung. Eine ungeprüfte Kundenzusage, ein fehlerhafter Arztbrief oder eine falsche Zahl im Geschäftsbericht haben finanzielle, gesundheitliche oder rechtliche Folgen. Je mehr Menschen ein Ergebnis erreicht und je schwerer es sich zurückholen lässt, desto teurer wird die gesparte Prüfung.

Praxisbeispiele

Code-Assistent in der Entwicklung. Ein Entwicklungsteam übernimmt Vorschläge eines Code-Assistenten, die Tests laufen grün. Niemand bemerkt, dass eine Datenbankabfrage Eingaben ungeschützt weiterreicht. Die Lücke wird erst bei einem Penetrationstest gefunden, nachdem der Code monatelang in Produktion lief.

Zusammenfassung von Arztbriefen. Eine Praxis lässt eingehende Entlassungsbriefe zusammenfassen, die Ärztin zeichnet die Zusammenfassung ab. In einem Fall fehlt darin eine neu festgestellte Allergie. Den vollständigen Brief hat sie nicht geöffnet, weil die Zusammenfassung ja vorlag.

Pressemitteilung mit erfundenem Zitat. Die Kommunikationsabteilung eines Verbands lässt eine Pressemitteilung entwerfen und veröffentlicht sie nach kurzer Durchsicht. Das Zitat einer Fachperson darin hat das Modell erfunden. Die Richtigstellung erreicht weniger Menschen als die ursprüngliche Meldung.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.3 Interne Organisation: Rollen und Verantwortlichkeiten legen fest, wer welche Ausgaben prüft und wer sie verwerfen darf. Die Verantwortung bleibt bei benannten Personen.
  • A.8 Information für interessierte Parteien: Nutzende erhalten Informationen über typische Fehler, Grenzen und die richtige Deutung der Ausgaben. Wer die Schwächen kennt, prüft gezielter.
  • A.9 Nutzung von KI-Systemen: Die Prozesse und Ziele für die verantwortungsvolle Nutzung bestimmen, an welchen Stellen Menschen Ergebnisse prüfen und mit welcher Befugnis sie Entscheidungen des Systems übersteuern.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung von Betrieb und Leistung, einschließlich der Genauigkeit der Ausgaben, zeigt Fehler, die durch die Prüfung gerutscht sind. Ereignisprotokolle machen sichtbar, ob Ausgaben verändert oder unverändert übernommen wurden.

Reaktion:

  • A.3 Interne Organisation: Über den Meldeweg für Bedenken können Beschäftigte melden, dass eine Prüfung unter den gegebenen Bedingungen nicht leistbar ist. Das ist oft die erste Warnung vor diesem Muster.

Die KI-Nutzungsrichtlinie behandelt jede KI-Ausgabe als Vorschlag (Abschnitt 4.1) und regelt in Abschnitt 4.4, worauf die Prüfung achtet: Richtigkeit, Verzerrung, Rechte am Material und Dokumentation bei folgenreichen Zwecken. Abschnitt 6 verlangt eine fachkundige Prüfung, bevor auf Grundlage eines folgenreichen Ergebnisses gehandelt wird.

Bezug zur KI-Verordnung

Bei Hochrisiko-KI-Systemen muss der Anbieter die Risiken der vorhersehbaren Fehlanwendung nach Art. 9 Abs. 2 lit. b abschätzen und die Umstände, die zu Risiken führen können, in der Gebrauchsanweisung nennen (Art. 13 Abs. 3 lit. b Ziff. iii). Art. 14 Abs. 4 verlangt, dass die aufsichtsführenden Personen sich des Automatisierungsbias bewusst bleiben (lit. b), die Ausgaben richtig deuten (lit. c) und sie außer Acht lassen oder übersteuern können (lit. d). Der Betreiber überträgt die Aufsicht nach Art. 26 Abs. 2 Personen mit der nötigen Kompetenz, Ausbildung und Befugnis und gibt ihnen die erforderliche Unterstützung (→ EU AI Act).

Zwei weitere Stellen gelten unabhängig von der Risikoklasse. Nach Art. 4 ergreifen Anbieter und Betreiber Maßnahmen, die die KI-Kompetenz ihres Personals fördern, und dazu gehört das Wissen um die Fehlerneigung der Systeme. Und nach Art. 50 Abs. 4 entfällt die Kennzeichnung KI-erzeugter Texte zu Angelegenheiten von öffentlichem Interesse nur dann, wenn der Text menschlich geprüft oder redaktionell kontrolliert wurde und jemand die redaktionelle Verantwortung trägt. Eine Prüfung, die nur auf dem Papier steht, trägt diese Ausnahme nicht.

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Wie gründlich muss ich eine KI-Ausgabe prüfen?

Das hängt von der Wirkung ab. Für eine interne Ideensammlung genügt ein kritischer Blick, für Texte an Kunden, Zahlen in Berichten oder Aussagen über Personen werden Fakten, Quellen und Berechnungen gegen verlässliche Unterlagen geprüft. Lege je Einsatzfall fest, was die Prüfung umfasst und wann sie dokumentiert wird.

Reicht es, wenn jemand auf „Freigeben“ klickt?

Nur wenn die Person den Inhalt beurteilen konnte und es auch getan hat. Dazu braucht sie Fachwissen, Zeit, Zugang zu den Ausgangsdaten und die Befugnis, eine Ausgabe zu verwerfen. Fehlt eines davon, dokumentiert der Klick eine Prüfung, die es nicht gab.

Woran erkenne ich, dass Prüfungen nur noch formal stattfinden?

Typische Anzeichen sind ein sehr hoher Anteil unveränderter Ausgaben, auffällig kurze Bearbeitungszeiten, über lange Zeit keine einzige Ablehnung und Fehler, die erst Kunden oder Betroffene bemerken. Stichproben durch eine zweite Person machen das Muster sichtbar, bevor ein Schaden entsteht.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.