Ein Onlinehändler nutzt ein KI-System zur Betrugserkennung bei Bestellungen. Nach einem Update stuft es auffällig viele Bestellungen aus einer bestimmten Region als verdächtig ein. Der Kundenservice bemerkt die Häufung nach zwei Tagen und schreibt es in den Team-Chat der IT. Dort heißt es, der Anbieter arbeite an einer Lösung, bis dahin laufe das System weiter. Drei Wochen lang werden Kundinnen und Kunden aus dieser Region abgewiesen. Der Fehler war bekannt, über den Weiterbetrieb hat niemand entschieden, und genau das war die Entscheidung.
Dieses Muster beschreibt ein System, das im Einsatz bleibt, obwohl fehlerhaftes Verhalten bereits beobachtet wurde. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13: Kaum eine Organisation schaltet ein System gern ab, auf das ihre Abläufe angewiesen sind.
Was steckt dahinter?
Jedes KI-System macht Fehler, und nicht jeder Fehler verlangt eine Abschaltung. Sobald eine Fehlfunktion bekannt ist, braucht es aber eine bewusste Entscheidung: weiter mit Einschränkungen, Rückkehr zur vorherigen Version oder Aussetzen. Das Muster entsteht, wenn diese Entscheidung ausbleibt oder trotz erkennbaren Risikos zugunsten des Weiterbetriebs fällt. Oft liegt zwischen der ersten Beobachtung und einer Reaktion eine lange Zeit, in der Schäden sich anhäufen.
Wie es im Alltag dazu kommt
- Abhängigkeit. Der Ablauf funktioniert ohne das System nicht mehr, und ein Ersatzverfahren gibt es nicht.
- Unklare Zuständigkeit. Niemand weiß, wer ein System aussetzen darf, und keiner will es auf eigene Verantwortung tun.
- Informelle Meldungen. Beobachtungen landen im Chat oder im Flurgespräch, nie im Vorfallprozess.
- Hoffnung auf den Anbieter. Die Korrektur ist angekündigt, und bis dahin soll es irgendwie gehen.
- Gewöhnung an Umwege. Beschäftigte korrigieren die Fehler von Hand, der Fehler wird zum Normalzustand.
- Kleiner Anschein. Der Fehler betrifft nur bestimmte Fälle und wirkt deshalb harmlos.
Warum es riskant ist
Der Schaden setzt sich fort und wächst mit jedem Tag. Er trifft oft eine bestimmte Gruppe immer wieder, wie im Beispiel oben. Hinzu kommt die Kenntnis: Ab der ersten Meldung handelt die Organisation wissentlich, was Haftungsfragen verschärft. Und ohne förmliche Meldung erfährt der Anbieter vom Fehler zu spät oder gar nicht, sodass andere Betreiber dasselbe Problem haben.
Schadensausmaß
Das Schadensausmaß reicht von Umsatzverlust und unzufriedenen Kundinnen und Kunden bis zu Gesundheitsschäden, wenn etwa medizinische oder sicherheitsrelevante Systeme betroffen sind. Ab dem Moment, in dem ein Fehler bekannt ist, wird jeder weitere Schaden zu einer Entscheidung der Organisation. Bei Hochrisiko-Systemen kommt der Verstoß gegen die Pflicht zum Aussetzen nach Art. 26 Abs. 5 hinzu.
Praxisbeispiele
Vorausschauende Wartung nach einem Sensortausch. Ein Werk nutzt ein System, das den Verschleiß von Pumpen vorhersagt. Nach dem Tausch der Sensoren meldet es durchgehend „unauffällig“. Die Instandhaltung weiß, dass die Werte seitdem nicht stimmen, lässt das System aber weiterlaufen, weil die Umstellung auf feste Intervalle Aufwand bedeutet. Eine Pumpe fällt aus und beschädigt eine ganze Anlage.
Chatbot mit veralteten Tarifen. Ein Stadtwerk ändert seine Preise, der Chatbot nennt weiter die alten. Das Team weiß seit Wochen davon und verweist bei Beschwerden auf die Website. Kundinnen und Kunden schließen auf Grundlage der falschen Auskunft Verträge ab und fordern später die genannten Preise ein.
Spracherkennung in der Arztdokumentation. Nach einem Update verwechselt die Spracherkennung einer Klinik ähnlich klingende Medikamentennamen. Die Ärztinnen und Ärzte korrigieren die Fehler, wenn sie sie bemerken. Eine Meldung an den Anbieter oder eine Rückkehr zur vorherigen Version unterbleibt, bis eine falsche Medikation im Entlassungsbrief steht.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.3 Interne Organisation: Rollen legen fest, wer ein System aussetzen darf. Der Meldeweg für Bedenken sieht eine rechtzeitige Eskalation an die Leitung vor, und Meldende sind vor Nachteilen geschützt.
- A.6.2 Lebenszyklus von KI-Systemen: Für den Betrieb sind Überwachung, Reparatur, Aktualisierung und Unterstützung festgelegt, einschließlich eines Ablaufs für die Reaktion auf Fehler.
- A.9 Nutzung von KI-Systemen: Gibt der Einsatz Anlass zur Sorge, teilt die Organisation das intern und dem Lieferanten mit.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung achtet auf Fehler und Ausfälle und darauf, ob das System mit den tatsächlichen Daten wie erwartet arbeitet.
- A.8 Information für interessierte Parteien: Nutzende und Externe haben einen Weg, nachteilige Auswirkungen zu melden.
Reaktion:
- A.8 Information für interessierte Parteien: Vorfälle werden den Nutzenden und anderen Betroffenen mitgeteilt.
- A.10 Beziehungen zu Dritten und Kunden: Arbeitet das System eines Lieferanten nicht wie vorgesehen, verlangt die Organisation Korrekturmaßnahmen von ihm.
Die KI-Nutzungsrichtlinie verlangt in Abschnitt 7, Fehlfunktionen unverzüglich zu melden, ohne auf Gewissheit zu warten. Abschnitt 9 legt Unterstützungsweg und Reparaturablauf je System fest, Abschnitt 10 das Aussetzen von Hochrisiko-Systemen bei Risiko. Für die Meldung an Behörden bietet das Starter-Kit eine Vorlage zur Meldung schwerwiegender Vorfälle.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen bewertet der Anbieter die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt die Umstände, die zu Risiken führen können, in der Gebrauchsanweisung (Art. 13 Abs. 3 lit. b Ziff. iii). Die aufsichtsführenden Personen müssen Anomalien, Fehlfunktionen und unerwartete Leistung erkennen und beheben können (Art. 14 Abs. 4 lit. a) und das System anhalten können (lit. e).
Für den Betreiber ist Art. 26 Abs. 5 die zentrale Vorschrift: Er überwacht den Betrieb anhand der Gebrauchsanweisung. Hat er Grund zur Annahme, dass die Verwendung ein Risiko im Sinne von Art. 79 Abs. 1 birgt, informiert er unverzüglich Anbieter oder Händler und die Marktüberwachungsbehörde und setzt die Verwendung aus. Schwerwiegende Vorfälle nach Art. 3 Nr. 49 meldet er unverzüglich zuerst dem Anbieter. Der Anbieter ergreift nach Art. 20 Korrekturmaßnahmen und meldet schwerwiegende Vorfälle nach Art. 73 den Behörden (→ EU AI Act).
Verwandte Muster und Gefährdungen
- T07 Unausgereifte Technologie / Modelldrift: Eine häufige Ursache für Fehlfunktionen, die sich schleichend einstellen.
- T13 Halluzination und fehlerhafte Ausgaben: Fehlerhafte Ausgaben, die bekannt sind und trotzdem weiter erzeugt werden.
- MU-14 Nutzung im Notbetrieb ohne die üblichen Kontrollen: Verwandt, wenn ein gestörtes System mit reduzierten Kontrollen weiterläuft.
- MU-12 Nutzung außerhalb der Betriebsgrenzen: Häufig der Auslöser der beobachteten Fehler.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13 und 49, Art. 9, 13, 14, 20, 26, 73 und 79
- ISO/IEC 42001:2023, Anhang B.3.3, B.6.2.6, B.8.3, B.8.4, B.9.4 und B.10.3
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 7, 9 und 10
- Meldung schwerwiegender Vorfälle: Vorlage des KI-Compliance-Starter-Kits