Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-08 Weiterbetrieb trotz bekannter Fehlfunktion

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001

Ein Onlinehändler nutzt ein KI-System zur Betrugserkennung bei Bestellungen. Nach einem Update stuft es auffällig viele Bestellungen aus einer bestimmten Region als verdächtig ein. Der Kundenservice bemerkt die Häufung nach zwei Tagen und schreibt es in den Team-Chat der IT. Dort heißt es, der Anbieter arbeite an einer Lösung, bis dahin laufe das System weiter. Drei Wochen lang werden Kundinnen und Kunden aus dieser Region abgewiesen. Der Fehler war bekannt, über den Weiterbetrieb hat niemand entschieden, und genau das war die Entscheidung.

Dieses Muster beschreibt ein System, das im Einsatz bleibt, obwohl fehlerhaftes Verhalten bereits beobachtet wurde. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13: Kaum eine Organisation schaltet ein System gern ab, auf das ihre Abläufe angewiesen sind.

Was steckt dahinter?

Jedes KI-System macht Fehler, und nicht jeder Fehler verlangt eine Abschaltung. Sobald eine Fehlfunktion bekannt ist, braucht es aber eine bewusste Entscheidung: weiter mit Einschränkungen, Rückkehr zur vorherigen Version oder Aussetzen. Das Muster entsteht, wenn diese Entscheidung ausbleibt oder trotz erkennbaren Risikos zugunsten des Weiterbetriebs fällt. Oft liegt zwischen der ersten Beobachtung und einer Reaktion eine lange Zeit, in der Schäden sich anhäufen.

Wie es im Alltag dazu kommt

  • Abhängigkeit. Der Ablauf funktioniert ohne das System nicht mehr, und ein Ersatzverfahren gibt es nicht.
  • Unklare Zuständigkeit. Niemand weiß, wer ein System aussetzen darf, und keiner will es auf eigene Verantwortung tun.
  • Informelle Meldungen. Beobachtungen landen im Chat oder im Flurgespräch, nie im Vorfallprozess.
  • Hoffnung auf den Anbieter. Die Korrektur ist angekündigt, und bis dahin soll es irgendwie gehen.
  • Gewöhnung an Umwege. Beschäftigte korrigieren die Fehler von Hand, der Fehler wird zum Normalzustand.
  • Kleiner Anschein. Der Fehler betrifft nur bestimmte Fälle und wirkt deshalb harmlos.

Warum es riskant ist

Der Schaden setzt sich fort und wächst mit jedem Tag. Er trifft oft eine bestimmte Gruppe immer wieder, wie im Beispiel oben. Hinzu kommt die Kenntnis: Ab der ersten Meldung handelt die Organisation wissentlich, was Haftungsfragen verschärft. Und ohne förmliche Meldung erfährt der Anbieter vom Fehler zu spät oder gar nicht, sodass andere Betreiber dasselbe Problem haben.

Schadensausmaß

Das Schadensausmaß reicht von Umsatzverlust und unzufriedenen Kundinnen und Kunden bis zu Gesundheitsschäden, wenn etwa medizinische oder sicherheitsrelevante Systeme betroffen sind. Ab dem Moment, in dem ein Fehler bekannt ist, wird jeder weitere Schaden zu einer Entscheidung der Organisation. Bei Hochrisiko-Systemen kommt der Verstoß gegen die Pflicht zum Aussetzen nach Art. 26 Abs. 5 hinzu.

Praxisbeispiele

Vorausschauende Wartung nach einem Sensortausch. Ein Werk nutzt ein System, das den Verschleiß von Pumpen vorhersagt. Nach dem Tausch der Sensoren meldet es durchgehend „unauffällig“. Die Instandhaltung weiß, dass die Werte seitdem nicht stimmen, lässt das System aber weiterlaufen, weil die Umstellung auf feste Intervalle Aufwand bedeutet. Eine Pumpe fällt aus und beschädigt eine ganze Anlage.

Chatbot mit veralteten Tarifen. Ein Stadtwerk ändert seine Preise, der Chatbot nennt weiter die alten. Das Team weiß seit Wochen davon und verweist bei Beschwerden auf die Website. Kundinnen und Kunden schließen auf Grundlage der falschen Auskunft Verträge ab und fordern später die genannten Preise ein.

Spracherkennung in der Arztdokumentation. Nach einem Update verwechselt die Spracherkennung einer Klinik ähnlich klingende Medikamentennamen. Die Ärztinnen und Ärzte korrigieren die Fehler, wenn sie sie bemerken. Eine Meldung an den Anbieter oder eine Rückkehr zur vorherigen Version unterbleibt, bis eine falsche Medikation im Entlassungsbrief steht.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.3 Interne Organisation: Rollen legen fest, wer ein System aussetzen darf. Der Meldeweg für Bedenken sieht eine rechtzeitige Eskalation an die Leitung vor, und Meldende sind vor Nachteilen geschützt.
  • A.6.2 Lebenszyklus von KI-Systemen: Für den Betrieb sind Überwachung, Reparatur, Aktualisierung und Unterstützung festgelegt, einschließlich eines Ablaufs für die Reaktion auf Fehler.
  • A.9 Nutzung von KI-Systemen: Gibt der Einsatz Anlass zur Sorge, teilt die Organisation das intern und dem Lieferanten mit.

Erkennung:

Reaktion:

Die KI-Nutzungsrichtlinie verlangt in Abschnitt 7, Fehlfunktionen unverzüglich zu melden, ohne auf Gewissheit zu warten. Abschnitt 9 legt Unterstützungsweg und Reparaturablauf je System fest, Abschnitt 10 das Aussetzen von Hochrisiko-Systemen bei Risiko. Für die Meldung an Behörden bietet das Starter-Kit eine Vorlage zur Meldung schwerwiegender Vorfälle.

Bezug zur KI-Verordnung

Bei Hochrisiko-KI-Systemen bewertet der Anbieter die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt die Umstände, die zu Risiken führen können, in der Gebrauchsanweisung (Art. 13 Abs. 3 lit. b Ziff. iii). Die aufsichtsführenden Personen müssen Anomalien, Fehlfunktionen und unerwartete Leistung erkennen und beheben können (Art. 14 Abs. 4 lit. a) und das System anhalten können (lit. e).

Für den Betreiber ist Art. 26 Abs. 5 die zentrale Vorschrift: Er überwacht den Betrieb anhand der Gebrauchsanweisung. Hat er Grund zur Annahme, dass die Verwendung ein Risiko im Sinne von Art. 79 Abs. 1 birgt, informiert er unverzüglich Anbieter oder Händler und die Marktüberwachungsbehörde und setzt die Verwendung aus. Schwerwiegende Vorfälle nach Art. 3 Nr. 49 meldet er unverzüglich zuerst dem Anbieter. Der Anbieter ergreift nach Art. 20 Korrekturmaßnahmen und meldet schwerwiegende Vorfälle nach Art. 73 den Behörden (→ EU AI Act).

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Muss ich ein KI-System bei jedem Fehler sofort abschalten?

Nein. Entscheidend ist, dass jemand mit Befugnis bewusst entscheidet: weiter mit Einschränkungen, Rückkehr zur vorherigen Version oder Aussetzen. Bei Hochrisiko-Systemen ist die Entscheidung teilweise vorgegeben: Besteht Grund zur Annahme eines Risikos im Sinne von Art. 79 Abs. 1, setzt der Betreiber die Verwendung nach Art. 26 Abs. 5 aus und informiert Anbieter und Marktüberwachungsbehörde.

Was ist ein schwerwiegender Vorfall im Sinne der KI-Verordnung?

Nach Art. 3 Nr. 49 ein Vorfall oder eine Fehlfunktion, die direkt oder indirekt zu schweren Folgen führt, etwa zum Tod oder zu einer schweren gesundheitlichen Schädigung, zu einer schweren und unumkehrbaren Störung kritischer Infrastruktur, zur Verletzung unionsrechtlicher Pflichten zum Schutz der Grundrechte oder zu schweren Sach- oder Umweltschäden. Betreiber von Hochrisiko-Systemen informieren dann unverzüglich zuerst den Anbieter.

Wie gehe ich mit einem zugekauften System um, dessen Fehler der Anbieter nicht behebt?

Dokumentiere den Fehler und die Meldung an den Anbieter, setze eine Frist und verlange die Korrektur. ISO/IEC 42001 sieht vor, dass die Organisation vom Lieferanten Korrekturmaßnahmen verlangt, wenn sein System nicht wie vorgesehen arbeitet. Bis zur Behebung entscheidest du über Einschränkung, Ersatzverfahren oder Aussetzen und hältst die Entscheidung fest.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.