Ein Logistikunternehmen liest Lieferscheine mit einem KI-System aus. Zugesagt ist die Genauigkeit für deutsche und englische Dokumente, eingescannt in guter Auflösung, bis zu einer festen Zahl von Seiten pro Stunde. Im Weihnachtsgeschäft kommen mehr als doppelt so viele Seiten, viele als Handyfoto, ein Teil auf Polnisch. Die Fehler häufen sich, und niemand bringt sie mit den Grenzen in Verbindung. Jede einzelne Bedingung, unter der die zugesagte Genauigkeit gilt, war gleichzeitig verletzt.
Dieses Muster beschreibt Systeme, die außerhalb der zugesagten Menge, Antwortzeit, Sprache oder Datenqualität genutzt werden. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13: Lastspitzen, neue Märkte und schlechtere Daten gehören zum Alltag jeder Organisation.
Was steckt dahinter?
Jede Leistungsangabe eines KI-Systems gilt unter Bedingungen: bestimmte Eingabeformate und Sprachen, eine Mindestqualität der Daten, ein Wertebereich, eine Last und ausreichende Rechenleistung. Werden diese Bedingungen verlassen, fehlt jede gesicherte Aussage über die Qualität der Ergebnisse. Anders als beim Einsatz für fremde Aufgaben (MU-01) bleibt der Zweck derselbe. Es ändern sich die Umstände, unter denen das System arbeiten soll.
Wie es im Alltag dazu kommt
- Lastspitzen. Saisongeschäft, Aktionen oder Störungen in anderen Systemen treiben die Menge weit über das Vereinbarte.
- Neue Sprachen und Märkte. Das System wird für Kundschaft eingesetzt, deren Sprache es kaum kennt.
- Schlechtere Daten. Handyfotos, wo Scans vorgesehen sind, unvollständige Datensätze, neue Formate aus einem anderen Vorsystem.
- Gekürzte Ressourcen. Aus Kostengründen läuft das Modell auf kleinerer Hardware oder in einer günstigeren Leistungsstufe.
- Zeitdruck. Ein Ablauf verlangt Antworten schneller, als das System sie zuverlässig liefern kann.
- Unbekannte Grenzen. Die Angaben stehen in der Dokumentation, gelesen hat sie im Betrieb niemand.
Warum es riskant ist
Die Leistung sinkt meist leise. Ergebnisse sehen aus wie immer, sind aber häufiger falsch. Bei Zeitüberschreitungen greifen in vielen Anbindungen Standardwerte, die niemand als Fehler erkennt. Die Qualität sinkt zudem oft ungleich: Wer eine weniger unterstützte Sprache spricht oder schlechtere Fotos schickt, bekommt schlechtere Ergebnisse. Und Gewährleistungs- oder Vertragsansprüche gegen den Anbieter werden schwach, weil die zugesagten Bedingungen nicht eingehalten wurden.
Schadensausmaß
Das Schadensausmaß wächst mit der Menge: Wenn ein System in einer Lastspitze Fehler macht, dann in vielen Fällen gleichzeitig. Falsch erfasste Lieferungen, verpasste Termine und fehlerhafte Entscheidungen häufen sich, bevor jemand den Zusammenhang erkennt. Außerhalb der Betriebsgrenzen trägt die Organisation das Risiko allein, weil niemand mehr eine Leistung zugesagt hat.
Praxisbeispiele
Telefonassistent einer Arztpraxis. Eine Praxis lässt Terminanrufe von einem Sprachassistenten annehmen, der für Deutsch ausgelegt ist. Viele Patientinnen und Patienten sprechen Türkisch oder Arabisch oder Deutsch mit starkem Akzent. Der Assistent vergibt falsche Termine und ordnet Dringlichkeiten falsch ein, und die Praxis bemerkt es erst an leeren und doppelt belegten Zeitfenstern.
Prognose jenseits des Wertebereichs. Ein Stadtwerk nutzt ein Modell, das den Strombedarf vorhersagt. Trainiert wurde es mit Temperaturen eines gemäßigten Klimas. In einer Hitzewelle mit Rekordwerten liefert es Prognosen, die weit danebenliegen, und die Einkaufsplanung verlässt sich darauf.
Betrugsprüfung mit Zeitlimit. Ein Zahlungsablauf erwartet die Antwort des Betrugsmodells innerhalb weniger hundert Millisekunden. Am umsatzstärksten Tag des Jahres antwortet der Dienst langsamer, die Anbindung läuft in die Zeitüberschreitung und gibt Zahlungen standardmäßig frei. Darunter sind zahlreiche betrügerische Transaktionen.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.6.2 Lebenszyklus von KI-Systemen: Anforderungen und Spezifikation beschreiben die Bedingungen, unter denen das System arbeiten soll. Der Einführungsplan berücksichtigt die Umgebung, in der es tatsächlich läuft.
- A.8 Information für interessierte Parteien: Die Unterlagen für Nutzende nennen die Grenzen des Systems verständlich, auch für die Menschen, die es im Alltag bedienen.
- A.10 Beziehungen zu Dritten und Kunden: Verträge mit Lieferanten legen Leistungszusagen und Bedingungen fest, und die Organisation überwacht, ob sie eingehalten werden.
- A.9 Nutzung von KI-Systemen: Der Einsatz folgt den Unterlagen, und die Daten, auf die das System angewandt wird, passen zu dem, was die Unterlagen beschreiben.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung von System und Leistung im Betrieb erfasst Fehler und Ausfälle und prüft, ob das System mit den tatsächlichen Daten wie erwartet arbeitet.
Reaktion:
- A.10 Beziehungen zu Dritten und Kunden: Reichen die Zusagen des Anbieters für den tatsächlichen Bedarf nicht aus, werden sie nachverhandelt oder der Einsatz wird angepasst.
Die KI-Nutzungsrichtlinie legt in Abschnitt 9 für jedes System Unterstützungsweg, zuständige Stelle und zugesagte Reaktionszeit fest, bei zugekauften Systemen samt den Zusagen des Anbieters. Abschnitt 7 verlangt die Meldung von Fehlfunktionen, Abschnitt 10 greift die Pflicht zu passenden Eingabedaten bei Hochrisiko-Systemen auf.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen gehört die Beschreibung der Grenzen zur Gebrauchsanweisung. Sie nennt das Maß an Genauigkeit, Robustheit und Cybersicherheit samt den bekannten und vorhersehbaren Umständen, die es beeinträchtigen können (Art. 13 Abs. 3 lit. b Ziff. ii), die Umstände der vorhersehbaren Fehlanwendung (Ziff. iii), die Spezifikationen der Eingabedaten (Ziff. vi) sowie die nötigen Rechen- und Hardware-Ressourcen (lit. e). Art. 15 verlangt Genauigkeitsangaben in der Gebrauchsanweisung und Widerstandsfähigkeit gegen Fehler und Störungen aus der Umgebung. Der Anbieter bewertet die Fehlanwendung nach Art. 9 Abs. 2 lit. b.
Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß der Gebrauchsanweisung, sorgt nach Abs. 4 für passende und ausreichend repräsentative Eingabedaten, soweit er sie kontrolliert, und überwacht den Betrieb nach Abs. 5 (→ EU AI Act).
Verwandte Muster und Gefährdungen
- T01 Komplexität der Einsatzumgebung: Die Gefährdung dahinter: Die Umgebung kennt mehr Spielarten als die Tests.
- T04 Mangelnde Datenqualität: Schlechtere Eingabedaten sind die häufigste Form der Grenzüberschreitung.
- T05 Hardware-Fehler: Zu knappe oder gestörte Rechenressourcen verschieben die Grenzen nach unten.
- MU-06 Anwendung auf nicht erprobte Gruppen: Verwandt, wenn die Grenze eine Sprache oder Personengruppe betrifft.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13, Art. 9, 13, 15 und 26
- ISO/IEC 42001:2023, Anhang B.6.2.2, B.6.2.5, B.6.2.6, B.9.4 und B.10.3
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 7, 9 und 10
- ISO/IEC 42001 im Cenedril-Wiki: Anhang A und die Kontrollen für den Betrieb von KI-Systemen