Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-12 Nutzung außerhalb der Betriebsgrenzen

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001

Ein Logistikunternehmen liest Lieferscheine mit einem KI-System aus. Zugesagt ist die Genauigkeit für deutsche und englische Dokumente, eingescannt in guter Auflösung, bis zu einer festen Zahl von Seiten pro Stunde. Im Weihnachtsgeschäft kommen mehr als doppelt so viele Seiten, viele als Handyfoto, ein Teil auf Polnisch. Die Fehler häufen sich, und niemand bringt sie mit den Grenzen in Verbindung. Jede einzelne Bedingung, unter der die zugesagte Genauigkeit gilt, war gleichzeitig verletzt.

Dieses Muster beschreibt Systeme, die außerhalb der zugesagten Menge, Antwortzeit, Sprache oder Datenqualität genutzt werden. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13: Lastspitzen, neue Märkte und schlechtere Daten gehören zum Alltag jeder Organisation.

Was steckt dahinter?

Jede Leistungsangabe eines KI-Systems gilt unter Bedingungen: bestimmte Eingabeformate und Sprachen, eine Mindestqualität der Daten, ein Wertebereich, eine Last und ausreichende Rechenleistung. Werden diese Bedingungen verlassen, fehlt jede gesicherte Aussage über die Qualität der Ergebnisse. Anders als beim Einsatz für fremde Aufgaben (MU-01) bleibt der Zweck derselbe. Es ändern sich die Umstände, unter denen das System arbeiten soll.

Wie es im Alltag dazu kommt

  • Lastspitzen. Saisongeschäft, Aktionen oder Störungen in anderen Systemen treiben die Menge weit über das Vereinbarte.
  • Neue Sprachen und Märkte. Das System wird für Kundschaft eingesetzt, deren Sprache es kaum kennt.
  • Schlechtere Daten. Handyfotos, wo Scans vorgesehen sind, unvollständige Datensätze, neue Formate aus einem anderen Vorsystem.
  • Gekürzte Ressourcen. Aus Kostengründen läuft das Modell auf kleinerer Hardware oder in einer günstigeren Leistungsstufe.
  • Zeitdruck. Ein Ablauf verlangt Antworten schneller, als das System sie zuverlässig liefern kann.
  • Unbekannte Grenzen. Die Angaben stehen in der Dokumentation, gelesen hat sie im Betrieb niemand.

Warum es riskant ist

Die Leistung sinkt meist leise. Ergebnisse sehen aus wie immer, sind aber häufiger falsch. Bei Zeitüberschreitungen greifen in vielen Anbindungen Standardwerte, die niemand als Fehler erkennt. Die Qualität sinkt zudem oft ungleich: Wer eine weniger unterstützte Sprache spricht oder schlechtere Fotos schickt, bekommt schlechtere Ergebnisse. Und Gewährleistungs- oder Vertragsansprüche gegen den Anbieter werden schwach, weil die zugesagten Bedingungen nicht eingehalten wurden.

Schadensausmaß

Das Schadensausmaß wächst mit der Menge: Wenn ein System in einer Lastspitze Fehler macht, dann in vielen Fällen gleichzeitig. Falsch erfasste Lieferungen, verpasste Termine und fehlerhafte Entscheidungen häufen sich, bevor jemand den Zusammenhang erkennt. Außerhalb der Betriebsgrenzen trägt die Organisation das Risiko allein, weil niemand mehr eine Leistung zugesagt hat.

Praxisbeispiele

Telefonassistent einer Arztpraxis. Eine Praxis lässt Terminanrufe von einem Sprachassistenten annehmen, der für Deutsch ausgelegt ist. Viele Patientinnen und Patienten sprechen Türkisch oder Arabisch oder Deutsch mit starkem Akzent. Der Assistent vergibt falsche Termine und ordnet Dringlichkeiten falsch ein, und die Praxis bemerkt es erst an leeren und doppelt belegten Zeitfenstern.

Prognose jenseits des Wertebereichs. Ein Stadtwerk nutzt ein Modell, das den Strombedarf vorhersagt. Trainiert wurde es mit Temperaturen eines gemäßigten Klimas. In einer Hitzewelle mit Rekordwerten liefert es Prognosen, die weit danebenliegen, und die Einkaufsplanung verlässt sich darauf.

Betrugsprüfung mit Zeitlimit. Ein Zahlungsablauf erwartet die Antwort des Betrugsmodells innerhalb weniger hundert Millisekunden. Am umsatzstärksten Tag des Jahres antwortet der Dienst langsamer, die Anbindung läuft in die Zeitüberschreitung und gibt Zahlungen standardmäßig frei. Darunter sind zahlreiche betrügerische Transaktionen.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.6.2 Lebenszyklus von KI-Systemen: Anforderungen und Spezifikation beschreiben die Bedingungen, unter denen das System arbeiten soll. Der Einführungsplan berücksichtigt die Umgebung, in der es tatsächlich läuft.
  • A.8 Information für interessierte Parteien: Die Unterlagen für Nutzende nennen die Grenzen des Systems verständlich, auch für die Menschen, die es im Alltag bedienen.
  • A.10 Beziehungen zu Dritten und Kunden: Verträge mit Lieferanten legen Leistungszusagen und Bedingungen fest, und die Organisation überwacht, ob sie eingehalten werden.
  • A.9 Nutzung von KI-Systemen: Der Einsatz folgt den Unterlagen, und die Daten, auf die das System angewandt wird, passen zu dem, was die Unterlagen beschreiben.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung von System und Leistung im Betrieb erfasst Fehler und Ausfälle und prüft, ob das System mit den tatsächlichen Daten wie erwartet arbeitet.

Reaktion:

Die KI-Nutzungsrichtlinie legt in Abschnitt 9 für jedes System Unterstützungsweg, zuständige Stelle und zugesagte Reaktionszeit fest, bei zugekauften Systemen samt den Zusagen des Anbieters. Abschnitt 7 verlangt die Meldung von Fehlfunktionen, Abschnitt 10 greift die Pflicht zu passenden Eingabedaten bei Hochrisiko-Systemen auf.

Bezug zur KI-Verordnung

Bei Hochrisiko-KI-Systemen gehört die Beschreibung der Grenzen zur Gebrauchsanweisung. Sie nennt das Maß an Genauigkeit, Robustheit und Cybersicherheit samt den bekannten und vorhersehbaren Umständen, die es beeinträchtigen können (Art. 13 Abs. 3 lit. b Ziff. ii), die Umstände der vorhersehbaren Fehlanwendung (Ziff. iii), die Spezifikationen der Eingabedaten (Ziff. vi) sowie die nötigen Rechen- und Hardware-Ressourcen (lit. e). Art. 15 verlangt Genauigkeitsangaben in der Gebrauchsanweisung und Widerstandsfähigkeit gegen Fehler und Störungen aus der Umgebung. Der Anbieter bewertet die Fehlanwendung nach Art. 9 Abs. 2 lit. b.

Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß der Gebrauchsanweisung, sorgt nach Abs. 4 für passende und ausreichend repräsentative Eingabedaten, soweit er sie kontrolliert, und überwacht den Betrieb nach Abs. 5 (→ EU AI Act).

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Wo finde ich die Betriebsgrenzen eines KI-Systems?

In der Gebrauchsanweisung, der technischen Dokumentation und im Vertrag mit dem Anbieter. Bei Hochrisiko-Systemen muss die Gebrauchsanweisung Genauigkeit, die Umstände, die sie beeinträchtigen, die Spezifikationen der Eingabedaten und die nötigen Rechen- und Hardware-Ressourcen nennen. Fehlen Angaben, frag vor dem Einsatz nach und halte die Antwort fest.

Ist eine Nutzung knapp über der Grenze schon problematisch?

Nicht jede Überschreitung führt sofort zu Fehlern, aber außerhalb der Grenzen gibt es keine gesicherte Aussage mehr über die Leistung. Deshalb gehört vorher festgelegt, was bei einer Überschreitung geschieht: drosseln, in eine Warteschlange stellen, an Menschen übergeben oder ablehnen.

Wer ist verantwortlich, wenn ein System außerhalb seiner Grenzen falsche Ergebnisse liefert?

Zunächst der Betreiber, denn er hat das System abweichend von der Gebrauchsanweisung eingesetzt. Hochrisiko-Systeme sind nach Art. 26 Abs. 1 KI-Verordnung entsprechend der Gebrauchsanweisung zu verwenden. Auch Ansprüche gegen den Anbieter stehen auf schwachen Füßen, wenn die zugesagten Bedingungen nicht eingehalten wurden.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.