Ein Logistikunternehmen setzt eine Bilderkennung ein, die beschädigte Pakete am Förderband aussortiert. Im Testlager funktioniert sie zuverlässig. Im Wintergeschäft kommen Pakete mit Schneeresten, Folienverpackungen und handgeschriebenen Aufklebern dazu, das Hallenlicht flackert nachts. Die Quote falsch aussortierter Pakete verdreifacht sich, ohne dass jemand am System etwas geändert hätte.
ISO/IEC 42001 führt die Komplexität der Einsatzumgebung in Anhang C als Risikoquelle für KI-Systeme. Das Problem liegt selten im Modell allein. Es entsteht, weil die Welt, in der das System arbeitet, mehr Spielarten kennt als die Daten, mit denen es entwickelt und geprüft wurde.
Was steckt dahinter?
Ein KI-System lernt aus Beispielen. Es ist nur für die Situationen verlässlich, die in diesen Beispielen ausreichend vorkommen. Je breiter das Anwendungsfeld, desto größer wird der Raum möglicher Situationen und desto schwerer lässt sich vorhersagen, wie das System in einem bestimmten Fall reagiert. Die Leistung, die im Test gemessen wurde, gilt dann nur für einen Ausschnitt des Betriebs.
Wo Komplexität entsteht
- Vielfalt der Eingaben. Sprachen, Dialekte, Bildqualität, Dokumentformate, Sensoren verschiedener Hersteller. Jede Spielart, die im Training fehlt, ist ein möglicher Fehlerfall.
- Wechselnde Rahmenbedingungen. Tageszeit, Wetter, Saison, Auslastung. Die Umgebung ändert sich, während das System gleich bleibt.
- Offene Interaktion mit Menschen. Ein Chatbot kann nicht vorab wissen, welche Fragen gestellt werden. Nutzerinnen und Nutzer reagieren außerdem auf die Antworten des Systems und verändern so die Eingaben, die als Nächstes kommen.
- Verkettete Systeme. Wenn das Ergebnis eines KI-Systems die Eingabe eines anderen ist, multiplizieren sich die Unsicherheiten. Ein kleiner Fehler am Anfang der Kette kann am Ende eine falsche Entscheidung auslösen.
Schadensausmaß
Betroffen ist vor allem die Verlässlichkeit der Ergebnisse. Bei harmlosen Anwendungen bedeutet das Nacharbeit. Bei Systemen, die über Menschen entscheiden oder Maschinen steuern, kann es um Gesundheit, Sicherheit und Grundrechte gehen. Das Tückische: Der Leistungsabfall bleibt oft unbemerkt, weil das System auch in fremden Situationen mit voller Überzeugung antwortet.
Praxisbeispiele
Spracherkennung im Callcenter. Ein Versicherer lässt Anrufe automatisch protokollieren und einem Anliegen zuordnen. Bei Anrufenden mit starkem Dialekt oder lauter Umgebung sinkt die Erkennung deutlich. Die Fälle landen in der falschen Warteschlange, die Bearbeitung verzögert sich, und betroffen sind ausgerechnet ältere Kundinnen und Kunden vom Land.
Assistenzsystem in der Fertigung. Ein Kamerasystem prüft Schweißnähte. Nach dem Umzug in eine neue Halle mit anderer Beleuchtung meldet es zahlreiche Fehler an einwandfreien Teilen. Weil das Personal die Meldungen nach einigen Tagen ignoriert, rutscht später eine tatsächlich fehlerhafte Charge durch.
Generativer Assistent mit offenem Themenfeld. Ein Unternehmen stellt seinen Beschäftigten einen Chat-Assistenten für alle Fragen des Arbeitsalltags bereit. Für Fragen zu internen Prozessen ist er gut vorbereitet, für Rechts- und Steuerfragen nicht. Die Antworten klingen in beiden Fällen gleich sicher.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.5 Folgenabschätzung für KI-Systeme: Die Abschätzung fragt, in welchen Situationen das System eingesetzt wird und welche Folgen ein Fehler dort hätte.
- A.6.1 Managementanleitung für die KI-Systementwicklung: Ziele und Prozesse der Entwicklung verlangen, die Einsatzumgebung von Anfang an mitzudenken.
- A.6.2 Lebenszyklus von KI-Systemen: Anforderungen, Verifizierung und Validierung decken die beschriebenen Einsatzbedingungen ab, bevor das System in Betrieb geht.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung im Betrieb meldet, wenn Eingaben oder Ergebnisse von den geprüften Bedingungen abweichen.
Reaktion:
- A.9 Nutzung von KI-Systemen: Ein festgelegter Verwendungszweck und Verfahren für den verantwortungsvollen Einsatz regeln, was geschieht, wenn das System außerhalb seiner Grenzen genutzt werden soll.
Bezug zur KI-Verordnung
Für Hochrisiko-Systeme greift die KI-Verordnung (EU) 2024/1689 das Thema an mehreren Stellen auf. Das Risikomanagement nach Art. 9 betrachtet Risiken bei bestimmungsgemäßer Verwendung und bei vorhersehbarer Fehlanwendung. Art. 15 verlangt ein angemessenes Maß an Genauigkeit und Robustheit über den gesamten Lebenszyklus. Die Gebrauchsanweisung nach Art. 13 nennt die Bedingungen, unter denen die angegebene Leistung gilt, und Betreiber setzen das System nach Art. 26 entsprechend dieser Anweisung ein (→ EU AI Act).
Verwandte Gefährdungen
- T07 Unausgereifte Technologie / Modelldrift: Wenn sich die Umgebung im Lauf der Zeit verschiebt, wird aus Komplexität Drift.
- T04 Mangelnde Datenqualität: Daten, die die Einsatzumgebung nicht abbilden, sind die häufigste Ursache für Lücken.
- T03 Übermäßige Automatisierung (Automation Bias): Je weniger Menschen eingreifen, desto länger bleibt ein Fehler in fremden Situationen unentdeckt.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.1: Complexity of environment
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 9, 13, 15 und 26
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme