Ein Zahlungsdienstleister erkennt Betrug mit einem Modell, das beim Start hervorragende Werte zeigt. Innerhalb eines Jahres ändern Betrüger ihr Vorgehen, und die Kundschaft zahlt immer öfter mit dem Smartphone. Die Erkennungsrate sinkt Monat für Monat, ohne dass das System je einen Fehler meldet. Ein Modell ist eine Momentaufnahme der Welt zum Zeitpunkt seines Trainings, und die Welt bleibt nicht stehen.
ISO/IEC 42001 behandelt den Reifegrad der Technologie in Anhang C als Risikoquelle. Die Norm sieht dabei zwei Seiten: Wenig ausgereifte Technik bringt unbekannte Faktoren mit sich, etwa unklare Grenzen und Randbedingungen oder eine Leistung, die mit der Zeit abdriftet. Ausgereifte Technik wiederum verleitet zur Sorglosigkeit, weil man sich an sie gewöhnt hat.
Was steckt dahinter?
Die Gefährdung vereint zwei Probleme, die eng zusammenhängen. Bei junger Technik weiß niemand genau, wo ihre Grenzen liegen. Und jede Technik, ob jung oder alt, verliert an Treffsicherheit, wenn sich die Bedingungen ändern, unter denen sie gelernt hat. Die Leistung eines KI-Systems muss deshalb im Betrieb laufend neu bestätigt werden.
Unausgereifte Technologie
Neue Modellklassen wie generative KI oder KI-Agenten, die selbstständig Aktionen ausführen, verbreiten sich schneller, als sich Prüfmethoden und Erfahrungswerte entwickeln. Leistungsangaben stammen oft aus Vergleichstests, die mit dem eigenen Einsatz wenig gemein haben. Wer früh einsteigt, trifft auf Fehlerarten, die noch niemand beschrieben hat.
Drift im Betrieb
- Datendrift. Die Eingaben verschieben sich: neue Produkte, neue Kundengruppen, andere Geräte, saisonale Effekte.
- Konzeptdrift. Der Zusammenhang zwischen Eingabe und richtigem Ergebnis ändert sich, etwa bei Betrugsmustern, beim Kaufverhalten oder durch eine neue Rechtslage.
- Drift durch Weiterlernen. Systeme, die aus Produktionsdaten weiterlernen, können sich in eine ungewollte Richtung entwickeln, besonders wenn ihre eigenen Ausgaben als neue Trainingsdaten zurückfließen.
- Drift durch den Anbieter. Bei gehosteten Modellen kann der Anbieter die Modellversion austauschen. Dieselben Eingaben liefern danach andere Ergebnisse.
Gewöhnung an reife Technik
Ein System, das jahrelang zuverlässig lief, verschwindet aus dem Blickfeld. Kennzahlen werden nicht mehr angesehen, Prüftermine verschoben, Zweifel mit „das lief doch immer“ beiseitegewischt. Genau diese Gewöhnung nennt die Norm ausdrücklich als Risikoquelle.
Schadensausmaß
Drift erzeugt eine wachsende Zahl falscher Entscheidungen, die einzeln kaum auffallen. Oft trifft der Leistungsverlust zuerst eine bestimmte Gruppe, etwa neue Kundinnen und Kunden, deren Verhalten im Training nicht vorkam. Damit wird aus einem Qualitätsproblem schnell eine Frage der Fairness. Drift ist ein schleichender Schaden: Kein einzelner Tag sieht nach einem Vorfall aus, die Summe der Fehler aber sehr wohl.
Praxisbeispiele
Nachfrageprognose nach einer Sortimentsumstellung. Ein Lebensmittelhändler führt eine Bio-Eigenmarke mit neuen Artikelnummern ein. Das Prognosemodell kennt diese Artikel nicht und schätzt ihre Nachfrage aus schwachen Ähnlichkeiten. Die Filialen haben wochenlang zu viel Frischware im Lager, und die Abschriften steigen.
Stilles Update eines gehosteten Sprachmodells. Ein Unternehmen lässt Rechnungsfelder über die Schnittstelle eines Sprachmodells auslesen. Der Anbieter stellt auf eine neue Modellversion um, die das Ausgabeformat leicht verändert. Die nachgelagerte Verarbeitung lässt Felder leer, ohne Alarm zu schlagen, und der Fehler fällt erst beim Monatsabschluss auf.
Junge Technik im Pilotbetrieb. Ein Versicherer testet einen KI-Agenten, der in der Schadenbearbeitung selbstständig Rückfragen an Kundinnen und Kunden verschickt. In Randfällen sendet er doppelte oder widersprüchliche Nachrichten. Niemand hatte diese Fehlerart erwartet, weil es für die noch junge Technik kaum Erfahrungswerte gab.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.5 Folgenabschätzung für KI-Systeme: Die Abschätzung betrachtet die Folgen über den gesamten Lebenszyklus und macht sichtbar, wie viel von der Leistung des Systems abhängt.
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung arbeiten mit festgelegten Kriterien, und für den Betrieb ist vorab festgelegt, was dazugehört, von der Beobachtung des Systems und seiner Leistung über die Behebung von Fehlern bis zu Updates und Unterstützung.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Leistungsüberwachung mit Produktionsdaten zeigt Drift und den Bedarf für ein Nachtraining.
- A.9 Nutzung von KI-Systemen: Zu den Zielen der verantwortungsvollen Nutzung gehört, die Genauigkeit der Ausgaben zu beobachten und Bedenken zu melden, wenn das System auf Produktionsdaten schlechter wird.
Reaktion:
- A.6.2 Lebenszyklus von KI-Systemen: Festgelegte Abläufe für Updates regeln Nachtraining, Rückkehr zur Vorversion und die Information der Nutzerinnen und Nutzer.
- A.10 Beziehungen zu Dritten und Kunden: Arbeitet das System eines Lieferanten nicht mehr wie vorgesehen, verlangt die Organisation Korrekturen und klärt, wer für Änderungen am Modell verantwortlich ist.
Bezug zur KI-Verordnung
Art. 15 der KI-Verordnung (EU) 2024/1689 verlangt, dass Hochrisiko-Systeme über ihren gesamten Lebenszyklus gleichbleibend genau und robust arbeiten. Für Systeme, die nach dem Inverkehrbringen weiterlernen, fordert Abs. 4 Maßnahmen gegen Rückkopplungsschleifen, in denen verzerrte Ausgaben künftige Eingaben beeinflussen. Anbieter sammeln und analysieren nach Art. 72 Leistungsdaten aus dem Betrieb, um die fortdauernde Einhaltung der Anforderungen zu prüfen, und Betreiber überwachen den Betrieb nach Art. 26 Abs. 5. Vorab festgelegte Lernänderungen, die in der technischen Dokumentation beschrieben sind, gelten nach Art. 43 Abs. 4 nicht als wesentliche Änderung (→ EU AI Act).
Verwandte Gefährdungen
- T01 Komplexität der Einsatzumgebung: Was heute eine seltene Situation ist, wird durch Drift morgen zum Normalfall.
- T06 Mängel im Lebenszyklus: Fehlende Überwachung und ungeprüftes Nachtraining sind Lebenszyklusmängel.
- T04 Mangelnde Datenqualität: Veraltete Trainingsdaten sind ein Qualitätsmangel, der mit der Zeit wächst.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.7: Technology readiness, dazu Anhang B.6.2.6
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 15, 26, 43 und 72
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme