Zum Hauptinhalt springen
KI-Gefährdung · ISO/IEC 42001 Anhang C

T07 Unausgereifte Technologie / Modelldrift

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein Zahlungsdienstleister erkennt Betrug mit einem Modell, das beim Start hervorragende Werte zeigt. Innerhalb eines Jahres ändern Betrüger ihr Vorgehen, und die Kundschaft zahlt immer öfter mit dem Smartphone. Die Erkennungsrate sinkt Monat für Monat, ohne dass das System je einen Fehler meldet. Ein Modell ist eine Momentaufnahme der Welt zum Zeitpunkt seines Trainings, und die Welt bleibt nicht stehen.

ISO/IEC 42001 behandelt den Reifegrad der Technologie in Anhang C als Risikoquelle. Die Norm sieht dabei zwei Seiten: Wenig ausgereifte Technik bringt unbekannte Faktoren mit sich, etwa unklare Grenzen und Randbedingungen oder eine Leistung, die mit der Zeit abdriftet. Ausgereifte Technik wiederum verleitet zur Sorglosigkeit, weil man sich an sie gewöhnt hat.

Was steckt dahinter?

Die Gefährdung vereint zwei Probleme, die eng zusammenhängen. Bei junger Technik weiß niemand genau, wo ihre Grenzen liegen. Und jede Technik, ob jung oder alt, verliert an Treffsicherheit, wenn sich die Bedingungen ändern, unter denen sie gelernt hat. Die Leistung eines KI-Systems muss deshalb im Betrieb laufend neu bestätigt werden.

Unausgereifte Technologie

Neue Modellklassen wie generative KI oder KI-Agenten, die selbstständig Aktionen ausführen, verbreiten sich schneller, als sich Prüfmethoden und Erfahrungswerte entwickeln. Leistungsangaben stammen oft aus Vergleichstests, die mit dem eigenen Einsatz wenig gemein haben. Wer früh einsteigt, trifft auf Fehlerarten, die noch niemand beschrieben hat.

Drift im Betrieb

  • Datendrift. Die Eingaben verschieben sich: neue Produkte, neue Kundengruppen, andere Geräte, saisonale Effekte.
  • Konzeptdrift. Der Zusammenhang zwischen Eingabe und richtigem Ergebnis ändert sich, etwa bei Betrugsmustern, beim Kaufverhalten oder durch eine neue Rechtslage.
  • Drift durch Weiterlernen. Systeme, die aus Produktionsdaten weiterlernen, können sich in eine ungewollte Richtung entwickeln, besonders wenn ihre eigenen Ausgaben als neue Trainingsdaten zurückfließen.
  • Drift durch den Anbieter. Bei gehosteten Modellen kann der Anbieter die Modellversion austauschen. Dieselben Eingaben liefern danach andere Ergebnisse.

Gewöhnung an reife Technik

Ein System, das jahrelang zuverlässig lief, verschwindet aus dem Blickfeld. Kennzahlen werden nicht mehr angesehen, Prüftermine verschoben, Zweifel mit „das lief doch immer“ beiseitegewischt. Genau diese Gewöhnung nennt die Norm ausdrücklich als Risikoquelle.

Schadensausmaß

Drift erzeugt eine wachsende Zahl falscher Entscheidungen, die einzeln kaum auffallen. Oft trifft der Leistungsverlust zuerst eine bestimmte Gruppe, etwa neue Kundinnen und Kunden, deren Verhalten im Training nicht vorkam. Damit wird aus einem Qualitätsproblem schnell eine Frage der Fairness. Drift ist ein schleichender Schaden: Kein einzelner Tag sieht nach einem Vorfall aus, die Summe der Fehler aber sehr wohl.

Praxisbeispiele

Nachfrageprognose nach einer Sortimentsumstellung. Ein Lebensmittelhändler führt eine Bio-Eigenmarke mit neuen Artikelnummern ein. Das Prognosemodell kennt diese Artikel nicht und schätzt ihre Nachfrage aus schwachen Ähnlichkeiten. Die Filialen haben wochenlang zu viel Frischware im Lager, und die Abschriften steigen.

Stilles Update eines gehosteten Sprachmodells. Ein Unternehmen lässt Rechnungsfelder über die Schnittstelle eines Sprachmodells auslesen. Der Anbieter stellt auf eine neue Modellversion um, die das Ausgabeformat leicht verändert. Die nachgelagerte Verarbeitung lässt Felder leer, ohne Alarm zu schlagen, und der Fehler fällt erst beim Monatsabschluss auf.

Junge Technik im Pilotbetrieb. Ein Versicherer testet einen KI-Agenten, der in der Schadenbearbeitung selbstständig Rückfragen an Kundinnen und Kunden verschickt. In Randfällen sendet er doppelte oder widersprüchliche Nachrichten. Niemand hatte diese Fehlerart erwartet, weil es für die noch junge Technik kaum Erfahrungswerte gab.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.5 Folgenabschätzung für KI-Systeme: Die Abschätzung betrachtet die Folgen über den gesamten Lebenszyklus und macht sichtbar, wie viel von der Leistung des Systems abhängt.
  • A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung arbeiten mit festgelegten Kriterien, und für den Betrieb ist vorab festgelegt, was dazugehört, von der Beobachtung des Systems und seiner Leistung über die Behebung von Fehlern bis zu Updates und Unterstützung.

Erkennung:

Reaktion:

  • A.6.2 Lebenszyklus von KI-Systemen: Festgelegte Abläufe für Updates regeln Nachtraining, Rückkehr zur Vorversion und die Information der Nutzerinnen und Nutzer.
  • A.10 Beziehungen zu Dritten und Kunden: Arbeitet das System eines Lieferanten nicht mehr wie vorgesehen, verlangt die Organisation Korrekturen und klärt, wer für Änderungen am Modell verantwortlich ist.

Bezug zur KI-Verordnung

Art. 15 der KI-Verordnung (EU) 2024/1689 verlangt, dass Hochrisiko-Systeme über ihren gesamten Lebenszyklus gleichbleibend genau und robust arbeiten. Für Systeme, die nach dem Inverkehrbringen weiterlernen, fordert Abs. 4 Maßnahmen gegen Rückkopplungsschleifen, in denen verzerrte Ausgaben künftige Eingaben beeinflussen. Anbieter sammeln und analysieren nach Art. 72 Leistungsdaten aus dem Betrieb, um die fortdauernde Einhaltung der Anforderungen zu prüfen, und Betreiber überwachen den Betrieb nach Art. 26 Abs. 5. Vorab festgelegte Lernänderungen, die in der technischen Dokumentation beschrieben sind, gelten nach Art. 43 Abs. 4 nicht als wesentliche Änderung (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Was unterscheidet Datendrift von Konzeptdrift?

Bei Datendrift ändern sich die Eingaben, etwa weil neue Kundengruppen oder Geräte hinzukommen. Bei Konzeptdrift ändert sich der Zusammenhang zwischen Eingabe und richtigem Ergebnis, etwa wenn Betrüger ihre Methoden anpassen. Beide senken die Leistung, und Konzeptdrift ist schwerer zu erkennen, weil die Eingaben unauffällig bleiben können.

Wie oft muss ein Modell nachtrainiert werden?

Eine feste Regel gibt es nicht. Maßgeblich ist, wie schnell sich die Einsatzumgebung ändert und wie stark die Leistung messbar nachlässt. Bewährt hat sich, Schwellenwerte festzulegen und das Nachtraining an deren Überschreitung zu knüpfen, ergänzt um regelmäßige Prüftermine.

Warum kann auch ausgereifte Technik ein Risiko sein?

ISO/IEC 42001 weist darauf hin, dass Technik zum Risiko wird, wenn sie zur Selbstverständlichkeit geworden ist. Ein System, das jahrelang gut lief, bekommt weniger Aufmerksamkeit, und Überwachung und Prüfungen schlafen ein. Gerade dann bleibt eine Veränderung lange unbemerkt.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.