Ein Energieversorger führt einen KI-Chatbot für Tarifanfragen ein. Das Projektteam löst sich nach dem Start auf, die Verantwortung landet „irgendwo in der IT“. Ein Jahr später ändern sich die Tarife, der Chatbot nennt weiter die alten Preise, und niemand fühlt sich zuständig, seine Wissensbasis zu aktualisieren. Mit dem Start beginnt der längste Abschnitt im Leben eines KI-Systems, und gerade für ihn fehlt oft jeder Plan.
ISO/IEC 42001 hält in Anhang C fest, dass Risikoquellen über den gesamten Lebenszyklus eines KI-Systems entstehen können. Als Beispiele nennt die Norm Fehler im Entwurf, eine unzureichende Einführung, fehlende Wartung und Probleme bei der Außerbetriebnahme.
Was steckt dahinter?
Ein KI-System durchläuft mehrere Phasen: Idee und Entwurf, Entwicklung, Verifizierung und Validierung, Einführung, Betrieb mit Überwachung und Wartung und schließlich die Außerbetriebnahme. Jede Phase kann Risiken erzeugen, und viele zeigen sich erst Phasen später. Ein Entwurfsfehler wird im Betrieb sichtbar, eine Lücke bei der Außerbetriebnahme womöglich erst Jahre danach.
Typische Lücken je Phase
- Entwurf. Das Problem ist falsch zugeschnitten, Anforderungen sind unvollständig, Einsatzgrenzen nicht beschrieben, Fragen zu Sicherheit und Fairness nicht gestellt.
- Entwicklung und Prüfung. Entwurfsentscheidungen sind undokumentiert, Tests laufen ohne festgelegte Kriterien, die Fachseite nimmt das Ergebnis nie ab.
- Einführung. Es gibt keinen Einführungsplan, keine Freigabekriterien und keine Rückfallebene, die Nutzerinnen und Nutzer sind nicht eingewiesen.
- Betrieb und Wartung. Niemand ist verantwortlich, niemand überwacht. Updates und Nachtrainings laufen ohne Prüfung und Dokumentation, Abhängigkeiten veralten.
- Außerbetriebnahme. Daten und Modelle bleiben liegen oder verschwinden trotz Aufbewahrungspflicht, abhängige Prozesse brechen weg, Schnittstellen laufen ins Leere.
Warum der Lebenszyklus reißt
Projekte haben ein Budget und ein Team bis zum Start. Der Betrieb danach ist eine Daueraufgabe, für die oft weder Geld noch Zuständigkeit eingeplant ist. Hinzu kommt, dass mehrere Parteien beteiligt sind: Ein Dienstleister entwickelt, die IT betreibt, eine Fachabteilung nutzt. An jeder Übergabe kann Wissen verloren gehen. Und maschinelles Lernen ändert sich schneller als klassische Software, weil Modelle regelmäßig nachtrainiert werden. Die Dokumentation hält mit diesem Tempo selten Schritt.
Schadensausmaß
Die Folgen sind so vielfältig wie die Phasen. Ein System verschlechtert sich unbemerkt, eine ungeprüfte Änderung geht live, ein abgeschaltetes Modell beeinflusst über eine vergessene Schnittstelle weiter Entscheidungen. Trainingsdaten werden länger gespeichert, als der Datenschutz erlaubt, oder sind gelöscht, wenn eine Behörde sie sehen will. Lebenszyklusmängel bleiben lange folgenlos und werden dann auf einen Schlag teuer, meist im Audit, bei einem Vorfall oder wenn eine Schlüsselperson geht.
Praxisbeispiele
Automatisches Nachtraining ohne Freigabe. Ein Onlinehändler trainiert sein Modell zur Kündigungsvorhersage jeden Monat automatisch neu. In einem Monat speist ein Fehler in der Datenstrecke doppelte Datensätze ein. Das neue Modell geht ohne Freigabekriterien live, und das Marketing umwirbt wochenlang die falschen Kundinnen und Kunden.
Vergessene Außerbetriebnahme. Ein Finanzdienstleister ersetzt ein altes Scoring-Modell durch ein neues. Die nächtliche Berechnung des alten Modells läuft weiter und schreibt Werte in eine Tabelle, die ein nachgelagerter Prozess noch liest. Monatelang entscheiden zwei Abteilungen auf Grundlage unterschiedlicher Scores.
Übergabe ohne Unterlagen. Eine Agentur entwickelt ein System zur Klassifikation von Supportanfragen und übergibt es nach Projektende. Die Dokumentation besteht aus dem Quellcode. Als die Leistung nachlässt, kann niemand im Haus erklären, wie das Modell trainiert wurde, und der Vertrag mit der Agentur ist ausgelaufen.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.6.1 Managementanleitung für die KI-Systementwicklung: Die Organisation legt Ziele für eine verantwortungsvolle Entwicklung fest, verankert sie im Entwicklungszyklus und beschreibt ihre Prozesse für Gestaltung und Entwicklung, damit nicht jedes Projekt sie neu erfindet.
- A.6.2 Lebenszyklus von KI-Systemen: Für jede Phase gibt es Kriterien: dokumentierte Anforderungen, die den ganzen Lebenszyklus abdecken, ein nachvollziehbarer Entwurf, Verifizierung und Validierung sowie ein Einführungsplan mit Freigabekriterien.
- A.10 Beziehungen zu Dritten und Kunden: Die Verantwortlichkeiten im Lebenszyklus sind zwischen Organisation, Partnern, Lieferanten und Kunden aufgeteilt und dokumentiert.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung von System und Leistung im Betrieb sowie Ereignisprotokolle zeigen, wenn das System von seinem Sollzustand abweicht.
Reaktion:
- A.6.2 Lebenszyklus von KI-Systemen: Festgelegte Abläufe für Reparaturen, Updates und Support, eine aktuelle technische Dokumentation mit allen Änderungen im Betrieb und ein Plan für den Umgang mit Ausfällen.
- A.10 Beziehungen zu Dritten und Kunden: Lieferanten liefern die nötige Dokumentation und werden zu Korrekturen verpflichtet, wenn ihr System nicht wie vorgesehen arbeitet.
Bezug zur KI-Verordnung
Die KI-Verordnung (EU) 2024/1689 denkt Hochrisiko-Systeme durchgehend vom Lebenszyklus her. Das Risikomanagement nach Art. 9 ist ein fortlaufender Prozess über den gesamten Lebenszyklus, der regelmäßig überprüft und aktualisiert wird. Anbieter betreiben nach Art. 17 ein Qualitätsmanagementsystem, das unter anderem Entwurf, Entwicklung, Prüfung und Änderungen regelt, und beobachten ihr System nach dem Inverkehrbringen gemäß Art. 72. Art. 18 verpflichtet sie, die Dokumentation zehn Jahre lang bereitzuhalten. Eine wesentliche Änderung löst nach Art. 43 Abs. 4 eine neue Konformitätsbewertung aus. Betreiber überwachen den Betrieb nach Art. 26 Abs. 5 anhand der Gebrauchsanweisung und informieren bei Risiken den Anbieter (→ EU AI Act).
Verwandte Gefährdungen
- T07 Unausgereifte Technologie / Modelldrift: Ohne Überwachung im Betrieb bleibt Drift unentdeckt.
- T05 Hardware-Fehler: Fehlende Wartung zeigt sich oft zuerst an Sensoren und Rechenhardware.
- MU-08 Weiterbetrieb trotz bekannter Fehlfunktion: Wer im Betrieb keine Zuständigkeit regelt, lässt bekannte Fehler stehen.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.6: System life cycle issues, dazu Anhang B.6
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 9, 17, 18, 26, 43 und 72
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme