Ein Händler nutzt ein Modell, das Retouren vorhersagt und den Einkauf steuert. Nach einem Update des Anbieters sinkt die Trefferquote, doch niemand bemerkt es: Keine Kennzahl wird überwacht, und kein Protokoll zeigt, seit wann das System anders rechnet. A.6.2 legt für jede Phase eines KI-Systems fest, was vorliegen muss, von den Anforderungen über Prüfung und Einführung bis zu Betriebsregeln, technischer Dokumentation und Protokollen.
A.6.2 ist die umfangreichste Kontrollgruppe in Anhang A. Sie betrifft eigene Entwicklungen ebenso wie zugekaufte Systeme, denn auch wer ein fremdes Modell einsetzt, plant die Einführung, überwacht den Betrieb und protokolliert die Nutzung. Für Anbieter fallen Anforderungen, Entwurf und Validierung deutlich umfangreicher aus.
Was verlangt die Norm?
Anhang A.6.2 der ISO/IEC 42001 enthält sieben Kontrollen entlang des Lebenszyklus. Die Hinweise in Anhang B.6.2 sind ausführlich; hier die Kernaussagen.
- Anforderungen und Spezifikation (A.6.2.2). Für neue Systeme und wesentliche Erweiterungen hält die Organisation die Anforderungen fest, samt Begründung (etwa Geschäftsfall, Kundenwunsch oder staatliche Vorgabe) und der Frage, wie das Modell trainiert und der Datenbedarf gedeckt werden kann. Die Anforderungen reichen über den ganzen Lebenszyklus und werden überprüft, wenn das System nicht wie geplant arbeitet oder neue Erkenntnisse vorliegen, bis hin zur Entscheidung, ein Vorhaben aus wirtschaftlichen Gründen einzustellen.
- Gestaltung und Entwicklung dokumentieren (A.6.2.3). Festgehalten werden die Entwurfsentscheidungen: Lernansatz, Algorithmus und Modelltyp, Trainingsweg und benötigte Datenqualität, Bewertung und Verfeinerung, Hardware und Software, Sicherheitsbedrohungen wie Data Poisoning, Modelldiebstahl oder Modellinversion, Schnittstelle und Darstellung der Ausgaben, Eingriffsmöglichkeiten für Menschen sowie Interoperabilität und Portabilität. Am Ende steht eine Dokumentation der finalen Systemarchitektur.
- Verifizierung und Validierung (A.6.2.4). Die Organisation legt Prüfmaßnahmen und die Kriterien für ihren Einsatz fest: Testmethoden und Werkzeuge, Auswahl und Repräsentativität der Testdaten, Freigabekriterien. Dazu gehört ein Bewertungsplan für Risiken mit Folgen für Menschen, etwa mit zulässigen Fehlerraten, Betriebsfaktoren und Methoden, mit denen geprüft wird, ob Betroffene die Ausgaben richtig deuten können. Verfehlt das System die Kriterien, überdenkt die Organisation Einsatzzweck, Leistungsanforderungen oder Gegenmaßnahmen.
- Einführung (A.6.2.5). Ein dokumentierter Einführungsplan berücksichtigt Unterschiede zwischen Entwicklungs- und Zielumgebung, die getrennte Bereitstellung von Software und Modell und die Sicht der betroffenen interessierten Parteien. Vor der Freigabe sind die Freigabekriterien erfüllt, etwa bestandene Prüfungen, erreichte Kennzahlen, abgeschlossene Nutzertests und Genehmigungen der Leitung.
- Betrieb und Überwachung (A.6.2.6). Mindestens geregelt sind die Überwachung von System und Leistung, Reparaturen, Aktualisierungen und Unterstützung. Anhang B.6.2.6 nennt dazu Drift durch veränderte Produktivdaten, weiterlernende Systeme, die Prüfung unvorhergesehener Nutzungen, KI-spezifische Angriffe und aufgabenbezogene Leistungskennzahlen mit begründeten Zielwerten.
- Technische Dokumentation (A.6.2.7). Die Organisation bestimmt, welche technische Dokumentation jede Gruppe interessierter Parteien braucht, etwa Nutzende, Partner oder Aufsichtsbehörden, und stellt sie in passender Form bereit. Typische Inhalte sind Beschreibung und Zweck, Gebrauchshinweise, technische Annahmen und Grenzen, Überwachungs- und Steuerungsfunktionen, Entwurfs-, Daten- und Prüfunterlagen, Änderungen im Betrieb, die Folgenabschätzung sowie Betriebsunterlagen wie Ausfallplan, Zustandsüberwachung, Standardverfahren und Rollen. Die Unterlagen sind aktuell, richtig und von der zuständigen Leitung freigegeben.
- Ereignisprotokolle (A.6.2.8). Die Organisation legt fest, in welchen Phasen protokolliert wird, mindestens während der Nutzung. Protokolle dienen dazu, die Funktion nachzuvollziehen und Leistung außerhalb der vorgesehenen Betriebsbedingungen zu erkennen. Sie werden so lange aufbewahrt, wie der Einsatzzweck es erfordert, im Rahmen der Aufbewahrungsregeln und rechtlicher Vorgaben.
In der Praxis
Den Lebenszyklus am KI-Verzeichnis aufhängen. Jedes System trägt im Verzeichnis einen Status (Konzeption, Entwicklung, Validierung, Betrieb, Außerbetriebnahme) und die Nachweise der jeweiligen Phase. Ein Statuswechsel setzt voraus, dass die Freigabekriterien erfüllt sind. So wird sichtbar, welche Systeme ohne Einführungsplan oder Validierung im Betrieb laufen.
Zugekaufte Systeme mitdenken. Auch für einen eingekauften Dienst gibt es Anforderungen, einen Einführungsplan und Betriebsregeln. Prüfe Aktualisierungen des Anbieters vor der Übernahme darauf, ob sich das Verhalten ändert, halte fest, welche Version läuft, und fordere die technische Dokumentation an, die du für deine Nutzenden brauchst.
Drift und Angriffe im Betrieb überwachen. Ein Modell, das bei der Freigabe gut war, kann durch veränderte Eingangsdaten schlechter werden. Werte die Kennzahlen laufend aus, prüfe Stichproben fachlich und lege fest, ab welcher Abweichung nachtrainiert, eingeschränkt oder abgeschaltet wird. Ergänze die Bedrohungsanalyse um KI-spezifische Angriffe wie manipulierte Trainingsdaten oder gezielt gestaltete Eingaben.
Protokolle zweckmäßig gestalten. Protokolliere den Zeitpunkt der Nutzung, die verarbeiteten Eingaben oder Verweise darauf, Ausgaben außerhalb des erwarteten Bereichs und Eingriffe der Aufsicht. Stimme Inhalt und Aufbewahrung mit dem Datenschutz ab, weil Protokolle oft personenbezogene Daten enthalten.
Typische Audit-Nachweise
Bei A.6.2 erwarten Auditoren typischerweise:
- Anforderungsdokument je System mit Begründung, Zielen und Datenbedarf
- Entwurfs- und Architekturdokumentation mit den wesentlichen Entscheidungen (→ Vorlage Technische Dokumentation im KI-Compliance-Starter-Kit)
- Test- und Validierungsberichte mit Testdaten, Ergebnissen und Freigabeentscheidung
- Einführungsplan mit Freigabekriterien und Genehmigung (→ KI-Anbieterrichtlinie, Abschnitt 8)
- Überwachungskonzept mit Kennzahlen, Schwellen und Auswertungen (→ Beobachtungsplan)
- Regeln für Betrieb und Unterstützung (→ KI-Nutzungsrichtlinie, Abschnitt 9)
- Protokollierung je System mit Inhalt, Speicherort und Aufbewahrung (→ KI-Verzeichnis)
- Änderungsnachweise für Aktualisierungen im Betrieb (→ Änderungsprotokoll)
KPI
Anteil der produktiven KI-Systeme mit festgelegten Leistungskennzahlen, die im vorgesehenen Rhythmus ausgewertet werden
Ziel ist 100 %. Der Wert zeigt, ob der Betrieb überwacht wird oder ob Leistungsverluste erst durch Beschwerden auffallen.
Ergänzende KPIs:
- Anteil der Systeme mit Einführungsplan und dokumentierter Freigabe
- Anzahl der Abweichungen über der Alarmgrenze und mittlere Zeit bis zur Reaktion
- Anteil der Systeme mit aktiver Protokollierung während der Nutzung
Bezug zur KI-Verordnung
Für Hochrisiko-Systeme spiegelt A.6.2 mehrere Anbieterpflichten der KI-Verordnung (EU) 2024/1689: technische Dokumentation nach Art. 11 und Anhang IV, automatische Protokollierung nach Art. 12, Gebrauchsanweisung nach Art. 13 sowie Genauigkeit, Robustheit und Cybersicherheit nach Art. 15. Art. 15 Abs. 5 nennt ausdrücklich Maßnahmen gegen Data Poisoning, Model Poisoning, Adversarial Examples und Angriffe auf die Vertraulichkeit. Anbieter bewahren die automatisch erzeugten Protokolle nach Art. 19 mindestens sechs Monate auf, Betreiber nach Art. 26 Abs. 6 ebenso, soweit die Protokolle ihrer Kontrolle unterliegen.
Betreiber überwachen den Betrieb nach Art. 26 Abs. 5 anhand der Gebrauchsanweisung. Für biometrische Fernidentifizierungssysteme nach Anhang III Nr. 1 Buchst. a schreibt Art. 12 Abs. 3 zusätzliche Protokollinhalte vor, ein Beispiel für die Sonderpflichten, auf die Anhang B.6.2.8 hinweist. Wesentliche Änderungen können nach Art. 43 Abs. 4 eine neue Konformitätsbewertung auslösen (→ EU AI Act).
Verwandte Kontrollen
A.6.2 ist das operative Herzstück, an das viele Kontrollen anschließen:
- A.6.1 Managementanleitung für die KI-Systementwicklung: setzt Ziele und Prozesse, die A.6.2 Phase für Phase umsetzt.
- A.5 Folgenabschätzung für KI-Systeme: fließt in Validierung und technische Dokumentation ein.
- A.8 Information für interessierte Parteien: baut auf der technischen Dokumentation auf.
- A.8.15 Protokollierung und A.8.16 Überwachungsaktivitäten: die Gegenstücke aus ISO 27001 für Protokolle und Überwachung.
- A.8.32 Änderungsmanagement: steuert Aktualisierungen im Betrieb.
Quellen
- ISO/IEC 42001:2023, Anhang A.6.2 und Anhang B.6.2: Lebenszyklus von KI-Systemen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 11, 12, 13, 15, 19, 26 und 43 sowie Anhang IV
- ISO/IEC 5338 (Lebenszyklusprozesse für KI-Systeme) und ISO/IEC 25059 (Qualitätsmodell für KI-Systeme), in Anhang B.6.2 als vertiefende Quellen genannt
- ISO/IEC 42001 im Cenedril-Wiki: Aufbau der Norm und Verhältnis zur KI-Verordnung