Zum Hauptinhalt springen
ISO/IEC 42001 · Anhang A · KI-Kontrolle

A.6.2 Lebenszyklus von KI-Systemen

Aktualisiert am 6 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein Händler nutzt ein Modell, das Retouren vorhersagt und den Einkauf steuert. Nach einem Update des Anbieters sinkt die Trefferquote, doch niemand bemerkt es: Keine Kennzahl wird überwacht, und kein Protokoll zeigt, seit wann das System anders rechnet. A.6.2 legt für jede Phase eines KI-Systems fest, was vorliegen muss, von den Anforderungen über Prüfung und Einführung bis zu Betriebsregeln, technischer Dokumentation und Protokollen.

A.6.2 ist die umfangreichste Kontrollgruppe in Anhang A. Sie betrifft eigene Entwicklungen ebenso wie zugekaufte Systeme, denn auch wer ein fremdes Modell einsetzt, plant die Einführung, überwacht den Betrieb und protokolliert die Nutzung. Für Anbieter fallen Anforderungen, Entwurf und Validierung deutlich umfangreicher aus.

Was verlangt die Norm?

Anhang A.6.2 der ISO/IEC 42001 enthält sieben Kontrollen entlang des Lebenszyklus. Die Hinweise in Anhang B.6.2 sind ausführlich; hier die Kernaussagen.

  • Anforderungen und Spezifikation (A.6.2.2). Für neue Systeme und wesentliche Erweiterungen hält die Organisation die Anforderungen fest, samt Begründung (etwa Geschäftsfall, Kundenwunsch oder staatliche Vorgabe) und der Frage, wie das Modell trainiert und der Datenbedarf gedeckt werden kann. Die Anforderungen reichen über den ganzen Lebenszyklus und werden überprüft, wenn das System nicht wie geplant arbeitet oder neue Erkenntnisse vorliegen, bis hin zur Entscheidung, ein Vorhaben aus wirtschaftlichen Gründen einzustellen.
  • Gestaltung und Entwicklung dokumentieren (A.6.2.3). Festgehalten werden die Entwurfsentscheidungen: Lernansatz, Algorithmus und Modelltyp, Trainingsweg und benötigte Datenqualität, Bewertung und Verfeinerung, Hardware und Software, Sicherheitsbedrohungen wie Data Poisoning, Modelldiebstahl oder Modellinversion, Schnittstelle und Darstellung der Ausgaben, Eingriffsmöglichkeiten für Menschen sowie Interoperabilität und Portabilität. Am Ende steht eine Dokumentation der finalen Systemarchitektur.
  • Verifizierung und Validierung (A.6.2.4). Die Organisation legt Prüfmaßnahmen und die Kriterien für ihren Einsatz fest: Testmethoden und Werkzeuge, Auswahl und Repräsentativität der Testdaten, Freigabekriterien. Dazu gehört ein Bewertungsplan für Risiken mit Folgen für Menschen, etwa mit zulässigen Fehlerraten, Betriebsfaktoren und Methoden, mit denen geprüft wird, ob Betroffene die Ausgaben richtig deuten können. Verfehlt das System die Kriterien, überdenkt die Organisation Einsatzzweck, Leistungsanforderungen oder Gegenmaßnahmen.
  • Einführung (A.6.2.5). Ein dokumentierter Einführungsplan berücksichtigt Unterschiede zwischen Entwicklungs- und Zielumgebung, die getrennte Bereitstellung von Software und Modell und die Sicht der betroffenen interessierten Parteien. Vor der Freigabe sind die Freigabekriterien erfüllt, etwa bestandene Prüfungen, erreichte Kennzahlen, abgeschlossene Nutzertests und Genehmigungen der Leitung.
  • Betrieb und Überwachung (A.6.2.6). Mindestens geregelt sind die Überwachung von System und Leistung, Reparaturen, Aktualisierungen und Unterstützung. Anhang B.6.2.6 nennt dazu Drift durch veränderte Produktivdaten, weiterlernende Systeme, die Prüfung unvorhergesehener Nutzungen, KI-spezifische Angriffe und aufgabenbezogene Leistungskennzahlen mit begründeten Zielwerten.
  • Technische Dokumentation (A.6.2.7). Die Organisation bestimmt, welche technische Dokumentation jede Gruppe interessierter Parteien braucht, etwa Nutzende, Partner oder Aufsichtsbehörden, und stellt sie in passender Form bereit. Typische Inhalte sind Beschreibung und Zweck, Gebrauchshinweise, technische Annahmen und Grenzen, Überwachungs- und Steuerungsfunktionen, Entwurfs-, Daten- und Prüfunterlagen, Änderungen im Betrieb, die Folgenabschätzung sowie Betriebsunterlagen wie Ausfallplan, Zustandsüberwachung, Standardverfahren und Rollen. Die Unterlagen sind aktuell, richtig und von der zuständigen Leitung freigegeben.
  • Ereignisprotokolle (A.6.2.8). Die Organisation legt fest, in welchen Phasen protokolliert wird, mindestens während der Nutzung. Protokolle dienen dazu, die Funktion nachzuvollziehen und Leistung außerhalb der vorgesehenen Betriebsbedingungen zu erkennen. Sie werden so lange aufbewahrt, wie der Einsatzzweck es erfordert, im Rahmen der Aufbewahrungsregeln und rechtlicher Vorgaben.

In der Praxis

Den Lebenszyklus am KI-Verzeichnis aufhängen. Jedes System trägt im Verzeichnis einen Status (Konzeption, Entwicklung, Validierung, Betrieb, Außerbetriebnahme) und die Nachweise der jeweiligen Phase. Ein Statuswechsel setzt voraus, dass die Freigabekriterien erfüllt sind. So wird sichtbar, welche Systeme ohne Einführungsplan oder Validierung im Betrieb laufen.

Zugekaufte Systeme mitdenken. Auch für einen eingekauften Dienst gibt es Anforderungen, einen Einführungsplan und Betriebsregeln. Prüfe Aktualisierungen des Anbieters vor der Übernahme darauf, ob sich das Verhalten ändert, halte fest, welche Version läuft, und fordere die technische Dokumentation an, die du für deine Nutzenden brauchst.

Drift und Angriffe im Betrieb überwachen. Ein Modell, das bei der Freigabe gut war, kann durch veränderte Eingangsdaten schlechter werden. Werte die Kennzahlen laufend aus, prüfe Stichproben fachlich und lege fest, ab welcher Abweichung nachtrainiert, eingeschränkt oder abgeschaltet wird. Ergänze die Bedrohungsanalyse um KI-spezifische Angriffe wie manipulierte Trainingsdaten oder gezielt gestaltete Eingaben.

Protokolle zweckmäßig gestalten. Protokolliere den Zeitpunkt der Nutzung, die verarbeiteten Eingaben oder Verweise darauf, Ausgaben außerhalb des erwarteten Bereichs und Eingriffe der Aufsicht. Stimme Inhalt und Aufbewahrung mit dem Datenschutz ab, weil Protokolle oft personenbezogene Daten enthalten.

Typische Audit-Nachweise

Bei A.6.2 erwarten Auditoren typischerweise:

KPI

Anteil der produktiven KI-Systeme mit festgelegten Leistungskennzahlen, die im vorgesehenen Rhythmus ausgewertet werden

Ziel ist 100 %. Der Wert zeigt, ob der Betrieb überwacht wird oder ob Leistungsverluste erst durch Beschwerden auffallen.

Ergänzende KPIs:

  • Anteil der Systeme mit Einführungsplan und dokumentierter Freigabe
  • Anzahl der Abweichungen über der Alarmgrenze und mittlere Zeit bis zur Reaktion
  • Anteil der Systeme mit aktiver Protokollierung während der Nutzung

Bezug zur KI-Verordnung

Für Hochrisiko-Systeme spiegelt A.6.2 mehrere Anbieterpflichten der KI-Verordnung (EU) 2024/1689: technische Dokumentation nach Art. 11 und Anhang IV, automatische Protokollierung nach Art. 12, Gebrauchsanweisung nach Art. 13 sowie Genauigkeit, Robustheit und Cybersicherheit nach Art. 15. Art. 15 Abs. 5 nennt ausdrücklich Maßnahmen gegen Data Poisoning, Model Poisoning, Adversarial Examples und Angriffe auf die Vertraulichkeit. Anbieter bewahren die automatisch erzeugten Protokolle nach Art. 19 mindestens sechs Monate auf, Betreiber nach Art. 26 Abs. 6 ebenso, soweit die Protokolle ihrer Kontrolle unterliegen.

Betreiber überwachen den Betrieb nach Art. 26 Abs. 5 anhand der Gebrauchsanweisung. Für biometrische Fernidentifizierungssysteme nach Anhang III Nr. 1 Buchst. a schreibt Art. 12 Abs. 3 zusätzliche Protokollinhalte vor, ein Beispiel für die Sonderpflichten, auf die Anhang B.6.2.8 hinweist. Wesentliche Änderungen können nach Art. 43 Abs. 4 eine neue Konformitätsbewertung auslösen (→ EU AI Act).

Verwandte Kontrollen

A.6.2 ist das operative Herzstück, an das viele Kontrollen anschließen:

Quellen

Häufig gestellte Fragen

Gilt A.6.2 auch für zugekaufte KI-Systeme?

Ja, zum großen Teil. Anforderungen, Einführungsplan, Betrieb und Überwachung, die Dokumentation für die eigenen Nutzenden und die Protokolle betreffen auch Betreiber. Entwurf und Validierung liegen beim Anbieter; du forderst die Nachweise an und prüfst sie im eigenen Einsatzkontext.

Wie lange müssen Ereignisprotokolle aufbewahrt werden?

Die Norm verlangt eine Aufbewahrung, solange der Einsatzzweck es erfordert, im Rahmen der eigenen Aufbewahrungsregeln und rechtlicher Vorgaben. Für Hochrisiko-Systeme schreibt die KI-Verordnung mindestens sechs Monate vor, für Anbieter in Art. 19 und für Betreiber in Art. 26 Abs. 6. Datenschutzrechtliche Löschpflichten bleiben daneben bestehen.

Was unterscheidet Verifizierung und Validierung?

Die Verifizierung prüft, ob das System seine festgelegten Anforderungen erfüllt, also ob es richtig gebaut wurde. Die Validierung prüft, ob es im vorgesehenen Einsatz seinen Zweck erfüllt, also ob das Richtige gebaut wurde. A.6.2.4 verlangt für beides festgelegte Maßnahmen und Kriterien.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.