Ein Softwarehaus entwickelt einen Assistenten, der Arztbriefe zusammenfasst. Das Team ist erfahren, testet gründlich auf Genauigkeit und liefert pünktlich. Im Pilotbetrieb zeigt sich, dass die Zusammenfassungen bei seltenen Erkrankungen deutlich schlechter ausfallen. Niemand hatte festgelegt, dass gleich gute Ergebnisse über alle Patientengruppen ein Entwicklungsziel sind, also hatte es auch niemand getestet. A.6.1 verlangt, dass die Organisation vor dem Bauen festlegt, was verantwortungsvolle Entwicklung für sie heißt, und diese Ziele mit festen Abläufen in jede Phase trägt.
A.6.1 ist die Managementebene des Lebenszyklus. Die einzelnen Entwicklungsschritte regelt A.6.2; A.6.1 legt den Rahmen fest, in dem jedes Vorhaben läuft: Ziele, Phasen, Prüfungen, Freigaben und die Beteiligung der Menschen, die das Ergebnis betrifft.
Was verlangt die Norm?
Anhang A.6.1 der ISO/IEC 42001 enthält zwei Kontrollen. Die Umsetzungshinweise stehen in Anhang B.6.1.
- Ziele für verantwortungsvolle Entwicklung (A.6.1.2). Die Organisation bestimmt und dokumentiert Ziele, die Gestaltung und Entwicklung ihrer KI-Systeme leiten, und baut Maßnahmen zu ihrer Erreichung in den Entwicklungszyklus ein. Die Ziele knüpfen an die KI-Ziele aus Kapitel 6.2 an. Anhang C nennt mögliche Ziele wie Rechenschaft, KI-Fachwissen, Verfügbarkeit und Qualität von Trainings- und Testdaten, Umweltwirkung, Fairness, Wartbarkeit, Datenschutz, Robustheit, Betriebssicherheit, Informationssicherheit sowie Transparenz und Erklärbarkeit.
- Ziele wirken in jeder Phase. Anhang B.6.1.2 erläutert das am Beispiel Fairness: Ein solches Ziel prägt Anforderungen, Datenbeschaffung, Datenaufbereitung, Training sowie Verifizierung und Validierung. Damit das gelingt, gibt die Organisation Anforderungen und Leitlinien vor, etwa ein bestimmtes Testverfahren gegen unerwünschte Verzerrung.
- Festgelegte Entwicklungsprozesse (A.6.1.3). Die Organisation beschreibt und dokumentiert die konkreten Abläufe, mit denen sie KI-Systeme verantwortungsvoll gestaltet und entwickelt. Anhang B.6.1.3 nennt als zu bedenkende Punkte: Phasen des Lebenszyklus, Testanforderungen und geplante Testmittel, Anforderungen an menschliche Aufsicht samt Abläufen und Werkzeugen (vor allem, wenn natürliche Personen betroffen sein können), Zeitpunkte für Folgenabschätzungen, Regeln für Trainingsdaten (zulässige Daten, zugelassene Datenlieferanten, Kennzeichnung), nötiges Fachwissen und Schulung der Entwickelnden, Freigabekriterien, Genehmigungen in den einzelnen Phasen, Änderungssteuerung, Gebrauchstauglichkeit und Steuerbarkeit sowie die Einbindung interessierter Parteien.
- Zuschnitt nach Technik und Funktion. Welche Abläufe im Einzelnen gelten, hängt von der vorgesehenen Funktion und den gewählten KI-Techniken ab. Ein eigenes Phasenmodell ist erlaubt; ISO/IEC 22989 bietet ein allgemeines Modell als Ausgangspunkt.
In der Praxis
Ein Entwicklungsrahmen für alle Vorhaben. Fasse Ziele, Phasen, Prüfpunkte und Freigaben in einem kurzen Dokument zusammen, das für jedes KI-Vorhaben gilt. Bewährt hat sich eine Tabelle mit Phase, Eingangskriterium, Ausgangskriterium und verantwortlicher Rolle. Die KI-Anbieterrichtlinie des Starter-Kits enthält ein solches Phasenmodell von der Konzeption bis zur Außerbetriebnahme.
Prüfpunkte an Freigaben koppeln. Lege fest, an welchen Stellen eine Folgenabschätzung fällig ist, etwa vor Abschluss des Entwurfs und vor der Inbetriebnahme, und welche Ergebnisse vorliegen müssen, bevor die nächste Phase beginnt. Bewährt hat sich, Verifizierung und Freigabe verschiedenen Personen zu übertragen.
Trainingsdaten regeln, bevor sie gebraucht werden. Schreibe auf, welche Datenquellen zulässig sind, welche Datenlieferanten freigegeben sind und nach welchen Regeln Daten gekennzeichnet werden. Das verhindert, dass ein Team unter Zeitdruck Daten aus ungeklärten Quellen nutzt, deren Rechte oder Qualität sich später nicht belegen lassen.
Menschliche Aufsicht im Entwurf vorsehen. Wenn das System Menschen betrifft, gehören Eingriffs- und Abschaltmöglichkeiten, die Anzeige von Grenzen und Vorkehrungen gegen blindes Vertrauen in die Ausgabe in die Anforderungen. Nachträglich angebaute Aufsicht ist teurer und wirkt oft schwächer. Beziehe Nutzende und Betroffene früh ein, etwa über Tests mit echten Anwendungsfällen.
Typische Audit-Nachweise
Bei A.6.1 erwarten Auditoren typischerweise:
- Dokumentierte Entwicklungsziele mit Kennzahl, Schwelle und zugeordneter Phase (→ KI-Politik im KI-Compliance-Starter-Kit, Abschnitt 5)
- Beschriebenes Phasenmodell mit Eingangs- und Ausgangskriterien (→ KI-Anbieterrichtlinie, Abschnitt 8)
- Regeln für Trainingsdaten und eine Liste freigegebener Datenlieferanten
- Testplan je Vorhaben mit Testarten, Testdaten und Annahmeschwellen (→ KI-Anbieterrichtlinie, Abschnitt 13)
- Freigabeprotokolle je Phase mit entscheidender Person und Datum
- Änderungsverfahren für Systeme in Entwicklung und Betrieb (→ Änderungsprotokoll)
- Schulungsnachweise der Entwickelnden zu KI-spezifischen Risiken (→ Schulungsregister)
KPI
Anteil der KI-Entwicklungsvorhaben, die alle festgelegten Freigabepunkte mit dokumentierter Entscheidung durchlaufen haben
Der Wert zeigt, ob das Phasenmodell im Alltag angewandt wird. Ziel ist 100 %. Abweichungen entstehen meist bei Eilprojekten und bei kleinen Änderungen, die niemand als Entwicklung wahrnimmt.
Ergänzende KPIs:
- Anteil der Entwicklungsziele mit messbarer Kennzahl und Schwelle
- Anzahl der Freigaben, die ohne vollständige Testergebnisse erteilt wurden (Ziel: 0)
- Anteil der Entwickelnden mit abgeschlossener Schulung zu KI-Risiken
Bezug zur KI-Verordnung
Für Anbieter von Hochrisiko-Systemen ist A.6.1 eng mit dem Qualitätsmanagementsystem nach Art. 17 der KI-Verordnung (EU) 2024/1689 verbunden. Dessen Abs. 1 verlangt unter anderem Verfahren für Entwurf, Entwurfskontrolle und Entwurfsprüfung (Buchst. b), für Entwicklung, Qualitätskontrolle und Qualitätssicherung (Buchst. c) sowie für Untersuchung, Test und Validierung vor, während und nach der Entwicklung (Buchst. d). Die Anforderungen der Art. 8 bis 15, darunter Daten-Governance (Art. 10), menschliche Aufsicht (Art. 14) sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 15), werden damit zu Entwicklungsanforderungen.
Art. 14 Abs. 3 sieht vor, dass Aufsichtsmaßnahmen möglichst schon vom Anbieter in das System eingebaut werden, bevor es in Verkehr kommt. Die harmonisierte Norm EN 18286 beschreibt das Qualitätsmanagementsystem für Zwecke der KI-Verordnung und baut auf denselben Gedanken auf (→ EU AI Act).
Verwandte Kontrollen
A.6.1 gibt den Rahmen vor, den andere Kontrollen füllen:
- A.6.2 Lebenszyklus von KI-Systemen: setzt den Rahmen Phase für Phase um, von den Anforderungen bis zu den Protokollen.
- A.5 Folgenabschätzung für KI-Systeme: liefert die Abschätzungen, deren Zeitpunkte A.6.1.3 festlegt.
- A.7 Daten für KI-Systeme: vertieft die Regeln für Trainingsdaten.
- A.8.25 Sicherer Entwicklungslebenszyklus: das Gegenstück aus ISO 27001 für die Informationssicherheit in der Entwicklung.
Quellen
- ISO/IEC 42001:2023, Anhang A.6.1 und Anhang B.6.1: Managementanleitung für die KI-Systementwicklung; Anhang C; Kapitel 6.2
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 10, 14, 15, 17 und 25
- ISO/IEC 22989:2022, allgemeines Lebenszyklusmodell, in Anhang B.6.1.3 genannt
- ISO/IEC 42001 im Cenedril-Wiki: Aufbau der Norm und Verhältnis zur KI-Verordnung