Zum Hauptinhalt springen
ISO/IEC 42001 · Anhang A · KI-Kontrolle

A.6.1 Managementanleitung für die KI-Systementwicklung

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein Softwarehaus entwickelt einen Assistenten, der Arztbriefe zusammenfasst. Das Team ist erfahren, testet gründlich auf Genauigkeit und liefert pünktlich. Im Pilotbetrieb zeigt sich, dass die Zusammenfassungen bei seltenen Erkrankungen deutlich schlechter ausfallen. Niemand hatte festgelegt, dass gleich gute Ergebnisse über alle Patientengruppen ein Entwicklungsziel sind, also hatte es auch niemand getestet. A.6.1 verlangt, dass die Organisation vor dem Bauen festlegt, was verantwortungsvolle Entwicklung für sie heißt, und diese Ziele mit festen Abläufen in jede Phase trägt.

A.6.1 ist die Managementebene des Lebenszyklus. Die einzelnen Entwicklungsschritte regelt A.6.2; A.6.1 legt den Rahmen fest, in dem jedes Vorhaben läuft: Ziele, Phasen, Prüfungen, Freigaben und die Beteiligung der Menschen, die das Ergebnis betrifft.

Was verlangt die Norm?

Anhang A.6.1 der ISO/IEC 42001 enthält zwei Kontrollen. Die Umsetzungshinweise stehen in Anhang B.6.1.

  • Ziele für verantwortungsvolle Entwicklung (A.6.1.2). Die Organisation bestimmt und dokumentiert Ziele, die Gestaltung und Entwicklung ihrer KI-Systeme leiten, und baut Maßnahmen zu ihrer Erreichung in den Entwicklungszyklus ein. Die Ziele knüpfen an die KI-Ziele aus Kapitel 6.2 an. Anhang C nennt mögliche Ziele wie Rechenschaft, KI-Fachwissen, Verfügbarkeit und Qualität von Trainings- und Testdaten, Umweltwirkung, Fairness, Wartbarkeit, Datenschutz, Robustheit, Betriebssicherheit, Informationssicherheit sowie Transparenz und Erklärbarkeit.
  • Ziele wirken in jeder Phase. Anhang B.6.1.2 erläutert das am Beispiel Fairness: Ein solches Ziel prägt Anforderungen, Datenbeschaffung, Datenaufbereitung, Training sowie Verifizierung und Validierung. Damit das gelingt, gibt die Organisation Anforderungen und Leitlinien vor, etwa ein bestimmtes Testverfahren gegen unerwünschte Verzerrung.
  • Festgelegte Entwicklungsprozesse (A.6.1.3). Die Organisation beschreibt und dokumentiert die konkreten Abläufe, mit denen sie KI-Systeme verantwortungsvoll gestaltet und entwickelt. Anhang B.6.1.3 nennt als zu bedenkende Punkte: Phasen des Lebenszyklus, Testanforderungen und geplante Testmittel, Anforderungen an menschliche Aufsicht samt Abläufen und Werkzeugen (vor allem, wenn natürliche Personen betroffen sein können), Zeitpunkte für Folgenabschätzungen, Regeln für Trainingsdaten (zulässige Daten, zugelassene Datenlieferanten, Kennzeichnung), nötiges Fachwissen und Schulung der Entwickelnden, Freigabekriterien, Genehmigungen in den einzelnen Phasen, Änderungssteuerung, Gebrauchstauglichkeit und Steuerbarkeit sowie die Einbindung interessierter Parteien.
  • Zuschnitt nach Technik und Funktion. Welche Abläufe im Einzelnen gelten, hängt von der vorgesehenen Funktion und den gewählten KI-Techniken ab. Ein eigenes Phasenmodell ist erlaubt; ISO/IEC 22989 bietet ein allgemeines Modell als Ausgangspunkt.

In der Praxis

Ein Entwicklungsrahmen für alle Vorhaben. Fasse Ziele, Phasen, Prüfpunkte und Freigaben in einem kurzen Dokument zusammen, das für jedes KI-Vorhaben gilt. Bewährt hat sich eine Tabelle mit Phase, Eingangskriterium, Ausgangskriterium und verantwortlicher Rolle. Die KI-Anbieterrichtlinie des Starter-Kits enthält ein solches Phasenmodell von der Konzeption bis zur Außerbetriebnahme.

Prüfpunkte an Freigaben koppeln. Lege fest, an welchen Stellen eine Folgenabschätzung fällig ist, etwa vor Abschluss des Entwurfs und vor der Inbetriebnahme, und welche Ergebnisse vorliegen müssen, bevor die nächste Phase beginnt. Bewährt hat sich, Verifizierung und Freigabe verschiedenen Personen zu übertragen.

Trainingsdaten regeln, bevor sie gebraucht werden. Schreibe auf, welche Datenquellen zulässig sind, welche Datenlieferanten freigegeben sind und nach welchen Regeln Daten gekennzeichnet werden. Das verhindert, dass ein Team unter Zeitdruck Daten aus ungeklärten Quellen nutzt, deren Rechte oder Qualität sich später nicht belegen lassen.

Menschliche Aufsicht im Entwurf vorsehen. Wenn das System Menschen betrifft, gehören Eingriffs- und Abschaltmöglichkeiten, die Anzeige von Grenzen und Vorkehrungen gegen blindes Vertrauen in die Ausgabe in die Anforderungen. Nachträglich angebaute Aufsicht ist teurer und wirkt oft schwächer. Beziehe Nutzende und Betroffene früh ein, etwa über Tests mit echten Anwendungsfällen.

Typische Audit-Nachweise

Bei A.6.1 erwarten Auditoren typischerweise:

KPI

Anteil der KI-Entwicklungsvorhaben, die alle festgelegten Freigabepunkte mit dokumentierter Entscheidung durchlaufen haben

Der Wert zeigt, ob das Phasenmodell im Alltag angewandt wird. Ziel ist 100 %. Abweichungen entstehen meist bei Eilprojekten und bei kleinen Änderungen, die niemand als Entwicklung wahrnimmt.

Ergänzende KPIs:

  • Anteil der Entwicklungsziele mit messbarer Kennzahl und Schwelle
  • Anzahl der Freigaben, die ohne vollständige Testergebnisse erteilt wurden (Ziel: 0)
  • Anteil der Entwickelnden mit abgeschlossener Schulung zu KI-Risiken

Bezug zur KI-Verordnung

Für Anbieter von Hochrisiko-Systemen ist A.6.1 eng mit dem Qualitätsmanagementsystem nach Art. 17 der KI-Verordnung (EU) 2024/1689 verbunden. Dessen Abs. 1 verlangt unter anderem Verfahren für Entwurf, Entwurfskontrolle und Entwurfsprüfung (Buchst. b), für Entwicklung, Qualitätskontrolle und Qualitätssicherung (Buchst. c) sowie für Untersuchung, Test und Validierung vor, während und nach der Entwicklung (Buchst. d). Die Anforderungen der Art. 8 bis 15, darunter Daten-Governance (Art. 10), menschliche Aufsicht (Art. 14) sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 15), werden damit zu Entwicklungsanforderungen.

Art. 14 Abs. 3 sieht vor, dass Aufsichtsmaßnahmen möglichst schon vom Anbieter in das System eingebaut werden, bevor es in Verkehr kommt. Die harmonisierte Norm EN 18286 beschreibt das Qualitätsmanagementsystem für Zwecke der KI-Verordnung und baut auf denselben Gedanken auf (→ EU AI Act).

Verwandte Kontrollen

A.6.1 gibt den Rahmen vor, den andere Kontrollen füllen:

Quellen

Häufig gestellte Fragen

Gilt A.6.1 auch, wenn wir KI nur zukaufen?

Die Kontrolle richtet sich an Organisationen, die KI-Systeme entwickeln. Wer ausschließlich fertige Systeme nutzt, kann A.6.1 in der Anwendbarkeitserklärung mit Begründung ausschließen. Wer ein Modell mit eigenen Daten nachtrainiert oder ein System für einen neuen Zweck umbaut, entwickelt allerdings selbst; bei Hochrisiko-Systemen kann das nach Art. 25 der KI-Verordnung die Anbieterrolle auslösen.

Woher nehme ich passende Entwicklungsziele?

Anhang C der Norm nennt mögliche Ziele, etwa Fairness, Robustheit, Wartbarkeit, Datenschutz, Sicherheit sowie Transparenz und Erklärbarkeit. Wähle die aus, die zu deinen Systemen und Risiken passen, und gib jedem Ziel eine Kennzahl. Den Rahmen bilden die KI-Ziele nach Kapitel 6.2, aus denen die Entwicklungsziele abgeleitet werden.

Muss ich das Lebenszyklusmodell aus ISO/IEC 22989 übernehmen?

Das ist freiwillig. Anhang B.6.1.3 nennt es als allgemeines Modell und erlaubt ausdrücklich eigene Phasen. Entscheidend ist, dass jede Phase klare Eingangs- und Ausgangskriterien hat und die Prüfpunkte für Tests, Folgenabschätzung und Freigabe darin verortet sind.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.