Eine Personalabteilung kauft ein Werkzeug, das Lebensläufe nach Passung sortiert. Laut Anbieter dient es als Hilfe für die Vorauswahl, und eine Person soll jede Absage prüfen. Nach drei Monaten gehen Absagen unterhalb eines Punktwerts automatisch hinaus, weil das Zeit spart. A.9 verlangt, dass die Organisation KI-Systeme nach festgelegten Regeln und Zielen nutzt und dafür sorgt, dass sie im Rahmen ihres vorgesehenen Zwecks und ihrer Gebrauchsanweisung bleiben.
A.9 ist die Kontrolle für den Alltag der Betreiber. Sie gilt für eigene und zugekaufte Systeme gleichermaßen und beantwortet drei Fragen: Nach welchen Regeln entscheidet die Organisation, ein System zu nutzen? Welche Ziele verfolgt sie bei der Nutzung? Und wie stellt sie sicher, dass das System so eingesetzt wird, wie es gedacht ist?
Was verlangt die Norm?
Anhang A.9 der ISO/IEC 42001 enthält drei Kontrollen. Die Umsetzungshinweise stehen in Anhang B.9.
- Prozesse für die verantwortungsvolle Nutzung (A.9.2). Die Organisation legt fest und dokumentiert, nach welchen Abläufen sie KI-Systeme nutzt, ob selbst entwickelt oder zugekauft. Sie macht sich klar, welche Gesichtspunkte die Entscheidung für ein System bestimmen, und regelt sie in Richtlinien. Anhang B.9.2 nennt als Beispiele erforderliche Freigaben, Kosten einschließlich laufender Überwachung und Wartung, genehmigte Beschaffungsanforderungen und die geltenden gesetzlichen Anforderungen. Bestehende Nutzungsregeln für andere Systeme dürfen einbezogen werden.
- Ziele für die verantwortungsvolle Nutzung (A.9.3). Die Organisation bestimmt und dokumentiert Ziele, die die Nutzung leiten, etwa Fairness, Rechenschaft, Transparenz, Erklärbarkeit, Zuverlässigkeit, Betriebssicherheit, Robustheit und Redundanz, Datenschutz und Sicherheit sowie Barrierefreiheit. Sie richtet Mechanismen ein, um die Ziele zu erreichen, und prüft dazu etwa, ob eine Lösung von Dritten oder eine eigene zum Einsatzzweck passt.
- Menschliche Aufsicht als Ziel. Anhang B.9.3 erwartet, dass die Organisation festlegt, in welchen Phasen sie wirksame Aufsicht verankert: Prüfung von Ausgaben durch Menschen mit der Befugnis zum Übersteuern, Aufsicht dort, wo die Gebrauchsanweisung sie verlangt, Überwachung der Genauigkeit, Meldung von Bedenken zu Ausgaben und zu Leistungsveränderungen sowie die Abwägung, ob automatisierte Entscheidungen angemessen sind. Wer Aufsicht ausübt, ist informiert oder geschult und kennt die Unterlagen des Systems. Die Folgenabschätzung kann zeigen, wie viel Aufsicht nötig ist.
- Bestimmungsgemäße Verwendung (A.9.4). Die Organisation sorgt dafür, dass das System entsprechend seinen vorgesehenen Verwendungen und seiner Begleitdokumentation eingesetzt wird. Dazu können Ressourcen gehören, etwa für die vorgesehene Aufsicht, und Eingabedaten, die zur Dokumentation passen. Der Betrieb wird überwacht. Gibt schon der bestimmungsgemäße Einsatz Anlass zur Sorge um Betroffene oder um gesetzliche Pflichten, teilt die Organisation das den zuständigen Personen intern und dem Lieferanten mit. Protokolle oder andere Aufzeichnungen belegen die bestimmungsgemäße Nutzung; ihre Aufbewahrung richtet sich nach Einsatzzweck, internen Regeln und Recht.
In der Praxis
Einen Katalog freigegebener Dienste führen. Beschäftigte sehen auf einen Blick, welche KI-Dienste sie für welche Zwecke und mit welchen Daten nutzen dürfen. Was fehlt, wird beantragt. Schatten-KI, also privat genutzte Werkzeuge für Arbeitsdaten, wird gemeldet und entweder in den Katalog überführt oder beendet.
Zweck und Grenzen je System festhalten. Übernimm die Zweckbestimmung des Anbieters ins KI-Verzeichnis und ergänze, wofür du das System einsetzt und welche Einsätze ausgeschlossen sind. Eine Erweiterung des Einsatzes, etwa von der Vorauswahl zur automatischen Absage, ist eine Änderung, die Klassifizierung, Folgenabschätzung und Aufsicht neu berührt.
Aufsicht realistisch planen. Wer Ausgaben prüfen soll, braucht Zeit, Schulung und die Befugnis abzuweichen. Prüfe stichprobenartig, ob die Aufsicht tatsächlich stattfindet oder ob Empfehlungen ungeprüft übernommen werden. Hohe Übernahmequoten ohne jede Abweichung sind ein Warnzeichen für Automation Bias.
Kosten über die Laufzeit ansetzen. Neben Lizenz und Einführung kosten Überwachung, Aufsicht, Schulung und Wartung laufend Geld. Wer das bei der Entscheidung ausblendet, spart später ausgerechnet an der Aufsicht.
Typische Audit-Nachweise
Bei A.9 erwarten Auditoren typischerweise:
- Regeln für die Nutzung von KI im Arbeitsalltag (→ KI-Nutzungsrichtlinie im KI-Compliance-Starter-Kit)
- Freigabeprozess und Katalog freigegebener KI-Dienste mit Zweck und zulässigen Daten
- Dokumentierte Ziele für die verantwortungsvolle Nutzung mit Kennzahlen (→ KI-Politik, Abschnitt 5)
- Zweckbestimmung, Einstufung und Aufsicht je System (→ KI-Verzeichnis)
- Nachweise der menschlichen Aufsicht, etwa Prüfvermerke oder Stichprobenauswertungen
- Protokolle zur Nutzung von Hochrisiko-Systemen mit Aufbewahrungsfrist
- Unterrichtung der Beschäftigten vor dem Einsatz eines Hochrisiko-Systems am Arbeitsplatz (→ Vorlage Unterrichtung der Beschäftigten)
KPI
Anteil der genutzten KI-Systeme, die über den Freigabeprozess ins KI-Verzeichnis gekommen sind
Ziel ist 100 %. Systeme, die erst bei einer Bestandsaufnahme auftauchen, zeigen, dass der Freigabeprozess umgangen wird oder zu umständlich ist.
Ergänzende KPIs:
- Anteil der Hochrisiko-Systeme mit benannter und geschulter Aufsicht
- Anzahl festgestellter Nutzungen außerhalb der Zweckbestimmung
- Anteil der Ausgaben, die von der Aufsicht geändert oder verworfen wurden, als Hinweis darauf, dass tatsächlich geprüft wird
Bezug zur KI-Verordnung
A.9 entspricht weitgehend den Betreiberpflichten nach Art. 26 der KI-Verordnung (EU) 2024/1689. Betreiber von Hochrisiko-Systemen verwenden diese gemäß der Gebrauchsanweisung (Abs. 1), übertragen die menschliche Aufsicht an kompetente, geschulte und befugte Personen (Abs. 2), sorgen bei eigener Kontrolle über die Eingabedaten dafür, dass diese für den Zweck relevant und hinreichend repräsentativ sind (Abs. 4), überwachen den Betrieb und melden Risiken (Abs. 5) und bewahren die Protokolle auf (Abs. 6). Vor dem Einsatz am Arbeitsplatz unterrichten sie die Beschäftigten und ihre Vertretung (Abs. 7).
Für alle KI-Systeme gelten die verbotenen Praktiken nach Art. 5, die Pflicht, die KI-Kompetenz des Personals zu unterstützen (Art. 4), und die Transparenzpflichten nach Art. 50. Wer ein Hochrisiko-System wesentlich verändert oder ein anderes System so umwidmet, dass es zum Hochrisiko-System wird, gilt nach Art. 25 als Anbieter (→ EU AI Act).
Verwandte Kontrollen
A.9 setzt die Regeln dort um, wo KI tatsächlich arbeitet:
- A.2 Richtlinien für KI: die KI-Politik, aus der die Nutzungsregeln abgeleitet sind.
- A.5 Folgenabschätzung für KI-Systeme: bestimmt mit, wie viel menschliche Aufsicht ein System braucht.
- A.6.2 Lebenszyklus von KI-Systemen: regelt Betrieb und Überwachung, auf die A.9.4 verweist.
- A.10 Beziehungen zu Dritten und Kunden: der Weg, Bedenken zum Einsatz an Lieferanten weiterzugeben.
- A.5.10 Akzeptable Nutzung von Informationswerten: das Gegenstück aus ISO 27001 für Nutzungsregeln.
Quellen
- ISO/IEC 42001:2023, Anhang A.9 und Anhang B.9: Nutzung von KI-Systemen; Anhang C
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 4, 5, 25, 26 und 50
- ISO/IEC 42001 im Cenedril-Wiki: Aufbau der Norm und Verhältnis zur KI-Verordnung