Zum Hauptinhalt springen
ISO/IEC 42001 · Anhang A · KI-Kontrolle

A.9 Nutzung von KI-Systemen

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Eine Personalabteilung kauft ein Werkzeug, das Lebensläufe nach Passung sortiert. Laut Anbieter dient es als Hilfe für die Vorauswahl, und eine Person soll jede Absage prüfen. Nach drei Monaten gehen Absagen unterhalb eines Punktwerts automatisch hinaus, weil das Zeit spart. A.9 verlangt, dass die Organisation KI-Systeme nach festgelegten Regeln und Zielen nutzt und dafür sorgt, dass sie im Rahmen ihres vorgesehenen Zwecks und ihrer Gebrauchsanweisung bleiben.

A.9 ist die Kontrolle für den Alltag der Betreiber. Sie gilt für eigene und zugekaufte Systeme gleichermaßen und beantwortet drei Fragen: Nach welchen Regeln entscheidet die Organisation, ein System zu nutzen? Welche Ziele verfolgt sie bei der Nutzung? Und wie stellt sie sicher, dass das System so eingesetzt wird, wie es gedacht ist?

Was verlangt die Norm?

Anhang A.9 der ISO/IEC 42001 enthält drei Kontrollen. Die Umsetzungshinweise stehen in Anhang B.9.

  • Prozesse für die verantwortungsvolle Nutzung (A.9.2). Die Organisation legt fest und dokumentiert, nach welchen Abläufen sie KI-Systeme nutzt, ob selbst entwickelt oder zugekauft. Sie macht sich klar, welche Gesichtspunkte die Entscheidung für ein System bestimmen, und regelt sie in Richtlinien. Anhang B.9.2 nennt als Beispiele erforderliche Freigaben, Kosten einschließlich laufender Überwachung und Wartung, genehmigte Beschaffungsanforderungen und die geltenden gesetzlichen Anforderungen. Bestehende Nutzungsregeln für andere Systeme dürfen einbezogen werden.
  • Ziele für die verantwortungsvolle Nutzung (A.9.3). Die Organisation bestimmt und dokumentiert Ziele, die die Nutzung leiten, etwa Fairness, Rechenschaft, Transparenz, Erklärbarkeit, Zuverlässigkeit, Betriebssicherheit, Robustheit und Redundanz, Datenschutz und Sicherheit sowie Barrierefreiheit. Sie richtet Mechanismen ein, um die Ziele zu erreichen, und prüft dazu etwa, ob eine Lösung von Dritten oder eine eigene zum Einsatzzweck passt.
  • Menschliche Aufsicht als Ziel. Anhang B.9.3 erwartet, dass die Organisation festlegt, in welchen Phasen sie wirksame Aufsicht verankert: Prüfung von Ausgaben durch Menschen mit der Befugnis zum Übersteuern, Aufsicht dort, wo die Gebrauchsanweisung sie verlangt, Überwachung der Genauigkeit, Meldung von Bedenken zu Ausgaben und zu Leistungsveränderungen sowie die Abwägung, ob automatisierte Entscheidungen angemessen sind. Wer Aufsicht ausübt, ist informiert oder geschult und kennt die Unterlagen des Systems. Die Folgenabschätzung kann zeigen, wie viel Aufsicht nötig ist.
  • Bestimmungsgemäße Verwendung (A.9.4). Die Organisation sorgt dafür, dass das System entsprechend seinen vorgesehenen Verwendungen und seiner Begleitdokumentation eingesetzt wird. Dazu können Ressourcen gehören, etwa für die vorgesehene Aufsicht, und Eingabedaten, die zur Dokumentation passen. Der Betrieb wird überwacht. Gibt schon der bestimmungsgemäße Einsatz Anlass zur Sorge um Betroffene oder um gesetzliche Pflichten, teilt die Organisation das den zuständigen Personen intern und dem Lieferanten mit. Protokolle oder andere Aufzeichnungen belegen die bestimmungsgemäße Nutzung; ihre Aufbewahrung richtet sich nach Einsatzzweck, internen Regeln und Recht.

In der Praxis

Einen Katalog freigegebener Dienste führen. Beschäftigte sehen auf einen Blick, welche KI-Dienste sie für welche Zwecke und mit welchen Daten nutzen dürfen. Was fehlt, wird beantragt. Schatten-KI, also privat genutzte Werkzeuge für Arbeitsdaten, wird gemeldet und entweder in den Katalog überführt oder beendet.

Zweck und Grenzen je System festhalten. Übernimm die Zweckbestimmung des Anbieters ins KI-Verzeichnis und ergänze, wofür du das System einsetzt und welche Einsätze ausgeschlossen sind. Eine Erweiterung des Einsatzes, etwa von der Vorauswahl zur automatischen Absage, ist eine Änderung, die Klassifizierung, Folgenabschätzung und Aufsicht neu berührt.

Aufsicht realistisch planen. Wer Ausgaben prüfen soll, braucht Zeit, Schulung und die Befugnis abzuweichen. Prüfe stichprobenartig, ob die Aufsicht tatsächlich stattfindet oder ob Empfehlungen ungeprüft übernommen werden. Hohe Übernahmequoten ohne jede Abweichung sind ein Warnzeichen für Automation Bias.

Kosten über die Laufzeit ansetzen. Neben Lizenz und Einführung kosten Überwachung, Aufsicht, Schulung und Wartung laufend Geld. Wer das bei der Entscheidung ausblendet, spart später ausgerechnet an der Aufsicht.

Typische Audit-Nachweise

Bei A.9 erwarten Auditoren typischerweise:

KPI

Anteil der genutzten KI-Systeme, die über den Freigabeprozess ins KI-Verzeichnis gekommen sind

Ziel ist 100 %. Systeme, die erst bei einer Bestandsaufnahme auftauchen, zeigen, dass der Freigabeprozess umgangen wird oder zu umständlich ist.

Ergänzende KPIs:

  • Anteil der Hochrisiko-Systeme mit benannter und geschulter Aufsicht
  • Anzahl festgestellter Nutzungen außerhalb der Zweckbestimmung
  • Anteil der Ausgaben, die von der Aufsicht geändert oder verworfen wurden, als Hinweis darauf, dass tatsächlich geprüft wird

Bezug zur KI-Verordnung

A.9 entspricht weitgehend den Betreiberpflichten nach Art. 26 der KI-Verordnung (EU) 2024/1689. Betreiber von Hochrisiko-Systemen verwenden diese gemäß der Gebrauchsanweisung (Abs. 1), übertragen die menschliche Aufsicht an kompetente, geschulte und befugte Personen (Abs. 2), sorgen bei eigener Kontrolle über die Eingabedaten dafür, dass diese für den Zweck relevant und hinreichend repräsentativ sind (Abs. 4), überwachen den Betrieb und melden Risiken (Abs. 5) und bewahren die Protokolle auf (Abs. 6). Vor dem Einsatz am Arbeitsplatz unterrichten sie die Beschäftigten und ihre Vertretung (Abs. 7).

Für alle KI-Systeme gelten die verbotenen Praktiken nach Art. 5, die Pflicht, die KI-Kompetenz des Personals zu unterstützen (Art. 4), und die Transparenzpflichten nach Art. 50. Wer ein Hochrisiko-System wesentlich verändert oder ein anderes System so umwidmet, dass es zum Hochrisiko-System wird, gilt nach Art. 25 als Anbieter (→ EU AI Act).

Verwandte Kontrollen

A.9 setzt die Regeln dort um, wo KI tatsächlich arbeitet:

Quellen

Häufig gestellte Fragen

Brauche ich für jeden KI-Dienst eine Freigabe?

Für jeden neuen KI-Dienst, der für die Arbeit genutzt wird, ja. Die Freigabe kann schlank sein: Zweck, zulässige Datenklassen, Prüfung gegen verbotene Praktiken und die Vertragslage zum Datenschutz. Wichtig ist, dass der Dienst danach im Katalog freigegebener Dienste und im KI-Verzeichnis steht.

Was gilt, wenn wir ein System anders nutzen wollen als vom Anbieter vorgesehen?

Dann änderst du die Zweckbestimmung. Prüfe vor dem Einsatz Klassifizierung, Folgenabschätzung und Aufsicht neu und kläre mit dem Anbieter, ob das System dafür geeignet ist. Wird ein System durch den neuen Zweck zum Hochrisiko-System, übernimmst du nach Art. 25 der KI-Verordnung die Pflichten eines Anbieters.

Wie weise ich nach, dass die menschliche Aufsicht wirkt?

Über Aufzeichnungen, die zeigen, dass Ausgaben geprüft und bei Bedarf geändert wurden, etwa Prüfvermerke, Protokolle von Übersteuerungen oder Stichprobenauswertungen. Eine Aufsicht, die nie abweicht, fällt im Audit auf. Hilfreich sind außerdem Schulungsnachweise und eine Beschreibung der Befugnisse der Aufsichtspersonen.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.