Eine Stadtverwaltung führt ein System ein, das Anträge auf Wohngeld vorsortiert. Technisch läuft alles, die Fehlerquote liegt im Plan. Erst Monate später fällt auf, dass Anträge von Menschen mit geringen Deutschkenntnissen deutlich häufiger in die Nachprüfung wandern. A.5 verlangt, vor dem Einsatz und über den ganzen Lebenszyklus zu fragen, was ein KI-System für die Menschen bedeutet, die es betrifft, und die Antwort festzuhalten.
Die Folgenabschätzung ergänzt die Risikobeurteilung um die Sicht der Betroffenen. Die Risikobeurteilung fragt, was die Ziele der Organisation gefährdet; die Folgenabschätzung fragt, was Einzelnen, Gruppen und der Gesellschaft geschehen kann. Kapitel 6.1.4 und 8.4 der Norm verlangen den Prozess, Anhang A.5 beschreibt seine Bausteine.
Was verlangt die Norm?
Anhang A.5 der ISO/IEC 42001 enthält vier Kontrollen. Die Umsetzungshinweise stehen in Anhang B.5.
- Ein festgelegter Prozess (A.5.2). Ausgehend von Zweck und vorgesehener Nutzung prüft die Organisation, ob ein System die rechtliche Stellung oder die Lebenschancen von Menschen, ihr körperliches oder seelisches Wohl, universelle Menschenrechte oder die Gesellschaft berührt. Der Prozess regelt mindestens, wann eine Abschätzung fällig wird (etwa bei kritischem Zweck oder Einsatzkontext, komplexer Technik und hohem Automatisierungsgrad, sensiblen Daten oder wesentlichen Änderungen daran), aus welchen Schritten sie besteht (identifizieren, analysieren, bewerten, behandeln, dokumentieren und berichten), wer sie durchführt, wie die Ergebnisse in Gestaltung und Nutzung einfließen und welche Personenkreise betrachtet werden. Daten, eingesetzte Techniken und die Funktion des Gesamtsystems gehören zur Betrachtung.
- Ergebnisse dokumentieren und aufbewahren (A.5.3). Die Ergebnisse werden festgehalten, bei Bedarf aktualisiert und für einen festgelegten Zeitraum aufbewahrt. Sinnvolle Inhalte sind laut Anhang B.5.3 die vorgesehene Nutzung und die vorhersehbare Fehlanwendung, positive und negative Folgen, vorhersehbare Ausfälle mit Gegenmaßnahmen, die betroffenen demografischen Gruppen, die Komplexität des Systems, die Rolle des Menschen samt Aufsicht sowie Folgen für Beschäftigung und Qualifizierung.
- Folgen für Einzelne und Gruppen (A.5.4). Die Organisation bezieht ihre Governance-Grundsätze, ihre KI-Politik und ihre Ziele ein, berücksichtigt die Erwartungen der Nutzenden an Vertrauenswürdigkeit und achtet auf besonders schutzbedürftige Gruppen wie Kinder, Menschen mit Beeinträchtigungen, ältere Menschen und Beschäftigte. Je nach Zweck kommen Fairness, Rechenschaft, Transparenz und Erklärbarkeit, Sicherheit und Datenschutz, Betriebssicherheit und Gesundheit, finanzielle Folgen, Barrierefreiheit und Menschenrechte in Betracht. Bei Bedarf zieht sie Fachleute, Forschende oder Nutzende hinzu.
- Gesellschaftliche Folgen (A.5.5). Betrachtet werden mögliche Wirkungen auf ökologische Nachhaltigkeit, Wirtschaft, Staat und Verwaltung, Gesundheit und Sicherheit sowie Normen, Kultur und Werte, im Guten wie im Schlechten. Anhang B.5.5 nennt als Denkanstöße etwa den Energie- und Wasserbedarf von Training und Betrieb, Missbrauch für Desinformation und die Verfestigung historischer Benachteiligungen.
In der Praxis
Vorprüfung für alle, volle Abschätzung nach Bedarf. Ein kurzer Fragebogen klärt für jedes System, ob es Entscheidungen über Menschen beeinflusst, sensible Daten verarbeitet oder schutzbedürftige Gruppen erreicht. Ein Schreibassistent für interne Texte kommt mit einer knappen Begründung aus, ein System zur Vorauswahl von Bewerbungen braucht die volle Abschätzung. Beides wird dokumentiert, auch die kurze Variante.
Betroffene konkret benennen. „Die Kundschaft“ ist als Angabe zu grob. Wer genau ist betroffen, welche Gruppen darunter sind besonders schutzbedürftig, und wer ist mittelbar betroffen, ohne das System je zu nutzen? Bei der Bewerbungsvorauswahl gehören neben den Bewerbenden auch die Fachbereiche dazu, die mit der getroffenen Auswahl weiterarbeiten.
Ergebnisse müssen etwas auslösen. Eine Folgenabschätzung, die keine Entscheidung verändert, bleibt folgenlos. Lege Schwellen fest: Oberhalb einer bestimmten Schwere geht das System erst nach Freigabe durch die Leitung und mit umgesetzten Gegenmaßnahmen in Betrieb. Wesentliche Folgen werden als Szenario ins KI-Risikoregister übernommen, damit sie mit den übrigen Risiken behandelt werden.
Vorhandene Abschätzungen nutzen. Liegt für die Verarbeitung bereits eine Datenschutz-Folgenabschätzung vor, verweise auf sie und ergänze, was sie nicht abdeckt. Bei zugekauften Systemen liefert der Anbieter oft Angaben zu Grenzen und Risiken. Prüfe sie am eigenen Einsatzkontext, bevor du sie übernimmst.
Typische Audit-Nachweise
Bei A.5 erwarten Auditoren typischerweise:
- Verfahrensbeschreibung mit Auslösern, Schritten, Zuständigkeiten und Freigabe (→ KI-Politik im KI-Compliance-Starter-Kit, Abschnitt 8)
- Abgeschlossene Folgenabschätzungen je System mit Datum, Version und Freigabe (→ Vorlage Grundrechte-Folgenabschätzung)
- Vorprüfungen für Systeme, bei denen keine volle Abschätzung nötig war, jeweils mit Begründung
- Übernahme wesentlicher Folgen in das KI-Risikoregister und ihre Behandlung im KI-Risikobehandlungsplan
- Aufbewahrungsregel für die Ergebnisse (→ Aufbewahrungsplan)
- Nachweis der Aktualisierung nach wesentlichen Änderungen, etwa als neue Version am System im KI-Verzeichnis
KPI
Anteil der KI-Systeme im KI-Verzeichnis mit gültiger, freigegebener Folgenabschätzung
Gültig heißt: freigegeben, nach der letzten wesentlichen Änderung erneuert und jünger als der festgelegte Wiederholungsrhythmus. Ziel ist 100 %. Der Wert macht sichtbar, ob die Auslöser im Alltag tatsächlich greifen.
Ergänzende KPIs:
- Anzahl der Systeme, deren Abschätzung nach einer wesentlichen Änderung noch aussteht
- Anteil der Folgen oberhalb der Schwelle, für die Gegenmaßnahmen umgesetzt sind
- Durchschnittliche Dauer von der Auslösung bis zur Freigabe einer Abschätzung
Bezug zur KI-Verordnung
Die KI-Verordnung (EU) 2024/1689 kennt zwei verwandte Pflichten. Bestimmte Betreiber von Hochrisiko-Systemen führen vor der ersten Verwendung eine Grundrechte-Folgenabschätzung nach Art. 27 durch und teilen das Ergebnis der Marktüberwachungsbehörde mit. Betroffen sind Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, und Betreiber von Systemen zur Kreditwürdigkeitsprüfung sowie zur Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen. Anbieter von Hochrisiko-Systemen betreiben ein Risikomanagement nach Art. 9, das Risiken für Gesundheit, Sicherheit und Grundrechte betrachtet und dabei auch die Wirkung auf Minderjährige und andere schutzbedürftige Gruppen einbezieht.
Eine Folgenabschätzung nach A.5 kann beide Pflichten tragen, wenn sie die dort geforderten Angaben enthält. Art. 27 Abs. 4 erlaubt, auf einer vorhandenen Datenschutz-Folgenabschätzung nach Art. 35 DSGVO aufzubauen (→ EU AI Act).
Verwandte Kontrollen
A.5 hängt eng mit den Kontrollen zusammen, die Fakten liefern oder Ergebnisse weitertragen:
- A.4 Ressourcen für KI-Systeme: liefert mit der Ressourcendokumentation die Faktengrundlage.
- A.6.2 Lebenszyklus von KI-Systemen: prüft in Verifizierung und Validierung die Risiken für Betroffene und nimmt die Abschätzung in die technische Dokumentation auf.
- A.8 Information für interessierte Parteien: gibt die einschlägigen Ergebnisse an Nutzende und Behörden weiter.
- A.5.34 Datenschutz und Schutz von PII: das Gegenstück aus ISO 27001, an das die Datenschutz-Folgenabschätzung anknüpft.
Quellen
- ISO/IEC 42001:2023, Anhang A.5 und Anhang B.5: Folgenabschätzung für KI-Systeme; Kapitel 6.1.4 und 8.4
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 9, 18 und 27
- Verordnung (EU) 2016/679 (DSGVO), Art. 35
- ISO/IEC 23894:2023 (Risikomanagement für KI) und ISO/IEC TR 24368 (ethische und gesellschaftliche Fragen), in Anhang B.5 als vertiefende Quellen genannt
- ISO/IEC 42001 im Cenedril-Wiki: Aufbau der Norm und Verhältnis zur KI-Verordnung