Zum Hauptinhalt springen
ISO/IEC 42001 · Anhang A · KI-Kontrolle

A.5 Folgenabschätzung für KI-Systeme

Aktualisiert am 6 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Eine Stadtverwaltung führt ein System ein, das Anträge auf Wohngeld vorsortiert. Technisch läuft alles, die Fehlerquote liegt im Plan. Erst Monate später fällt auf, dass Anträge von Menschen mit geringen Deutschkenntnissen deutlich häufiger in die Nachprüfung wandern. A.5 verlangt, vor dem Einsatz und über den ganzen Lebenszyklus zu fragen, was ein KI-System für die Menschen bedeutet, die es betrifft, und die Antwort festzuhalten.

Die Folgenabschätzung ergänzt die Risikobeurteilung um die Sicht der Betroffenen. Die Risikobeurteilung fragt, was die Ziele der Organisation gefährdet; die Folgenabschätzung fragt, was Einzelnen, Gruppen und der Gesellschaft geschehen kann. Kapitel 6.1.4 und 8.4 der Norm verlangen den Prozess, Anhang A.5 beschreibt seine Bausteine.

Was verlangt die Norm?

Anhang A.5 der ISO/IEC 42001 enthält vier Kontrollen. Die Umsetzungshinweise stehen in Anhang B.5.

  • Ein festgelegter Prozess (A.5.2). Ausgehend von Zweck und vorgesehener Nutzung prüft die Organisation, ob ein System die rechtliche Stellung oder die Lebenschancen von Menschen, ihr körperliches oder seelisches Wohl, universelle Menschenrechte oder die Gesellschaft berührt. Der Prozess regelt mindestens, wann eine Abschätzung fällig wird (etwa bei kritischem Zweck oder Einsatzkontext, komplexer Technik und hohem Automatisierungsgrad, sensiblen Daten oder wesentlichen Änderungen daran), aus welchen Schritten sie besteht (identifizieren, analysieren, bewerten, behandeln, dokumentieren und berichten), wer sie durchführt, wie die Ergebnisse in Gestaltung und Nutzung einfließen und welche Personenkreise betrachtet werden. Daten, eingesetzte Techniken und die Funktion des Gesamtsystems gehören zur Betrachtung.
  • Ergebnisse dokumentieren und aufbewahren (A.5.3). Die Ergebnisse werden festgehalten, bei Bedarf aktualisiert und für einen festgelegten Zeitraum aufbewahrt. Sinnvolle Inhalte sind laut Anhang B.5.3 die vorgesehene Nutzung und die vorhersehbare Fehlanwendung, positive und negative Folgen, vorhersehbare Ausfälle mit Gegenmaßnahmen, die betroffenen demografischen Gruppen, die Komplexität des Systems, die Rolle des Menschen samt Aufsicht sowie Folgen für Beschäftigung und Qualifizierung.
  • Folgen für Einzelne und Gruppen (A.5.4). Die Organisation bezieht ihre Governance-Grundsätze, ihre KI-Politik und ihre Ziele ein, berücksichtigt die Erwartungen der Nutzenden an Vertrauenswürdigkeit und achtet auf besonders schutzbedürftige Gruppen wie Kinder, Menschen mit Beeinträchtigungen, ältere Menschen und Beschäftigte. Je nach Zweck kommen Fairness, Rechenschaft, Transparenz und Erklärbarkeit, Sicherheit und Datenschutz, Betriebssicherheit und Gesundheit, finanzielle Folgen, Barrierefreiheit und Menschenrechte in Betracht. Bei Bedarf zieht sie Fachleute, Forschende oder Nutzende hinzu.
  • Gesellschaftliche Folgen (A.5.5). Betrachtet werden mögliche Wirkungen auf ökologische Nachhaltigkeit, Wirtschaft, Staat und Verwaltung, Gesundheit und Sicherheit sowie Normen, Kultur und Werte, im Guten wie im Schlechten. Anhang B.5.5 nennt als Denkanstöße etwa den Energie- und Wasserbedarf von Training und Betrieb, Missbrauch für Desinformation und die Verfestigung historischer Benachteiligungen.

In der Praxis

Vorprüfung für alle, volle Abschätzung nach Bedarf. Ein kurzer Fragebogen klärt für jedes System, ob es Entscheidungen über Menschen beeinflusst, sensible Daten verarbeitet oder schutzbedürftige Gruppen erreicht. Ein Schreibassistent für interne Texte kommt mit einer knappen Begründung aus, ein System zur Vorauswahl von Bewerbungen braucht die volle Abschätzung. Beides wird dokumentiert, auch die kurze Variante.

Betroffene konkret benennen. „Die Kundschaft“ ist als Angabe zu grob. Wer genau ist betroffen, welche Gruppen darunter sind besonders schutzbedürftig, und wer ist mittelbar betroffen, ohne das System je zu nutzen? Bei der Bewerbungsvorauswahl gehören neben den Bewerbenden auch die Fachbereiche dazu, die mit der getroffenen Auswahl weiterarbeiten.

Ergebnisse müssen etwas auslösen. Eine Folgenabschätzung, die keine Entscheidung verändert, bleibt folgenlos. Lege Schwellen fest: Oberhalb einer bestimmten Schwere geht das System erst nach Freigabe durch die Leitung und mit umgesetzten Gegenmaßnahmen in Betrieb. Wesentliche Folgen werden als Szenario ins KI-Risikoregister übernommen, damit sie mit den übrigen Risiken behandelt werden.

Vorhandene Abschätzungen nutzen. Liegt für die Verarbeitung bereits eine Datenschutz-Folgenabschätzung vor, verweise auf sie und ergänze, was sie nicht abdeckt. Bei zugekauften Systemen liefert der Anbieter oft Angaben zu Grenzen und Risiken. Prüfe sie am eigenen Einsatzkontext, bevor du sie übernimmst.

Typische Audit-Nachweise

Bei A.5 erwarten Auditoren typischerweise:

KPI

Anteil der KI-Systeme im KI-Verzeichnis mit gültiger, freigegebener Folgenabschätzung

Gültig heißt: freigegeben, nach der letzten wesentlichen Änderung erneuert und jünger als der festgelegte Wiederholungsrhythmus. Ziel ist 100 %. Der Wert macht sichtbar, ob die Auslöser im Alltag tatsächlich greifen.

Ergänzende KPIs:

  • Anzahl der Systeme, deren Abschätzung nach einer wesentlichen Änderung noch aussteht
  • Anteil der Folgen oberhalb der Schwelle, für die Gegenmaßnahmen umgesetzt sind
  • Durchschnittliche Dauer von der Auslösung bis zur Freigabe einer Abschätzung

Bezug zur KI-Verordnung

Die KI-Verordnung (EU) 2024/1689 kennt zwei verwandte Pflichten. Bestimmte Betreiber von Hochrisiko-Systemen führen vor der ersten Verwendung eine Grundrechte-Folgenabschätzung nach Art. 27 durch und teilen das Ergebnis der Marktüberwachungsbehörde mit. Betroffen sind Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, und Betreiber von Systemen zur Kreditwürdigkeitsprüfung sowie zur Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen. Anbieter von Hochrisiko-Systemen betreiben ein Risikomanagement nach Art. 9, das Risiken für Gesundheit, Sicherheit und Grundrechte betrachtet und dabei auch die Wirkung auf Minderjährige und andere schutzbedürftige Gruppen einbezieht.

Eine Folgenabschätzung nach A.5 kann beide Pflichten tragen, wenn sie die dort geforderten Angaben enthält. Art. 27 Abs. 4 erlaubt, auf einer vorhandenen Datenschutz-Folgenabschätzung nach Art. 35 DSGVO aufzubauen (→ EU AI Act).

Verwandte Kontrollen

A.5 hängt eng mit den Kontrollen zusammen, die Fakten liefern oder Ergebnisse weitertragen:

Quellen

Häufig gestellte Fragen

Ist die Folgenabschätzung nach A.5 dasselbe wie die Grundrechte-Folgenabschätzung nach Art. 27?

Die beiden überschneiden sich, haben aber unterschiedliche Anwendungsbereiche. Art. 27 trifft nur bestimmte Betreiber von Hochrisiko-Systemen, etwa öffentliche Stellen und Betreiber von Systemen zur Kreditwürdigkeitsprüfung oder zur Risikobewertung bei Lebens- und Krankenversicherungen. A.5 gilt für jedes KI-System im Geltungsbereich, unabhängig von der Risikoklasse. Ein gemeinsames Verfahren kann beides abdecken, wenn es die Angaben aus Art. 27 Abs. 1 enthält.

Wie lange müssen Folgenabschätzungen aufbewahrt werden?

Die Norm verlangt einen festgelegten Zeitraum, nennt aber keine Zahl. Maßgeblich sind der eigene Aufbewahrungsplan und rechtliche Vorgaben. Bei Hochrisiko-Systemen liegt es nahe, sich an der zehnjährigen Frist für die technische Dokumentation nach Art. 18 der KI-Verordnung zu orientieren.

Kann ich eine Datenschutz-Folgenabschätzung wiederverwenden?

Ja, als Baustein. Anhang B.5.2 erwartet, dass die Organisation prüft, ob Abschätzungen aus anderen Disziplinen die KI-Aspekte ausreichend erfassen. Eine DSFA nach Art. 35 DSGVO deckt die Datenschutzrisiken ab, Fairness, Barrierefreiheit oder gesellschaftliche Folgen meist nur am Rand; diese Teile ergänzt du.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.