Ein Versandhändler lässt Bewerbungen für sein Logistikzentrum von einem Modell vorsortieren, das mit den Einstellungsentscheidungen der letzten zehn Jahre trainiert wurde. Weil in dieser Zeit überwiegend Männer eingestellt wurden, hat das Modell gelernt, Merkmale abzuwerten, die häufiger in Lebensläufen von Frauen auftauchen, etwa Teilzeitphasen. Das Geschlecht selbst hat niemand als Merkmal eingegeben. Ein Modell übernimmt die Muster seiner Daten, auch die ungerechten, und wendet sie mit großer Beständigkeit an.
ISO/IEC 42001 behandelt das Thema an zwei Stellen: in Anhang C bei den Risikoquellen, die mit Daten und maschinellem Lernen zusammenhängen, und in Kontrolle A.5.4, die eine Bewertung der Auswirkungen auf Einzelpersonen und Gruppen verlangt. Fairness führt die Norm außerdem als eigenes Ziel, weil automatisierte Entscheidungen bestimmte Personen oder Gruppen unfair treffen können.
Was steckt dahinter?
Von Bias spricht man, wenn ein System Personen oder Gruppen systematisch unterschiedlich behandelt und sich das sachlich nicht rechtfertigen lässt. Verzerrungen entstehen meist unbemerkt: aus den Daten, aus Entscheidungen bei der Entwicklung und aus den Bedingungen des Einsatzes. Böse Absicht braucht es dafür nicht.
Quellen der Verzerrung
- Historische Verzerrung. Die Daten spiegeln frühere Entscheidungen oder gesellschaftliche Ungleichheit wider, und das Modell lernt sie als Regel.
- Unterrepräsentation. Manche Gruppen kommen in den Daten zu selten vor. Für sie arbeitet das Modell ungenauer.
- Verzerrte Zielgrößen und Labels. Die Zielgröße misst etwas anderes als gedacht, etwa bisherige Behandlungskosten als Ersatz für den tatsächlichen Behandlungsbedarf. Oder die Labels tragen die Vorurteile der Menschen, die sie vergeben haben.
- Stellvertretermerkmale. Postleitzahl, Vorname oder Lücken im Lebenslauf hängen statistisch mit geschützten Merkmalen zusammen und transportieren sie ins Modell.
- Rückkopplung. Die Entscheidungen des Systems erzeugen die Daten von morgen und verstärken eine bestehende Schieflage.
- Verzerrung im Einsatz. Das System wird auf eine Gruppe angewendet, für die es nie gebaut und geprüft wurde.
Fairness ist eine Entscheidung
Es gibt mehrere Maße für Fairness, etwa gleiche Auswahlquoten oder gleiche Fehlerquoten je Gruppe. Die Forschung hat gezeigt, dass sich solche Maße in der Regel nicht alle gleichzeitig erfüllen lassen. Die Organisation muss deshalb festlegen, welcher Maßstab zum Einsatz passt, und diese Wahl begründen.
Schadensausmaß
Betroffen sind Grundrechte, allen voran das Recht auf Gleichbehandlung, oft beim Zugang zu Arbeit, Krediten, Bildung oder Dienstleistungen. Für einzelne Menschen kann eine verzerrte Entscheidung den Arbeitsplatz oder die Wohnung kosten. Für die Organisation drohen Klagen, Bußgelder und ein schwerer Ansehensverlust. Ein verzerrtes Modell diskriminiert in großem Maßstab und unter dem Anschein von Objektivität.
Praxisbeispiele
Kreditwürdigkeit nach Wohnort. Das Scoring-Modell einer Bank nutzt die Postleitzahl. Bewohnerinnen und Bewohner bestimmter Stadtteile erhalten schlechtere Werte, obwohl ihre finanzielle Lage der anderer Antragsteller gleicht. Weil in diesen Stadtteilen überdurchschnittlich viele Menschen mit Migrationsgeschichte leben, wirkt die Postleitzahl wie ein Merkmal der Herkunft.
Gesichtserkennung mit ungleicher Fehlerquote. Ein Zutrittssystem in einem Werk erkennt Beschäftigte mit dunklerer Hautfarbe seltener zuverlässig. Sie müssen deutlich öfter zur manuellen Kontrolle und verlieren jeden Morgen Zeit. Die Gesamtgenauigkeit des Systems sah im Test hervorragend aus, weil sie nie nach Gruppen aufgeschlüsselt wurde.
Dringlichkeit im Kundenservice. Ein Sprachmodell sortiert Beschwerden nach Dringlichkeit. Nachrichten in einfacher Sprache oder von Menschen, die Deutsch nicht als Muttersprache sprechen, stuft es häufiger als wenig dringend ein. Gerade diese Kundinnen und Kunden warten länger auf eine Antwort.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.5 Folgenabschätzung für KI-Systeme: Die Organisation bewertet die Auswirkungen auf Einzelpersonen und Gruppen, darunter Fairness und Menschenrechte, und achtet auf besonders schutzbedürftige Gruppen wie Kinder, ältere Menschen, Menschen mit Behinderung und Beschäftigte. Auf gesellschaftlicher Ebene fragt sie, ob das System überkommene Vorurteile verstärken kann.
- A.6.1 Managementanleitung für die KI-Systementwicklung: Fairness wird als Ziel der verantwortungsvollen Entwicklung festgelegt und in den Entwicklungszyklus eingebaut.
- A.7 Daten für KI-Systeme: Bei der Beschaffung werden Merkmale der betroffenen Personen und bekannte oder mögliche Verzerrungen dokumentiert. Die Anforderungen an die Datenqualität berücksichtigen, wie sich Bias auf Leistung und Fairness auswirkt.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung bewerten das System auch auf Auswirkungen für Einzelpersonen und Gruppen, mit Testdaten, die den Einsatzbereich abbilden. Die Überwachung im Betrieb setzt diese Prüfung fort.
Reaktion:
- A.9 Nutzung von KI-Systemen: Fairness gehört zu den Zielen der verantwortungsvollen Nutzung. Menschliche Prüferinnen und Prüfer dürfen Entscheidungen des Systems übersteuern, und das System wird nur im Rahmen seiner bestimmungsgemäßen Verwendung eingesetzt.
- A.6.2 Lebenszyklus von KI-Systemen: Erkannte Verzerrungen werden über Anpassungen an Daten oder Modell und ein geprüftes Update behoben.
Bezug zur KI-Verordnung
Nach Art. 10 der KI-Verordnung (EU) 2024/1689 untersuchen Anbieter von Hochrisiko-Systemen ihre Daten auf mögliche Verzerrungen, die Gesundheit, Sicherheit oder Grundrechte beeinträchtigen oder zu verbotener Diskriminierung führen können, und ergreifen Maßnahmen, um sie zu erkennen, zu verhindern und abzumildern. Art. 15 Abs. 4 verlangt bei weiterlernenden Systemen Vorkehrungen gegen Rückkopplungen verzerrter Ausgaben. Viele Einsatzbereiche aus Anhang III, etwa Beschäftigung, Bildung und Kreditwürdigkeit, gelten gerade wegen des Diskriminierungsrisikos als hochriskant. Öffentliche Stellen und private Erbringer öffentlicher Dienste, die Hochrisiko-Systeme aus Anhang III einsetzen, sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und zur Preisbildung bei Lebens- und Krankenversicherungen führen vor dem Einsatz nach Art. 27 eine Grundrechte-Folgenabschätzung durch. In Deutschland verbietet zudem das Allgemeine Gleichbehandlungsgesetz Benachteiligungen, etwa im Arbeitsleben (→ EU AI Act).
Verwandte Gefährdungen
- T04 Mangelnde Datenqualität: Unausgewogene und fehlerhafte Daten sind die häufigste Ursache für Verzerrungen.
- T02 Mangelnde Transparenz und Erklärbarkeit: In undurchsichtigen Systemen bleibt Diskriminierung lange verborgen.
- MU-06 Anwendung auf nicht erprobte Gruppen: Das Missbrauchsmuster beschreibt die Verzerrung im Einsatz aus Sicht der Einsatzregeln.
Quellen
- ISO/IEC 42001:2023, Anhang C.2.5 und C.3.4, Kontrolle A.5.4 mit Anhang B.5.4 und B.7.4
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 10, 15, 27 und Anhang III
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme