Eine dermatologische Praxis in einer Großstadt setzt eine Software ein, die Aufnahmen von Muttermalen bewertet und auffällige Befunde markiert. Entwickelt und geprüft wurde sie überwiegend mit Bildern heller Haut. Die Praxis nutzt sie für alle Patientinnen und Patienten, weil im Vertrag dazu nichts steht. Bei dunkler Haut übersieht das System Befunde, die bei heller Haut sicher markiert würden. Für diese Menschen kennt niemand die Fehlerquote, und genau sie verlassen sich auf das System so sehr wie alle anderen.
Dieses Muster beschreibt die Anwendung eines KI-Systems auf Personen, für die es weder entwickelt noch erprobt wurde. Die KI-Verordnung (EU) 2024/1689 führt solche Fälle als vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13, denn jede Organisation hat mit Menschen zu tun, die vom Durchschnitt der Trainingsdaten abweichen.
Was steckt dahinter?
Ein KI-System lernt aus den Menschen, die in seinen Daten vorkommen. Jede Leistungsangabe gilt für die Gruppen, die in Training und Test ausreichend vertreten waren, und für niemanden sonst mit Gewissheit. Wird das System auf andere Menschen angewandt, etwa Kinder, ältere Personen, Menschen mit Behinderung, andere Sprachgruppen oder Hauttypen, liegt keine Aussage über seine Verlässlichkeit vor. Häufig ist die Leistung dort schlechter, und zwar systematisch.
Wie es im Alltag dazu kommt
- Der Kreis wächst. Ein System wird in neuen Ländern, für neue Kundengruppen oder in einer weiteren Sprache eingesetzt, ohne erneute Prüfung.
- Die Angaben fehlen. Die Unterlagen sagen nicht, mit welchen Gruppen getestet wurde, und der Betreiber fragt nicht nach.
- Der Durchschnitt beruhigt. Eine gute Gesamtgenauigkeit überdeckt Lücken bei kleinen Gruppen.
- Die Vorführung täuscht. Die Entscheidung für das System fiel nach einer Vorführung mit den eigenen Beschäftigten, die den Kundinnen und Kunden wenig ähneln.
- Besondere Gruppen werden mitgenommen. Kinder, ältere Menschen oder Menschen mit Behinderung landen im Anwendungsbereich, weil niemand eine Grenze gezogen hat.
Warum es riskant ist
Fehler, die eine bestimmte Gruppe häufiger treffen, sind Verzerrungen im Sinne der Gefährdung T12 und können zu unzulässiger Benachteiligung führen. Sie treffen oft gerade die Menschen, die sich am wenigsten wehren können. Und sie bleiben lange unsichtbar, weil die Zugehörigkeit zu einer Gruppe in den Daten des Betreibers meist nicht erfasst ist. Wer nur auf die Gesamtzahlen schaut, sieht nichts.
Schadensausmaß
Das Schadensausmaß reicht von schlechterem Service bis zu verweigerten Leistungen, übersehenen Diagnosen und benachteiligenden Entscheidungen in Bildung, Beschäftigung oder Kreditvergabe. Ein zufälliger Fehler trifft Einzelne, ein systematischer Fehler trifft eine ganze Gruppe immer wieder. Damit steht neben dem Schaden für die Betroffenen auch der Vorwurf der Diskriminierung im Raum.
Praxisbeispiele
Bürgerchat in Behördensprache. Eine Kommune führt einen Chat-Assistenten für Anträge ein, getestet mit Anfragen in Standarddeutsch. Ein großer Teil der Nutzenden schreibt in einfachem Deutsch oder mit vielen Fehlern. Der Assistent versteht diese Anfragen schlechter und verweist sie häufiger auf falsche Formulare.
Leseprogramm in der Grundschule. Eine Schule nutzt eine Software, die Leseleistungen einschätzt und Fördergruppen vorschlägt. Erprobt wurde sie mit Kindern ohne Lese-Rechtschreib-Störung. Kinder mit Legasthenie werden systematisch zu niedrig eingestuft und landen in Gruppen, die sie unterfordern.
Bewerbertest für Auszubildende. Ein Unternehmen nutzt ein Testverfahren, das für Hochschulabsolventinnen entwickelt und validiert wurde, auch für Bewerbungen auf Ausbildungsplätze. Die Bewerbenden sind teils minderjährig, die Aufgaben setzen Erfahrungen voraus, die sie nicht haben können. Die Ergebnisse spiegeln vor allem das Alter der Bewerbenden.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.5 Folgenabschätzung für KI-Systeme: Die Abschätzung betrachtet die Folgen für Einzelne und Gruppen und berücksichtigt die besonderen Schutzbedürfnisse etwa von Kindern, älteren Menschen, Menschen mit Behinderung und Beschäftigten. Dokumentiert wird auch, auf welche demografischen Gruppen das System anwendbar ist.
- A.8 Information für interessierte Parteien: Nutzende erfahren, für welche Gruppen das System geprüft ist und wo seine Leistung nachlässt.
- A.9 Nutzung von KI-Systemen: Der Einsatz folgt den Unterlagen des Systems, und die Daten, auf die es angewandt wird, passen zu dem, was diese Unterlagen beschreiben.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung decken die relevanten Gruppen ab, und die Überwachung im Betrieb prüft, ob das System mit den tatsächlichen Daten so arbeitet wie erwartet.
Reaktion:
- A.5 Folgenabschätzung für KI-Systeme: Zeigt sich eine Lücke, wird die Abschätzung aktualisiert, der Einsatz für die betroffene Gruppe begrenzt und der Anbieter unterrichtet.
Für Betreiber, die eine Grundrechte-Folgenabschätzung durchführen müssen, bietet das KI-Compliance-Starter-Kit eine Vorlage nach Art. 27. Die KI-Nutzungsrichtlinie verlangt in Abschnitt 4.4, Ausgaben über Personen auf Verzerrungen zu prüfen, und in Abschnitt 7, Ergebnisse zu melden, die Personen unfair beeinträchtigen. Abschnitt 10 greift die Pflicht zu repräsentativen Eingabedaten bei Hochrisiko-Systemen auf.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen setzt die Verordnung an mehreren Stellen an. Der Anbieter bewertet nach Art. 9 Abs. 2 lit. b die vorhersehbare Fehlanwendung und berücksichtigt nach Art. 9 Abs. 9 mögliche nachteilige Auswirkungen auf Minderjährige und andere schutzbedürftige Gruppen. Seine Trainings-, Validierungs- und Testdaten müssen für die Personen und Gruppen repräsentativ sein, für die das System bestimmt ist (Art. 10 Abs. 3 und 4). In der Gebrauchsanweisung nennt er gegebenenfalls die Leistung für bestimmte Personen oder Gruppen (Art. 13 Abs. 3 lit. b Ziff. v) und die Umstände, unter denen eine Fehlanwendung zu Risiken führen kann (Ziff. iii).
Der Betreiber sorgt nach Art. 26 Abs. 4 dafür, dass die Eingabedaten unter seiner Kontrolle der Zweckbestimmung entsprechen und ausreichend repräsentativ sind. Bestimmte Betreiber, etwa öffentliche Stellen, private Einrichtungen mit öffentlichen Diensten und Betreiber, die Kreditwürdigkeit prüfen oder Lebens- und Krankenversicherungen bepreisen, beschreiben in der Grundrechte-Folgenabschätzung nach Art. 27 Abs. 1 lit. c und d die betroffenen Personengruppen und ihre besonderen Schadensrisiken (→ EU AI Act).
Verwandte Muster und Gefährdungen
- T12 Verzerrung und Diskriminierung (Bias): Die Gefährdung, die dieses Muster am häufigsten auslöst.
- T04 Mangelnde Datenqualität: Daten, in denen eine Gruppe fehlt, sind die eigentliche Ursache.
- MU-01 Einsatz außerhalb der Zweckbestimmung: Das übergeordnete Muster, hier mit verschobenem Personenkreis.
- MU-12 Nutzung außerhalb der Betriebsgrenzen: Verwandt, wenn die Grenze eine Sprache oder Datenqualität betrifft.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13, Art. 9, 10, 13, 26 und 27
- ISO/IEC 42001:2023, Anhang B.5.3, B.5.4, B.6.2.4 und B.9.4
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 4.4, 7 und 10
- Grundrechte-Folgenabschätzung: Vorlage des KI-Compliance-Starter-Kits