Eine Regionalbank nutzt für Ratenkredite ein Scoring-Modell eines externen Dienstleisters. Ein Kunde wird abgelehnt und fragt, woran es lag. Die Sachbearbeiterin sieht auf ihrem Bildschirm nur einen Punktwert und eine rote Ampel, die Unterlagen des Dienstleisters beschreiben das Modell in zwei Absätzen. Der Kunde beschwert sich bei der Datenschutzaufsicht. Was die Bank jetzt braucht, hätte sie vor dem ersten Einsatz klären müssen: welche Auskünfte sie wem über das System geben kann.
ISO/IEC 42001 nennt fehlende Transparenz und Erklärbarkeit in Anhang C als Risikoquelle. Der Gedanke dahinter ist schlicht. Eine Organisation, die interessierten Parteien keine angemessenen Informationen über ihr KI-System geben kann, verliert an Vertrauenswürdigkeit und kann für dessen Ergebnisse kaum Rechenschaft ablegen. Das betrifft Kundinnen und Kunden ebenso wie Beschäftigte, Prüfer und Behörden.
Was steckt dahinter?
Transparenz und Erklärbarkeit hängen zusammen, meinen aber Verschiedenes. Transparenz beschreibt, was über ein System und seinen Einsatz offenliegt. Erklärbarkeit beschreibt, ob sich ein einzelnes Ergebnis verständlich begründen lässt. Beides kann fehlen, und jede Lücke hat eigene Ursachen. Wichtig ist außerdem die Frage, für wen erklärt wird: Eine Datenwissenschaftlerin braucht andere Angaben als ein abgelehnter Bewerber oder eine Prüferin der Aufsicht.
Woran Transparenz und Erklärbarkeit scheitern
- Undurchsichtige Modelle. Tiefe neuronale Netze und große Sprachmodelle rechnen mit Millionen bis Milliarden Parametern. Welche Merkmale ein Ergebnis getragen haben, lässt sich nur näherungsweise rekonstruieren.
- Fehlende Dokumentation. Zweck, Datenbasis, Grenzen und bekannte Schwächen sind nirgends festgehalten oder nur dem Entwicklungsteam bekannt. Verlässt eine Schlüsselperson das Unternehmen, geht das Wissen mit.
- Zugekaufte Systeme. Der Lieferant gibt Details zu Daten und Modell nicht heraus, und der Vertrag sieht keine Auskunftspflicht vor.
- Falsche Zielgruppe. Die vorhandene Information richtet sich an Fachleute. Sachbearbeitung, Betroffene oder die Geschäftsleitung können damit wenig anfangen.
- Verdeckter Einsatz. Menschen wissen nicht, dass sie mit einem KI-System zu tun haben oder dass eine Entscheidung auf seiner Ausgabe beruht.
Schadensausmaß
Der erste Schaden ist ein Vertrauensschaden. Betroffene akzeptieren eine Entscheidung schwerer, wenn niemand sie begründen kann, und sie wehren sich häufiger. Dazu kommt ein Problem der Rechenschaft: Ohne Erklärung lässt sich nicht prüfen, ob ein Ergebnis fachlich richtig, fair und rechtmäßig zustande kam. Intransparenz verstärkt deshalb fast jede andere KI-Gefährdung, weil Fehler, Verzerrungen und Manipulationen länger unentdeckt bleiben. Rechtlich drohen Beschwerden, aufsichtsbehördliche Verfahren und Streit um Auskunftsrechte, im Unternehmen selbst wachsen Unsicherheit und Widerstand gegen das System.
Praxisbeispiele
Vorauswahl im Bewerbungsverfahren. Ein Unternehmen lässt eingehende Bewerbungen von einem KI-System sortieren. Eine abgelehnte Bewerberin fragt nach den Gründen. Die Personalabteilung kann nur sagen, dass das System ihr Profil als „wenig passend“ eingestuft hat. Ob Lücken im Lebenslauf, die Hochschule oder einzelne Formulierungen den Ausschlag gaben, weiß niemand.
Befundunterstützung in der Radiologie. Eine Software markiert auf Röntgenbildern Verdachtsstellen. Die Ärztinnen und Ärzte sehen die Markierung, erfahren aber nicht, wie sicher sich das System ist und bei welchen Aufnahmearten es schwächer abschneidet. Sie können seine Hinweise deshalb schlecht gewichten und verlassen sich je nach Temperament zu stark oder zu wenig darauf.
Kundenchat ohne Kennzeichnung. Ein Versicherer beantwortet Anfragen über einen Chat auf seiner Website. Dass die Antworten von einem Sprachmodell stammen, steht nirgends. Als sich ein Kunde auf eine falsche Zusage beruft, ist unklar, auf welche Unterlagen sich das System gestützt hat und wer die Antwort hätte prüfen müssen.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.6.2 Lebenszyklus von KI-Systemen: Die Organisation bestimmt, welche technische Dokumentation jede Gruppe interessierter Parteien braucht, und hält Entwurf und Entwicklung so fest, dass Entscheidungen später nachvollziehbar sind.
- A.7 Daten für KI-Systeme: Herkunft und Aufbereitung der Daten werden aufgezeichnet. Ohne diese Angaben lässt sich kaum erklären, warum ein Modell so entscheidet, wie es entscheidet.
- A.10 Beziehungen zu Dritten und Kunden: Lieferanten von KI-Systemen liefern angemessene Dokumentation mit, und Kunden erfahren, für welchen Anwendungsbereich ein System gilt.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Ereignisprotokolle zeigen im Betrieb, mit welchen Eingaben das System welches Ergebnis erzeugt hat.
- A.8 Information für interessierte Parteien: Ein Meldeweg für nachteilige Auswirkungen macht sichtbar, wo Menschen Ergebnisse nicht verstehen oder nicht hinnehmen.
Reaktion:
- A.8 Information für interessierte Parteien: Die Organisation legt fest, welche Informationen Nutzerinnen und Nutzer erhalten, und kennt ihre Berichtspflichten gegenüber Kunden und Behörden. Auf Nachfragen antwortet sie dann mit vorbereiteten, geprüften Inhalten.
Bezug zur KI-Verordnung
Die KI-Verordnung (EU) 2024/1689 behandelt Transparenz auf mehreren Ebenen. Hochrisiko-Systeme müssen nach Art. 13 so gestaltet sein, dass Betreiber die Ausgaben interpretieren und angemessen verwenden können, und ihre Gebrauchsanweisung beschreibt Fähigkeiten und Grenzen. Art. 11 mit Anhang IV regelt die technische Dokumentation, Art. 12 die automatische Protokollierung. Art. 50 verlangt für bestimmte Systeme unabhängig von der Risikoklasse, dass Menschen erkennen können, wann sie mit KI interagieren oder KI-erzeugte Inhalte vor sich haben. Art. 86 gibt Personen, die von einer Entscheidung auf Grundlage eines Hochrisiko-Systems aus Anhang III erheblich betroffen sind, das Recht, vom Betreiber eine klare Erklärung zur Rolle des Systems und zu den wesentlichen Gründen der Entscheidung zu erhalten. Bei automatisierten Einzelentscheidungen verlangt zusätzlich die DSGVO aussagekräftige Informationen über die involvierte Logik (Art. 13 Abs. 2 lit. f, Art. 14 Abs. 2 lit. g, Art. 15 Abs. 1 lit. h) (→ EU AI Act).
Verwandte Gefährdungen
- T03 Übermäßige Automatisierung (Automation Bias): Wer ein Ergebnis nicht nachvollziehen kann, übernimmt es eher ungeprüft.
- T12 Verzerrung und Diskriminierung (Bias): Verzerrungen bleiben in undurchsichtigen Systemen besonders lange verborgen.
- T13 Halluzination und fehlerhafte Ausgaben: Erfundene Inhalte lassen sich nur entlarven, wenn die Grundlage einer Aussage erkennbar ist.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.2: Lack of transparency and explainability, dazu C.2.11
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 11, 12, 13, 50 und 86
- Verordnung (EU) 2016/679 (DSGVO), Art. 13 bis 15 und 22
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme