Zum Hauptinhalt springen
KI-Gefährdung · ISO/IEC 42001 Anhang C

T02 Mangelnde Transparenz und Erklärbarkeit

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Eine Regionalbank nutzt für Ratenkredite ein Scoring-Modell eines externen Dienstleisters. Ein Kunde wird abgelehnt und fragt, woran es lag. Die Sachbearbeiterin sieht auf ihrem Bildschirm nur einen Punktwert und eine rote Ampel, die Unterlagen des Dienstleisters beschreiben das Modell in zwei Absätzen. Der Kunde beschwert sich bei der Datenschutzaufsicht. Was die Bank jetzt braucht, hätte sie vor dem ersten Einsatz klären müssen: welche Auskünfte sie wem über das System geben kann.

ISO/IEC 42001 nennt fehlende Transparenz und Erklärbarkeit in Anhang C als Risikoquelle. Der Gedanke dahinter ist schlicht. Eine Organisation, die interessierten Parteien keine angemessenen Informationen über ihr KI-System geben kann, verliert an Vertrauenswürdigkeit und kann für dessen Ergebnisse kaum Rechenschaft ablegen. Das betrifft Kundinnen und Kunden ebenso wie Beschäftigte, Prüfer und Behörden.

Was steckt dahinter?

Transparenz und Erklärbarkeit hängen zusammen, meinen aber Verschiedenes. Transparenz beschreibt, was über ein System und seinen Einsatz offenliegt. Erklärbarkeit beschreibt, ob sich ein einzelnes Ergebnis verständlich begründen lässt. Beides kann fehlen, und jede Lücke hat eigene Ursachen. Wichtig ist außerdem die Frage, für wen erklärt wird: Eine Datenwissenschaftlerin braucht andere Angaben als ein abgelehnter Bewerber oder eine Prüferin der Aufsicht.

Woran Transparenz und Erklärbarkeit scheitern

  • Undurchsichtige Modelle. Tiefe neuronale Netze und große Sprachmodelle rechnen mit Millionen bis Milliarden Parametern. Welche Merkmale ein Ergebnis getragen haben, lässt sich nur näherungsweise rekonstruieren.
  • Fehlende Dokumentation. Zweck, Datenbasis, Grenzen und bekannte Schwächen sind nirgends festgehalten oder nur dem Entwicklungsteam bekannt. Verlässt eine Schlüsselperson das Unternehmen, geht das Wissen mit.
  • Zugekaufte Systeme. Der Lieferant gibt Details zu Daten und Modell nicht heraus, und der Vertrag sieht keine Auskunftspflicht vor.
  • Falsche Zielgruppe. Die vorhandene Information richtet sich an Fachleute. Sachbearbeitung, Betroffene oder die Geschäftsleitung können damit wenig anfangen.
  • Verdeckter Einsatz. Menschen wissen nicht, dass sie mit einem KI-System zu tun haben oder dass eine Entscheidung auf seiner Ausgabe beruht.

Schadensausmaß

Der erste Schaden ist ein Vertrauensschaden. Betroffene akzeptieren eine Entscheidung schwerer, wenn niemand sie begründen kann, und sie wehren sich häufiger. Dazu kommt ein Problem der Rechenschaft: Ohne Erklärung lässt sich nicht prüfen, ob ein Ergebnis fachlich richtig, fair und rechtmäßig zustande kam. Intransparenz verstärkt deshalb fast jede andere KI-Gefährdung, weil Fehler, Verzerrungen und Manipulationen länger unentdeckt bleiben. Rechtlich drohen Beschwerden, aufsichtsbehördliche Verfahren und Streit um Auskunftsrechte, im Unternehmen selbst wachsen Unsicherheit und Widerstand gegen das System.

Praxisbeispiele

Vorauswahl im Bewerbungsverfahren. Ein Unternehmen lässt eingehende Bewerbungen von einem KI-System sortieren. Eine abgelehnte Bewerberin fragt nach den Gründen. Die Personalabteilung kann nur sagen, dass das System ihr Profil als „wenig passend“ eingestuft hat. Ob Lücken im Lebenslauf, die Hochschule oder einzelne Formulierungen den Ausschlag gaben, weiß niemand.

Befundunterstützung in der Radiologie. Eine Software markiert auf Röntgenbildern Verdachtsstellen. Die Ärztinnen und Ärzte sehen die Markierung, erfahren aber nicht, wie sicher sich das System ist und bei welchen Aufnahmearten es schwächer abschneidet. Sie können seine Hinweise deshalb schlecht gewichten und verlassen sich je nach Temperament zu stark oder zu wenig darauf.

Kundenchat ohne Kennzeichnung. Ein Versicherer beantwortet Anfragen über einen Chat auf seiner Website. Dass die Antworten von einem Sprachmodell stammen, steht nirgends. Als sich ein Kunde auf eine falsche Zusage beruft, ist unklar, auf welche Unterlagen sich das System gestützt hat und wer die Antwort hätte prüfen müssen.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.6.2 Lebenszyklus von KI-Systemen: Die Organisation bestimmt, welche technische Dokumentation jede Gruppe interessierter Parteien braucht, und hält Entwurf und Entwicklung so fest, dass Entscheidungen später nachvollziehbar sind.
  • A.7 Daten für KI-Systeme: Herkunft und Aufbereitung der Daten werden aufgezeichnet. Ohne diese Angaben lässt sich kaum erklären, warum ein Modell so entscheidet, wie es entscheidet.
  • A.10 Beziehungen zu Dritten und Kunden: Lieferanten von KI-Systemen liefern angemessene Dokumentation mit, und Kunden erfahren, für welchen Anwendungsbereich ein System gilt.

Erkennung:

Reaktion:

  • A.8 Information für interessierte Parteien: Die Organisation legt fest, welche Informationen Nutzerinnen und Nutzer erhalten, und kennt ihre Berichtspflichten gegenüber Kunden und Behörden. Auf Nachfragen antwortet sie dann mit vorbereiteten, geprüften Inhalten.

Bezug zur KI-Verordnung

Die KI-Verordnung (EU) 2024/1689 behandelt Transparenz auf mehreren Ebenen. Hochrisiko-Systeme müssen nach Art. 13 so gestaltet sein, dass Betreiber die Ausgaben interpretieren und angemessen verwenden können, und ihre Gebrauchsanweisung beschreibt Fähigkeiten und Grenzen. Art. 11 mit Anhang IV regelt die technische Dokumentation, Art. 12 die automatische Protokollierung. Art. 50 verlangt für bestimmte Systeme unabhängig von der Risikoklasse, dass Menschen erkennen können, wann sie mit KI interagieren oder KI-erzeugte Inhalte vor sich haben. Art. 86 gibt Personen, die von einer Entscheidung auf Grundlage eines Hochrisiko-Systems aus Anhang III erheblich betroffen sind, das Recht, vom Betreiber eine klare Erklärung zur Rolle des Systems und zu den wesentlichen Gründen der Entscheidung zu erhalten. Bei automatisierten Einzelentscheidungen verlangt zusätzlich die DSGVO aussagekräftige Informationen über die involvierte Logik (Art. 13 Abs. 2 lit. f, Art. 14 Abs. 2 lit. g, Art. 15 Abs. 1 lit. h) (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Muss jedes KI-System im gleichen Maß erklärbar sein?

Der Bedarf richtet sich danach, wie stark ein Ergebnis Menschen betrifft und wer es verstehen muss. Eine Produktempfehlung im Webshop braucht weniger Begründung als ein System, das über Kredite oder Bewerbungen mitentscheidet. ISO/IEC 42001 verlangt, für jede Gruppe interessierter Parteien zu bestimmen, welche Informationen sie braucht, und diese bereitzustellen.

Was kann ich tun, wenn der Lieferant keine Details zum Modell herausgibt?

Lege vertraglich fest, welche Dokumentation du mindestens brauchst: Zweck, Grenzen, Genauigkeit, die Datenbasis in groben Zügen und Hinweise zur menschlichen Aufsicht. Bei Hochrisiko-Systemen muss der Anbieter nach Art. 13 der KI-Verordnung ohnehin eine Gebrauchsanweisung liefern. Fehlt beides, gehört die Lücke als Risiko ins Register, und die Leitung entscheidet bewusst über den Einsatz.

Reicht eine allgemeine Beschreibung der Funktionsweise?

Für die Transparenz ist sie ein guter Anfang. Betroffene wollen aber meist wissen, warum gerade ihr Fall so ausging. Dafür brauchst du eine Begründung im Einzelfall, die die wichtigsten Einflussgrößen nennt, und eine Person, die sie erläutern kann.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.