Eine Steuerberatungskanzlei lässt Antworten auf Mandantenanfragen von einem Sprachmodell vorbereiten. In einem Entwurf zitiert das Modell ein Urteil des Bundesfinanzhofs mit Aktenzeichen und Datum, das genau zur Frage passt. Das Urteil gibt es nicht. Der Entwurf geht nach kurzer Durchsicht an den Mandanten, der darauf eine Entscheidung stützt. Ein Sprachmodell formuliert Falsches genauso flüssig und überzeugend wie Richtiges.
ISO/IEC 42001 kennt den Begriff Halluzination nicht, behandelt das Problem aber an zwei Stellen: in Anhang C bei den Grenzen noch junger Technologie und in Kontrolle A.6.2.4, die festgelegte Maßnahmen zur Verifizierung und Validierung verlangt. Im Produkt umfasst die Gefährdung sachlich falsche oder erfundene Ausgaben, die zutreffend wirken und zu Fehlentscheidungen führen können.
Was steckt dahinter?
Sprachmodelle erzeugen Text, indem sie Wort für Wort eine wahrscheinliche Fortsetzung berechnen. Grundlage sind Muster aus riesigen Textmengen. Einen eingebauten Abgleich mit der Wirklichkeit gibt es dabei nicht. Ein Sprachmodell erzeugt plausible Texte; ob sie stimmen, prüft es nicht von selbst. Wo das Wissen fehlt, füllt es die Lücke mit etwas, das so klingt, als könnte es stimmen.
Erscheinungsformen
- Erfundene Fakten. Zahlen, Daten, Namen oder Ereignisse, die es nie gab.
- Erfundene Quellen. Literaturangaben, Urteile, Normstellen oder Links, die echt aussehen und ins Leere führen.
- Fehlerhafte Zusammenfassungen. Einschränkungen fallen weg, Zuordnungen werden vertauscht, eine Verneinung geht verloren.
- Falsche Rechen- und Denkschritte. Schlussfolgerungen, die sprachlich sauber und inhaltlich falsch sind.
- Veraltetes Wissen. Das Modell kennt die Welt bis zu seinem Trainingszeitpunkt und gibt diesen Stand als aktuell aus.
- Fehler aus angebundenen Quellen. Bei Systemen mit Dokumentensuche zieht das Modell das falsche Dokument heran oder vermischt Inhalte mehrerer Quellen.
Warum es passiert
Das Trainingsziel belohnt flüssige, wahrscheinliche Texte. Lücken im Trainingsmaterial, mehrdeutige Fragen und lange Eingaben erhöhen die Fehlerquote. Viele Modelle neigen dazu, lieber eine Antwort zu geben, als Unwissen einzugestehen. Eine Anbindung an geprüfte Dokumente senkt das Risiko, beseitigt es aber nicht.
Schadensausmaß
Halluzinationen führen zu Fehlentscheidungen, falschen Auskünften an Kundinnen und Kunden, fehlerhaften Verträgen und Berichten oder gefährlichen Hinweisen in Medizin und Technik. In mehreren Ländern sind bei Gericht bereits Schriftsätze mit erfundenen Urteilen aufgefallen. Der Schaden entsteht dort, wo jemand die Ausgabe ungeprüft übernimmt und weitergibt. Danach muss die Organisation oft für eine Aussage einstehen, die nie jemand bewusst getroffen hat.
Praxisbeispiele
Chatbot mit erfundener Kulanzregel. Ein Reiseveranstalter beantwortet Fragen über einen Chatbot auf seiner Website. Einem Kunden sagt der Bot, nach einem Trauerfall könne er die Reise bis zu dreißig Tage nach Antritt kostenfrei stornieren. Eine solche Regel gibt es nicht. Der Kunde besteht auf der Auskunft, und das Unternehmen zahlt, um einen Rechtsstreit zu vermeiden.
Zusammenfassung eines Prüfberichts. Ein Ingenieurbüro lässt lange Prüfberichte zu Brücken von einem Sprachmodell zusammenfassen. Im Bericht steht, ein Riss sei „nicht auszuschließen“, in der Zusammenfassung wird daraus „kein Riss festgestellt“. Die Wartung wird verschoben, bis ein Gutachter den Originalbericht liest.
Wissensassistent mit veralteten Dokumenten. Ein interner Assistent beantwortet Fragen zur Reisekostenerstattung. In seiner Dokumentensammlung liegt neben der aktuellen Richtlinie auch eine alte Version mit anderen Pauschalen. Der Assistent zitiert mal die eine, mal die andere, und die Buchhaltung muss Dutzende Abrechnungen korrigieren.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung legen fest, wofür generative KI eingesetzt wird, welche Freigaben nötig sind und an welchen Stellen Menschen die Ausgaben prüfen. Das System wird nur im Rahmen seiner bestimmungsgemäßen Verwendung genutzt.
- A.7 Daten für KI-Systeme: Die Qualitätsanforderungen gelten auch für Daten im Betrieb, etwa für die Dokumente, aus denen ein Assistent seine Antworten schöpft. Ihre Herkunft und ihr Stand sind dokumentiert.
- A.8 Information für interessierte Parteien: Nutzerinnen und Nutzer erfahren, wo die Grenzen des Systems liegen, wie genau es arbeitet und wann menschliche Aufsicht nötig ist. Von KI erzeugte Inhalte sind als solche erkennbar.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung arbeiten mit festgelegten Kriterien und hinnehmbaren Fehlerquoten, etwa mit Testfragen, deren richtige Antwort bekannt ist. Überwachung und Ereignisprotokolle setzen die Kontrolle im Betrieb fort.
- A.8 Information für interessierte Parteien: Ein Meldeweg für nachteilige Auswirkungen bringt fehlerhafte Ausgaben ans Licht, die intern niemand bemerkt hat.
Reaktion:
- A.6.2 Lebenszyklus von KI-Systemen: Festgelegte Abläufe für Updates bereinigen Dokumentensammlungen, passen Anweisungen und Filter an und informieren die Nutzerinnen und Nutzer über die Änderung.
Bezug zur KI-Verordnung
Die KI-Verordnung (EU) 2024/1689 setzt bei generativer KI vor allem auf Transparenz. Anbieter von Systemen, die synthetische Texte, Bilder, Audio- oder Videoinhalte erzeugen, kennzeichnen die Ausgaben nach Art. 50 Abs. 2 maschinenlesbar als künstlich erzeugt. Betreiber, die KI-generierte Texte zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlichen, legen dies nach Art. 50 Abs. 4 offen, außer ein Mensch hat den Text redaktionell geprüft und trägt die Verantwortung. Art. 4 verlangt ausreichende KI-Kompetenz der Beschäftigten. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck informieren nachgelagerte Anbieter nach Art. 53 über Fähigkeiten und Grenzen ihres Modells. Ist ein generatives System Teil eines Hochrisiko-Systems, gelten zusätzlich die Anforderungen an Genauigkeit nach Art. 15 und an menschliche Aufsicht nach Art. 14 (→ EU AI Act).
Verwandte Gefährdungen
- T03 Übermäßige Automatisierung (Automation Bias): Wer der Maschine zu sehr vertraut, reicht auch erfundene Inhalte weiter.
- T07 Unausgereifte Technologie / Modelldrift: Ein Modellwechsel beim Anbieter kann die Fehlerquote über Nacht verändern.
- MU-02 Ungeprüfte Übernahme der Ausgaben: Das Missbrauchsmuster beschreibt, wie aus einer Halluzination ein Schaden wird.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.7: Technology readiness, Kontrolle A.6.2.4 mit Anhang B.6.2.4
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 4, 14, 15, 50 und 53
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme