Zum Hauptinhalt springen
KI-Gefährdung · ISO/IEC 42001 Anhang C

T13 Halluzination und fehlerhafte Ausgaben

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Eine Steuerberatungskanzlei lässt Antworten auf Mandantenanfragen von einem Sprachmodell vorbereiten. In einem Entwurf zitiert das Modell ein Urteil des Bundesfinanzhofs mit Aktenzeichen und Datum, das genau zur Frage passt. Das Urteil gibt es nicht. Der Entwurf geht nach kurzer Durchsicht an den Mandanten, der darauf eine Entscheidung stützt. Ein Sprachmodell formuliert Falsches genauso flüssig und überzeugend wie Richtiges.

ISO/IEC 42001 kennt den Begriff Halluzination nicht, behandelt das Problem aber an zwei Stellen: in Anhang C bei den Grenzen noch junger Technologie und in Kontrolle A.6.2.4, die festgelegte Maßnahmen zur Verifizierung und Validierung verlangt. Im Produkt umfasst die Gefährdung sachlich falsche oder erfundene Ausgaben, die zutreffend wirken und zu Fehlentscheidungen führen können.

Was steckt dahinter?

Sprachmodelle erzeugen Text, indem sie Wort für Wort eine wahrscheinliche Fortsetzung berechnen. Grundlage sind Muster aus riesigen Textmengen. Einen eingebauten Abgleich mit der Wirklichkeit gibt es dabei nicht. Ein Sprachmodell erzeugt plausible Texte; ob sie stimmen, prüft es nicht von selbst. Wo das Wissen fehlt, füllt es die Lücke mit etwas, das so klingt, als könnte es stimmen.

Erscheinungsformen

  • Erfundene Fakten. Zahlen, Daten, Namen oder Ereignisse, die es nie gab.
  • Erfundene Quellen. Literaturangaben, Urteile, Normstellen oder Links, die echt aussehen und ins Leere führen.
  • Fehlerhafte Zusammenfassungen. Einschränkungen fallen weg, Zuordnungen werden vertauscht, eine Verneinung geht verloren.
  • Falsche Rechen- und Denkschritte. Schlussfolgerungen, die sprachlich sauber und inhaltlich falsch sind.
  • Veraltetes Wissen. Das Modell kennt die Welt bis zu seinem Trainingszeitpunkt und gibt diesen Stand als aktuell aus.
  • Fehler aus angebundenen Quellen. Bei Systemen mit Dokumentensuche zieht das Modell das falsche Dokument heran oder vermischt Inhalte mehrerer Quellen.

Warum es passiert

Das Trainingsziel belohnt flüssige, wahrscheinliche Texte. Lücken im Trainingsmaterial, mehrdeutige Fragen und lange Eingaben erhöhen die Fehlerquote. Viele Modelle neigen dazu, lieber eine Antwort zu geben, als Unwissen einzugestehen. Eine Anbindung an geprüfte Dokumente senkt das Risiko, beseitigt es aber nicht.

Schadensausmaß

Halluzinationen führen zu Fehlentscheidungen, falschen Auskünften an Kundinnen und Kunden, fehlerhaften Verträgen und Berichten oder gefährlichen Hinweisen in Medizin und Technik. In mehreren Ländern sind bei Gericht bereits Schriftsätze mit erfundenen Urteilen aufgefallen. Der Schaden entsteht dort, wo jemand die Ausgabe ungeprüft übernimmt und weitergibt. Danach muss die Organisation oft für eine Aussage einstehen, die nie jemand bewusst getroffen hat.

Praxisbeispiele

Chatbot mit erfundener Kulanzregel. Ein Reiseveranstalter beantwortet Fragen über einen Chatbot auf seiner Website. Einem Kunden sagt der Bot, nach einem Trauerfall könne er die Reise bis zu dreißig Tage nach Antritt kostenfrei stornieren. Eine solche Regel gibt es nicht. Der Kunde besteht auf der Auskunft, und das Unternehmen zahlt, um einen Rechtsstreit zu vermeiden.

Zusammenfassung eines Prüfberichts. Ein Ingenieurbüro lässt lange Prüfberichte zu Brücken von einem Sprachmodell zusammenfassen. Im Bericht steht, ein Riss sei „nicht auszuschließen“, in der Zusammenfassung wird daraus „kein Riss festgestellt“. Die Wartung wird verschoben, bis ein Gutachter den Originalbericht liest.

Wissensassistent mit veralteten Dokumenten. Ein interner Assistent beantwortet Fragen zur Reisekostenerstattung. In seiner Dokumentensammlung liegt neben der aktuellen Richtlinie auch eine alte Version mit anderen Pauschalen. Der Assistent zitiert mal die eine, mal die andere, und die Buchhaltung muss Dutzende Abrechnungen korrigieren.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung legen fest, wofür generative KI eingesetzt wird, welche Freigaben nötig sind und an welchen Stellen Menschen die Ausgaben prüfen. Das System wird nur im Rahmen seiner bestimmungsgemäßen Verwendung genutzt.
  • A.7 Daten für KI-Systeme: Die Qualitätsanforderungen gelten auch für Daten im Betrieb, etwa für die Dokumente, aus denen ein Assistent seine Antworten schöpft. Ihre Herkunft und ihr Stand sind dokumentiert.
  • A.8 Information für interessierte Parteien: Nutzerinnen und Nutzer erfahren, wo die Grenzen des Systems liegen, wie genau es arbeitet und wann menschliche Aufsicht nötig ist. Von KI erzeugte Inhalte sind als solche erkennbar.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung arbeiten mit festgelegten Kriterien und hinnehmbaren Fehlerquoten, etwa mit Testfragen, deren richtige Antwort bekannt ist. Überwachung und Ereignisprotokolle setzen die Kontrolle im Betrieb fort.
  • A.8 Information für interessierte Parteien: Ein Meldeweg für nachteilige Auswirkungen bringt fehlerhafte Ausgaben ans Licht, die intern niemand bemerkt hat.

Reaktion:

  • A.6.2 Lebenszyklus von KI-Systemen: Festgelegte Abläufe für Updates bereinigen Dokumentensammlungen, passen Anweisungen und Filter an und informieren die Nutzerinnen und Nutzer über die Änderung.

Bezug zur KI-Verordnung

Die KI-Verordnung (EU) 2024/1689 setzt bei generativer KI vor allem auf Transparenz. Anbieter von Systemen, die synthetische Texte, Bilder, Audio- oder Videoinhalte erzeugen, kennzeichnen die Ausgaben nach Art. 50 Abs. 2 maschinenlesbar als künstlich erzeugt. Betreiber, die KI-generierte Texte zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlichen, legen dies nach Art. 50 Abs. 4 offen, außer ein Mensch hat den Text redaktionell geprüft und trägt die Verantwortung. Art. 4 verlangt ausreichende KI-Kompetenz der Beschäftigten. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck informieren nachgelagerte Anbieter nach Art. 53 über Fähigkeiten und Grenzen ihres Modells. Ist ein generatives System Teil eines Hochrisiko-Systems, gelten zusätzlich die Anforderungen an Genauigkeit nach Art. 15 und an menschliche Aufsicht nach Art. 14 (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Lassen sich Halluzinationen ganz abstellen?

Nach heutigem Stand nicht. Angebundene, geprüfte Quellen, klare Aufgabenstellungen und Prüfschritte senken die Fehlerquote, doch bei jedem generativen Modell bleibt ein Restrisiko. Die Sicherheit hängt deshalb am Ende davon ab, wie die Organisation mit den Ausgaben umgeht.

Hilft es, das Modell nach seinen Quellen zu fragen?

Nur, wenn du die Quellen anschließend prüfst. Ohne angebundene Dokumente kann ein Modell auch Quellenangaben erfinden. Bei Systemen mit Dokumentensuche lohnt der Blick in die zitierte Stelle, denn auch dort steht die behauptete Aussage manchmal gar nicht drin.

Was sollten Nutzerinnen und Nutzer über Halluzinationen wissen?

Dass eine flüssige, selbstsichere Antwort kein Zeichen für Richtigkeit ist. Sie sollten wissen, für welche Aufgaben das System freigegeben ist, welche Ausgaben sie prüfen müssen und wie sie Fehler melden. ISO/IEC 42001 verlangt, Nutzern die nötigen Informationen bereitzustellen, und Art. 4 der KI-Verordnung verlangt ausreichende KI-Kompetenz.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.