Ein Handelsunternehmen führt einen Chat-Assistenten ein, der Fragen zum Sortiment beantworten soll. Ein paar Wochen später lässt die Personalabteilung damit eingehende Bewerbungen zusammenfassen und nach Eignung sortieren, weil das schneller geht als das Lesen. Niemand hat das beschlossen, niemand hat es geprüft. Aus einem harmlosen Auskunftswerkzeug ist ein System geworden, das über berufliche Chancen von Menschen mitentscheidet, und keine der vorhandenen Vorkehrungen passt zu dieser Aufgabe.
Die KI-Verordnung (EU) 2024/1689 fasst solche Fälle unter den Begriff der vernünftigerweise vorhersehbaren Fehlanwendung: eine Verwendung, die von der Zweckbestimmung abweicht, sich aber aus naheliegendem menschlichem Verhalten oder aus dem Zusammenspiel mit anderen Systemen ergibt (Art. 3 Nr. 13). Der Einsatz für fremde Aufgaben ist die Grundform dieses Begriffs. Viele andere Muster im Katalog sind Sonderfälle davon.
Was steckt dahinter?
Jedes KI-System hat eine Zweckbestimmung. Der Anbieter legt fest, wofür das System gedacht ist und unter welchen Bedingungen, und beschreibt das in Gebrauchsanweisung, Werbematerial und technischer Dokumentation (Art. 3 Nr. 12 KI-Verordnung). Tests, Risikoanalyse und Leistungsangaben beziehen sich auf genau diesen Zweck. Sobald das System für etwas anderes genutzt wird, fehlt für die neue Aufgabe jede Prüfung.
Wie es im Alltag dazu kommt
- Das Werkzeug ist ohnehin da. Ein freigegebener Assistent ist mit einem Klick erreichbar, ein Beschaffungsantrag dauert Wochen. Also wird das Vorhandene für die neue Aufgabe genutzt.
- Generative Systeme können scheinbar alles. Ein Sprachmodell beantwortet jede Frage in derselben flüssigen Form. Ob es für die Aufgabe geprüft wurde, sieht man der Antwort nicht an.
- Die Zweckbestimmung kennt niemand. Die Gebrauchsanweisung liegt beim Einkauf oder in der IT, die Menschen am Bildschirm haben sie nie gesehen.
- Der Zweck verschiebt sich schleichend. Aus „nur zur Orientierung“ wird mit der Zeit eine feste Stufe im Ablauf, und keiner bemerkt den Moment, in dem das geschieht.
Warum es riskant ist
Für den neuen Einsatz gibt es keine Aussage zur Genauigkeit, keine Folgenabschätzung und keine passende menschliche Aufsicht. Die Daten, mit denen das System entwickelt wurde, bilden die neue Aufgabe womöglich gar nicht ab. Dazu kommt eine rechtliche Folge: Ändert ein Betreiber den Zweck eines Systems so, dass es in einen der Hochrisiko-Bereiche nach Anhang III fällt, gilt er nach Art. 25 Abs. 1 lit. c KI-Verordnung selbst als Anbieter und trägt die Pflichten nach Art. 16.
Schadensausmaß
Das Schadensausmaß hängt davon ab, wohin der Zweck wandert. Wird ein Übersetzungswerkzeug für interne Notizen plötzlich für Werbetexte genutzt, entsteht im ungünstigen Fall Nacharbeit. Wandert der Einsatz in Bereiche wie Personalauswahl, Kreditvergabe oder Gesundheit, stehen Grundrechte, finanzielle Existenz oder die Gesundheit von Menschen auf dem Spiel. Je weiter sich der neue Zweck vom geprüften entfernt, desto weniger weiß irgendjemand über die tatsächliche Fehlerquote.
Praxisbeispiele
Schreibassistent als Fristenrechner. Eine Steuerkanzlei stellt ihren Beschäftigten einen Assistenten für Mandantenbriefe bereit. Einzelne Beschäftigte lassen sich damit auch Fristen und Rechtslagen ausrechnen. Geprüft hat der Anbieter das System für Formulierungen, für Rechtsauskünfte gibt es keine Angaben. Eine falsch berechnete Einspruchsfrist fällt erst auf, als sie bereits abgelaufen ist.
Inventurkamera als Anwesenheitskontrolle. Ein Lager setzt Kameras mit Objekterkennung ein, um Regalbestände zu zählen. Die Schichtleitung entdeckt, dass das System auch Personen markiert, und wertet damit aus, wer wann an welchem Regal stand. Für die Erkennung von Personen ist das System weder gedacht noch geprüft, und aus der Bestandszählung wird eine Überwachung der Beschäftigten mit allen arbeits- und datenschutzrechtlichen Folgen.
Bestell-Chatbot als Gesundheitsberatung. Eine Apotheke betreibt einen Chatbot für Öffnungszeiten und Bestellstatus. Kundinnen und Kunden fragen ihn nach Wechselwirkungen von Medikamenten, und er antwortet bereitwillig. Hier geht die Fehlanwendung von Menschen außerhalb der Organisation aus, und sie ist vorhersehbar: Wer in einer Apotheke einen Chatbot anbietet, muss mit Gesundheitsfragen rechnen und das System darauf vorbereiten, solche Fragen abzulehnen und weiterzuleiten.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.2 Richtlinien für KI: Die KI-Politik und die Regeln darunter legen fest, dass KI-Systeme nur für freigegebene Zwecke genutzt werden und jeder neue Zweck eine eigene Freigabe braucht.
- A.8 Information für interessierte Parteien: Nutzende erfahren, wofür das System gedacht ist und wo seine Grenzen liegen. Die vorhersehbare Fehlanwendung gehört zu den Kriterien, nach denen die Organisation entscheidet, welche Informationen sie bereitstellt.
- A.9 Nutzung von KI-Systemen: Die Organisation stellt sicher, dass ein System nur im Rahmen seiner Zweckbestimmung und der begleitenden Unterlagen eingesetzt wird.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung im Betrieb zeigt, wenn Eingaben oder Nutzungsmuster vom vorgesehenen Einsatz abweichen, etwa neue Dokumentarten, ungewohnte Fragen oder neue Nutzergruppen.
Reaktion:
- A.9 Nutzung von KI-Systemen: Ereignisprotokolle und Unterlagen zum Betrieb zeigen, wie das System tatsächlich genutzt wurde. Auf dieser Grundlage lässt sich ein abweichender Einsatz bewerten, beenden oder in ein ordentliches Freigabeverfahren überführen.
Die KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits greift das Muster in Abschnitt 3 auf (nur freigegebene Dienste, Antrag auf neue Dienste, Schatten-KI) und in Abschnitt 4.1 (Nutzung im freigegebenen Zweck). Abschnitt 7 verpflichtet die Beschäftigten, Anzeichen für eine Nutzung außerhalb des freigegebenen Zwecks zu melden.
Bezug zur KI-Verordnung
Für Hochrisiko-KI-Systeme zieht sich die vorhersehbare Fehlanwendung durch mehrere Pflichten. Der Anbieter schätzt nach Art. 9 Abs. 2 lit. b die Risiken ab, die bei bestimmungsgemäßer Verwendung und bei vorhersehbarer Fehlanwendung entstehen können. In der Gebrauchsanweisung nennt er die Zweckbestimmung (Art. 13 Abs. 3 lit. b Ziff. i) und die bekannten oder vorhersehbaren Umstände, unter denen eine Fehlanwendung zu Risiken für Gesundheit, Sicherheit oder Grundrechte führen kann (Ziff. iii). Die menschliche Aufsicht nach Art. 14 Abs. 2 soll auch diese Risiken begrenzen. Der Betreiber verwendet das System nach Art. 26 Abs. 1 entsprechend der Gebrauchsanweisung, und wer den Zweck so verändert, dass ein Hochrisiko-System entsteht, wird nach Art. 25 Abs. 1 lit. c zum Anbieter (→ EU AI Act).
Für Systeme ohne Hochrisiko-Einstufung gelten Art. 9 bis 14 und Art. 26 nicht unmittelbar. Art. 4 gilt dagegen für alle Anbieter und Betreiber. Beide ergreifen Maßnahmen, die die KI-Kompetenz ihres Personals fördern, und wer weiß, wofür ein Werkzeug gedacht ist, nutzt es seltener für fremde Aufgaben.
Verwandte Muster und Gefährdungen
- MU-10 Weiterverwendung der Ausgaben für einen anderen Zweck: Das System bleibt bei seiner Aufgabe, seine Ergebnisse wandern in einen neuen Zusammenhang.
- MU-06 Anwendung auf nicht erprobte Gruppen: Eine Sonderform, bei der sich der Kreis der betroffenen Personen verschiebt.
- MU-12 Nutzung außerhalb der Betriebsgrenzen: Der Zweck bleibt gleich, die zugesagten Bedingungen werden überschritten.
- T01 Komplexität der Einsatzumgebung: Ein neuer Zweck bringt Situationen mit sich, die in Entwicklung und Test nie vorkamen.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 12 und 13, Art. 4, 9, 13, 14, 25 und 26
- ISO/IEC 42001:2023, Anhang B.9.4 (bestimmungsgemäße Verwendung), B.8.2 und B.5.5
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 3, 4.1 und 7
- ISO/IEC 42001 im Cenedril-Wiki: Anhang A und die Kontrollen zur Nutzung von KI-Systemen