Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-10 Weiterverwendung der Ausgaben für einen anderen Zweck

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001DSGVO

Ein Unternehmen lässt Projektbesprechungen von einem KI-Werkzeug mitschreiben und zusammenfassen. Die Zusammenfassungen vermerken auch, wer wie viel gesprochen hat und wer sich „zurückhaltend“ oder „kritisch“ geäußert hat. Ein Jahr später zieht die Personalabteilung diese Vermerke für die Leistungsgespräche heran. Die Zusammenfassungen waren für Protokolle gedacht und sind nie daraufhin geprüft worden, ob sie Menschen fair beurteilen.

Dieses Muster beschreibt Ergebnisse, die in einem Zusammenhang weiterverwendet werden, für den sie nicht bewertet wurden. Das System selbst tut, wofür es gedacht ist. Erst der Weg seiner Ausgaben macht daraus eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13 KI-Verordnung (EU) 2024/1689. Wo Ergebnisse Menschen betreffen, kommt die Zweckbindung der DSGVO hinzu.

Was steckt dahinter?

Eine Ausgabe ist nur so verlässlich wie der Zweck, für den sie geprüft wurde. Eine Fehlerquote, die für einen Entwurf oder eine interne Schätzung in Ordnung ist, kann für eine Entscheidung über einen Menschen völlig ungeeignet sein. Mit jedem Schritt weg vom ursprünglichen Zweck verliert ein Ergebnis an Aussagekraft, ohne dass man es ihm ansieht. Unsicherheiten, Einschränkungen und das Datum der Erstellung bleiben meist zurück, wenn das Ergebnis weiterwandert.

Wie es im Alltag dazu kommt

  • Die Ergebnisse liegen schon da. Gespeicherte Ausgaben sind bequem verfügbar, und neue Fragen lassen sich scheinbar ohne Aufwand damit beantworten.
  • Datenexporte. Ergebnisse fließen in ein Datenlager oder in Berichte und werden dort von Abteilungen genutzt, die den Ursprung nicht kennen.
  • Aus Zusammenfassungen werden Tatsachen. Ein Protokoll wird zur Akte, eine Schätzung zur Kennzahl.
  • Werte wandern. Ein Risikowert aus der Betrugserkennung landet in der Kundensegmentierung oder in der Preisgestaltung.
  • Weitergabe an Dritte. Partner oder Kunden erhalten Ergebnisse und nutzen sie für ihre eigenen Zwecke.

Warum es riskant ist

Für den neuen Zweck gibt es keine Bewertung von Genauigkeit und Fairness. Was im ursprünglichen Zusammenhang ein vertretbarer Fehler war, wird im neuen zur Ungerechtigkeit. Bei personenbezogenen Ergebnissen verlangt die DSGVO für jede Weiterverarbeitung einen vereinbaren Zweck oder eine eigene Rechtsgrundlage. Fließen Ergebnisse planmäßig in Entscheidungen, die unter Anhang III fallen, etwa in die Bewertung von Beschäftigten, stellt sich außerdem die Frage, ob das System damit einen neuen Zweck erhalten hat. Im ungünstigen Fall gilt der Betreiber dann nach Art. 25 Abs. 1 lit. c als Anbieter.

Schadensausmaß

Am schwersten wiegt das Muster, wenn Ergebnisse in Entscheidungen über Menschen einfließen: Leistungsbeurteilungen, Preise, Zugang zu Angeboten. Hinzu kommen Datenschutzverstöße und in Deutschland die Mitbestimmung des Betriebsrats, wenn Ergebnisse zur Leistungs- oder Verhaltenskontrolle von Beschäftigten genutzt werden (§ 87 Abs. 1 Nr. 6 BetrVG). Ein Ergebnis, das für einen harmlosen Zweck gut genug war, wird im neuen Zusammenhang zum Beweisstück, das es nie sein sollte.

Praxisbeispiele

Betrugswert als Marketingkriterium. Ein Onlinehändler bewertet Bestellungen mit einem Betrugsrisikowert. Das Marketing nutzt den Wert, um Kundinnen und Kunden von Rabattaktionen auszuschließen. Weil der Wert in bestimmten Wohngegenden höher ausfällt, erhalten dort ganze Straßenzüge schlechtere Angebote.

Maschinelle Übersetzung als Vertragstext. Eine Einkaufsabteilung lässt einen Vertragsentwurf maschinell übersetzen, um ihn intern zu verstehen. Die Übersetzung wird später als verbindliche Sprachversion unterzeichnet. Eine Haftungsklausel ist darin ins Gegenteil verkehrt.

Teamprognose als Einzelbewertung. Ein System sagt Krankheitsausfälle je Team voraus, um die Personalplanung zu verbessern. Eine Führungskraft lässt sich die Werte für einzelne Beschäftigte ausgeben und spricht sie im Personalgespräch darauf an. Für Aussagen über Einzelne wurde das System nie geprüft, und die Gesundheitsprognose betrifft besonders geschützte Daten.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.5 Folgenabschätzung für KI-Systeme: Die Abschätzung bezieht sich auf den vorgesehenen Zweck und die vorgesehene Verwendung und hält die vorhersehbare Fehlanwendung fest. Eine neue Verwendung der Ergebnisse ist Anlass, sie zu aktualisieren.
  • A.8 Information für interessierte Parteien: Die Informationen für Nutzende umfassen auch die Ausgaben selbst und ihre Art, zum Beispiel den Hinweis, dass ein Inhalt maschinell erzeugt ist und wofür er taugt.
  • A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung legen fest, wer Ergebnisse wofür nutzen darf und welche Freigaben eine neue Verwendung braucht.

Erkennung:

  • A.9 Nutzung von KI-Systemen: Die Beobachtung der Datenflüsse zeigt, wohin Ergebnisse wandern. Ein regelmäßiger Blick auf Zugriffe und Exporte gehört zur gelebten Praxis.

Reaktion:

  • A.5 Folgenabschätzung für KI-Systeme: Wird eine ungeprüfte Weiterverwendung entdeckt, wird sie angehalten, bewertet und entweder ordentlich eingeführt oder beendet. Entscheidungen, die auf ihr beruhen, werden überprüft.

Die KI-Nutzungsrichtlinie bindet die Nutzung in Abschnitt 4.1 an den freigegebenen Zweck und verlangt in Abschnitt 4.4 eine dokumentierte Prüfung, bevor Ausgaben für einen folgenreichen Zweck verwendet werden. Abschnitt 7 verpflichtet dazu, Anzeichen einer Nutzung außerhalb des freigegebenen Zwecks zu melden.

Bezug zur KI-Verordnung

Die Zweckbestimmung nach Art. 3 Nr. 12 umfasst die besonderen Umstände und Bedingungen der Verwendung. Bei Hochrisiko-KI-Systemen bewertet der Anbieter nach Art. 9 Abs. 2 lit. b auch die vorhersehbare Fehlanwendung und gibt in der Gebrauchsanweisung die Umstände an, die zu Risiken führen können (Art. 13 Abs. 3 lit. b Ziff. iii), sowie Informationen, mit denen Betreiber die Ausgaben deuten und angemessen nutzen können (Ziff. vii). Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß dieser Anweisung, und wer den Zweck so ändert, dass ein Hochrisiko-System entsteht, wird nach Art. 25 Abs. 1 lit. c zum Anbieter (→ EU AI Act).

Für personenbezogene Ergebnisse gilt die DSGVO: Zweckbindung nach Art. 5 Abs. 1 lit. b, Vereinbarkeitsprüfung nach Art. 6 Abs. 4 und die Pflicht, Betroffene vor einer Weiterverarbeitung für einen anderen Zweck zu informieren (Art. 13 Abs. 3). Gesundheitsdaten und andere besondere Kategorien unterliegen zusätzlich Art. 9.

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Worin unterscheidet sich MU-10 von MU-01?

Bei MU-01 wird das System selbst für eine fremde Aufgabe eingesetzt. Bei MU-10 arbeitet das System wie vorgesehen, aber seine Ergebnisse werden später in einem anderen Zusammenhang genutzt, etwa ein Protokoll als Grundlage einer Leistungsbeurteilung. Die Risiken ähneln sich, die Ursachen und damit die Kontrollen unterscheiden sich.

Ist die Weiterverwendung personenbezogener KI-Ergebnisse immer unzulässig?

Nein. Die DSGVO erlaubt eine Weiterverarbeitung für einen neuen Zweck, wenn er mit dem ursprünglichen vereinbar ist (Art. 6 Abs. 4) oder eine eigene Rechtsgrundlage besteht, und die Betroffenen werden vorher informiert (Art. 13 Abs. 3). Bei Ergebnissen, die Menschen bewerten, fällt die Vereinbarkeitsprüfung allerdings selten positiv aus.

Wie erkenne ich, dass KI-Ergebnisse weiterverwendet werden?

Am besten an den Datenflüssen: Wohin werden Ergebnisse gespeichert, wer hat Zugriff, in welche Berichte und Auswertungen fließen sie ein? Ein regelmäßiger Blick auf Zugriffe und Exporte zeigt neue Abnehmer. Hilfreich ist auch die Frage an die Fachbereiche, welche KI-Ergebnisse sie aus anderen Bereichen nutzen.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.