Ein Maschinenbauer trainiert ein Modell, das Lagerschäden an Pumpen vorhersagen soll, mit Sensordaten aus fünf Jahren. Erst nach dem Rollout zeigt sich, dass ein Teil der Sensoren jahrelang falsch kalibriert war und Ausfälle in der Wartungssoftware oft erst Tage später erfasst wurden. Das Modell hat gelernt, zuverlässig das Falsche vorherzusagen. Ein lernendes System kann nie besser sein als die Daten, aus denen es gelernt hat.
ISO/IEC 42001 nennt in Anhang C Risikoquellen, die mit maschinellem Lernen zusammenhängen. An erster Stelle stehen die Qualität der Daten und die Art, wie sie erhoben werden. Beides wirkt unmittelbar auf Ziele wie Sicherheit und Robustheit, und im Produkt kommt die Fairness als drittes Opfer schlechter Daten hinzu.
Was steckt dahinter?
Für ein lernendes System sind Daten Lehrbuch und Prüfungsstoff zugleich. Was in den Daten fehlt oder falsch ist, lernt das Modell mit, und es gibt die Fehler mit großer Selbstsicherheit weiter. Datenqualität ist dabei mehr als Fehlerfreiheit. Sie hat mehrere Seiten, und jede kann für sich allein ein System unbrauchbar machen.
Dimensionen der Datenqualität
- Vollständigkeit. Fehlende Werte, fehlende Zeiträume, fehlende Fallgruppen. Ein Modell kann nur Muster lernen, die es zu sehen bekommt.
- Richtigkeit. Messfehler, Tippfehler, falsch zugeordnete Datensätze und falsch vergebene Labels. Labels sind besonders heikel, weil Menschen sie oft unter Zeitdruck und nach unklaren Regeln setzen.
- Repräsentativität. Die Daten bilden die Situationen und Personengruppen ab, auf die das System im Betrieb trifft, und das in ausreichender Zahl.
- Aktualität. Daten aus der Zeit vor einer Produktumstellung oder Gesetzesänderung beschreiben eine Welt, die es so nicht mehr gibt.
- Konsistenz. Verschiedene Quellen verwenden unterschiedliche Einheiten, Formate oder Definitionen für dasselbe Merkmal.
Wo die Mängel entstehen
Probleme beginnen oft bei der Erhebung, etwa wenn nur Daten eines Standorts oder einer Kundengruppe greifbar waren. Bei der Übernahme aus fremden Quellen bleiben Herkunft und Erhebungsregeln unklar. In der Aufbereitung kann eine gut gemeinte Bereinigung genau die seltenen Fälle entfernen, auf die es ankommt. Und im Betrieb liefern Nutzerinnen und Nutzer Eingaben, die anders aussehen als die Daten im Training. Für diesen letzten Teil sind die Betreiber verantwortlich.
Schadensausmaß
Schlechte Daten beeinträchtigen Genauigkeit, Robustheit und Fairness zugleich. Ein ungenaues Modell erzeugt Fehlentscheidungen und Nacharbeit, ein wenig robustes versagt bei kleinen Abweichungen, und unausgewogene Daten benachteiligen Gruppen, die darin schwach vertreten sind. Datenmängel sind besonders teuer, weil sie oft erst nach dem Rollout auffallen. Dann reicht ein Patch selten aus: Daten müssen neu erhoben oder neu gelabelt und das Modell neu trainiert werden.
Praxisbeispiele
Dokumentenklassifikation im Versicherungsbetrieb. Ein Modell soll eingehende Post nach Anliegen sortieren. Die Trainingslabels stammen aus mehreren Teams, und ein Team ordnet als „Beschwerde“ ein, was ein anderes als „Anfrage“ führt. Das Modell übernimmt die Widersprüche, und dringende Beschwerden landen in der langsamen Warteschlange.
Absatzprognose im Handel. Ein Händler lernt aus seinen Verkaufsdaten, wie viel er nachbestellen soll. In einigen Filialen steht über Wochen ein Absatz von null, obwohl die Ware schlicht nicht im Regal lag. Das Modell schließt auf geringe Nachfrage, bestellt weniger, und die Regale bleiben erneut leer.
Falsche Eingaben beim Betreiber. Eine Kanzlei nutzt ein zugekauftes System, das Daten aus Verträgen ausliest. Die Gebrauchsanweisung verlangt Scans in einer bestimmten Auflösung, die Kanzlei scannt aus Speichergründen gröber. Die Erkennungsfehler fallen erst auf, als eine Frist falsch eingetragen ist.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.7 Daten für KI-Systeme: Die Organisation definiert Anforderungen an die Datenqualität und sorgt dafür, dass Daten für Entwicklung und Betrieb sie erfüllen. Sie dokumentiert, wie Daten beschafft und ausgewählt werden, woher sie stammen und nach welchen Kriterien sie aufbereitet werden.
- A.5 Folgenabschätzung für KI-Systeme: Die Abschätzung fragt, wen fehlerhafte oder lückenhafte Daten treffen würden, und lenkt den Blick auf Gruppen, die in den Daten schwach vertreten sind.
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung und Validierung prüfen, ob die Testdaten den vorgesehenen Einsatzbereich abbilden, und Freigabekriterien halten ein Modell zurück, das sie verfehlt.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung im Betrieb zeigt, ob das System mit echten Produktionsdaten so arbeitet wie erwartet.
Reaktion:
- A.7 Daten für KI-Systeme: Aufzeichnungen zur Datenherkunft erlauben es, einen Fehler bis zur Quelle zurückzuverfolgen und alle betroffenen Datensätze zu bereinigen.
- A.9 Nutzung von KI-Systemen: Betreiber setzen das System nur mit Daten ein, die zu seiner Dokumentation passen, und geben Bedenken an die zuständigen Stellen und an den Lieferanten weiter.
Bezug zur KI-Verordnung
Für Hochrisiko-Systeme ist Art. 10 der KI-Verordnung (EU) 2024/1689 die zentrale Vorschrift. Trainings-, Validierungs- und Testdaten unterliegen danach einer Daten-Governance, die unter anderem Erhebung und Herkunft, Aufbereitungsschritte wie Labeln und Bereinigen, getroffene Annahmen, die Eignung der Daten und erkannte Lücken umfasst. Die Datensätze müssen für den Zweck relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein und den geografischen, verhaltensbezogenen oder funktionalen Rahmen des Einsatzes berücksichtigen. Betreiber sorgen nach Art. 26 Abs. 4 dafür, dass die Eingabedaten, über die sie bestimmen, relevant und repräsentativ sind. Art. 15 verlangt ein angemessenes Maß an Genauigkeit und Robustheit. Für personenbezogene Daten gilt zusätzlich der Grundsatz der Richtigkeit aus Art. 5 Abs. 1 lit. d DSGVO (→ EU AI Act).
Verwandte Gefährdungen
- T12 Verzerrung und Diskriminierung (Bias): Unausgewogene Daten sind die häufigste Ursache für benachteiligende Ergebnisse.
- T08 Data Poisoning (Trainingsdaten-Manipulation): Was hier aus Versehen passiert, geschieht dort mit Absicht.
- T07 Unausgereifte Technologie / Modelldrift: Auch gute Daten veralten, wenn sich die Welt verändert.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.4: Risk sources related to machine learning, dazu Anhang B.7
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 10, 15 und 26
- Verordnung (EU) 2016/679 (DSGVO), Art. 5
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme