Ein Kreditinstitut trainiert ein Modell zur Betrugserkennung mit Transaktionsdaten aus fünf Jahren. Die Daten stammen aus drei Quellen, wurden zweimal bereinigt und einmal mit gekauften Händlerdaten angereichert. Als die Aufsicht fragt, warum das Modell Kundschaft aus bestimmten Postleitzahlgebieten häufiger markiert, kann niemand mehr sagen, welcher Schritt die Verzerrung eingebracht hat. A.7 verlangt, dass die Organisation Herkunft, Qualität und Aufbereitung ihrer Daten so festhält, dass sich jede Frage dieser Art beantworten lässt.
Daten bestimmen, was ein KI-System kann und wo es versagt. A.7 setzt deshalb an fünf Stellen an: am Datenmanagement insgesamt, an der Beschaffung, an der Qualität, an der Herkunft und an der Aufbereitung. Die Kontrolle geht über die Bestandsaufnahme aus A.4.3 hinaus und regelt den Umgang mit den Daten selbst.
Was verlangt die Norm?
Anhang A.7 der ISO/IEC 42001 enthält fünf Kontrollen. Die Umsetzungshinweise stehen in Anhang B.7.
- Datenmanagement für die Entwicklung (A.7.2). Die Organisation legt Prozesse für den Umgang mit Entwicklungsdaten fest, dokumentiert sie und wendet sie an. Anhang B.7.2 nennt Themen wie die Datenschutz- und Sicherheitsfolgen sensibler Daten, Bedrohungen durch die Abhängigkeit von Daten, Transparenz und Erklärbarkeit einschließlich der Herkunft, die Repräsentativität der Trainingsdaten für den späteren Einsatzbereich sowie Richtigkeit und Integrität.
- Beschaffung (A.7.3). Die Organisation bestimmt und dokumentiert, wie Daten beschafft und ausgewählt werden. Festgehalten werden etwa benötigte Datenkategorien und Mengen, Quellen (intern, gekauft, geteilt, offen, synthetisch), die Art der Quelle (statisch, als Datenstrom, gesammelt, maschinell erzeugt), Merkmale der betroffenen Personen samt möglicher Verzerrungen, die bisherige Verwendung, Rechte wie Datenschutz oder Urheberrecht, Metadaten zur Kennzeichnung und die Herkunft.
- Qualität (A.7.4). Die Organisation legt Qualitätsanforderungen fest und sorgt dafür, dass die Daten für Entwicklung und Betrieb sie erfüllen. Beim überwachten oder teilüberwachten Lernen werden Trainings-, Validierungs-, Test- und Produktionsdaten möglichst definiert, gemessen und verbessert. Die Organisation berücksichtigt, wie Verzerrungen Leistung und Fairness beeinflussen, und passt Modell und Daten an, bis beides für den Anwendungsfall akzeptabel ist.
- Herkunft (A.7.5). Ein dokumentierter Prozess hält die Herkunft der Daten über die Lebenszyklen von Daten und System fest, von der Erstellung über Aktualisierungen und Transformationen bis zu Weitergaben und dem Übergang der Kontrolle. Je nach Quelle, Inhalt und Kontext prüft die Organisation, ob sie die Herkunft zusätzlich verifizieren muss.
- Aufbereitung (A.7.6). Die Organisation legt fest, nach welchen Kriterien sie Aufbereitungsschritte auswählt und welche Methoden sie nutzt. Typisch sind statistische Erkundung, Bereinigung, das Auffüllen fehlender Werte (Imputation), Normalisierung, Skalierung, die Kennzeichnung der Zielvariablen und Kodierung. Je KI-Aufgabe werden Kriterien und angewandte Methoden dokumentiert, denn eine mangelhafte Aufbereitung kann zu Fehlern des Systems führen.
In der Praxis
Rechte vor der Nutzung klären. Prüfe für jede Quelle, ob die Daten für das Training verwendet werden dürfen: bei personenbezogenen Daten Rechtsgrundlage und Zweckvereinbarkeit, bei fremden Inhalten Lizenz und Urheberrecht, bei gekauften Daten die Vertragsbedingungen. Was ungeklärt ist, bleibt aus dem Trainingsbestand heraus, bis die Frage beantwortet ist.
Repräsentativität gegen den Einsatz prüfen. Vergleiche die Verteilung der Trainingsdaten mit den Menschen oder Fällen, auf die das System später trifft. Ein Modell, das überwiegend mit Daten aus Großstädten trainiert wurde, kann im ländlichen Raum schlechter abschneiden. Dokumentiere bekannte Lücken und entscheide, ob du Daten ergänzt, gewichtest oder den Einsatzbereich einschränkst.
Qualität messbar machen. Lege je Datensatz Kriterien fest, etwa Vollständigkeit, Fehlerquote in Stichproben, Übereinstimmung zwischen den Kennzeichnenden und Aktualität. Prüfe sie vor jedem Training und bei jeder neuen Datenlieferung. Für die Produktion gilt dasselbe: Weichen die Eingangsdaten deutlich von den Trainingsdaten ab, sinkt die Leistung.
Aufbereitung reproduzierbar halten. Halte die Aufbereitungsschritte als Skript oder Pipeline mit Version fest und bewahre die Rohdaten auf. Ermittle die Parameter für Normalisierung und Skalierung allein aus den Trainingsdaten und wende sie unverändert auf Test- und Produktionsdaten an, damit keine Information aus den Testdaten ins Training durchsickert.
Typische Audit-Nachweise
Bei A.7 erwarten Auditoren typischerweise:
- Verfahren zum Datenmanagement für die Entwicklung (→ KI-Anbieterrichtlinie im KI-Compliance-Starter-Kit, Abschnitt 15)
- Datenblätter je Datensatz mit Quelle, Rechten, Kategorie, Umfang und bekannten Verzerrungen
- Qualitätsanforderungen und Prüfergebnisse je Datensatz und Prüfzeitpunkt
- Herkunftsaufzeichnung mit allen Verarbeitungsschritten und Übergaben
- Dokumentierte Aufbereitung mit Auswahlkriterien und angewandten Methoden je KI-Aufgabe
- Datenangaben in der technischen Dokumentation (→ Vorlage Technische Dokumentation)
- Datenbezogene Risiken wie Data Poisoning oder fehlende Repräsentativität (→ KI-Risikoregister)
KPI
Anteil der Datensätze in Training, Validierung und Test mit dokumentierter Herkunft und bestandener Qualitätsprüfung
Ziel ist 100 % für alle Datensätze, die in ein freigegebenes Modell eingeflossen sind. Datensätze ohne Herkunftsnachweis sind ein Warnsignal, weil sie spätere Fragen zu Rechten und Verzerrungen unbeantwortbar machen.
Ergänzende KPIs:
- Anteil der Datenquellen mit geklärter Rechtsgrundlage oder Lizenz
- Anzahl erkannter Verzerrungen ohne dokumentierte Entscheidung
- Abweichung zwischen Trainings- und Produktionsdaten bei den wichtigsten Merkmalen
Bezug zur KI-Verordnung
Art. 10 der KI-Verordnung (EU) 2024/1689 ist das direkte Gegenstück für Hochrisiko-Systeme. Er verlangt Praktiken der Daten-Governance, die unter anderem Entwurfsentscheidungen, Erhebung und Herkunft der Daten, Aufbereitungsschritte wie Kennzeichnung, Bereinigung und Anreicherung, die Untersuchung möglicher Verzerrungen und das Schließen von Datenlücken umfassen. Trainings-, Validierungs- und Testdaten müssen relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein und das vorgesehene Einsatzumfeld berücksichtigen.
Daneben gelten die DSGVO für personenbezogene Trainingsdaten und das Urheberrecht für fremde Inhalte. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck brauchen nach Art. 53 Abs. 1 Buchst. c eine Strategie zur Einhaltung des Urheberrechts und veröffentlichen nach Buchst. d eine Zusammenfassung der Trainingsinhalte (→ EU AI Act).
Verwandte Kontrollen
A.7 greift in mehrere Kontrollen hinein, die mit Daten arbeiten:
- A.4 Ressourcen für KI-Systeme: dokumentiert die Datenressourcen je System.
- A.6.1 Managementanleitung für die KI-Systementwicklung: legt die Regeln für Trainingsdaten und Datenlieferanten fest.
- A.6.2 Lebenszyklus von KI-Systemen: nimmt die Datenangaben in die technische Dokumentation auf und überwacht Drift im Betrieb.
- A.5.34 Datenschutz und Schutz von PII und A.8.33 Testinformationen: die Gegenstücke aus ISO 27001 für personenbezogene Daten und Testdaten.
Quellen
- ISO/IEC 42001:2023, Anhang A.7 und Anhang B.7: Daten für KI-Systeme
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 10 und 53
- Verordnung (EU) 2016/679 (DSGVO)
- ISO/IEC 25024 (Datenqualität), ISO/IEC 5259-Reihe (Datenqualität für Analytik und maschinelles Lernen) und ISO 8000-2 (Begriffe der Datenqualität, darunter die Datenherkunft), in Anhang B.7 als vertiefende Quellen genannt
- ISO/IEC 42001 im Cenedril-Wiki: Aufbau der Norm und Verhältnis zur KI-Verordnung