Ein Anbieter eines Systems, das in Personalabteilungen Leistungsbeurteilungen vorbereitet, baut auf einem Modell mit allgemeinem Verwendungszweck auf und bezieht annotierte Trainingsdaten von einem Dienstleister. Für die technische Dokumentation braucht er Angaben zu Fähigkeiten und Grenzen des Modells und zur Herkunft der Annotationen. Der Modellanbieter verweist auf eine allgemeine Modellkarte, der Datendienstleister liefert nach drei Erinnerungen eine Tabelle ohne Angaben zu Annotationsrichtlinien und Prüfung. Die Konformitätsbewertung steht still. Der Anbieter trägt die volle Verantwortung für ein System, dessen Bausteine er nur zum Teil kennt.
EN 18286 verlangt in Kapitel 6.1.3, beim Umgang mit Risiken des Qualitätsmanagementsystems (QMS) zu berücksichtigen, dass andere Parteien über den Lebenszyklus Informationen und Unterstützung liefern müssen, die für die regulatorischen Anforderungen gebraucht werden. Das Risiko dahinter: Diese Lieferungen bleiben aus oder kommen zu spät.
Was steckt dahinter?
Kaum ein Anbieter baut ein KI-System vollständig selbst. Modelle mit allgemeinem Verwendungszweck, vortrainierte Komponenten, eingekaufte Datensätze, Annotationsdienste, externe Testlabore und Rechenzentren tragen zum Ergebnis bei. Die Pflichten aus der KI-Verordnung bleiben trotzdem beim Anbieter des Hochrisiko-Systems. Er braucht deshalb von seinen Zulieferern alles, was er für Dokumentation, Bewertung und Betrieb selbst nicht erzeugen kann.
Welche Angaben typischerweise fehlen
- Herkunft und Qualität von Daten. Ohne Angaben zur Herkunft, zur Aufbereitung und zu bekannten Verzerrungen lassen sich die Anforderungen an Daten und Daten-Governance kaum belegen.
- Fähigkeiten und Grenzen eines Modells. Für die Gebrauchsanweisung und die Risikobeurteilung muss der Anbieter wissen, wofür ein zugekauftes Modell geprüft ist und wo es versagt.
- Änderungen. Ein Modell oder eine Komponente wird aktualisiert, die Information darüber kommt spät oder gar nicht.
- Unterstützung im Ernstfall. Bei einem schwerwiegenden Vorfall braucht der Anbieter Protokolle, Analysen und Ansprechpersonen beim Zulieferer, und zwar innerhalb der Fristen des Art. 73.
Warum es so oft hakt
Verträge mit Zulieferern stammen oft aus der Zeit vor der KI-Verordnung und regeln Leistung und Preis. Informationspflichten, Lieferfristen für Unterlagen und Mitwirkung bei Vorfällen fehlen. Dazu kommen berechtigte Interessen des Zulieferers, etwa der Schutz von Geschäftsgeheimnissen, und schlicht unterschiedliche Zeitpläne: Der Zulieferer hat keinen Grund, sich nach der Konformitätsbewertung seines Kunden zu richten.
Schadensausmaß
Fehlende Angaben reißen Lücken in die technische Dokumentation. Die Konformitätsbewertung verzögert sich, das Inverkehrbringen verschiebt sich, im schlimmsten Fall lässt sich die Konformität gar nicht belegen. Im Betrieb wiegt der Mangel an Unterstützung schwerer: Ohne Mitwirkung des Zulieferers kann der Anbieter die Ursache eines Vorfalls nicht klären und keine wirksame Korrekturmaßnahme ergreifen. Gegenüber der Behörde schützt der Hinweis auf den Zulieferer nicht, denn die Anbieterpflichten bleiben beim Anbieter.
Praxisbeispiele
Allgemeine Modellkarte. Das Beispiel vom Anfang ist typisch: Eine öffentliche Modellkarte beschreibt das Modell für viele Zwecke und keinen konkret. Für die Risikobeurteilung eines Systems zur Leistungsbeurteilung fehlen Angaben zu Leistung bei verschiedenen Personengruppen und zu bekannten Fehlermustern.
Datendienstleister ohne Herkunftsnachweis. Ein Anbieter eines Systems zur Bewertung von Kreditanträgen kauft Trainingsdaten von einem Datenhändler. Für die Herkunft verweist der Händler auf „öffentliche Quellen“. Die Verwahrkette, die der Anbieter je Datensatz festhalten will, bleibt leer.
Vorfall ohne Mitwirkung. Ein Anbieter einer Software, die in Behörden Anträge auf Sozialleistungen vorprüft, nutzt eine zugekaufte Komponente zur Texterkennung. Nach einem schwerwiegenden Vorfall verlangt er Protokolle der Komponente. Der Hersteller antwortet nach zwei Wochen mit einem Hinweis auf seine Supportbedingungen. Der Anbieter meldet fristgerecht mit unvollständigem Sachverhalt und muss die Ursachenanalyse ohne die entscheidenden Daten führen.
Wirksame Maßnahmen
Die KI-Anbieterrichtlinie aus dem KI-Compliance-Starter-Kit setzt an diesen Stellen an:
- Abschnitt 23 (Ressourcen und Versorgungssicherheit): Für jeden eingebauten Bestandteil eines Dritten wird eine schriftliche Vereinbarung nach Art. 25 Abs. 4 geschlossen und je System mit Vertragsstand und Wiedervorlage geführt. Lieferanten werden nach dokumentierten Kriterien ausgewählt und beurteilt, darunter ihre Fähigkeit, regulatorische Anforderungen zu erfüllen. Ein ungeeigneter Lieferant führt zu einer Korrekturmaßnahme.
- Abschnitt 12 (Entwicklung und Qualitätssicherung): Modellversion und Bezugsquelle zugekaufter Modelle werden getrennt von der Anwendung geführt.
- Abschnitt 15 (Datenverwaltung): Die Herkunft jedes Datensatzes wird aufgezeichnet, bei extern bezogenen Daten mit der abgebenden Stelle.
- Abschnitt 18 (Meldung schwerwiegender Vorfälle): Die Meldung erfolgt fristwahrend auch mit unvollständigem Sachverhalt, fehlende Angaben werden nachgereicht.
- Abschnitt 22 (Lenkung dokumentierter Information): Unterlagen von Lieferanten werden mit Fundstelle bei dem System geführt, das sie betreffen.
Aus ISO/IEC 42001 tragen diese Kontrollen bei:
- A.10 Beziehungen zu Dritten und Kunden: Verantwortlichkeiten werden zwischen Anbieter und Lieferanten aufgeteilt, und Lieferanten stellen geeignete Dokumentation bereit.
- A.7 Daten für KI-Systeme: Herkunft und Qualität von Daten werden auch bei zugekauften Datensätzen festgehalten.
- A.4 Ressourcen für KI-Systeme: Die Dokumentation der Ressourcen zeigt, welche davon von Dritten stammen.
Bezug zur KI-Verordnung
Art. 25 Abs. 4 der Verordnung (EU) 2024/1689 verlangt, dass der Anbieter eines Hochrisiko-Systems und der Dritte, der KI-Systeme, Werkzeuge, Dienste, Komponenten oder Verfahren dafür liefert, in einer schriftlichen Vereinbarung festlegen, welche Informationen, Fähigkeiten, technischen Zugänge und sonstige Unterstützung der Anbieter für seine Pflichten braucht. Für frei und quelloffen bereitgestellte Bestandteile entfällt die Pflicht, außer bei Modellen mit allgemeinem Verwendungszweck. Anbieter solcher Modelle stellen nach Art. 53 Abs. 1 Buchstabe b die Angaben aus Anhang XII bereit. Art. 17 Abs. 1 Buchstabe j verlangt zudem, die Kommunikation mit anderen Akteuren im QMS zu regeln. EN 18286 ergänzt das in Kapitel 9.3 um Anforderungen an die Steuerung der Lieferkette (→ EN 18286: Qualitätsmanagementsystem für KI-Anbieter).
Verwandte QMS-Risiken
- QMS-04 Eingesetzte KI-Technologien überfordern die Abläufe: Fremdmodelle sind schwer zu prüfen, wenn Angaben ihres Anbieters fehlen.
- QMS-07 Ausfall einer Software mit QMS-Unterlagen: Auch das Werkzeug, in dem das QMS geführt wird, stammt meist von einem Dritten.
- T04 Mangelnde Datenqualität: Die Gefährdung auf Ebene des Systems, wenn zugekaufte Daten ungeprüft eingehen.
Quellen
- EN 18286:2026, Kapitel 6.1.3 c und Kapitel 9.3 (Lieferkette)
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 17 Abs. 1 Buchstabe j, Art. 25 Abs. 4, Art. 53 und Anhang XII
- KI-Anbieterrichtlinie, Abschnitte 12, 15, 18, 22 und 23
- EN 18286: Qualitätsmanagementsystem für KI-Anbieter im Cenedril-Wiki