Ein Anbieter entwickelt eine KI, die in Leitstellen eingehende Notrufe nach Dringlichkeit vorsortiert. Sein Handbuch ist vollständig: Prüfplan, Freigabeablauf, Beobachtungsplan mit monatlicher Auswertung. Dann drängt ein Kunde auf eine neue Modellversion. Das Team spielt sie mit einem verkürzten Test aus, die Freigabe zeichnet dieselbe Person, die auch getestet hat, und die Auswertung der Beobachtung fällt zwei Monate hintereinander aus, weil die zuständige Kollegin in einem anderen Projekt steckt. Als die Marktüberwachungsbehörde nach einer Beschwerde Unterlagen anfordert, wird es still im Raum. Für die aktuelle Version fehlt jeder Beleg, dass die beschriebenen Verfahren angewandt wurden.
EN 18286 verlangt in Kapitel 6.1, dass Anbieter beim Planen ihres Qualitätsmanagementsystems (QMS) auch die Risiken für das QMS selbst bestimmen. Das erste dieser Risiken liegt am nächsten: Das System liefert nicht, wofür es eingerichtet wurde. Gemeint ist der laufende Nachweis, dass die Hochrisiko-KI-Systeme des Anbieters die Anforderungen der KI-Verordnung erfüllen, vom Entwurf bis zur Außerbetriebnahme.
Was steckt dahinter?
Ein QMS ist eine Kette von Abläufen. Es wirkt nur, wenn jedes Glied tatsächlich durchlaufen und sein Ergebnis festgehalten wird. Fällt ein Glied aus, sieht der Rest der Kette weiterhin ordentlich aus, die Aussage über die Konformität des Systems verliert aber ihre Grundlage. Die Norm verlangt deshalb, schon bei der Planung zu fragen, was die beabsichtigten Ergebnisse gefährdet. Für diese Risiken plant der Anbieter Maßnahmen, baut sie in die Prozesse des QMS ein und legt fest, wie er ihre Wirksamkeit bewertet (Kapitel 6.1.2).
Wo Abläufe typischerweise reißen
- Ausgelassene Prüfungen. Termindruck verkürzt Testdurchgänge oder lässt sie ganz entfallen. Häufig betrifft das kleine Modellaktualisierungen, die niemand als Änderung einstuft.
- Versäumte Auswertungen. Der Beobachtungsplan nennt einen Turnus, doch niemand achtet darauf, ob die Auswertung stattgefunden hat. Die Daten liegen vor, ein Urteil zur fortdauernden Einhaltung fehlt.
- Vermischte Rollen. Wer entwickelt, prüft und freigibt, ist am Ende dieselbe Person. Die Freigabe verliert ihren Wert als unabhängige Kontrolle.
- Fehlende Aufzeichnungen. Die Prüfung hat stattgefunden, ihr Ergebnis steht aber nur in einem Chatverlauf oder in einer lokalen Datei. Als Nachweis taugt das wenig.
QMS-Risiko oder Systemrisiko?
Die Norm trennt beides ausdrücklich. Das Risikomanagement für das einzelne KI-System nach Art. 9 der KI-Verordnung betrachtet Gefahren für Gesundheit, Sicherheit und Grundrechte, die vom System ausgehen. Die Risiken nach Kapitel 6.1 betreffen die Funktionsfähigkeit des Managementsystems. Getrennt bedeutet dabei nicht unabhängig: Ein QMS, das seine Ergebnisse verfehlt, lässt Systemrisiken unentdeckt, weil genau die Prüfungen fehlen, die sie gefunden hätten.
Schadensausmaß
Ohne Nachweis gibt es keine belastbare Konformitätsbewertung. Bei der internen Kontrolle nach Anhang VI prüft der Anbieter selbst, ob sein QMS Art. 17 entspricht und ob Entwicklung und Beobachtung zur technischen Dokumentation passen. Zeigt sich später, dass ein in Verkehr gebrachtes System nicht konform ist, folgen Korrekturmaßnahmen nach Art. 20, im äußersten Fall Rücknahme oder Rückruf. Das QMS gehört nach Art. 16 zu den Anbieterpflichten, deren Verletzung nach Art. 99 mit Geldbußen belegt werden kann.
Dazu kommen die Folgen für die Menschen, die das System betrifft. Ein Fehler, den eine ausgelassene Prüfung gefunden hätte, trifft sie direkt: eine falsch eingestufte Notlage, ein zu Unrecht abgelehnter Antrag. Am teuersten wird es, wenn der Ausfall eines Ablaufs erst bei einer Anfrage der Behörde auffällt, denn dann fehlt auch die Zeit, die Lücke ordentlich zu schließen.
Praxisbeispiele
Medizinische Bildauswertung. Ein Anbieter aktualisiert das Modell einer Software, die Hautaufnahmen für die ärztliche Durchsicht vorsortiert. Weil die Änderung als „kleine Verbesserung“ gilt, läuft nur ein Teil der Testfälle. Die neue Version erkennt eine seltene Hautveränderung schlechter. Aufgefallen wäre das im vollständigen Testdurchgang, den der Prüfplan für jede Modellversion vorsieht.
Scoring für Banken. Ein Softwarehaus liefert Banken ein System zur Kreditwürdigkeitsprüfung und führt dafür einen Beobachtungsplan mit vierteljährlicher Auswertung. Nach einem Personalwechsel bleibt die Auswertung zweimal liegen. In dieser Zeit verschiebt sich die Zusammensetzung der Antragstellenden, und die Ablehnungsquote einer Altersgruppe steigt deutlich. Die Daten dazu lagen die ganze Zeit vor.
Bewerbungsvorauswahl. Ein Anbieter verkauft ein Werkzeug, das Bewerbungen vorsortiert. Freigaben laufen über ein Ticketsystem. Bei der Vorbereitung auf ein Audit fällt auf, dass ein Drittel der Freigaben von derselben Person geprüft und freigegeben wurde. Die Tests waren in Ordnung, unabhängig bestätigt hat sie trotzdem niemand.
Wirksame Maßnahmen
Die KI-Anbieterrichtlinie aus dem KI-Compliance-Starter-Kit setzt an mehreren Stellen an:
- Abschnitt 3 (Prozesse des Qualitätsmanagementsystems): Die Prozesstabelle nennt für jeden Prozess seine Ergebnisse und in einer eigenen Spalte, woran seine Überwachung erkennt, dass er wirkt. So wird jeder Ablauf zu einer prüfbaren Größe.
- Abschnitt 8 (Lebenszyklusprozesse): Jede Phase hat Eingangs- und Ausgangskriterien. Verifizierung und Freigabe liegen bei verschiedenen Rollen, und ein Prozess, der seine Kriterien verfehlt, wird als Korrekturmaßnahme geführt.
- Abschnitt 13 (Prüfung, Test und Validierung): Geprüft wird bei jeder Modellversion und vor jeder Freigabe gegen festgelegte Annahmeschwellen.
- Abschnitt 16 (Risikomanagement): Die Risiken des QMS stehen im KI-Risikoregister unter der Kategorie „Qualitätsmanagementsystem“. Ihre Maßnahmen werden in die Abläufe eingebunden und in der Managementbewertung auf Wirksamkeit bewertet.
- Abschnitt 17 (Beobachtung nach dem Inverkehrbringen): Der Beobachtungsplan legt Turnus und verantwortliche Person fest, die Auswertung wird festgehalten.
Aus ISO/IEC 42001 tragen diese Kontrollen bei:
- A.3 Interne Organisation: Klar verteilte Rollen verhindern, dass Prüfung und Freigabe in einer Hand landen.
- A.6.1 Managementanleitung für die KI-Systementwicklung: Ziele und Prozesse für eine verantwortungsvolle Entwicklung legen fest, welche Schritte zu jedem Entwicklungsstand gehören.
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung, Validierung und Überwachung im Betrieb sind feste Stationen im Lebenszyklus jedes Systems.
In der Managementbewertung kommt das Thema planmäßig auf den Tisch: EN 18286 zählt die Maßnahmen gegen Risiken des QMS zu den Punkten, die dort geprüft werden (Kapitel 10.1).
Bezug zur KI-Verordnung
Art. 17 Abs. 1 der Verordnung (EU) 2024/1689 verlangt von Anbietern von Hochrisiko-KI-Systemen ein QMS, das die Einhaltung der Verordnung sicherstellt und in schriftlichen Regeln, Verfahren und Anweisungen festgelegt ist. Zu den Mindestinhalten gehören Prüf-, Test- und Validierungsverfahren samt ihrer Häufigkeit (Buchstabe d) und ein System zur Beobachtung nach dem Inverkehrbringen gemäß Art. 72 (Buchstabe h). Ein QMS, dessen Abläufe nicht greifen, verfehlt genau diesen Zweck. Die Pflicht, die Risiken des QMS selbst zu bestimmen, steht in EN 18286; Art. 17 nennt sie nicht ausdrücklich. Wer die Norm anwendet, kann sich für Art. 17 Abs. 1 auf die Konformitätsvermutung stützen, in dem Umfang, den Anhang ZA der Norm festlegt (→ EN 18286: Qualitätsmanagementsystem für KI-Anbieter).
Verwandte QMS-Risiken
- QMS-02 Unerwünschte Wirkungen des QMS: Wo Abläufe zu schwer sind, werden sie umgangen, und aus der unerwünschten Wirkung wird ein verfehltes Ergebnis.
- QMS-06 Fehlende Ressourcen oder Kompetenzen: Ausgelassene Auswertungen haben oft eine schlichte Ursache: Es fehlt die Person, die sie macht.
- T06 Mängel im Lebenszyklus: Die Gefährdung auf Ebene des Systems, die entsteht, wenn Schritte im Lebenszyklus fehlen.
Quellen
- EN 18286:2026, Kapitel 6.1 (Planung der Maßnahmen zu Risiken für das Funktionieren des QMS) und Kapitel 10.1 (Managementbewertung)
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 16, 17, 20, 72 und 99, Anhang VI
- Durchführungsbeschluss (EU) 2026/2274: Fundstelle der EN 18286 als harmonisierte Norm
- KI-Anbieterrichtlinie, Abschnitte 3, 8, 13, 16 und 17
- EN 18286: Qualitätsmanagementsystem für KI-Anbieter im Cenedril-Wiki