Zum Hauptinhalt springen
QMS-Risiko · EN 18286

QMS-02 Unerwünschte Wirkungen des QMS

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EN 18286EU AI ActISO/IEC 42001

Ein Anbieter mit fünfzehn Beschäftigten entwickelt eine KI, die an Berufsschulen schriftliche Prüfungen vorbewertet. Für sein QMS übernimmt er das Handbuch eines Großkonzerns: vierzig Verfahrensanweisungen, für jede Änderung sechs Unterschriften. Ein Fehler in der Bewertungslogik ist nach zwei Tagen gefunden. Bis die Korrektur alle Stationen durchlaufen hat, vergehen sieben Wochen, und so lange bewertet die fehlerhafte Version weiter. Am Ende jedes Sprints füllt das Entwicklungsteam die vorgesehenen Checklisten in einem Rutsch aus. Das QMS bindet so viel Kraft, dass es die Sicherheit schwächt, die es herstellen soll.

EN 18286 nennt in Kapitel 6.1.1 zwei Richtungen, in die Risiken des Qualitätsmanagementsystems (QMS) wirken. Die erste betrifft das Verfehlen der Ergebnisse (QMS-01). Die zweite, um die es hier geht, betrifft die unerwünschten Wirkungen, die entstehen, wenn das QMS angewandt wird. Der Anbieter soll sie verhindern oder zumindest verringern.

Was steckt dahinter?

Jeder Ablauf im QMS kostet Zeit, Aufmerksamkeit und Personal. Solange er einen Fehler abfängt, der sonst durchrutschen würde, ist dieser Preis gerechtfertigt. Kippt das Verhältnis, entstehen Nebenwirkungen, die das Ziel des QMS untergraben. Das Produkt fasst sie in zwei Formen zusammen.

Abläufe, die bremsen

Freigabeketten mit vielen Stationen, Formulare für jede Kleinigkeit, Gremien, die nur monatlich tagen: All das verlangsamt Entwicklung und Betrieb. Besonders heikel wird es bei Korrekturen. Eine dringende Fehlerbehebung, die denselben Weg nehmen muss wie ein neues Merkmal, bleibt liegen, während die fehlerhafte Version im Einsatz ist. Auch das Personal leidet: Wer die Hälfte seiner Zeit mit Nachweisen verbringt, fehlt bei Prüfung und Beobachtung.

Abläufe, die nur noch formal laufen

Die zweite Form ist leiser. Die Schritte werden durchlaufen, die Felder ausgefüllt, die Unterschriften geleistet, ohne dass jemand wirklich prüft. Typisch sind Risikofragebögen, in denen jede Frage mit „ja“ beantwortet ist, Reviews ohne einen einzigen Kommentar oder Freigaben, die Minuten nach dem Antrag erteilt werden. Das QMS erzeugt dann Papier, das Sicherheit vortäuscht.

Beide Formen haben eine gemeinsame Wurzel: Abläufe, die ohne Blick auf Größe, Systeme und Risiken des Anbieters gestaltet oder übernommen wurden. Hinzu kommen Doppelstrukturen, etwa wenn ein Hersteller von Medizinprodukten sein bestehendes QMS und ein zweites für die KI-Verordnung nebeneinander führt.

Schadensausmaß

Verzögerte Korrekturen verlängern die Zeit, in der ein fehlerhaftes System Menschen betrifft. Art. 20 verlangt bei einem nicht konformen System unverzüglich die nötigen Korrekturmaßnahmen; ein QMS, das genau diese Maßnahmen ausbremst, steht der Pflicht im Weg. Formal erfüllte Abläufe wiegen den Anbieter in falscher Sicherheit. Der Schaden zeigt sich spät, im Audit, bei einer Behördenanfrage oder nach einem Vorfall, und dann mit Unterlagen, die das Problem eher belegen als entkräften. Dazu kommt ein schleichender Schaden: Beschäftigte, die das QMS als Hindernis erleben, suchen Wege daran vorbei.

Praxisbeispiele

Doppeltes Änderungswesen. Ein Hersteller von Diagnosesoftware führt ein QMS für Medizinprodukte und daneben ein eigenes für die KI-Verordnung. Jede Modelländerung braucht zwei Anträge in zwei Werkzeugen. Nach einem Jahr widersprechen sich beide Stände: Eine Änderung gilt in einem System als freigegeben, im anderen als offen.

Risikofragebogen als Formsache. Ein Anbieter einer KI, die Schichten in Pflegeeinrichtungen plant, lässt zu jedem Sprint einen Fragebogen mit dreißig Fragen ausfüllen. Die Antworten sind seit Monaten identisch. Als Beschäftigte über eine ungleiche Verteilung von Nachtschichten klagen, findet sich in keinem Fragebogen ein Hinweis darauf, obwohl die Daten es gezeigt hätten.

Gestaute Sicherheitskorrektur. Ein Anbieter eines Wartungsassistenten für Aufzüge entdeckt einen Fehler in der Prognose von Bremsverschleiß. Die Korrektur ist klein, muss aber wie jede Änderung durch das monatliche Freigabegremium. Bis dahin vergehen drei Wochen, in denen Betreiber weiter mit falschen Prognosen arbeiten.

Wirksame Maßnahmen

Die KI-Anbieterrichtlinie aus dem KI-Compliance-Starter-Kit setzt an diesen Stellen an:

  • Abschnitt 2 (Zweck und Geltungsbereich): Der Umfang jedes Aspekts richtet sich nach der Größe der Organisation, keiner entfällt. Die Richtlinie ordnet das bestehende KI-Managementsystem den Anforderungen des Art. 17 zu, ein zweites Managementsystem entsteht dadurch nicht.
  • Abschnitt 3 (Prozesse des Qualitätsmanagementsystems): Jeder Prozess hat eine eigene Überwachung, die seine Ergebnisse misst. So zeigt sich, ob er wirkt oder nur läuft.
  • Abschnitt 12 (Entwicklung und Qualitätssicherung): Änderungen am QMS werden vor der Freigabe auf ihre Auswirkung auf das QMS und auf jedes Anbietersystem bewertet.
  • Abschnitt 16 (Risikomanagement): Die Risiken des QMS stehen im KI-Risikoregister unter einer eigenen Kategorie, ihre Maßnahmen werden in der Managementbewertung auf Wirksamkeit bewertet.
  • Abschnitt 17 (Beobachtung nach dem Inverkehrbringen): Die Dringlichkeit einer Korrektur richtet sich nach dem Schadensausmaß, die Reaktionszeiten sind je System festgehalten.
  • Abschnitt 26 (Überprüfung und Pflege): Die Richtlinie wird mindestens jährlich überprüft, das ist der feste Termin, um überflüssige Schritte zu streichen.

Aus ISO/IEC 42001 tragen diese Kontrollen bei:

  • A.2 Richtlinien für KI: Die Abstimmung mit anderen Richtlinien deckt Überschneidungen auf, die regelmäßige Überprüfung hält die Regeln angemessen.
  • A.3 Interne Organisation: Klare Zuständigkeiten verkürzen Freigabeketten, und ein Weg für Bedenken macht hinderliche Abläufe sichtbar.
  • A.4 Ressourcen für KI-Systeme: Die Dokumentation der personellen Ressourcen zeigt, wie viel Kapazität das QMS tatsächlich bindet.

Bezug zur KI-Verordnung

Art. 17 Abs. 2 der Verordnung (EU) 2024/1689 bestimmt, dass die Umsetzung der Aspekte des QMS in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters steht. Die Strenge und das Schutzniveau, die für die Konformität der Hochrisiko-Systeme erforderlich sind, muss der Anbieter dabei in jedem Fall wahren. Art. 17 Abs. 3 erlaubt Anbietern, die nach sektoralem Unionsrecht bereits ein QMS führen, die Aspekte des Abs. 1 dort aufzunehmen. Beides wirkt unmittelbar gegen unerwünschte Wirkungen. Für die Konformitätsvermutung ist wichtig: Sie bezieht sich auf Art. 17 Abs. 1, im Umfang von Anhang ZA der EN 18286; Abs. 2 bis 4 liegen außerhalb der Norm (→ EN 18286: Qualitätsmanagementsystem für KI-Anbieter).

Verwandte QMS-Risiken

Quellen

Häufig gestellte Fragen

Darf ein kleiner Anbieter sein QMS schlanker halten?

Ja. Art. 17 Abs. 2 der KI-Verordnung verlangt eine Umsetzung, die zur Größe der Organisation passt. Die Strenge und das Schutzniveau, die für die Konformität der Hochrisiko-Systeme nötig sind, bleiben dabei bestehen. Jeder der dreizehn Aspekte des Art. 17 Abs. 1 darf schlank ausfallen, keiner darf fehlen.

Woran erkenne ich, dass ein Ablauf nur noch formal erfüllt wird?

An gleichförmigen Einträgen, an Checklisten, die gesammelt am Ende eines Zeitraums ausgefüllt werden, und an Freigaben, die wenige Minuten nach dem Antrag erteilt sind. Ein weiteres Zeichen: Der Ablauf hat noch nie einen Befund geliefert. Dann ist er entweder überflüssig oder wird nicht ernsthaft durchlaufen.

Wie hängt QMS-02 mit QMS-01 zusammen?

Eng. Überladene Abläufe werden umgangen, und dann verfehlt das QMS seine Ergebnisse. Umgekehrt kann eine Behandlung von QMS-01 mit immer neuen Kontrollschritten genau die Last erzeugen, die QMS-02 beschreibt. Deshalb lohnt es sich, beide Risiken gemeinsam zu bewerten.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.