Zum Hauptinhalt springen
QMS-Risiko · EN 18286

QMS-06 Fehlende Ressourcen oder Kompetenzen

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EN 18286EU AI ActISO/IEC 42001

Ein Anbieter eines Systems, das in Notaufnahmen die Behandlungsdringlichkeit vorschlägt, hat genau eine Person, die die Beobachtung nach dem Inverkehrbringen auswerten kann und versteht, was die Kennzahlen klinisch bedeuten. Sie wechselt zu einem anderen Arbeitgeber. Die Auswertungen übernimmt eine Werkstudentin, die die Berichte sauber fortschreibt, Abweichungen aber nicht deuten kann. Zur gleichen Zeit schreibt dieselbe kleine Gruppe die technische Dokumentation für ein zweites System. Die Abläufe hängen an Menschen, und genau die fehlen.

EN 18286 verlangt in Kapitel 6.1.3, beim Umgang mit Risiken des Qualitätsmanagementsystems (QMS) die Verfügbarkeit von Ressourcen und Kompetenz zu berücksichtigen. Die Norm verweist dafür auf ihre Kapitel 7.1 (Ressourcen) und 7.2 (Kompetenz). Das Risiko: Für Prüfung, Beobachtung oder Dokumentation stehen nicht genug Personen mit dem nötigen Wissen bereit.

Was steckt dahinter?

Jeder Ablauf im QMS braucht jemanden, der ihn ausführt und versteht, was er tut. Ein Testbericht ist nur so gut wie die Person, die entscheidet, welche Fälle getestet werden und was ein Ergebnis bedeutet. EN 18286 zählt zu den Ressourcen ausdrücklich Personal mit seinen Kompetenzen, anwendungs- und technikspezifisches Wissen, Infrastruktur für Entwurf, Entwicklung und Test sowie die Versorgungssicherheit (Kapitel 7.1).

Wie der Mangel aussieht

  • Wissen in einem Kopf. Eine einzelne Person kennt die Beobachtung, das Testverfahren oder die regulatorischen Anforderungen. Fällt sie aus, steht der Ablauf.
  • Konkurrierende Aufgaben. Dieselben Menschen entwickeln neue Funktionen und führen das QMS. Unter Termindruck verliert die Dokumentation.
  • Lücken im Fachwissen. Es fehlt Wissen über die KI-Verordnung, über das Einsatzgebiet (etwa Medizin oder Arbeitsrecht), über Testmethoden für die eingesetzte Technik oder über Verzerrungen und ihre Wirkung auf Grundrechte.
  • Zu wenige für unabhängige Prüfung. In kleinen Teams lässt sich kaum vermeiden, dass jemand eigene Arbeit prüft.
  • Fehlende Infrastruktur. Rechenleistung oder Testumgebungen reichen nicht für einen vollständigen Prüfdurchgang.

Welche Kompetenz es braucht

EN 18286 verlangt, die nötigen Kompetenzen zu bestimmen, sie durch Ausbildung, Schulung oder Erfahrung sicherzustellen, Lücken zu schließen und das zu dokumentieren (Kapitel 7.2). Wie hoch die Anforderungen sind, hängt nach der Norm unter anderem von Zweckbestimmung und vorhersehbarer Fehlanwendung ab, von Technik und Daten, von den Risiken für betroffene Personen und von der Barrierefreiheit für unterschiedliche Nutzergruppen.

Schadensausmaß

Fehlende Ressourcen führen fast immer zu QMS-01: Prüfungen werden verkürzt, Auswertungen verschoben, Dokumente bleiben lückenhaft. Gefährlicher ist der Fall, in dem der Ablauf formal läuft, die Person aber die Signale nicht erkennt. Dann gehen Hinweise auf Verzerrungen, Leistungsabfall oder neue Risiken unter, und ein schwerwiegender Vorfall wird womöglich falsch eingeschätzt. Der Schaden trifft zuerst die Menschen, über die das System entscheidet, danach den Anbieter, dessen Nachweise der Prüfung durch Behörde oder notifizierte Stelle nicht standhalten.

Praxisbeispiele

Ausfall der Schlüsselperson. Das Beispiel vom Anfang zeigt das häufigste Muster: Die Beobachtung läuft weiter, die Deutung fehlt. Eine allmähliche Zunahme zu niedrig eingestufter Fälle bei älteren Patientinnen und Patienten taucht in den Berichten auf und wird erst Monate später bemerkt.

Kleines Team, keine unabhängige Prüfung. Ein Anbieter mit sechs Beschäftigten entwickelt eine KI, die Bewerberinnen und Bewerber Ausbildungsplätzen zuordnet. Verifizierung und Freigabe liegen bei denselben zwei Personen. Gelöst wird das mit einer externen Prüferin, die vertraglich eingebunden ist und jede Freigabe gegenliest.

Rechenleistung aufgebraucht. Ein Anbieter einer Sprachanalyse für die Kreditvergabe hat das Budget für Rechenleistung im Training verbraucht. Der vollständige Testdurchgang für die neue Version passt nicht mehr hinein, also läuft eine verkürzte Prüfung. Den Testplan hat dafür niemand geändert.

Wirksame Maßnahmen

Die KI-Anbieterrichtlinie aus dem KI-Compliance-Starter-Kit setzt an diesen Stellen an:

  • Abschnitt 8 (Lebenszyklusprozesse): Je Phase werden die benötigten internen und externen Ressourcen bestimmt: Personen mit ihrer Fachkunde, Rechenleistung, Werkzeuge und Modelle sowie Daten.
  • Abschnitt 9 (Konzeption): Schon vor dem Entwurf wird geprüft, ob Daten, Modelle, Rechenleistung und Fachkunde für das System zur Verfügung stehen.
  • Abschnitt 22 (Lenkung dokumentierter Information): Ein geändertes Dokument wird von einer Person mit der Kompetenz für den betroffenen Aspekt geprüft und freigegeben.
  • Abschnitt 23 (Ressourcen und Versorgungssicherheit): Die Ressourcen werden bei jedem neuen Anbietersystem und bei der jährlichen Überprüfung der Richtlinie beurteilt.
  • Abschnitt 24 (Rollen und Verantwortlichkeiten): Die Verteilung legt fest, wer verantwortlich ist und wer beteiligt wird, auch für die Kompetenz. Prüfende Personen prüfen keine eigene Arbeit, und jeder Wechsel einer Zuweisung wird mit Datum festgehalten.

Aus ISO/IEC 42001 tragen diese Kontrollen bei:

  • A.4 Ressourcen für KI-Systeme: Die personellen Ressourcen werden je Lebenszyklusphase dokumentiert, mit dem Fachwissen, das jede Phase braucht.
  • A.3 Interne Organisation: Rollen und Verantwortlichkeiten werden nach Bedarf festgelegt und zugewiesen, damit kein Bereich ohne Zuständigkeit bleibt.

Die Managementbewertung nach EN 18286 schließt mit Entscheidungen zum Ressourcenbedarf (Kapitel 10.1). Dort gehören die Anzeichen für Engpässe auf den Tisch.

Bezug zur KI-Verordnung

Art. 17 Abs. 1 der Verordnung (EU) 2024/1689 nennt unter den Mindestinhalten des QMS das Ressourcenmanagement einschließlich Maßnahmen zur Versorgungssicherheit (Buchstabe l) und einen Rahmen für die Rechenschaftspflicht, der die Verantwortlichkeiten der Leitung und des übrigen Personals für alle Aspekte festlegt (Buchstabe m). Nach Abs. 2 richtet sich der Umfang nach der Größe der Organisation, die Strenge und das Schutzniveau für die Konformität der Hochrisiko-Systeme bleiben aber gewahrt. Ein kleiner Anbieter darf also schlank arbeiten, die nötige Kompetenz muss er trotzdem aufbringen. Zur Reichweite der Konformitätsvermutung beim Einsatz der Norm siehe EN 18286: Qualitätsmanagementsystem für KI-Anbieter.

Verwandte QMS-Risiken

Quellen

Häufig gestellte Fragen

Welche Kompetenzen verlangt EN 18286?

Eine feste Liste gibt die Norm nicht vor. Der Anbieter bestimmt die nötigen Kompetenzen für alle, deren Arbeit das QMS beeinflusst, sorgt durch Ausbildung, Schulung oder Erfahrung dafür, dass sie vorhanden sind, und dokumentiert das. Die Anforderungen hängen unter anderem von Zweckbestimmung, vorhersehbarer Fehlanwendung, eingesetzter Technik, verarbeiteten Daten und den Risiken für betroffene Personen ab.

Darf ich Kompetenzen von außen einkaufen?

Ja. EN 18286 nennt ausdrücklich auch das Fachwissen von Personen außerhalb des Anbieters als Quelle. Externe Fachleute erhalten dann eine Rolle in der Verteilung der Verantwortung, und ihre Arbeit wird wie interne Arbeit geprüft. Die Abhängigkeit von ihnen gehört als eigenes Risiko in die Bewertung.

Woran erkenne ich früh, dass Ressourcen fehlen?

An überfälligen Auswertungen, an Korrekturmaßnahmen, die lange offen bleiben, an offenen Schulungen und an einem Namen, der in vielen Zeilen der Rollenverteilung steht. Die Managementbewertung nach EN 18286 hält Änderungen am Ressourcenbedarf ausdrücklich als Ergebnis fest. Bewährt hat sich, diese Anzeichen dort regelmäßig vorzulegen.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.