Ein Anbieter eines Systems, das in Notaufnahmen die Behandlungsdringlichkeit vorschlägt, hat genau eine Person, die die Beobachtung nach dem Inverkehrbringen auswerten kann und versteht, was die Kennzahlen klinisch bedeuten. Sie wechselt zu einem anderen Arbeitgeber. Die Auswertungen übernimmt eine Werkstudentin, die die Berichte sauber fortschreibt, Abweichungen aber nicht deuten kann. Zur gleichen Zeit schreibt dieselbe kleine Gruppe die technische Dokumentation für ein zweites System. Die Abläufe hängen an Menschen, und genau die fehlen.
EN 18286 verlangt in Kapitel 6.1.3, beim Umgang mit Risiken des Qualitätsmanagementsystems (QMS) die Verfügbarkeit von Ressourcen und Kompetenz zu berücksichtigen. Die Norm verweist dafür auf ihre Kapitel 7.1 (Ressourcen) und 7.2 (Kompetenz). Das Risiko: Für Prüfung, Beobachtung oder Dokumentation stehen nicht genug Personen mit dem nötigen Wissen bereit.
Was steckt dahinter?
Jeder Ablauf im QMS braucht jemanden, der ihn ausführt und versteht, was er tut. Ein Testbericht ist nur so gut wie die Person, die entscheidet, welche Fälle getestet werden und was ein Ergebnis bedeutet. EN 18286 zählt zu den Ressourcen ausdrücklich Personal mit seinen Kompetenzen, anwendungs- und technikspezifisches Wissen, Infrastruktur für Entwurf, Entwicklung und Test sowie die Versorgungssicherheit (Kapitel 7.1).
Wie der Mangel aussieht
- Wissen in einem Kopf. Eine einzelne Person kennt die Beobachtung, das Testverfahren oder die regulatorischen Anforderungen. Fällt sie aus, steht der Ablauf.
- Konkurrierende Aufgaben. Dieselben Menschen entwickeln neue Funktionen und führen das QMS. Unter Termindruck verliert die Dokumentation.
- Lücken im Fachwissen. Es fehlt Wissen über die KI-Verordnung, über das Einsatzgebiet (etwa Medizin oder Arbeitsrecht), über Testmethoden für die eingesetzte Technik oder über Verzerrungen und ihre Wirkung auf Grundrechte.
- Zu wenige für unabhängige Prüfung. In kleinen Teams lässt sich kaum vermeiden, dass jemand eigene Arbeit prüft.
- Fehlende Infrastruktur. Rechenleistung oder Testumgebungen reichen nicht für einen vollständigen Prüfdurchgang.
Welche Kompetenz es braucht
EN 18286 verlangt, die nötigen Kompetenzen zu bestimmen, sie durch Ausbildung, Schulung oder Erfahrung sicherzustellen, Lücken zu schließen und das zu dokumentieren (Kapitel 7.2). Wie hoch die Anforderungen sind, hängt nach der Norm unter anderem von Zweckbestimmung und vorhersehbarer Fehlanwendung ab, von Technik und Daten, von den Risiken für betroffene Personen und von der Barrierefreiheit für unterschiedliche Nutzergruppen.
Schadensausmaß
Fehlende Ressourcen führen fast immer zu QMS-01: Prüfungen werden verkürzt, Auswertungen verschoben, Dokumente bleiben lückenhaft. Gefährlicher ist der Fall, in dem der Ablauf formal läuft, die Person aber die Signale nicht erkennt. Dann gehen Hinweise auf Verzerrungen, Leistungsabfall oder neue Risiken unter, und ein schwerwiegender Vorfall wird womöglich falsch eingeschätzt. Der Schaden trifft zuerst die Menschen, über die das System entscheidet, danach den Anbieter, dessen Nachweise der Prüfung durch Behörde oder notifizierte Stelle nicht standhalten.
Praxisbeispiele
Ausfall der Schlüsselperson. Das Beispiel vom Anfang zeigt das häufigste Muster: Die Beobachtung läuft weiter, die Deutung fehlt. Eine allmähliche Zunahme zu niedrig eingestufter Fälle bei älteren Patientinnen und Patienten taucht in den Berichten auf und wird erst Monate später bemerkt.
Kleines Team, keine unabhängige Prüfung. Ein Anbieter mit sechs Beschäftigten entwickelt eine KI, die Bewerberinnen und Bewerber Ausbildungsplätzen zuordnet. Verifizierung und Freigabe liegen bei denselben zwei Personen. Gelöst wird das mit einer externen Prüferin, die vertraglich eingebunden ist und jede Freigabe gegenliest.
Rechenleistung aufgebraucht. Ein Anbieter einer Sprachanalyse für die Kreditvergabe hat das Budget für Rechenleistung im Training verbraucht. Der vollständige Testdurchgang für die neue Version passt nicht mehr hinein, also läuft eine verkürzte Prüfung. Den Testplan hat dafür niemand geändert.
Wirksame Maßnahmen
Die KI-Anbieterrichtlinie aus dem KI-Compliance-Starter-Kit setzt an diesen Stellen an:
- Abschnitt 8 (Lebenszyklusprozesse): Je Phase werden die benötigten internen und externen Ressourcen bestimmt: Personen mit ihrer Fachkunde, Rechenleistung, Werkzeuge und Modelle sowie Daten.
- Abschnitt 9 (Konzeption): Schon vor dem Entwurf wird geprüft, ob Daten, Modelle, Rechenleistung und Fachkunde für das System zur Verfügung stehen.
- Abschnitt 22 (Lenkung dokumentierter Information): Ein geändertes Dokument wird von einer Person mit der Kompetenz für den betroffenen Aspekt geprüft und freigegeben.
- Abschnitt 23 (Ressourcen und Versorgungssicherheit): Die Ressourcen werden bei jedem neuen Anbietersystem und bei der jährlichen Überprüfung der Richtlinie beurteilt.
- Abschnitt 24 (Rollen und Verantwortlichkeiten): Die Verteilung legt fest, wer verantwortlich ist und wer beteiligt wird, auch für die Kompetenz. Prüfende Personen prüfen keine eigene Arbeit, und jeder Wechsel einer Zuweisung wird mit Datum festgehalten.
Aus ISO/IEC 42001 tragen diese Kontrollen bei:
- A.4 Ressourcen für KI-Systeme: Die personellen Ressourcen werden je Lebenszyklusphase dokumentiert, mit dem Fachwissen, das jede Phase braucht.
- A.3 Interne Organisation: Rollen und Verantwortlichkeiten werden nach Bedarf festgelegt und zugewiesen, damit kein Bereich ohne Zuständigkeit bleibt.
Die Managementbewertung nach EN 18286 schließt mit Entscheidungen zum Ressourcenbedarf (Kapitel 10.1). Dort gehören die Anzeichen für Engpässe auf den Tisch.
Bezug zur KI-Verordnung
Art. 17 Abs. 1 der Verordnung (EU) 2024/1689 nennt unter den Mindestinhalten des QMS das Ressourcenmanagement einschließlich Maßnahmen zur Versorgungssicherheit (Buchstabe l) und einen Rahmen für die Rechenschaftspflicht, der die Verantwortlichkeiten der Leitung und des übrigen Personals für alle Aspekte festlegt (Buchstabe m). Nach Abs. 2 richtet sich der Umfang nach der Größe der Organisation, die Strenge und das Schutzniveau für die Konformität der Hochrisiko-Systeme bleiben aber gewahrt. Ein kleiner Anbieter darf also schlank arbeiten, die nötige Kompetenz muss er trotzdem aufbringen. Zur Reichweite der Konformitätsvermutung beim Einsatz der Norm siehe EN 18286: Qualitätsmanagementsystem für KI-Anbieter.
Verwandte QMS-Risiken
- QMS-01 Das QMS verfehlt seine beabsichtigten Ergebnisse: Fehlende Menschen sind die häufigste Ursache für ausgefallene Abläufe.
- QMS-02 Unerwünschte Wirkungen des QMS: Ein überladenes QMS verschärft jeden Engpass.
- QMS-04 Eingesetzte KI-Technologien überfordern die Abläufe: Neue Technik verlangt Wissen, das im Team oft noch fehlt.
Quellen
- EN 18286:2026, Kapitel 6.1.3 d, 7.1 (Ressourcen), 7.2 (Kompetenz) und 10.1 (Managementbewertung)
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 17 Abs. 1 Buchstaben l und m, Art. 17 Abs. 2
- KI-Anbieterrichtlinie, Abschnitte 8, 9, 22, 23 und 24
- EN 18286: Qualitätsmanagementsystem für KI-Anbieter im Cenedril-Wiki