Ein Anbieter einer Software, die in Kliniken das Risiko einer Sepsis vorhersagt, hat seine Abläufe für klassische Modelle gebaut: fester Trainingsdatensatz, festes Testset, Freigabe der Version. Dann ergänzt das Team eine Auswertung von Arztbriefen über ein großes Sprachmodell eines Fremdanbieters. Der Freigabeablauf prüft weiterhin die eigene Anwendungsversion. Dass der Modellanbieter sein Modell hinter der Schnittstelle aktualisiert, ist in keinem Schritt vorgesehen. Die Abläufe prüfen sorgfältig, was sich nicht ändert, und übersehen, was sich ändert.
EN 18286 verlangt in Kapitel 6.1.3, beim Umgang mit Risiken des Qualitätsmanagementsystems (QMS) die eingesetzten KI-Technologien zu berücksichtigen. Die Norm nennt als Spielarten verschiedene Ansätze des maschinellen Lernens, Expertensysteme, logikbasierte Verfahren und spezielle Schaltkreise. Jede davon stellt andere Anforderungen an Prüfung, Freigabe und Beobachtung.
Was steckt dahinter?
Abläufe entstehen für die Technik, die zum Zeitpunkt ihrer Planung im Haus ist. Kommt eine neue Technik hinzu, passen die alten Prüfschritte oft nur noch scheinbar. Sie laufen durch, erfassen aber die Eigenschaften nicht, die bei der neuen Technik das Risiko ausmachen.
Drei typische Lücken
- Weiterlernende Systeme. Ein System, das nach der Bereitstellung weiterlernt, ändert sein Verhalten ohne neuen Freigabevorgang. Ein Ablauf, der nur Versionen freigibt, sieht diese Änderungen nicht. EN 18286 verlangt deshalb, die vorbestimmten Änderungen im Entwurf festzulegen, sie zu verifizieren und zu validieren und alle Änderungen zu protokollieren (Kapitel 8.8).
- Fremdmodelle. Ein über eine Schnittstelle eingebundenes Modell kann sich ändern, ohne dass der Anbieter des Hochrisiko-Systems etwas dafür tut. Wer Modellversion und Bezugsquelle nicht getrennt von der eigenen Anwendung führt, merkt den Wechsel erst an den Ergebnissen.
- Neue Modelltypen. Für generative Modelle mit offenen Ausgaben reicht eine Trefferquote auf einem festen Testset kaum aus. Üblich sind zusätzliche Prüfungen auf erfundene Inhalte, auf Ausweichverhalten und auf Anfälligkeit für manipulierte Eingaben.
Warum die Lücke unbemerkt bleibt
Die Prüfschritte sind formal erfüllt, die Berichte sehen vertraut aus. Oft fehlt auch das Wissen, die Lücke zu erkennen: EN 18286 verlangt, bei den Kompetenzanforderungen die Art der eingesetzten KI-Technologien zu berücksichtigen (Kapitel 7.2.3). Wer nur klassische Modelle geprüft hat, fragt bei einem Sprachmodell nicht unbedingt nach den richtigen Dingen.
Schadensausmaß
Ungeprüfte Verhaltensänderungen erreichen die Menschen, die das System betrifft. Bei weiterlernenden Systemen können sich verzerrte Ergebnisse über Rückkopplungsschleifen verstärken, was Art. 15 Abs. 4 der KI-Verordnung gerade verhindern will. Rechtlich besonders heikel ist eine wesentliche Änderung, die niemand als solche erkennt: Sie verlangt nach Art. 43 Abs. 4 eine neue Konformitätsbewertung, und ohne diese ist das System im Einsatz nicht mehr durch die bisherige Bewertung gedeckt. Die technische Dokumentation beschreibt dann ein System, das so nicht mehr läuft.
Praxisbeispiele
Stille Aktualisierung. Ein Anbieter eines Systems, das Bewerbungen nach Eignung sortiert, nutzt für die Textanalyse ein Modell mit allgemeinem Verwendungszweck. Der Modellanbieter stellt eine neue Version bereit, die Schnittstelle bleibt gleich. Drei Wochen später fällt auf, dass Bewerbungen mit bestimmten Formulierungen anders eingestuft werden. Getestet hatte die neue Version niemand.
Lernen im Betrieb. Ein Anbieter eines Systems, das Betrugsverdacht bei Sozialleistungen markiert, lässt das Modell aus den Entscheidungen der Sachbearbeitung weiterlernen. Weil die Sachbearbeitung vor allem markierte Fälle prüft, lernt das Modell aus seinen eigenen Vorschlägen. Die Markierungsquote für eine Postleitzahlregion steigt Monat für Monat.
Neue Hardware. Ein Anbieter verlagert ein Modell zur Fehlererkennung an Druckbehältern auf ein Gerät direkt an der Anlage und komprimiert es dafür. Der Freigabeablauf prüft die Software, das komprimierte Modell auf der neuen Hardware wird nicht gesondert validiert.
Wirksame Maßnahmen
Die KI-Anbieterrichtlinie aus dem KI-Compliance-Starter-Kit setzt an diesen Stellen an:
- Abschnitt 4 (Strategie zur Einhaltung der Regulierungsvorschriften): Weiterlernende Systeme werden gesondert behandelt. Ihre Ausgaben fließen nicht ungeprüft zurück, ihre vorbestimmten Änderungen stehen im Entwurf und in der technischen Dokumentation, und der Wechsel des zugrunde liegenden Modells gilt als wesentliche Änderung.
- Abschnitt 12 (Entwicklung und Qualitätssicherung): Modellversion und Bezugsquelle eines zugekauften Modells werden getrennt von der Anwendungsversion geführt. Kommt ein neues System unter das QMS oder wird eines wesentlich geändert, wird geprüft, ob die Prozesse zu überarbeiten sind.
- Abschnitt 13 (Prüfung, Test und Validierung): Testarten, Testdaten, Kennzahlen und Annahmeschwellen werden je System festgehalten und mit jeder Modellversion fortgeschrieben.
- Abschnitt 23 (Ressourcen und Versorgungssicherheit): Zugelieferte Modelle werden vor der Verwendung abgenommen, verifiziert und validiert, und jede neue Version wird erneut geprüft.
Aus ISO/IEC 42001 tragen diese Kontrollen bei:
- A.4 Ressourcen für KI-Systeme: Die Dokumentation der Werkzeug-Ressourcen hält fest, welche Modelltypen und Algorithmen ein System nutzt.
- A.6.1 Managementanleitung für die KI-Systementwicklung: Die Prozesse für eine verantwortungsvolle Entwicklung werden an die eingesetzte Technik angepasst.
- A.6.2 Lebenszyklus von KI-Systemen: Verifizierung, Validierung und Überwachung im Betrieb erfassen das tatsächliche Verhalten der eingesetzten Technik.
- A.10 Beziehungen zu Dritten und Kunden: Die Steuerung von Lieferanten schließt Modelle und Komponenten ein, die Dritte bereitstellen.
Bezug zur KI-Verordnung
Art. 17 Abs. 1 der Verordnung (EU) 2024/1689 verlangt Verfahren für Entwurf, Entwicklung, Qualitätssicherung sowie für Prüfung, Test und Validierung samt ihrer Häufigkeit (Buchstaben b bis d). Diese Verfahren müssen zur eingesetzten Technik passen, sonst sichern sie die Konformität nicht. Für weiterlernende Systeme verlangt Art. 15 Abs. 4, das Risiko verzerrter Rückkopplungen so weit wie möglich zu beseitigen oder zu verringern. Art. 43 Abs. 4 nimmt vorbestimmte Änderungen, die bei der ersten Konformitätsbewertung festgelegt wurden, von der wesentlichen Änderung aus. Für zugelieferte Werkzeuge, Dienste und Komponenten verlangt Art. 25 Abs. 4 eine schriftliche Vereinbarung über Informationen und technischen Zugang. EN 18286 stützt diese Pflichten im QMS ab; zur Reichweite der Konformitätsvermutung siehe EN 18286: Qualitätsmanagementsystem für KI-Anbieter.
Verwandte QMS-Risiken
- QMS-05 Fehlende Informationen oder Unterstützung Dritter: Wer ein Fremdmodell nicht versteht, weil Angaben des Anbieters fehlen, kann es auch nicht angemessen prüfen.
- QMS-06 Fehlende Ressourcen oder Kompetenzen: Neue Technik verlangt neues Wissen in Prüfung und Beobachtung.
- T07 Unausgereifte Technologie / Modelldrift: Die Gefährdung auf Ebene des Systems, wenn sich das Verhalten über die Zeit verschiebt.
Quellen
- EN 18286:2026, Kapitel 6.1.3 b, 7.2.3, 8.8, 9.4 und 10.2
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 23, Art. 15 Abs. 4, Art. 17 Abs. 1, Art. 25 Abs. 4 und Art. 43 Abs. 4
- KI-Anbieterrichtlinie, Abschnitte 4, 12, 13 und 23
- EN 18286: Qualitätsmanagementsystem für KI-Anbieter im Cenedril-Wiki