Zum Hauptinhalt springen
QMS-Risiko · EN 18286

QMS-04 Eingesetzte KI-Technologien überfordern die Abläufe

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EN 18286EU AI ActISO/IEC 42001

Ein Anbieter einer Software, die in Kliniken das Risiko einer Sepsis vorhersagt, hat seine Abläufe für klassische Modelle gebaut: fester Trainingsdatensatz, festes Testset, Freigabe der Version. Dann ergänzt das Team eine Auswertung von Arztbriefen über ein großes Sprachmodell eines Fremdanbieters. Der Freigabeablauf prüft weiterhin die eigene Anwendungsversion. Dass der Modellanbieter sein Modell hinter der Schnittstelle aktualisiert, ist in keinem Schritt vorgesehen. Die Abläufe prüfen sorgfältig, was sich nicht ändert, und übersehen, was sich ändert.

EN 18286 verlangt in Kapitel 6.1.3, beim Umgang mit Risiken des Qualitätsmanagementsystems (QMS) die eingesetzten KI-Technologien zu berücksichtigen. Die Norm nennt als Spielarten verschiedene Ansätze des maschinellen Lernens, Expertensysteme, logikbasierte Verfahren und spezielle Schaltkreise. Jede davon stellt andere Anforderungen an Prüfung, Freigabe und Beobachtung.

Was steckt dahinter?

Abläufe entstehen für die Technik, die zum Zeitpunkt ihrer Planung im Haus ist. Kommt eine neue Technik hinzu, passen die alten Prüfschritte oft nur noch scheinbar. Sie laufen durch, erfassen aber die Eigenschaften nicht, die bei der neuen Technik das Risiko ausmachen.

Drei typische Lücken

  • Weiterlernende Systeme. Ein System, das nach der Bereitstellung weiterlernt, ändert sein Verhalten ohne neuen Freigabevorgang. Ein Ablauf, der nur Versionen freigibt, sieht diese Änderungen nicht. EN 18286 verlangt deshalb, die vorbestimmten Änderungen im Entwurf festzulegen, sie zu verifizieren und zu validieren und alle Änderungen zu protokollieren (Kapitel 8.8).
  • Fremdmodelle. Ein über eine Schnittstelle eingebundenes Modell kann sich ändern, ohne dass der Anbieter des Hochrisiko-Systems etwas dafür tut. Wer Modellversion und Bezugsquelle nicht getrennt von der eigenen Anwendung führt, merkt den Wechsel erst an den Ergebnissen.
  • Neue Modelltypen. Für generative Modelle mit offenen Ausgaben reicht eine Trefferquote auf einem festen Testset kaum aus. Üblich sind zusätzliche Prüfungen auf erfundene Inhalte, auf Ausweichverhalten und auf Anfälligkeit für manipulierte Eingaben.

Warum die Lücke unbemerkt bleibt

Die Prüfschritte sind formal erfüllt, die Berichte sehen vertraut aus. Oft fehlt auch das Wissen, die Lücke zu erkennen: EN 18286 verlangt, bei den Kompetenzanforderungen die Art der eingesetzten KI-Technologien zu berücksichtigen (Kapitel 7.2.3). Wer nur klassische Modelle geprüft hat, fragt bei einem Sprachmodell nicht unbedingt nach den richtigen Dingen.

Schadensausmaß

Ungeprüfte Verhaltensänderungen erreichen die Menschen, die das System betrifft. Bei weiterlernenden Systemen können sich verzerrte Ergebnisse über Rückkopplungsschleifen verstärken, was Art. 15 Abs. 4 der KI-Verordnung gerade verhindern will. Rechtlich besonders heikel ist eine wesentliche Änderung, die niemand als solche erkennt: Sie verlangt nach Art. 43 Abs. 4 eine neue Konformitätsbewertung, und ohne diese ist das System im Einsatz nicht mehr durch die bisherige Bewertung gedeckt. Die technische Dokumentation beschreibt dann ein System, das so nicht mehr läuft.

Praxisbeispiele

Stille Aktualisierung. Ein Anbieter eines Systems, das Bewerbungen nach Eignung sortiert, nutzt für die Textanalyse ein Modell mit allgemeinem Verwendungszweck. Der Modellanbieter stellt eine neue Version bereit, die Schnittstelle bleibt gleich. Drei Wochen später fällt auf, dass Bewerbungen mit bestimmten Formulierungen anders eingestuft werden. Getestet hatte die neue Version niemand.

Lernen im Betrieb. Ein Anbieter eines Systems, das Betrugsverdacht bei Sozialleistungen markiert, lässt das Modell aus den Entscheidungen der Sachbearbeitung weiterlernen. Weil die Sachbearbeitung vor allem markierte Fälle prüft, lernt das Modell aus seinen eigenen Vorschlägen. Die Markierungsquote für eine Postleitzahlregion steigt Monat für Monat.

Neue Hardware. Ein Anbieter verlagert ein Modell zur Fehlererkennung an Druckbehältern auf ein Gerät direkt an der Anlage und komprimiert es dafür. Der Freigabeablauf prüft die Software, das komprimierte Modell auf der neuen Hardware wird nicht gesondert validiert.

Wirksame Maßnahmen

Die KI-Anbieterrichtlinie aus dem KI-Compliance-Starter-Kit setzt an diesen Stellen an:

  • Abschnitt 4 (Strategie zur Einhaltung der Regulierungsvorschriften): Weiterlernende Systeme werden gesondert behandelt. Ihre Ausgaben fließen nicht ungeprüft zurück, ihre vorbestimmten Änderungen stehen im Entwurf und in der technischen Dokumentation, und der Wechsel des zugrunde liegenden Modells gilt als wesentliche Änderung.
  • Abschnitt 12 (Entwicklung und Qualitätssicherung): Modellversion und Bezugsquelle eines zugekauften Modells werden getrennt von der Anwendungsversion geführt. Kommt ein neues System unter das QMS oder wird eines wesentlich geändert, wird geprüft, ob die Prozesse zu überarbeiten sind.
  • Abschnitt 13 (Prüfung, Test und Validierung): Testarten, Testdaten, Kennzahlen und Annahmeschwellen werden je System festgehalten und mit jeder Modellversion fortgeschrieben.
  • Abschnitt 23 (Ressourcen und Versorgungssicherheit): Zugelieferte Modelle werden vor der Verwendung abgenommen, verifiziert und validiert, und jede neue Version wird erneut geprüft.

Aus ISO/IEC 42001 tragen diese Kontrollen bei:

Bezug zur KI-Verordnung

Art. 17 Abs. 1 der Verordnung (EU) 2024/1689 verlangt Verfahren für Entwurf, Entwicklung, Qualitätssicherung sowie für Prüfung, Test und Validierung samt ihrer Häufigkeit (Buchstaben b bis d). Diese Verfahren müssen zur eingesetzten Technik passen, sonst sichern sie die Konformität nicht. Für weiterlernende Systeme verlangt Art. 15 Abs. 4, das Risiko verzerrter Rückkopplungen so weit wie möglich zu beseitigen oder zu verringern. Art. 43 Abs. 4 nimmt vorbestimmte Änderungen, die bei der ersten Konformitätsbewertung festgelegt wurden, von der wesentlichen Änderung aus. Für zugelieferte Werkzeuge, Dienste und Komponenten verlangt Art. 25 Abs. 4 eine schriftliche Vereinbarung über Informationen und technischen Zugang. EN 18286 stützt diese Pflichten im QMS ab; zur Reichweite der Konformitätsvermutung siehe EN 18286: Qualitätsmanagementsystem für KI-Anbieter.

Verwandte QMS-Risiken

Quellen

Häufig gestellte Fragen

Was ist eine vorbestimmte Änderung?

Eine Änderung eines weiterlernenden Systems, die schon im Entwurf festgelegt und in der technischen Dokumentation beschrieben ist. Wurde sie bei der ersten Konformitätsbewertung so festgelegt, gilt sie nach Art. 43 Abs. 4 der KI-Verordnung nicht als wesentliche Änderung. Jede Ausführung wird trotzdem verifiziert, validiert und protokolliert.

Ist der Wechsel auf ein anderes Fremdmodell eine wesentliche Änderung?

Die Verordnung legt das nicht pauschal fest. Wesentlich ist eine ungeplante Änderung, die die Erfüllung der Anforderungen berührt oder die Zweckbestimmung ändert (Art. 3 Nr. 23), und EN 18286 verlangt, die Begründung der Einstufung festzuhalten. Die KI-Anbieterrichtlinie zählt den Wechsel des zugrunde liegenden Modells ausdrücklich zu den wesentlichen Änderungen.

Wann muss ich meine Abläufe an eine neue Technologie anpassen?

EN 18286 verlangt eine Prüfung, sobald ein neues KI-System unter das QMS fällt oder ein bestehendes wesentlich geändert wird. Anhand der Eigenschaften des Systems wird dann entschieden, ob die Prozesse zu überarbeiten sind. Bewährt hat sich, dieselbe Frage auch zu stellen, wenn in einem bestehenden System ein neuer Modelltyp eingesetzt wird.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.