Zum Hauptinhalt springen
Missbrauchsmuster · KI-Verordnung

MU-14 Nutzung im Notbetrieb ohne die üblichen Kontrollen

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
EU AI ActISO/IEC 42001

Bei einem Versicherer fällt nach einem Cyberangriff das Fallbearbeitungssystem für zwei Wochen aus. Damit Schadenmeldungen nicht liegen bleiben, lässt die Abteilungsleitung das KI-System zur Schadenbewertung direkt an das Postfach anschließen. Die Prüfschritte, die Protokollierung und die Freigabe durch eine zweite Person hängen am ausgefallenen System und entfallen. Zwei Wochen lang gehen Bewertungen ungeprüft hinaus. In der Krise lief ausgerechnet das System ohne Aufsicht, dessen Aufsicht im Normalbetrieb als unverzichtbar galt.

Dieses Muster beschreibt KI-Systeme, die während einer Störung genutzt werden, während die begleitenden Kontrollen ausgesetzt sind. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13: Unter Druck greift jede Organisation zu dem Werkzeug, das noch funktioniert.

Was steckt dahinter?

Die Kontrollen rund um ein KI-System stehen selten im System selbst. Freigaben laufen über einen Workflow, Protokolle über eine zentrale Plattform, die Prüfung über Menschen, die gerade verfügbar sein müssen. Fällt einer dieser Bausteine aus, läuft das KI-System oft unverändert weiter, nur ohne seine Absicherung. Manchmal wird es in der Notlage sogar ausgeweitet, weil es Arbeit übernehmen soll, die sonst Menschen erledigen.

Wie es im Alltag dazu kommt

  • Abhängige Kontrollen. Protokollierung, Freigabeschritte oder Überwachung hängen an einem anderen System, das ausgefallen ist.
  • Personalmangel. Krankheitswellen, Streiks oder Urlaubszeiten lassen die prüfenden Personen fehlen.
  • Improvisation. Behelfsanbindungen, private Geräte oder öffentliche KI-Werkzeuge springen für ausgefallene Dienste ein.
  • Notfallpläne ohne KI. Der Plan regelt Server und Telefonie, KI-Systeme und ihre Kontrollen kommen darin nicht vor.
  • Vergessenes Nachholen. Nach der Wiederherstellung prüft niemand die Entscheidungen, die im Notbetrieb gefallen sind.

Warum es riskant ist

Störungen sind genau die Lage, in der ungewöhnliche Eingaben auftreten und Fehler am wahrscheinlichsten sind. Ohne Prüfung bleiben sie unentdeckt, ohne Protokolle lassen sie sich später nicht mehr aufklären. Angreifer nutzen Krisen gezielt aus, weil die Aufmerksamkeit woanders liegt. Und die Pflichten der Betreiber von Hochrisiko-Systemen nach Art. 26 KI-Verordnung ruhen in einer Störung nicht.

Schadensausmaß

Das Schadensausmaß ist hoch, weil sich Fehler über Tage oder Wochen anhäufen und weil die Organisation in der Krise kaum Kraft für Korrekturen hat. Betroffen sind Kundinnen und Kunden, Patientinnen und Patienten, bei sicherheitsrelevanten Systemen auch Leib und Leben. Der Notbetrieb verschärft die Risiken, für die Kontrollen gedacht sind, und schwächt gleichzeitig die Kontrollen selbst.

Praxisbeispiele

Notrufvorsortierung bei Hochwasser. Eine Leitstelle nutzt ein System, das eingehende Notrufe nach Dringlichkeit vorsortiert, und eine Disponentin prüft jede Einstufung. Bei einem Hochwasser vervielfachen sich die Anrufe, die Prüfung wird ausgesetzt. Mehrere Anrufe mit unklarer Schilderung landen weit hinten in der Warteschlange, obwohl Menschen in Lebensgefahr sind.

Öffentliches Werkzeug als Ersatz. Der interne, freigegebene KI-Dienst eines Unternehmens fällt für drei Tage aus. Beschäftigte weichen auf freie öffentliche Werkzeuge aus und kopieren Kundendaten hinein, weil die Arbeit weitergehen muss. Niemand hat diesen Fall vorher geregelt.

Überwachung während eines Umzugs. Ein Unternehmen verlegt seine Rechenzentren. Die Überwachung der Modellleistung wird für die Dauer des Umzugs abgeschaltet und erst Wochen später wieder eingerichtet. In der Zwischenzeit hat sich das Modell durch veränderte Daten verschlechtert, und keiner hat es bemerkt.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.

Prävention:

  • A.2 Richtlinien für KI: Die KI-Politik ist mit den übrigen Richtlinien der Organisation abgestimmt, auch mit denen zur Geschäftskontinuität, und gilt ausdrücklich auch in einer Störung.
  • A.3 Interne Organisation: Rollen legen fest, wer einen eingeschränkten Betrieb freigeben darf und wer die Rückkehr zu den vollen Kontrollen verantwortet.
  • A.6.2 Lebenszyklus von KI-Systemen: Die Vorgaben für den laufenden Betrieb umfassen Überwachung, Reparatur und Unterstützung. Bewährt hat sich, darin auch den Betrieb in einer Störung zu beschreiben.
  • A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung gelten unabhängig von der Betriebslage, und die menschliche Aufsicht bleibt Teil des Einsatzes.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Ereignisprotokolle und Überwachung zeigen, wann Kontrollen ausgefallen oder abgeschaltet waren, sofern sie unabhängig von den gestörten Systemen laufen.

Reaktion:

  • A.3 Interne Organisation: Nach der Störung werden die Entscheidungen aus dem Notbetrieb nachgeprüft, Fehler berichtigt und die Erfahrungen in den Notfallplan übernommen.

Ergänzend gelten die Kontrollen der ISO/IEC 27001 zur Informationssicherheit während einer Störung (A.5.29) und zur IKT-Bereitschaft für die Geschäftskontinuität (A.5.30). Die KI-Nutzungsrichtlinie bleibt auch im Notbetrieb verbindlich, insbesondere Abschnitt 3.3 zur Schatten-KI, Abschnitt 6 zur menschlichen Aufsicht und Abschnitt 10 zum Aussetzen von Hochrisiko-Systemen.

Bezug zur KI-Verordnung

Bei Hochrisiko-KI-Systemen bewertet der Anbieter die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt in der Gebrauchsanweisung die Umstände, die zu Risiken führen können (Art. 13 Abs. 3 lit. b Ziff. iii), sowie Wartung und Pflege (lit. e). Art. 15 Abs. 4 verlangt Widerstandsfähigkeit gegen Fehler und Störungen und nennt technische Redundanz mit Sicherungs- oder Störungssicherheitsplänen als mögliches Mittel. Die Aufsicht muss das System nach Art. 14 Abs. 4 lit. e in einen sicheren Zustand bringen können.

Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß der Gebrauchsanweisung, überträgt die Aufsicht nach Abs. 2 an befähigte Personen, überwacht den Betrieb nach Abs. 5 und setzt die Verwendung aus, wenn ein Risiko besteht. Die Protokolle bewahrt er nach Abs. 6 auf. Eine Ausnahme für betriebliche Notlagen enthält Art. 26 nicht (→ EU AI Act).

Verwandte Muster und Gefährdungen

Quellen

Häufig gestellte Fragen

Darf ich in einer Notlage auf einzelne Kontrollen verzichten?

Für betriebliche Störungen sieht die KI-Verordnung keine Lockerung der Betreiberpflichten vor. Möglich ist, vorab festzulegen, welche Kontrollen in einer Störung durch gleichwertige Ersatzmaßnahmen ersetzt werden, etwa eine manuelle Freigabeliste für ein ausgefallenes Freigabesystem. Lässt sich eine Kontrolle nicht ersetzen, ist das Anhalten des Systems meist die sicherere Wahl.

Gehören KI-Systeme in den Notfallplan?

Ja, sobald wichtige Abläufe von ihnen abhängen. Der Plan beantwortet zwei Fragen: Wie läuft der Ablauf weiter, wenn das KI-System ausfällt? Und was geschieht, wenn das KI-System läuft, aber die Kontrollen um es herum ausgefallen sind? Die zweite Frage wird oft vergessen.

Was passiert mit Entscheidungen aus der Zeit des Notbetriebs?

Sie werden nach der Rückkehr in den Normalbetrieb nachgeprüft, wenigstens stichprobenartig und bei folgenreichen Entscheidungen vollständig. Fehler werden berichtigt und Betroffene informiert. Diese Nachprüfung gehört als fester Schritt in den Notfallplan, sonst unterbleibt sie im Trubel der Wiederherstellung.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.