Bei einem Versicherer fällt nach einem Cyberangriff das Fallbearbeitungssystem für zwei Wochen aus. Damit Schadenmeldungen nicht liegen bleiben, lässt die Abteilungsleitung das KI-System zur Schadenbewertung direkt an das Postfach anschließen. Die Prüfschritte, die Protokollierung und die Freigabe durch eine zweite Person hängen am ausgefallenen System und entfallen. Zwei Wochen lang gehen Bewertungen ungeprüft hinaus. In der Krise lief ausgerechnet das System ohne Aufsicht, dessen Aufsicht im Normalbetrieb als unverzichtbar galt.
Dieses Muster beschreibt KI-Systeme, die während einer Störung genutzt werden, während die begleitenden Kontrollen ausgesetzt sind. Für die KI-Verordnung (EU) 2024/1689 ist das eine vernünftigerweise vorhersehbare Fehlanwendung nach Art. 3 Nr. 13: Unter Druck greift jede Organisation zu dem Werkzeug, das noch funktioniert.
Was steckt dahinter?
Die Kontrollen rund um ein KI-System stehen selten im System selbst. Freigaben laufen über einen Workflow, Protokolle über eine zentrale Plattform, die Prüfung über Menschen, die gerade verfügbar sein müssen. Fällt einer dieser Bausteine aus, läuft das KI-System oft unverändert weiter, nur ohne seine Absicherung. Manchmal wird es in der Notlage sogar ausgeweitet, weil es Arbeit übernehmen soll, die sonst Menschen erledigen.
Wie es im Alltag dazu kommt
- Abhängige Kontrollen. Protokollierung, Freigabeschritte oder Überwachung hängen an einem anderen System, das ausgefallen ist.
- Personalmangel. Krankheitswellen, Streiks oder Urlaubszeiten lassen die prüfenden Personen fehlen.
- Improvisation. Behelfsanbindungen, private Geräte oder öffentliche KI-Werkzeuge springen für ausgefallene Dienste ein.
- Notfallpläne ohne KI. Der Plan regelt Server und Telefonie, KI-Systeme und ihre Kontrollen kommen darin nicht vor.
- Vergessenes Nachholen. Nach der Wiederherstellung prüft niemand die Entscheidungen, die im Notbetrieb gefallen sind.
Warum es riskant ist
Störungen sind genau die Lage, in der ungewöhnliche Eingaben auftreten und Fehler am wahrscheinlichsten sind. Ohne Prüfung bleiben sie unentdeckt, ohne Protokolle lassen sie sich später nicht mehr aufklären. Angreifer nutzen Krisen gezielt aus, weil die Aufmerksamkeit woanders liegt. Und die Pflichten der Betreiber von Hochrisiko-Systemen nach Art. 26 KI-Verordnung ruhen in einer Störung nicht.
Schadensausmaß
Das Schadensausmaß ist hoch, weil sich Fehler über Tage oder Wochen anhäufen und weil die Organisation in der Krise kaum Kraft für Korrekturen hat. Betroffen sind Kundinnen und Kunden, Patientinnen und Patienten, bei sicherheitsrelevanten Systemen auch Leib und Leben. Der Notbetrieb verschärft die Risiken, für die Kontrollen gedacht sind, und schwächt gleichzeitig die Kontrollen selbst.
Praxisbeispiele
Notrufvorsortierung bei Hochwasser. Eine Leitstelle nutzt ein System, das eingehende Notrufe nach Dringlichkeit vorsortiert, und eine Disponentin prüft jede Einstufung. Bei einem Hochwasser vervielfachen sich die Anrufe, die Prüfung wird ausgesetzt. Mehrere Anrufe mit unklarer Schilderung landen weit hinten in der Warteschlange, obwohl Menschen in Lebensgefahr sind.
Öffentliches Werkzeug als Ersatz. Der interne, freigegebene KI-Dienst eines Unternehmens fällt für drei Tage aus. Beschäftigte weichen auf freie öffentliche Werkzeuge aus und kopieren Kundendaten hinein, weil die Arbeit weitergehen muss. Niemand hat diesen Fall vorher geregelt.
Überwachung während eines Umzugs. Ein Unternehmen verlegt seine Rechenzentren. Die Überwachung der Modellleistung wird für die Dauer des Umzugs abgeschaltet und erst Wochen später wieder eingerichtet. In der Zwischenzeit hat sich das Modell durch veränderte Daten verschlechtert, und keiner hat es bemerkt.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken diesem Muster entgegen.
Prävention:
- A.2 Richtlinien für KI: Die KI-Politik ist mit den übrigen Richtlinien der Organisation abgestimmt, auch mit denen zur Geschäftskontinuität, und gilt ausdrücklich auch in einer Störung.
- A.3 Interne Organisation: Rollen legen fest, wer einen eingeschränkten Betrieb freigeben darf und wer die Rückkehr zu den vollen Kontrollen verantwortet.
- A.6.2 Lebenszyklus von KI-Systemen: Die Vorgaben für den laufenden Betrieb umfassen Überwachung, Reparatur und Unterstützung. Bewährt hat sich, darin auch den Betrieb in einer Störung zu beschreiben.
- A.9 Nutzung von KI-Systemen: Die Prozesse für die verantwortungsvolle Nutzung gelten unabhängig von der Betriebslage, und die menschliche Aufsicht bleibt Teil des Einsatzes.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Ereignisprotokolle und Überwachung zeigen, wann Kontrollen ausgefallen oder abgeschaltet waren, sofern sie unabhängig von den gestörten Systemen laufen.
Reaktion:
- A.3 Interne Organisation: Nach der Störung werden die Entscheidungen aus dem Notbetrieb nachgeprüft, Fehler berichtigt und die Erfahrungen in den Notfallplan übernommen.
Ergänzend gelten die Kontrollen der ISO/IEC 27001 zur Informationssicherheit während einer Störung (A.5.29) und zur IKT-Bereitschaft für die Geschäftskontinuität (A.5.30). Die KI-Nutzungsrichtlinie bleibt auch im Notbetrieb verbindlich, insbesondere Abschnitt 3.3 zur Schatten-KI, Abschnitt 6 zur menschlichen Aufsicht und Abschnitt 10 zum Aussetzen von Hochrisiko-Systemen.
Bezug zur KI-Verordnung
Bei Hochrisiko-KI-Systemen bewertet der Anbieter die vorhersehbare Fehlanwendung nach Art. 9 Abs. 2 lit. b und nennt in der Gebrauchsanweisung die Umstände, die zu Risiken führen können (Art. 13 Abs. 3 lit. b Ziff. iii), sowie Wartung und Pflege (lit. e). Art. 15 Abs. 4 verlangt Widerstandsfähigkeit gegen Fehler und Störungen und nennt technische Redundanz mit Sicherungs- oder Störungssicherheitsplänen als mögliches Mittel. Die Aufsicht muss das System nach Art. 14 Abs. 4 lit. e in einen sicheren Zustand bringen können.
Der Betreiber verwendet das System nach Art. 26 Abs. 1 gemäß der Gebrauchsanweisung, überträgt die Aufsicht nach Abs. 2 an befähigte Personen, überwacht den Betrieb nach Abs. 5 und setzt die Verwendung aus, wenn ein Risiko besteht. Die Protokolle bewahrt er nach Abs. 6 auf. Eine Ausnahme für betriebliche Notlagen enthält Art. 26 nicht (→ EU AI Act).
Verwandte Muster und Gefährdungen
- MU-05 Umgehung der menschlichen Aufsicht: Im Notbetrieb fällt die Aufsicht oft mit dem Argument der Dringlichkeit weg.
- MU-08 Weiterbetrieb trotz bekannter Fehlfunktion: Verwandt, wenn ein gestörtes System trotz erkennbarer Fehler weiterläuft.
- MU-03 Eingabe vertraulicher oder personenbezogener Daten: Behelfslösungen mit öffentlichen Werkzeugen führen schnell zu Datenabflüssen.
- T06 Mängel im Lebenszyklus: Fehlende Vorgaben für Wartung und Betrieb machen den Notbetrieb erst gefährlich.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 Nr. 13, Art. 9, 13, 14, 15 und 26
- ISO/IEC 42001:2023, Anhang B.2.3, B.3.2, B.6.2.6, B.6.2.8 und B.9.3
- KI-Nutzungsrichtlinie des KI-Compliance-Starter-Kits, Abschnitte 3.3, 6 und 10
- Business Continuity Plan des Starter-Kits