Ein Hersteller von Verpackungsanlagen trainiert ein Bildmodell zur Qualitätsprüfung auf leistungsstarken Grafikkarten im Rechenzentrum. Für den Einsatz an der Linie wird das Modell verkleinert und auf ein kompaktes Rechenmodul in der Maschine übertragen. Im Labor erkennt es Fehlstellen zuverlässig, an der Linie übersieht es feine Risse, weil die verringerte Rechengenauigkeit gerade die schwachen Signale verschluckt. Ein Modell ist nur so verlässlich wie die Hardware, auf der es tatsächlich läuft.
ISO/IEC 42001 nennt in Anhang C Hardwareprobleme als eigene Risikoquelle und hebt zwei Ursachen hervor: Fehler durch defekte Bauteile und Fehler beim Übertragen trainierter Modelle zwischen verschiedenen Systemen. Beide treffen vor allem KI, die in Maschinen, Fahrzeugen und Anlagen arbeitet.
Was steckt dahinter?
Software gilt oft als unabhängig von der Hardware. Für Modelle des maschinellen Lernens stimmt das nur eingeschränkt. Dieselben Modellgewichte können auf unterschiedlicher Hardware unterschiedliche Ergebnisse liefern, weil Zahlenformate, Bibliotheken und Beschleuniger verschieden rechnen. Dazu kommt, dass KI im Feld auf Geräten läuft, die Hitze, Erschütterungen, Staub und Verschleiß ausgesetzt sind.
Defekte und alternde Bauteile
- Rechenhardware. Überhitzte Grafikkarten drosseln ihre Leistung, sodass Ergebnisse zu spät kommen. Speicherfehler können einzelne Werte verfälschen, ohne dass eine Fehlermeldung erscheint. Arbeitsspeicher mit Fehlerkorrektur (ECC) senkt dieses Risiko.
- Sensoren. Kameras, Mikrofone, Lidar und Messfühler altern, werden beschädigt oder verlieren ihre Kalibrierung. Das Modell bekommt schleichend andere Eingaben als im Training.
- Speicher und Netz. Beschädigte Datenträger oder abgebrochene Übertragungen können Modelldateien unbemerkt verfälschen.
- Versorgung. Spannungsschwankungen und Stromausfälle unterbrechen die Berechnung mitten in einem Steuerungsvorgang.
Fehler beim Übertragen von Modellen
- Andere Rechengenauigkeit. Für kleine Geräte werden Modelle oft quantisiert, also etwa von 32-Bit-Gleitkommazahlen auf 8-Bit-Ganzzahlen verkleinert. Das spart Rechenzeit und Energie, kann aber die Genauigkeit gerade in Grenzfällen senken.
- Andere Laufzeitumgebung. Konvertierte Modellformate, andere Bibliotheksversionen oder Treiber rechnen Operationen leicht unterschiedlich. Manche Operationen unterstützt die Zielplattform nur näherungsweise.
- Andere Vorverarbeitung. Auflösung, Farbraum oder Abtastrate auf der Zielhardware weichen von der Entwicklungsumgebung ab, und das Modell sieht Eingaben, die es so nie gelernt hat.
Schadensausmaß
Bei autonomen Systemen und industrieller Steuerung schlagen Hardwarefehler direkt in die physische Welt durch: Kollisionen, beschädigte Werkstücke, Verletzungen, Stillstand der Produktion oder Rückrufe. Die gefährlichsten Hardwarefehler sind die leisen: Das System läuft weiter und liefert unbemerkt schlechtere Ergebnisse. Ein Totalausfall fällt sofort auf und löst einen definierten Notfallablauf aus. Eine verschobene Kalibrierung oder ein Rundungsproblem nach dem Modelltransfer kann dagegen wochenlang Ausschuss produzieren.
Praxisbeispiele
Fahrerloses Transportfahrzeug im Lager. Nach einem leichten Anstoß an einem Regal ist der Lidar-Sensor eines Fahrzeugs um wenige Grad verstellt. Die Navigation verortet Hindernisse leicht versetzt, das Fahrzeug bremst an engen Stellen zu spät. Bis zur nächsten planmäßigen Wartung kommt es zu mehreren Beinahe-Zusammenstößen mit Beschäftigten.
Firmware-Update für eine Prüfkamera. Der Lieferant einer intelligenten Kamera spielt eine neue Firmware mit aktualisierter Laufzeitbibliothek ein. Danach erkennt die Kamera eine bestimmte Fehlerart deutlich seltener. Weil der Betreiber Updates des Lieferanten ungeprüft übernimmt, fällt das erst bei einer Kundenreklamation auf.
Defekter Arbeitsspeicher im Modellserver. Ein Server, der Prognosen für die Fertigungssteuerung berechnet, liefert vereinzelt unplausible Werte, die sich nicht nachstellen lassen. Erst ein Abgleich der Ereignisprotokolle mit den Hardwaremeldungen führt zu einem fehlerhaften Speicherriegel. Nach dem Tausch verschwinden die Ausreißer.
Wirksame Kontrollen
Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.
Prävention:
- A.4 Ressourcen für KI-Systeme: Die Organisation dokumentiert die System- und Rechenressourcen ihrer KI-Systeme: welche Hardware sie brauchen, wo sie laufen (eigenes Rechenzentrum, Cloud oder Gerät vor Ort) und welche Verarbeitungs-, Netz- und Speicherressourcen beteiligt sind. Erst wer weiß, worauf ein Modell läuft, kann Abweichungen einordnen.
- A.6.2 Lebenszyklus von KI-Systemen: Der Einführungsplan berücksichtigt, dass sich Entwicklungs- und Betriebsumgebung oft unterscheiden, und legt Freigabekriterien fest. Die technische Dokumentation hält die Annahmen zur Laufzeitumgebung fest.
Erkennung:
- A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung im Betrieb erfasst Fehler und Ausfälle ebenso wie schleichende Leistungsverluste. Ereignisprotokolle helfen, sporadische Abweichungen einer Komponente zuzuordnen.
Reaktion:
- A.6.2 Lebenszyklus von KI-Systemen: Festgelegte Abläufe für Reparaturen und Updates und ein Plan für den Umgang mit Ausfällen, etwa eine Rückfallebene oder das Abschalten einzelner Funktionen, begrenzen den Schaden.
- A.10 Beziehungen zu Dritten und Kunden: Die Verantwortung zwischen Organisation, Hardware- und Modelllieferanten ist verteilt, und Lieferanten werden zu Korrekturmaßnahmen verpflichtet, wenn ihre Komponenten nicht wie vorgesehen arbeiten.
Bezug zur KI-Verordnung
Art. 15 der KI-Verordnung (EU) 2024/1689 verlangt von Hochrisiko-Systemen eine über den gesamten Lebenszyklus gleichbleibende Leistung und Widerstandsfähigkeit gegen Fehler, Störungen und Unstimmigkeiten im System und in seiner Umgebung. Als Mittel nennt Abs. 4 technische Redundanz sowie Sicherungs- und Notfallpläne. Die Gebrauchsanweisung gibt nach Art. 13 Abs. 3 lit. e die nötigen Rechen- und Hardwareressourcen, die erwartete Lebensdauer und die erforderliche Wartung an, und die technische Dokumentation nach Anhang IV beschreibt die Hardware, auf der das System laufen soll. Ist das KI-System Sicherheitsbauteil eines Produkts, das unter die Harmonisierungsvorschriften aus Anhang I fällt, etwa einer Maschine, gelten zusätzlich deren Anforderungen (→ EU AI Act).
Verwandte Gefährdungen
- T06 Mängel im Lebenszyklus: Fehlende Wartung und ungeprüfte Updates sind Lebenszyklusmängel mit Hardwarefolgen.
- T01 Komplexität der Einsatzumgebung: Hitze, Staub und Licht wirken auf Sensoren ebenso wie auf die Eingaben.
- T07 Unausgereifte Technologie / Modelldrift: Alternde Sensoren erzeugen eine Drift, die wie ein Modellproblem aussieht.
Quellen
- ISO/IEC 42001:2023, Anhang C.3.5: System hardware issues, dazu Anhang B.4.5 und B.6.2.5
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 13, 15 und Anhang IV
- ISO/IEC 42001 im Cenedril-Wiki: Anhang C und die Risikoquellen für KI-Systeme