Zum Hauptinhalt springen
KI-Gefährdung · ISO/IEC 42001 Anhang C

T05 Hardware-Fehler

Aktualisiert am 5 Min. Geprüft von: Cenedril-Redaktion
ISO/IEC 42001EU AI Act

Ein Hersteller von Verpackungsanlagen trainiert ein Bildmodell zur Qualitätsprüfung auf leistungsstarken Grafikkarten im Rechenzentrum. Für den Einsatz an der Linie wird das Modell verkleinert und auf ein kompaktes Rechenmodul in der Maschine übertragen. Im Labor erkennt es Fehlstellen zuverlässig, an der Linie übersieht es feine Risse, weil die verringerte Rechengenauigkeit gerade die schwachen Signale verschluckt. Ein Modell ist nur so verlässlich wie die Hardware, auf der es tatsächlich läuft.

ISO/IEC 42001 nennt in Anhang C Hardwareprobleme als eigene Risikoquelle und hebt zwei Ursachen hervor: Fehler durch defekte Bauteile und Fehler beim Übertragen trainierter Modelle zwischen verschiedenen Systemen. Beide treffen vor allem KI, die in Maschinen, Fahrzeugen und Anlagen arbeitet.

Was steckt dahinter?

Software gilt oft als unabhängig von der Hardware. Für Modelle des maschinellen Lernens stimmt das nur eingeschränkt. Dieselben Modellgewichte können auf unterschiedlicher Hardware unterschiedliche Ergebnisse liefern, weil Zahlenformate, Bibliotheken und Beschleuniger verschieden rechnen. Dazu kommt, dass KI im Feld auf Geräten läuft, die Hitze, Erschütterungen, Staub und Verschleiß ausgesetzt sind.

Defekte und alternde Bauteile

  • Rechenhardware. Überhitzte Grafikkarten drosseln ihre Leistung, sodass Ergebnisse zu spät kommen. Speicherfehler können einzelne Werte verfälschen, ohne dass eine Fehlermeldung erscheint. Arbeitsspeicher mit Fehlerkorrektur (ECC) senkt dieses Risiko.
  • Sensoren. Kameras, Mikrofone, Lidar und Messfühler altern, werden beschädigt oder verlieren ihre Kalibrierung. Das Modell bekommt schleichend andere Eingaben als im Training.
  • Speicher und Netz. Beschädigte Datenträger oder abgebrochene Übertragungen können Modelldateien unbemerkt verfälschen.
  • Versorgung. Spannungsschwankungen und Stromausfälle unterbrechen die Berechnung mitten in einem Steuerungsvorgang.

Fehler beim Übertragen von Modellen

  • Andere Rechengenauigkeit. Für kleine Geräte werden Modelle oft quantisiert, also etwa von 32-Bit-Gleitkommazahlen auf 8-Bit-Ganzzahlen verkleinert. Das spart Rechenzeit und Energie, kann aber die Genauigkeit gerade in Grenzfällen senken.
  • Andere Laufzeitumgebung. Konvertierte Modellformate, andere Bibliotheksversionen oder Treiber rechnen Operationen leicht unterschiedlich. Manche Operationen unterstützt die Zielplattform nur näherungsweise.
  • Andere Vorverarbeitung. Auflösung, Farbraum oder Abtastrate auf der Zielhardware weichen von der Entwicklungsumgebung ab, und das Modell sieht Eingaben, die es so nie gelernt hat.

Schadensausmaß

Bei autonomen Systemen und industrieller Steuerung schlagen Hardwarefehler direkt in die physische Welt durch: Kollisionen, beschädigte Werkstücke, Verletzungen, Stillstand der Produktion oder Rückrufe. Die gefährlichsten Hardwarefehler sind die leisen: Das System läuft weiter und liefert unbemerkt schlechtere Ergebnisse. Ein Totalausfall fällt sofort auf und löst einen definierten Notfallablauf aus. Eine verschobene Kalibrierung oder ein Rundungsproblem nach dem Modelltransfer kann dagegen wochenlang Ausschuss produzieren.

Praxisbeispiele

Fahrerloses Transportfahrzeug im Lager. Nach einem leichten Anstoß an einem Regal ist der Lidar-Sensor eines Fahrzeugs um wenige Grad verstellt. Die Navigation verortet Hindernisse leicht versetzt, das Fahrzeug bremst an engen Stellen zu spät. Bis zur nächsten planmäßigen Wartung kommt es zu mehreren Beinahe-Zusammenstößen mit Beschäftigten.

Firmware-Update für eine Prüfkamera. Der Lieferant einer intelligenten Kamera spielt eine neue Firmware mit aktualisierter Laufzeitbibliothek ein. Danach erkennt die Kamera eine bestimmte Fehlerart deutlich seltener. Weil der Betreiber Updates des Lieferanten ungeprüft übernimmt, fällt das erst bei einer Kundenreklamation auf.

Defekter Arbeitsspeicher im Modellserver. Ein Server, der Prognosen für die Fertigungssteuerung berechnet, liefert vereinzelt unplausible Werte, die sich nicht nachstellen lassen. Erst ein Abgleich der Ereignisprotokolle mit den Hardwaremeldungen führt zu einem fehlerhaften Speicherriegel. Nach dem Tausch verschwinden die Ausreißer.

Wirksame Kontrollen

Die folgenden Kontrollen aus ISO/IEC 42001 wirken dieser Gefährdung entgegen.

Prävention:

  • A.4 Ressourcen für KI-Systeme: Die Organisation dokumentiert die System- und Rechenressourcen ihrer KI-Systeme: welche Hardware sie brauchen, wo sie laufen (eigenes Rechenzentrum, Cloud oder Gerät vor Ort) und welche Verarbeitungs-, Netz- und Speicherressourcen beteiligt sind. Erst wer weiß, worauf ein Modell läuft, kann Abweichungen einordnen.
  • A.6.2 Lebenszyklus von KI-Systemen: Der Einführungsplan berücksichtigt, dass sich Entwicklungs- und Betriebsumgebung oft unterscheiden, und legt Freigabekriterien fest. Die technische Dokumentation hält die Annahmen zur Laufzeitumgebung fest.

Erkennung:

  • A.6.2 Lebenszyklus von KI-Systemen: Die Überwachung im Betrieb erfasst Fehler und Ausfälle ebenso wie schleichende Leistungsverluste. Ereignisprotokolle helfen, sporadische Abweichungen einer Komponente zuzuordnen.

Reaktion:

  • A.6.2 Lebenszyklus von KI-Systemen: Festgelegte Abläufe für Reparaturen und Updates und ein Plan für den Umgang mit Ausfällen, etwa eine Rückfallebene oder das Abschalten einzelner Funktionen, begrenzen den Schaden.
  • A.10 Beziehungen zu Dritten und Kunden: Die Verantwortung zwischen Organisation, Hardware- und Modelllieferanten ist verteilt, und Lieferanten werden zu Korrekturmaßnahmen verpflichtet, wenn ihre Komponenten nicht wie vorgesehen arbeiten.

Bezug zur KI-Verordnung

Art. 15 der KI-Verordnung (EU) 2024/1689 verlangt von Hochrisiko-Systemen eine über den gesamten Lebenszyklus gleichbleibende Leistung und Widerstandsfähigkeit gegen Fehler, Störungen und Unstimmigkeiten im System und in seiner Umgebung. Als Mittel nennt Abs. 4 technische Redundanz sowie Sicherungs- und Notfallpläne. Die Gebrauchsanweisung gibt nach Art. 13 Abs. 3 lit. e die nötigen Rechen- und Hardwareressourcen, die erwartete Lebensdauer und die erforderliche Wartung an, und die technische Dokumentation nach Anhang IV beschreibt die Hardware, auf der das System laufen soll. Ist das KI-System Sicherheitsbauteil eines Produkts, das unter die Harmonisierungsvorschriften aus Anhang I fällt, etwa einer Maschine, gelten zusätzlich deren Anforderungen (→ EU AI Act).

Verwandte Gefährdungen

Quellen

Häufig gestellte Fragen

Betrifft T05 auch KI aus der Cloud?

Ja, nur verschiebt sich die Verantwortung. In der Cloud kümmert sich der Anbieter um die physische Hardware, doch ein Wechsel der Rechenhardware oder der Laufzeitumgebung kann auch dort die Ergebnisse verändern. Deshalb gehört in den Vertrag, dass solche Wechsel angekündigt werden, und in den Betrieb eine Überwachung, die Abweichungen bemerkt.

Warum liefert dasselbe Modell auf anderer Hardware andere Ergebnisse?

Hardware und Software stellen Zahlen unterschiedlich genau dar und führen Rechenoperationen in unterschiedlicher Reihenfolge aus. Bei Gleitkommazahlen erzeugt schon eine andere Reihenfolge von Additionen winzige Abweichungen, die sich durch viele Schichten eines Netzes verstärken können. Kommt eine Quantisierung hinzu, werden die Unterschiede größer.

Was gehört in die Dokumentation der Hardware?

Mindestens die Rechenhardware für Entwicklung und Betrieb, der Standort (eigenes Rechenzentrum, Cloud oder Gerät vor Ort), Sensoren mit ihren Kalibrierintervallen, die Versionen von Treibern und Laufzeitbibliotheken sowie das Modellformat. Für Hochrisiko-Systeme verlangt die KI-Verordnung zudem Angaben zu Hardwarebedarf, erwarteter Lebensdauer und Wartung in der Gebrauchsanweisung.

Keine Cookies!

Dieses Wiki sammelt nichts, bäckt nichts und lässt nichts bei dir. Deshalb gibt es auch nichts einzuwilligen. Mehr Datenschutz geht nicht.