Anyone who places a high-risk AI system on the market needs a quality management system before the first customer. Art. 17 of the AI Act lists thirteen aspects, from the strategy for regulatory compliance through data management and risk management to the retention of documentation. Whether internal control under Annex VI or a notified body under Annex VII carries out the assessment, both ask for the written system and for evidence that it is applied. The AI provider policy is the written version of this quality management system and follows the harmonised standard EN 18286:2026.
Who is the policy for?
For organisations that develop AI systems and place them on the market or put them into service under their own name, and for organisations that become a provider under Art. 25, for example because they offer a third-party high-risk system under their own brand or modify it substantially. Deployers alone do not need the policy; for them the AI policy and the AI usage policy suffice.
What goes into the policy?
- Framework: legal basis and routes to presumption of conformity, scope, processes of the quality management system and their interactions
- Market access: strategy for regulatory compliance, conformity assessment, marking, registration, instructions for use, general-purpose AI models (Art. 43 to 49, 53)
- Life cycle: conception, consultation of affected persons, design, development, testing and validation, technical specifications, data management (Art. 10, 17(1)(b) to (f))
- Risk and monitoring: risk management under Art. 9, post-market monitoring, reporting of serious incidents, communication with authorities, decommissioning (Art. 72, 73)
- Documentation and resources: records and retention, control of documented information, resources and security of supply, suppliers (Art. 18, 19, 25(4))
- Responsibility: roles per aspect, roles involved per process, authority to stop quality-relevant work
Template: AI Provider Policy
Dokumentenkontrolle
Eigentümer: [RICHTLINIEN_EIGENTÜMER_ROLLE, z. B. KI-beauftragte Person]
Genehmigt von: [GENEHMIGER_NAME_UND_ROLLE]
Version: [VERSION]
Gültig ab: [GÜLTIGKEITSDATUM]
Nächste Überprüfung: [NÄCHSTES_ÜBERPRÜFUNGSDATUM]
KI-Compliance-Starter-Kit. Diese Richtlinie ist das Qualitätsmanagementsystem nach Art. 17 der Verordnung (EU) 2024/1689 und folgt EN 18286:2026. Sie gilt nur für Organisationen, die KI-Systeme als Anbieter in Verkehr bringen oder in Betrieb nehmen; reine Betreiber brauchen sie nicht. Abschnitte, die nur für bestimmte Rollen gelten, tragen einen kursiven Hinweis und entfallen, wenn die Rolle nicht zutrifft.
1. Rechtliche und normative Grundlage
Diese Richtlinie stützt sich auf:
- Verordnung (EU) 2024/1689, Art. 17 (Qualitätsmanagementsystem)
- Verordnung (EU) 2024/1689, Art. 16 (Pflichten der Anbieter von Hochrisiko-KI-Systemen)
- Verordnung (EU) 2024/1689, Art. 8 bis 15 (Anforderungen an Hochrisiko-KI-Systeme)
- Verordnung (EU) 2024/1689, Art. 43 mit Anhang VI und VII (Konformitätsbewertung)
- Verordnung (EU) 2024/1689, Art. 6 Abs. 1 und Art. 43 Abs. 3 mit Anhang I (Produktsicherheits-Konformitätsweg)
- EN 18286:2026, Qualitätsmanagementsystem für Zwecke der KI-Verordnung (harmonisierte Norm, Fundstelle im Amtsblatt der Union seit dem 14. Oktober 2026, Durchführungsbeschluss (EU) 2026/2274)
- ISO/IEC 42001:2023, Anhang A, insbesondere A.6 (Lebenszyklus) und A.7 (Daten)
Ziel des Qualitätsmanagementsystems ist der Schutz von Gesundheit, Sicherheit und Grundrechten. Das KI-Managementsystem nach ISO/IEC 42001 bildet seinen Rahmen; für die Anforderungen des Artikels 17 Absatz 1 richtet es sich zusätzlich nach EN 18286:2026. Die Anwendung dieser harmonisierten Norm begründet nach Artikel 40 der Verordnung die Vermutung der Konformität mit Artikel 17 Absatz 1, für Buchstabe g nur zusammen mit einem Risikomanagementsystem nach Artikel 9; für Artikel 11 Absatz 1 gilt sie, soweit die technische Dokumentation alle Angaben des Anhangs IV enthält. ISO/IEC 42001 ordnet die Nachweisführung; eine Konformitätsvermutung begründen allein harmonisierte Normen, deren Fundstelle im Amtsblatt der Union veröffentlicht ist. Neben Artikel 40 kennt die Verordnung drei weitere Vermutungswege nach Artikel 42: die Übereinstimmung mit Artikel 10 Absatz 4, soweit das System auf Daten trainiert wurde, die den geografischen, verhaltensbezogenen, kontextuellen oder funktionalen Rahmen der Zweckbestimmung widerspiegeln (Absatz 1); die Erfüllung der Cybersicherheitsanforderungen des Artikels 15 durch eine Cybersicherheitszertifizierung nach der Verordnung (EU) 2019/881 (Absatz 2); und, seit der Verordnung (EU) 2026/1744, die Erfüllung derselben Anforderungen für Systeme, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen und die Voraussetzungen ihres Artikels 12 Absatz 1 erfüllen (Absatz 3).
Die Rechtsgrundlagen werden systematisch überprüft. Neue und geänderte Rechtsvorschriften werden laufend beobachtet; jede Änderung, die ein Anbietersystem berührt, wird bewertet und löst bei Bedarf die Überprüfung dieser Richtlinie aus. Die Pflichten aus der KI-Verordnung führt das KI-Rechtsregister. Weitere Rechtsakte, die ein Anbietersystem berühren, etwa die Datenschutz-Grundverordnung oder die Verordnung (EU) 2024/2847 über Cyberresilienz, führt das Rechtsregister der Organisation. Welches Harmonisierungsrecht des Anhangs I für ein System gilt, wird je System mit seinem Bewertungsverfahren festgehalten. Der Stand der Rechtsgrundlagen geht als Eingangsgröße in die Managementbewertung ein.
2. Zweck und Geltungsbereich
Diese Richtlinie ist die schriftliche Version des Qualitätsmanagementsystems, das Artikel 17 der Verordnung (EU) 2024/1689 von Anbietern eines Hochrisiko-KI-Systems verlangt. Sie führt jeden der dreizehn Aspekte des Artikels 17 Absatz 1 (Buchstaben a bis m) in einem eigenen Kapitel dieser Richtlinie aus und hält fest, welche Regel bei [IHR_ORGANISATIONSNAME] gilt und welches Dokument sie im Einzelnen ausführt.
Ein zweites Managementsystem entsteht dadurch nicht. Die Vorgaben des KI-Managementsystems gelten unverändert weiter; diese Richtlinie ordnet sie den Anforderungen des Artikels 17 zu und ergänzt die Regeln, die allein die Anbieterrolle betreffen.
Der Umfang der einzelnen Aspekte richtet sich nach der Größe der Organisation (Artikel 17 Absatz 2). Ein Aspekt fällt schlank aus, wo die Verhältnisse es zulassen; keiner entfällt.
Nur für Finanzinstitute nach Artikel 17 Absatz 4; sonst entfällt dieser Absatz.
Als Finanzinstitut, das nach dem Finanzdienstleistungsrecht der Union Anforderungen an seine interne Unternehmensführung, an seine Regelungen oder an seine Verfahren unterliegt, erfüllt [IHR_ORGANISATIONSNAME] die Pflicht zur Einrichtung eines Qualitätsmanagementsystems durch die Einhaltung dieser Vorschriften (Artikel 17 Absatz 4). Ausgenommen bleiben das Risikomanagement, die Beobachtung nach dem Inverkehrbringen und die Meldung schwerwiegender Vorfälle (Artikel 17 Absatz 1 Buchstaben g, h und i); diese führt [IHR_ORGANISATIONSNAME] nach den betreffenden Kapiteln dieser Richtlinie.
Die Richtlinie gilt für jedes KI-System, bei dem [IHR_ORGANISATIONSNAME] die Anbieterrolle einnimmt. Die Anbieterrolle entsteht, wenn ein System selbst entwickelt und in Verkehr gebracht oder in Betrieb genommen wird, und ebenso in den Fällen des Artikels 25 Absatz 1: wenn der eigene Name oder die eigene Handelsmarke an einem fremden System angebracht wird, wenn ein bereits in Verkehr gebrachtes System wesentlich verändert wird oder wenn seine Zweckbestimmung so geändert wird, dass es als Hochrisiko-System gilt.
Welche Systeme das im Einzelnen sind, führt das KI-Verzeichnis mit ihrer Einstufung und ihrer Rolle. Systeme, die ausschließlich betrieben und nicht angeboten werden, fallen nicht unter diese Richtlinie.
Die Grenzen des Qualitätsmanagementsystems folgen aus dem Rechtsrahmen und der Zweckbestimmung. Erfasst sind die Anforderungen der Verordnung (EU) 2024/1689 an Anbieter, für Hochrisiko-Systeme in vollem Umfang, für die übrigen Anbietersysteme die Pflichten, die ihre Einstufung auslöst, etwa die Transparenzpflichten nach Artikel 50. Fällt ein System unter das Harmonisierungsrecht des Anhangs I, gelten dessen Anforderungen daneben, und die Konformitätsbewertung folgt dem Verfahren des Produkts. Je System bildet die Zweckbestimmung, wie sie in der technischen Dokumentation festgelegt ist, die Grenze: erfasst sind die Verwendung innerhalb der Zweckbestimmung und die vernünftigerweise vorhersehbare Fehlanwendung. Eine Änderung der Zweckbestimmung wird als wesentliche Änderung behandelt.
3. Prozesse des Qualitätsmanagementsystems
Das Qualitätsmanagementsystem besteht aus den folgenden Prozessen. Jeder liefert Ergebnisse, die andere Prozesse aufnehmen; die Tabelle zeigt, welche Prozesse unmittelbar zusammenwirken.
| Prozess | Ergebnisse | Überwachung | Interagiert mit |
|---|---|---|---|
| Risikomanagement (Art. 9) | Risikoregister und Behandlungsplan je System, bewertete Restrisiken, Hinweise für die Betreiber | Neubewertung im Turnus und bei Anlass als Aufgabe; Szenarien über der Akzeptanzschwelle in der Managementbewertung | Konzeption, Entwurf, Entwicklung und Validierung, Technische Dokumentation, Beobachtung nach dem Inverkehrbringen, Meldung schwerwiegender Vorfälle |
| Konzeption, Entwurf, Entwicklung und Validierung (Art. 17 Abs. 1 b–d) | Zweckbestimmung, Systemanforderungen, geprüfter Entwurf, Prüf- und Validierungsergebnisse, Freigabeentscheidung | Abgeschlossene Freigabevorgänge je Entwicklungsstand; Ergebnisse gegen die Abnahmeschwellen | Risikomanagement, Datenverwaltung, Technische Dokumentation, Konformitätsbewertung und Marktzugang |
| Datenverwaltung (Art. 10, Art. 17 Abs. 1 f) | Datensätze mit Herkunft, Version und Qualitätszielen im Datenressourcen-Register | Qualitätsdatum und Befund je Datensatz im Datenressourcen-Register | Konzeption, Entwurf, Entwicklung und Validierung, Technische Dokumentation |
| Technische Dokumentation (Art. 11, Anhang IV) | Technische Dokumentation je System mit dem Nachweisansatz je Anforderung | Freigabestand je System, Vollständigkeit nach Anhang IV, Freigabe vor dem Inverkehrbringen | Risikomanagement, Konzeption, Entwurf, Entwicklung und Validierung, Datenverwaltung, Konformitätsbewertung und Marktzugang |
| Konformitätsbewertung und Marktzugang (Art. 43, 47 bis 49) | Bewertungsverfahren je System, EU-Konformitätserklärung, CE-Kennzeichnung, Registrierung | Stand von Erklärung, Bescheinigung und Registrierung je System in den Konformitätsunterlagen | Technische Dokumentation, Beobachtung nach dem Inverkehrbringen, Korrekturmaßnahmen und Änderungen |
| Beobachtung nach dem Inverkehrbringen (Art. 72) | Beobachtungsplan je System, Auswertungen im festgelegten Turnus, risikorelevante Beobachtungen | Auswertungen im Turnus mit Urteil zur fortdauernden Einhaltung; Kennzahlen in der Managementbewertung | Konformitätsbewertung und Marktzugang, Risikomanagement, Meldung schwerwiegender Vorfälle, Korrekturmaßnahmen und Änderungen |
| Meldung schwerwiegender Vorfälle (Art. 73) | KI-Vorfälle mit Bewertung der Meldepflicht, Meldung und Untersuchung | Fristgerechte und verspätete Meldungen in der Managementbewertung | Beobachtung nach dem Inverkehrbringen, Risikomanagement, Korrekturmaßnahmen und Änderungen |
| Korrekturmaßnahmen und Änderungen (Art. 20, ISO/IEC 42001 6.3 und 10.2) | Korrekturmaßnahmen, geplante Änderungen am KI-Managementsystem, Beurteilung der Wesentlichkeit | Offene und überfällige Korrekturmaßnahmen; Wirksamkeitsprüfung je Vorgang | Meldung schwerwiegender Vorfälle, Beobachtung nach dem Inverkehrbringen, Konformitätsbewertung und Marktzugang, Internes Audit und Managementbewertung |
| Internes Audit und Managementbewertung (ISO/IEC 42001 9.2, 9.3) | Auditberichte, Entscheidungen und Maßnahmen der Leitung, Ressourcen | Erfüllung des Auditprogramms; Umsetzung der Maßnahmen aus der letzten Bewertung | Korrekturmaßnahmen und Änderungen, Risikomanagement, Beobachtung nach dem Inverkehrbringen, Meldung schwerwiegender Vorfälle |
| Lenkung dokumentierter Information (Art. 18, EN 18286 4.5) | Freigegebene Versionen der Richtlinien und Dokumente, Aufzeichnungen mit Aufbewahrungsfrist | Geltungsdauer und Freigabestand der Dokumente; Aufbewahrungsfristen | Alle Prozesse dieser Tabelle |
Die Kette beginnt mit der Konzeption eines Systems und schließt sich über die Beobachtung: Beobachtungen und Vorfälle speisen die Risikobeurteilung, Korrekturmaßnahmen und Änderungen gehen in die Entwicklung zurück und lösen bei einer wesentlichen Änderung eine neue Konformitätsbewertung aus. Die Managementbewertung prüft, ob das Zusammenspiel wirkt.
4. Strategie zur Einhaltung der Regulierungsvorschriften
Vor dem Inverkehrbringen wird je System das Konformitätsbewertungsverfahren bestimmt. Für Hochrisiko-Systeme nach Anhang III Nummern 2 bis 8 gilt die interne Kontrolle nach Anhang VI, solange das System nicht zugleich unter einen Harmonisierungsrechtsakt des Anhangs I Abschnitt A fällt; dann geht dessen Verfahren vor (Artikel 43 Absatz 3). Für Systeme nach Anhang III Nummer 1 gilt die interne Kontrolle nur, wenn die harmonisierten Normen oder gemeinsamen Spezifikationen vollständig angewandt werden; andernfalls wird eine notifizierte Stelle nach Anhang VII beauftragt.
Die interne Kontrolle nach Anhang VI schließt vor dem Inverkehrbringen die Überprüfung ein, ob der Entwurfs- und Entwicklungsprozess des Systems und seine Beobachtung nach Artikel 72 mit der technischen Dokumentation im Einklang stehen (Anhang VI Nummer 4). Eine erkannte Abweichung wird vor der Freigabe bereinigt, entweder im Prozess oder in der Dokumentation.
Die folgenden vier Absätze gelten nur für Systeme, die unter das Harmonisierungsrecht des Anhangs I fallen; sonst entfallen sie.
Ist ein System Bestandteil oder Sicherheitsbauteil eines Produkts oder selbst ein Produkt, das unter das Unionsharmonisierungsrecht des Anhangs I fällt, wird die Konformitätsbewertung nach dieser Verordnung im Rahmen des Konformitätsbewertungsverfahrens dieses Produkts durchgeführt (Artikel 43 Absatz 3). Je System wird festgehalten, welches Bewertungsverfahren der sektorale Rechtsakt verlangt. Es wird eine einheitliche EU-Konformitätserklärung erstellt, die diese Verordnung und die einschlägigen sektoralen Rechtsvorschriften abdeckt (Artikel 47), und die CE-Kennzeichnung richtet sich nach diesen Rechtsvorschriften (Artikel 48).
Sieht das sektorale Verfahren die Beteiligung einer notifizierten Stelle vor, prüft diese auch die Anforderungen der Artikel 8 bis 15 und das Qualitätsmanagementsystem nach Artikel 17; die Nummern 3, 4.3, 4.4, 4.5 und 5 sowie Nummer 4.6 Absatz 5 des Anhangs VII finden dabei Anwendung.
Lässt der Rechtsakt nach Anhang I Abschnitt A den Verzicht auf eine Konformitätsbewertung durch Dritte zu, wird davon nur Gebrauch gemacht, wenn harmonisierte Normen oder gemeinsame Spezifikationen nach Artikel 41 angewandt sind, die alle Anforderungen des Kapitels III Abschnitt 2 abdecken (Artikel 43 Absatz 3 Unterabsatz 3). Die Abdeckung wird je System festgehalten, bevor auf die Drittbewertung verzichtet wird.
Die Einstufung als Hochrisiko-KI-System nach Artikel 6 Absatz 1 ändert die Wahl des Verfahrens nicht. Ebenso wenig macht der Umstand, dass ein Hochrisiko-KI-System als Sicherheitsbauteil in einem Produkt enthalten ist, für sich genommen eine Konformitätsbewertung durch Dritte erforderlich (Artikel 43 Absatz 3 Unterabsatz 3). Maßgeblich bleibt das Verfahren, das der Rechtsakt nach Anhang I Abschnitt A für das Produkt vorsieht.
Änderungen am System werden vor ihrer Übernahme daraufhin beurteilt, ob sie wesentlich sind. Als wesentlich gilt eine Änderung der Zweckbestimmung, eine Änderung der Systemgrenzen, ein Wechsel des zugrunde liegenden Modells oder des Trainingsdatenbestands, eine Änderung der Aufsichtsarchitektur sowie eine Änderung der zugesagten Leistungsgrenzen. Eine wesentliche Änderung löst eine erneute Konformitätsbewertung aus.
Systeme, die nach der Bereitstellung weiterlernen, werden gesondert behandelt: Ihre Ausgaben werden nicht ungeprüft in den Trainings- oder Eingabedatenbestand zurückgeführt, damit sich verzerrte oder fehlerhafte Ergebnisse nicht über Rückkopplungsschleifen verstärken (Artikel 15 Absatz 4). Ihre Leistung wird in festgelegten Abständen gegen die Entwurfsziele ausgewertet, und Auffälligkeiten lösen eine Überprüfung aus.
Die vorbestimmten Änderungen eines weiterlernenden Systems werden im Entwurf festgelegt und in der technischen Dokumentation beschrieben, mit ihrer Wirkung auf die Leistung und den Daten, aus denen das System lernt. Sie werden vor der Freigabe gegen die Anforderungen der Artikel 8 bis 15 geprüft, im Risikomanagement berücksichtigt und in jeder Lebenszyklusphase beachtet. Jede Ausführung einer vorbestimmten Änderung wird verifiziert und validiert und wie jede andere Änderung protokolliert. Vorbestimmte Änderungen, die bei der ersten Konformitätsbewertung festgelegt und in der technischen Dokumentation beschrieben sind, gelten nicht als wesentliche Änderung (Artikel 43 Absatz 4); eine Änderung außerhalb dieses Rahmens wird auf ihre Wesentlichkeit beurteilt.
Die folgenden acht Absätze gelten nur, wenn eine notifizierte Stelle an der Konformitätsbewertung beteiligt ist; sonst entfallen sie.
Die Gültigkeitsdauer jeder Bescheinigung wird je System geführt, und ihre Erneuerung wird so rechtzeitig eingeleitet, dass eine verlängerte Bescheinigung vor Ablauf vorliegt (Artikel 44).
Stellt die notifizierte Stelle Mängel fest oder verbindet sie ihre Bescheinigung mit Auflagen, werden diese als Korrekturmaßnahme mit der von ihr gesetzten Frist geführt und ihre Erledigung wird vor Fristablauf nachgewiesen. Eine Aussetzung, Einschränkung oder ein Widerruf der Bescheinigung beendet den Marktzugang des betroffenen Systems, bis seine Konformität wiederhergestellt ist.
Die notifizierte Stelle unterrichtet die betroffenen Anbieter binnen zehn Tagen über eine Aussetzung, Einschränkung oder einen Widerruf ihrer Benennung (Artikel 36 Absatz 5). Ab dieser Unterrichtung wird der Vorgang je betroffener Bescheinigung geführt.
Stellt die notifizierende Behörde bei einer Aussetzung oder Einschränkung fest, dass die beauftragte Stelle bestehende Bescheinigungen nicht weiterführen kann, bestätigt die Organisation den zuständigen nationalen Behörden des Mitgliedstaats ihrer eingetragenen Niederlassung binnen drei Monaten nach der Aussetzung oder Einschränkung schriftlich, dass eine andere qualifizierte notifizierte Stelle die Aufgaben zur Überwachung der Bescheinigung vorübergehend übernimmt und während der Dauer der Aussetzung oder Einschränkung dafür verantwortlich bleibt (Artikel 36 Absatz 8 Buchstabe b).
Wird die Benennung widerrufen, bleiben die Bescheinigungen neun Monate gültig, sofern die zuständige nationale Behörde bestätigt hat, dass von den betroffenen Systemen kein Risiko für Gesundheit, Sicherheit oder Grundrechte ausgeht, und eine andere notifizierte Stelle schriftlich bestätigt hat, dass sie die unmittelbare Verantwortung übernimmt und ihre Bewertung binnen zwölf Monaten ab dem Widerruf abschließt (Artikel 36 Absatz 9). Die schriftliche Bestätigung gegenüber der Behörde und die Bestätigung der übernehmenden Stelle werden zu den Konformitätsunterlagen des betroffenen Systems genommen.
Ist eine notifizierte Stelle nach Anhang VII beauftragt, wird sie über jede beabsichtigte Änderung des genehmigten Qualitätsmanagementsystems und über jede Änderung der von diesem System erfassten Liste der KI-Systeme vor deren Wirksamwerden unterrichtet (Anhang VII Nummer 3.4).
Ist der Zugang zu den Trainingsmodellen und den trainierten Modellen einschließlich ihrer relevanten Parameter für die Bewertung der Konformität mit den Anforderungen des Kapitels III Abschnitt 2 notwendig und sind alle anderen sinnvollen Möglichkeiten der Überprüfung ausgeschöpft oder haben sie sich als unzureichend erwiesen, wird er der notifizierten Stelle auf begründeten Antrag gewährt (Anhang VII Nummer 4.5). Der Zugang unterliegt dem bestehenden Unionsrecht zum Schutz von geistigem Eigentum und Geschäftsgeheimnissen.
Die fortlaufende Überwachung des Qualitätsmanagementsystems durch die notifizierte Stelle wird unterstützt: Zugang zu den einschlägigen Räumlichkeiten, zu den Unterlagen und zu den benötigten Informationen wird gewährt, und die von ihr durchgeführten regelmäßigen Audits werden ermöglicht.
Die Ergebnisse dieser Strategie werden je System an einer Stelle geführt: Einstufung und Rolle im KI-Verzeichnis, das gewählte Konformitätsbewertungsverfahren und die EU-Konformitätserklärung in den Konformitätsunterlagen, der Nachweisansatz je Anforderung in Kapitel 7 der technischen Dokumentation und die Beobachtung im Beobachtungsplan. Diese Richtlinie legt die Regeln fest; die Stände je System stehen dort.
Die KI-beauftragte Person verantwortet diese Beurteilung und hält ihr Ergebnis mit Datum fest.
5. Kennzeichnung, Registrierung und Marktzugang
Vor dem Inverkehrbringen trägt jedes System die Anbieterangaben: Name, eingetragener Handelsname oder eingetragene Handelsmarke und die Postanschrift von [IHR_ORGANISATIONSNAME]. Sie stehen am System selbst, hilfsweise auf der Verpackung oder in den Begleitunterlagen. Eine Website ersetzt die Postanschrift nicht.
Die CE-Kennzeichnung wird nach Artikel 48 angebracht, sichtbar, lesbar und dauerhaft. Bei digital bereitgestellten Systemen wird sie über die Benutzeroberfläche oder einen maschinenlesbaren Zugang zugänglich gemacht. Ist eine notifizierte Stelle am Verfahren beteiligt, folgt ihre Kennnummer auf das Zeichen.
Das System und die Organisation werden nach Artikel 49 Absatz 1 in der EU-Datenbank eingetragen, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Der Eintrag wird bei jeder Änderung fortgeschrieben.
Ist ein System des Anhangs III nach Artikel 6 Absatz 3 als nicht hochriskant eingestuft, wird es nach Artikel 49 Absatz 2 dennoch vor dem Inverkehrbringen oder der Inbetriebnahme in der EU-Datenbank registriert. Die Bewertung nach Artikel 6 Absatz 3 und ihre Begründung liegen dem Eintrag zugrunde.
Der Wortlaut der Anbieterangaben stimmt in Kennzeichnung, EU-Konformitätserklärung und Datenbankeintrag überein. Registrierungsnummer, Eintragungsdatum, die Vermarktungsländer und der Stand der CE-Kennzeichnung werden je System geführt.
Jedes in Verkehr gebrachte oder in Betrieb genommene System trägt eine eindeutige Kennung; jede ausgelieferte Einheit und jede bereitgestellte Instanz ist darüber hinaus einzeln gekennzeichnet, etwa durch eine Seriennummer, eine Versionskennung oder eine Mandantenkennung. Die Zuordnung von Einheit oder Instanz zu Version und Abnehmer wird in den Vertriebs- und Bereitstellungssystemen der Organisation geführt, damit sich jede Einheit in der Vertriebskette zurückverfolgen lässt, etwa für einen Rückruf oder die Unterrichtung der Betreiber.
6. Gebrauchsanweisung
Jedem Hochrisiko-System liegt eine Gebrauchsanweisung nach Artikel 13 bei. Sie ist knapp, vollständig und für den Betreiber verständlich in leicht verständlicher Sprache abgefasst.
Nach Artikel 13 Absatz 3 enthält die Gebrauchsanweisung mindestens die folgenden Angaben, gegliedert nach den Buchstaben a bis f:
- Buchstabe a: die Identität und die Kontaktdaten des Anbieters sowie, gegebenenfalls, seines Bevollmächtigten;
- Buchstabe b Ziffer i: die Zweckbestimmung des Systems;
- Buchstabe b Ziffer ii: das Maß an Genauigkeit einschließlich der Metriken, Robustheit und Cybersicherheit (Artikel 15);
- Buchstabe b Ziffer iii: die bekannten und vorhersehbaren Umstände, die zu Risiken für Gesundheit, Sicherheit oder Grundrechte führen können (Artikel 9 Absatz 2);
- Buchstabe b Ziffer iv bis vii: gegebenenfalls die Fähigkeiten zur Erläuterung der Ausgaben, die Leistung gegenüber bestimmten Personen oder Gruppen, die Spezifikationen für die Eingabedaten und die Informationen zur Auslegung der Ausgaben;
- Buchstabe c: die vorab bestimmten Änderungen des Systems und seiner Leistung;
- Buchstabe d: die Maßnahmen der menschlichen Aufsicht (Artikel 14) einschließlich der technischen Vorkehrungen zur Auslegung der Ausgaben;
- Buchstabe e: die benötigten Rechen- und Hardwareressourcen, die erwartete Lebensdauer und die Wartungs- und Pflegemaßnahmen;
- Buchstabe f: gegebenenfalls die Beschreibung der Mechanismen zum Erfassen, Speichern und Auslegen der Protokolle (Artikel 12).
Darüber hinaus enthält die Gebrauchsanweisung die Referenz des Systems mit Bezeichnung, Version und Kennung, den Meldeweg an den Anbieter mit der Beschreibung, wie der Betreiber die Nutzung aussetzt, und die Maßnahmen des Betreibers bei der Außerbetriebnahme. Lernt ein System im Betrieb weiter, erklärt sie das, die Wirkung auf das System und was bei Einsatz, Betrieb und Wartung zu beachten ist. Ist die Beobachtung nach dem Inverkehrbringen auf den Betreiber angewiesen, nennt sie die technischen Anforderungen an diese Überwachung nach dem Beobachtungsplan, empfohlene Werkzeuge und die dafür nötige Kompetenz.
Die Gebrauchsanweisung wird aktuell gehalten und dem System in digitaler oder gedruckter Form beigegeben. Jede gemeldete Änderung an einem System löst eine Prüfung der Gebrauchsanweisung aus.
Mit der Gebrauchsanweisung oder der Nutzungsvereinbarung erhält der Kunde die Grenzen des validierten Einsatzgebiets, die gemessene Genauigkeit je Einsatzgebiet und die Aufteilung der Verantwortung zwischen Anbieter und Kunde. Die Übergabe erfolgt vor der Inbetriebnahme und erneut bei jeder wesentlichen Änderung. Die Werte stehen in der technischen Dokumentation; Zielgruppe, Kanal und Zeitpunkt führt der KI-Kommunikationsplan.
7. Modelle mit allgemeinem Verwendungszweck
Nur für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck; sonst entfällt dieser Abschnitt. Für Modelle unter freier und quelloffener Lizenz mit öffentlichen Gewichten und ohne systemisches Risiko entfallen die technische Dokumentation nach Anhang XI und die Angaben nach Anhang XII (Artikel 53 Absatz 2).
Als Anbieter eines KI-Modells mit allgemeinem Verwendungszweck erfüllt [IHR_ORGANISATIONSNAME] zusätzlich zu den übrigen Kapiteln dieser Richtlinie die Pflichten des Artikels 53 Absatz 1. Sie knüpfen an das Modell an, nicht an das einzelne System, in das es eingebettet ist.
Für jedes angebotene Modell besteht eine technische Dokumentation nach Anhang XI. Sie beschreibt die Trainings- und Testverfahren sowie die Ergebnisse der Bewertung und wird mit jeder wesentlichen Änderung des Modells fortgeschrieben. Sie wird für das Büro für Künstliche Intelligenz und die zuständigen nationalen Behörden bereitgehalten.
Anbietern, die das Modell in ein eigenes KI-System einbetten, werden die Angaben nach Anhang XII bereitgestellt: die Fähigkeiten und Grenzen des Modells, die technischen Voraussetzungen der Einbettung und die Angaben, die diese Anbieter für die Erfüllung ihrer eigenen Pflichten benötigen. Wird das Modell geändert, werden die Angaben nachgezogen und die betroffenen Anbieter unterrichtet.
Für die Einhaltung des Urheberrechts besteht eine schriftliche Strategie. Sie umfasst die Ermittlung und Beachtung der Nutzungsvorbehalte nach Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790, einschließlich maschinenlesbarer Vorbehalte. Ausgeschlossene Quellen werden mit ihrer Begründung geführt.
Eine hinreichend detaillierte Zusammenfassung der für das Training verwendeten Inhalte wird nach der Vorlage des Büros für Künstliche Intelligenz erstellt und öffentlich zugänglich gemacht. Fundstelle und Veröffentlichungsdatum werden je Modell festgehalten.
8. Lebenszyklusprozesse
Jedes Anbietersystem durchläuft die folgenden Phasen in dieser Reihenfolge. Eine Phase beginnt, wenn ihr Eingangskriterium erfüllt ist, und endet mit ihrem Ausgangskriterium. Betrieb, Wartung und Beobachtung laufen danach nebeneinander, bis das System außer Betrieb genommen wird.
| Phase | Eingangskriterium | Ausgangskriterium | Verantwortlich |
|---|---|---|---|
| 1. Konzeption | Das Vorhaben ist im KI-Verzeichnis angelegt. | Zweckbestimmung, Einstufung, Rolle, vorgesehener Konformitätsweg und eine erste Risikobetrachtung sind festgehalten; die KI-beauftragte Person hat sie freigegeben. | KI-beauftragte Person |
| 2. Entwurf und Entwicklung | Zweckbestimmung und Systemanforderungen sind freigegeben. | Der Entwurf ist von einer zweiten fachkundigen Person geprüft, die Datensätze sind mit Version erfasst, der Stand ist versioniert. | Betrieb des KI-Managementsystems |
| 3. Verifizierung und Validierung | Ein versionierter Stand liegt vor. | Die Ergebnisse liegen innerhalb der festgelegten Annahmeschwellen, die Restrisiken sind bewertet und angenommen. | Betrieb des KI-Managementsystems |
| 4. Inverkehrbringen oder Inbetriebnahme | Verifizierung und Validierung sind bestanden. | Technische Dokumentation und Gebrauchsanweisung sind vollständig, die Konformitätsbewertung ist abgeschlossen, die Erklärung unterzeichnet, Kennzeichnung und Registrierung sind erfolgt. | KI-beauftragte Person |
| 5. Betrieb und Überwachung im Einsatz | Das System ist in Verkehr gebracht oder in Betrieb genommen. | Laufend: Auswertungen nach dem Beobachtungsplan, Vorfälle sind bewertet und gemeldet. | Betrieb des KI-Managementsystems |
| 6. Wartung und Aktualisierung | Ein Änderungswunsch, ein Beobachtungsergebnis oder eine Korrekturmaßnahme liegt vor. | Die Änderung ist auf ihre Wesentlichkeit beurteilt; eine wesentliche Änderung führt zurück in die Verifizierung und eine erneute Konformitätsbewertung. | KI-beauftragte Person |
| 7. Außerbetriebnahme | Rücknahme, Rückruf oder das Ende der Bereitstellung ist entschieden. | Betreiber sind unterrichtet, der Eintrag in der EU-Datenbank ist fortgeschrieben, die Unterlagen bleiben bis zum Fristende erhalten. | KI-beauftragte Person |
Je Phase werden die benötigten internen und externen Ressourcen bestimmt: Personen mit ihrer Fachkunde, Rechenleistung, Werkzeuge und Modelle sowie Daten. Art, Dauer und Umfang der Tätigkeiten richten sich nach dem System und seiner Einstufung; die Rechenressourcen je Phase hält die technische Dokumentation fest.
Betreiber werden in Konzeption und Validierung einbezogen, damit ihre Anforderungen an Einsatz, Aufsicht und Wartung in die Systemanforderungen eingehen. Wie die Personen, die ein System betrifft, zu seinen Risiken gehört werden, regelt das Kapitel „Konsultation betroffener Personen“.
Planung und Durchführung werden je System im KI-Verzeichnis und in der technischen Dokumentation fortgeschrieben; dort liegen die Nachweise, dass eine Phase planmäßig durchlaufen wurde. Verfehlt ein Prozess seine Kriterien, wird das als Korrekturmaßnahme geführt.
Jeder Entwicklungsstand, der in Verkehr gebracht oder in Betrieb genommen werden soll, durchläuft einen festgelegten Entwicklungs- und Freigabeablauf: Anforderungen und ihr Review, Design und Spezifikation, Verifizierung gegen die Abnahmeschwellen, Validierung unter Einsatzbedingungen und Freigabe durch die Leitung. Verifizierung und Freigabe liegen bei verschiedenen Rollen. Der abgeschlossene Vorgang belegt die Durchführung und wird als Aufzeichnung des Qualitätsmanagementsystems aufbewahrt.
9. Konzeption
Am Anfang jedes Systems steht die Konzeption. Festgelegt werden:
- Zweckbestimmung: wofür das System bestimmt ist, in welchem Einsatzkontext und für welche Nutzergruppen, welche Personen es betrifft und welche Fehlanwendung vernünftigerweise vorhersehbar ist. Die Zweckbestimmung wird in der technischen Dokumentation geführt und bildet die Grenze des Systems.
- Regulatorische Anforderungen: die Einstufung nach der Verordnung, die Rolle der Organisation, weitere berührte Rechtsakte und der vorgesehene Konformitätsweg.
- Systemanforderungen: die Anforderungen an Leistung, Genauigkeit, Robustheit, Cybersicherheit, menschliche Aufsicht, Protokollierung und Transparenz, abgeleitet aus der Zweckbestimmung und einer ersten Risikobetrachtung.
- Machbarkeit und Ressourcen: ob Daten, Modelle, Rechenleistung und Fachkunde für das System zur Verfügung stehen.
Die Systemanforderungen werden aus den Pflichten hergeleitet, die sich je System aus Einstufung und Rolle ergeben, und aus den Maßnahmen der Risikobeurteilung. Jede Anforderung ist vollständig, eindeutig, verifizierbar und validierbar formuliert. Sie wird vor der Spezifikation geprüft und in dem Werkzeug geführt, mit dem die Entwicklung arbeitet; die technische Dokumentation nennt diese Fundstelle. Das Review der Anforderungen wird wiederholt, wenn Entwurf, Verifizierung oder Validierung eine Anforderung ändern.
Die Ergebnisse der Konzeption werden vor dem Entwurf geprüft und von der KI-beauftragten Person freigegeben.
10. Konsultation betroffener Personen
Zu den Risiken eines Systems für Gesundheit, Sicherheit und Grundrechte werden die Personen gehört, die es voraussichtlich betrifft, oder ihre Vertreter. Ist eine unmittelbare Anhörung nicht möglich, treten unabhängige Fachstellen an ihre Stelle, etwa Organisationen der Zivilgesellschaft. Die Konsultation beginnt in der Konzeption, vor Entwurf und Entwicklung, und begleitet Prüfung, Test und Validierung.
Sie läuft je System in fünf Schritten:
- Planen: Die Mittel und Personen werden bereitgestellt, damit die Betroffenen angemessen gehört werden.
- Betroffene bestimmen: Erfasst werden die Personen und Gruppen, die nachteilig betroffen sein können, mit besonderem Blick auf benachteiligte, unterrepräsentierte und schutzbedürftige Gruppen. Grundlage sind die betroffenen Personengruppen der Folgenabschätzung.
- Ziele festlegen: Festgehalten wird, wofür die Konsultation dient, etwa für die Ermittlung und Bewertung von Risiken, die Annahmekriterien, die Maßnahmen, die Untersuchung schwerwiegender Vorfälle oder die Beobachtung nach dem Inverkehrbringen.
- Methode wählen und informieren: Die Form ist altersgerecht und barrierefrei und gibt den Beteiligten die Informationen über das System, die sie für eine Rückmeldung brauchen.
- Durchführen und zurückmelden: Die Ergebnisse werden festgehalten, und die Beteiligten erfahren, was aus ihren Hinweisen folgt.
Ob und in welchem Umfang konsultiert wird, richtet sich nach der Einstufung des Systems und nach den betroffenen Personengruppen; die Entscheidung und die Ergebnisse werden mit der Risikobeurteilung des Systems festgehalten. Die Ergebnisse fließen in die Risikobeurteilung ein und können die Zweckbestimmung ändern oder zusätzliche Schutzmaßnahmen im Entwurf auslösen.
11. Entwurf und Entwurfsprüfung
Der Entwurf eines Systems folgt den Phasen des Lebenszyklusmodells mit ihren Eingangs- und Ausgangskriterien. Die Anforderungen werden vor dem Entwurf geprüft, Entwurfsentscheidungen werden mit ihrer Begründung festgehalten, und der Entwurf wird von einer zweiten fachkundigen Person geprüft, bevor die Entwicklung beginnt.
Zwei Anforderungen werden bereits im Entwurf berücksichtigt und nicht nachträglich ergänzt. Die Maßnahmen der menschlichen Aufsicht nach Artikel 14 Absatz 4 werden konstruktiv vorgesehen: die Möglichkeit, den Betrieb anzuhalten, die Anzeige der Grenzen und der Genauigkeit des Systems sowie Vorkehrungen gegen ein übermäßiges Vertrauen in die Ausgabe. Und die Barrierefreiheit nach den Richtlinien (EU) 2016/2102 und (EU) 2019/882 gilt als Entwurfs- und Abnahmeanforderung.
Die Transparenzhinweise nach Artikel 50 werden barrierefrei ausgespielt. Sie sind über assistive Technik erreichbar, für sich verständlich und ohne Farbe allein erkennbar; für digitale Oberflächen gilt dafür EN 301 549. Der Zeitpunkt der Ausspielung liegt bei der ersten Interaktion, bei erzeugten Inhalten an der Stelle der Wahrnehmung.
Welche Verfahren im Einzelnen angewandt werden, hält die technische Dokumentation des jeweiligen Systems fest.
12. Entwicklung und Qualitätssicherung
Code, Modelle und Konfiguration werden versioniert abgelegt. Änderungen werden vor ihrer Übernahme freigegeben. Entwicklung, Test und Betrieb laufen in getrennten Umgebungen. Vor jeder Auslieferung wird gegen festgelegte Freigabekriterien geprüft.
Die Qualitätssicherung erstreckt sich auf das Zusammenwirken der Bestandteile: wo ein zugekauftes Modell eingebunden ist, werden Modellversion und Bezugsquelle getrennt von der Anwendungsversion geführt, damit ein Wechsel des Modells nachvollziehbar bleibt.
Die Entwicklung wird an Zielen für die verantwortungsvolle Entwicklung ausgerichtet, etwa zur Wartbarkeit, zur Datenqualität, zur Robustheit und zur Sicherheit der Systeme. Diese Ziele werden den Phasen des Entwicklungslebenszyklus zugeordnet, die zugehörigen Maßnahmen je Phase eingebaut und gemeinsam mit den übrigen KI-Zielen geführt und überprüft (ISO/IEC 42001, Anhang A.6.1.2).
Änderungen an einem System nach dem Inverkehrbringen durchlaufen einen festgelegten Änderungsablauf: Erfassung, Bewertung der betroffenen Risiken, begründete Entscheidung über die Wesentlichkeit, Freigabe, Verifizierung und das Nachziehen von technischer Dokumentation und Gebrauchsanweisung. Eine ausgeführte vorbestimmte Änderung läuft über denselben Weg. Berührt eine Änderung die Prozesse des Qualitätsmanagementsystems, wird sie zusätzlich als Änderung des Managementsystems geführt.
Änderungen am Qualitätsmanagementsystem werden als Änderung des Managementsystems geführt und vor ihrer Freigabe auf ihre Auswirkung auf das Qualitätsmanagementsystem und auf jedes Anbietersystem bewertet. Wird ein System dadurch geändert, läuft diese Änderung als Änderung am System. Kommt ein neues KI-System unter das Qualitätsmanagementsystem oder wird eines wesentlich geändert, wird anhand seiner Eigenschaften geprüft, ob die Prozesse des Qualitätsmanagementsystems zu überarbeiten sind; ist das der Fall, werden sie über eine Änderung des Managementsystems überarbeitet (EN 18286, 10.2).
13. Prüfung, Test und Validierung
Geprüft wird vor, während und nach der Entwicklung. Vor der Entwicklung werden die Anforderungen und die vorgesehenen Daten auf ihre Eignung geprüft. Während der Entwicklung wird bei jedem Phasenübergang und bei jeder Modellversion geprüft. Vor der Freigabe läuft ein vollständiger Testdurchgang gegen die festgelegten Annahmeschwellen. Nach der Freigabe wird bei jeder wesentlichen Änderung und bei Abweichungen aus der Beobachtung erneut geprüft.
Je System werden die Testarten, die Auswahl der Testdaten, die Kennzahlen und die Annahmeschwellen festgehalten, ebenso der Rhythmus der wiederkehrenden Prüfungen. Diese Angaben stehen in der technischen Dokumentation und werden mit jeder Modellversion fortgeschrieben. Die Testpläne decken die bestimmungsgemäße Verwendung und die vernünftigerweise vorhersehbare Fehlanwendung ab.
14. Technische Spezifikationen und Normen
Je System wird festgehalten, welche technischen Spezifikationen und Normen angewandt werden. Für jede Anforderung des Kapitels III Abschnitt 2, die eine harmonisierte Norm mit Fundstelle im Amtsblatt abdeckt, greift bei vollständiger Anwendung die Vermutungswirkung nach Artikel 40.
Dieselbe Vermutungswirkung erfasst die Pflichten des Kapitels III Abschnitt 3 sowie die Anforderungen, die ein Rechtsakt des Anhangs I an das Produkt stellt, soweit eine harmonisierte Norm sie abdeckt. Sie reicht in jedem Fall nur so weit, wie die Norm die betroffene Anforderung abdeckt und ihre Fundstelle im Amtsblatt der Union veröffentlicht ist.
Wird eine harmonisierte Norm nicht oder nicht vollständig angewandt, tritt an ihre Stelle die Beschreibung der gewählten Lösung: womit die Anforderung stattdessen erfüllt wird, aus welchem Grund dieser Weg gewählt wurde und woran die Erfüllung nachvollziehbar ist. Diese Beschreibung ist Bestandteil der technischen Dokumentation und Voraussetzung der Freigabe.
15. Datenverwaltung
Die Verfahren der Datenverwaltung erstrecken sich auf den gesamten Vorgang vor dem Inverkehrbringen: Beschaffung und Erhebung, Analyse, Kennzeichnung, Speicherung, Filterung, Auswertung, Zusammenführung und Aufbewahrung.
Für jeden Datenbestand werden Herkunft, Rechtsgrundlage und Nutzungsbeschränkungen bestimmt, bevor er verwendet wird. Trainings-, Validierungs- und Testdaten werden auf ihre Eignung für die Zweckbestimmung geprüft, auf Repräsentativität und auf mögliche Verzerrungen. Erkannte Verzerrungen werden behandelt und die Behandlung festgehalten.
Die eingesetzten Datenbestände, die Aufbereitungsschritte und die Ausschlüsse führt die technische Dokumentation je System.
Die Herkunft der Daten wird je Datensatz aufgezeichnet: die Quellenart, die Ereignisse der Verwahrkette (Erstellung, Aktualisierung, Transkription, Abstraktion, Validierung, Übergang der Kontrolle, Weitergabe ohne Übergang der Kontrolle, Transformation) sowie die abgebende Stelle bei extern bezogenen Daten. Die Angaben werden über den gesamten Lebenszyklus der Daten und des KI-Systems fortgeschrieben, also bei jeder neuen Datenquelle und bei jeder neuen Version des Datensatzes ergänzt, von der Beschaffung über Aufbereitung und Training bis zur Ausmusterung (ISO/IEC 42001, Anhang A.7.5). Geführt werden sie am Datensatz im Datenressourcen-Register.
16. Risikomanagement
Für jedes Anbietersystem läuft ein Risikomanagement nach Artikel 9 über den gesamten Lebenszyklus. Es ermittelt die bekannten und vernünftigerweise vorhersehbaren Risiken bei bestimmungsgemäßer Verwendung und bei vorhersehbarer Fehlanwendung, bewertet sie, führt zu Maßnahmen und prüft deren Wirkung.
Dieses produktbezogene Risikomanagement ist von der Betrachtung der Risiken und Chancen des Managementsystems zu unterscheiden: es richtet sich auf das einzelne System und seine Wirkung auf Personen. Die Durchführung und die Ergebnisse werden im KI-Risikoregister des Systems geführt; die verbleibenden Risiken und die Hinweise für den Betreiber fließen in die technische Dokumentation und in die Gebrauchsanweisung ein.
Auch das Qualitätsmanagementsystem selbst trägt Risiken: dass es seine Ergebnisse verfehlt oder unerwünschte Wirkungen hat. Sie werden mit den Risiken und Chancen des KI-Managementsystems bestimmt, im KI-Risikoregister unter der Kategorie „Qualitätsmanagementsystem“ geführt und berücksichtigen mindestens die Compliance-Strategie, die eingesetzten KI-Technologien, den Bedarf an Informationen und Unterstützung Dritter sowie die verfügbaren Ressourcen und Kompetenzen. Ein Beispiel ist der Ausfall einer externen Software, in der Unterlagen des Qualitätsmanagementsystems geführt werden; dem wird mit einer regelmäßigen Sicherung der Unterlagen und einem beschriebenen Ausweichweg begegnet. Maßnahmen gegen solche Risiken werden als Korrekturmaßnahme oder als geplante Änderung am KI-Managementsystem (ISO 6.3) geführt, in die Abläufe des Qualitätsmanagementsystems eingebunden und in der Managementbewertung auf ihre Wirksamkeit bewertet.
Der Prozess läuft in fünf Phasen und beginnt nach der fünften wieder von vorn:
- Ermitteln und analysieren: Die bekannten und vernünftigerweise vorhersehbaren Risiken für Gesundheit, Sicherheit und Grundrechte werden bei bestimmungsgemäßer Verwendung ermittelt und analysiert (Buchstabe a).
- Fehlanwendung abschätzen: Die Risiken, die bei vernünftigerweise vorhersehbarer Fehlanwendung entstehen können, werden abgeschätzt und bewertet (Buchstabe b).
- Weitere Risiken bewerten: Aus der Auswertung der Daten aus der Beobachtung nach dem Inverkehrbringen werden weitere Risiken bewertet, die in den ersten beiden Phasen nicht sichtbar waren (Buchstabe c).
- Maßnahmen ergreifen: Für die bewerteten Risiken werden geeignete und gezielte Maßnahmen ergriffen; sie werden umgesetzt und ihre Wirkung wird geprüft (Buchstabe d).
- Überprüfen und aktualisieren: Das Risikomanagementsystem wird regelmäßig systematisch überprüft und aktualisiert. Der Turnus ist jährlich; außerplanmäßig wird neu bewertet, sobald eine wesentliche Änderung gemeldet wird, ein System erneut trainiert oder seine Version gewechselt wird oder eine Beobachtung im Betrieb eine festgelegte Betriebsgrenze überschreitet.
Eine Beobachtung im Betrieb, die ein bislang unbekanntes Risiko zeigt, wird als risikorelevant vermerkt und löst die Neubewertung des betroffenen Systems aus. Der Kreislauf schließt damit: die Beobachtung nach dem Inverkehrbringen speist die Risikobeurteilung, und deren Ergebnis wirkt auf die Maßnahmen zurück.
Bei der Umsetzung berücksichtigt das Risikomanagement, ob ein System nach seiner Zweckbestimmung nachteilige Auswirkungen auf Personen unter 18 Jahren oder auf andere schutzbedürftige Gruppen hat (Artikel 9 Absatz 9). Die betroffenen Personengruppen sind je System in der Folgenabschätzung erfasst; welche von ihnen als schutzbedürftig gelten, ergibt sich aus dem Gruppenkatalog. Berührt ein System eine solche Gruppe, weist das Risikoregister sie je Risikoszenario aus, und das Schadensausmaß wird unter diesem Gesichtspunkt bewertet.
17. Beobachtung nach dem Inverkehrbringen
Für jedes in Verkehr gebrachte System besteht ein Beobachtungsplan nach Artikel 72. Er benennt den Umfang der Beobachtung, die genutzten Datenquellen, den Auswertungsturnus, die verantwortliche Person und das Kriterium, ab dem ein Beobachtungsergebnis eine Reaktion auslöst.
Der Beobachtungsplan wird als eigenes Dokument geführt und ist Bestandteil der technischen Dokumentation. Die Auswertung findet im festgelegten Turnus statt und wird festgehalten.
Für Reparaturen und Aktualisierungen bestehen festgelegte Abläufe. Eine erkannte Fehlfunktion oder ein Beobachtungsergebnis, das eine Reaktion auslöst, führt zu einer Korrektur; deren Dringlichkeit richtet sich nach dem Schadensausmaß. Für die Aufnahme einer Meldung und die Behebung sind Reaktionszeiten zugesagt, die je System festgehalten sind. Ändert eine Aktualisierung das Verhalten eines Systems in sicherheitsrelevanter Weise, werden die Betreiber vor oder mit der Bereitstellung unterrichtet, und die Änderung wird in der technischen Dokumentation vermerkt.
Die Beobachtung beginnt für jedes System mit dem Inverkehrbringen oder der Inbetriebnahme und endet mit seiner Außerbetriebnahme. Umfang und Auswertungsturnus sind verhältnismäßig zu Technologie, Risikoklasse, Zweckbestimmung und vorhersehbarer Fehlanwendung; für Hochrisiko-Systeme ist der Turnus enger als für Systeme mit geringerem Risiko. Der Beobachtungsplan berücksichtigt die Risiken und Maßnahmen aus dem Risikomanagement, die Abhängigkeit von Betreibern, Händlern, Einführern und Zulieferern sowie technische Grenzen, die eine wirksame Beobachtung erschweren; eine solche Grenze wird mit dem Ausgleich festgehalten, der stattdessen greift.
Informationen werden je Quelle auf einem festgelegten Weg gesammelt und gespeichert: Rückmeldungen und Beschwerden von Betreibern, Nutzern und weiteren interessierten Parteien über den Meldeweg für Betreiber, Protokolle und Leistungsdaten aus dem Betrieb, soweit sie der Organisation zugänglich sind, Mitteilungen von Behörden über den KI-Kommunikationsplan und schwerwiegende Vorfälle über den KI-Vorfallprozess. Personenbezogene Daten werden dabei nur im erforderlichen Umfang verarbeitet; Daten schutzbedürftiger Gruppen werden besonders geschützt und, wo möglich, pseudonymisiert. Die Ergebnisse der Beobachtung gehen in die Managementbewertung ein.
Betrifft eine Nichtkonformität mehrere KI-Systeme, führt die Korrekturmaßnahme alle betroffenen Systeme; die Untersuchung eines Vorfalls prüft dafür, welche Systeme dasselbe Modell oder denselben Lieferanten nutzen. Die Managementbewertung wertet die Korrekturmaßnahmen je System und je Auslöser aus. Tritt bei einem System wiederholt eine Nichtkonformität auf oder häufen sich Vorgänge mit demselben Auslöser, wird geprüft, ob ein systemisches Problem vorliegt, und die Maßnahme setzt an dessen Ursache an. Dabei wird auch geprüft, ob aus den Nichtkonformitäten neue Risiken folgen; solche Risiken werden im KI-Risikoregister erfasst und bewertet, und der Bedarf an Vorbeugemaßnahmen wird bestimmt.
18. Meldung schwerwiegender Vorfälle
Ein schwerwiegender Vorfall nach Artikel 73 wird den Marktüberwachungsbehörden der betroffenen Mitgliedstaaten gemeldet. Die Meldung erfolgt auch dann fristwahrend, wenn der Sachverhalt noch unvollständig ist; die fehlenden Angaben werden nachgereicht.
Beruht ein System auf einem KI-Modell mit allgemeinem Verwendungszweck und stammen Modell und System vom selben Anbieter oder von Anbietern desselben Unternehmens, ist für dieses System das Büro für Künstliche Intelligenz ausschließlich zuständig; dasselbe gilt für Systeme, die eine sehr große Online-Plattform oder Suchmaschine nach der Verordnung (EU) 2022/2065 sind oder in eine solche eingebettet sind (Artikel 75 Absatz 1 in der Fassung der Verordnung (EU) 2026/1744). Vier Fälle bleiben bei den Marktüberwachungsbehörden: Produkte nach Anhang I, Systeme nach Anhang III Nummer 2, Systeme der Strafverfolgungs-, Grenz- und Finanzbehörden nach Artikel 74 Absatz 6 und Systeme nach Anhang III Nummer 8. Für die erfassten Systeme geht die Meldung eines schwerwiegenden Vorfalls abweichend von Artikel 73 an das KI-Büro (Artikel 75 Absatz 1a).
Bis zur Unterrichtung der Behörden bleibt das System unverändert, soweit eine Änderung die spätere Bewertung der Ursachen beeinträchtigen würde. Protokolle, Konfiguration, Modellstand und die verwendeten Daten werden gesichert.
Unterliegt das Unternehmen für ein System bereits einem Unionsrechtsakt mit gleichwertigen Meldepflichten oder ist das System ein Produkt nach der Medizinprodukte- oder der IVD-Verordnung, beschränkt sich die Meldung nach dieser Verordnung auf Vorfälle nach Artikel 3 Nummer 49 Buchstabe c, also auf die Verletzung von Pflichten des Unionsrechts, die dem Schutz der Grundrechte dienen. Die übrigen Vorfallarten werden über den sektoralen Meldeweg gemeldet. Bei Produkten nach der Medizinprodukte- oder der IVD-Verordnung geht die Meldung an die vom Mitgliedstaat des Vorfallorts benannte Behörde. Welcher Fall für welches System gilt, wird im KI-Verzeichnis je System festgehalten.
Betreiber melden schwerwiegende Vorfälle und Beobachtungen zu Risiken für Gesundheit, Sicherheit oder Grundrechte über den Meldeweg, den die Gebrauchsanweisung nennt; der Weg steht allen Betreibern offen. Hat ein Betreiber Grund zu der Annahme, dass die Verwendung ein Risiko im Sinne des Artikels 79 Absatz 1 birgt, setzt er die Nutzung aus und unterrichtet die Organisation (Artikel 26 Absatz 5); die Gebrauchsanweisung beschreibt, wie das geschieht. Bis zur Klärung kann die Organisation den Betreibern das Aussetzen auch selbst empfehlen oder verlangen. Jede Betreibermeldung wird als KI-Beobachtung oder KI-Vorfall aufgenommen und auf ihre Meldepflicht bewertet.
Die Fristen, die Empfänger und der Meldeweg stehen im KI-Kommunikationsplan. Die Erfassung, die Untersuchung und die Abhilfe folgen dem KI-Vorfallprozess.
19. Kommunikation mit Behörden und Akteuren
Die Kommunikation mit zuständigen nationalen Behörden, notifizierten Stellen, weiteren Akteuren der Lieferkette, Kunden und sonstigen interessierten Parteien ist im KI-Kommunikationsplan geregelt, mit Gegenstand, Häufigkeit, Kanal, Zielgruppe und verantwortlicher Person.
Auf eine begründete Anfrage einer zuständigen Behörde nach Artikel 21 werden die technische Dokumentation, die EU-Konformitätserklärung, der Nachweis der Konformitätsbewertung, der Beobachtungsplan und die automatisch erzeugten Protokolle bereitgestellt, in einer Sprache, welche die Behörde leicht versteht. Der Zugang zu den Protokollen wird gewährt, soweit sie der Kontrolle der Organisation unterliegen.
Setzt die Behörde keine Frist, legt die KI-beauftragte Person bei Eingang eine angemessene Frist fest, hält sie im Vorgang fest und teilt sie der Behörde mit. Dasselbe Verfahren gilt für Behörden zum Schutz der Grundrechte nach Artikel 77 und für Stellen, die den Zugang zu Daten ermöglichen. Die Nachweise der anfänglichen und fortdauernden Konformität werden je System in einem Konformitätsdossier zusammengestellt; Protokolle, die der Kontrolle der Organisation unterliegen, werden an dem in der technischen Dokumentation genannten Ort geführt.
Stellt sich heraus, dass ein in Verkehr gebrachtes System der Verordnung nicht entspricht, werden nach Artikel 20 Absatz 1 unverzüglich die erforderlichen Maßnahmen ergriffen: Herstellung der Konformität, Rücknahme, Deaktivierung oder Rückruf. Händler, Betreiber, Bevollmächtigte und Einführer werden darüber unterrichtet.
Die gewählte Maßnahme wird als Korrekturmaßnahme geführt. Der Vorgang hält die Art der Maßnahme fest und die Gruppen der Lieferkette, die unterrichtet wurden; wer im Einzelfall angeschrieben wurde, steht im Vorgang selbst.
Birgt das System ein Risiko im Sinne des Artikels 79 Absatz 1, werden zusätzlich unverzüglich die Ursachen in Zusammenarbeit mit dem meldenden Betreiber untersucht und die Marktüberwachungsbehörden sowie die notifizierte Stelle, die das System nach Anhang VII bewertet hat, über die Art der Nichtkonformität und die ergriffenen Maßnahmen unterrichtet. Beide Unterrichtungen werden am KI-Vorfall mit Datum und Referenz festgehalten.
Verlangt eine Marktüberwachungsbehörde für ein KI-System eine Korrekturmaßnahme, die Rücknahme, den Rückruf oder eine Beschränkung der Bereitstellung, wird die angeordnete Maßnahme innerhalb der von der Behörde gesetzten Frist umgesetzt; diese Frist liegt in jedem Fall unter fünfzehn Arbeitstagen, soweit das Unionsharmonisierungsrecht nichts anderes bestimmt. Die Anordnung wird mit Behörde, Aktenzeichen und Frist am betroffenen System im KI-Verzeichnis erfasst, die Umsetzung als Korrekturmaßnahme geführt und ihre Erledigung dort nachgewiesen. Betrifft die Anordnung ein System, das auch andernorts in der Union bereitgestellt wird, erstreckt sich die Maßnahme auf alle betroffenen Systeme.
Übernimmt ein Dritter für ein bereits in Verkehr gebrachtes System die Anbieterrolle, stellt [IHR_ORGANISATIONSNAME] ihm die technische Dokumentation bereit, die zur Beurteilung der Konformität nach Artikel 16 ausreicht, unterrichtet ihn über die bekannten Grenzen und Fehlermodi des Systems und gewährt ihm gezielten technischen Zugang, auch für Erprobung und Validierung (Artikel 25 Absatz 2). Umfang und Zeitpunkt der Übergabe werden am betroffenen System im KI-Verzeichnis festgehalten, die Vereinbarung mit dem übernehmenden Anbieter wird schriftlich geschlossen. Ist für ein System ausdrücklich erklärt, dass es nicht in ein Hochrisiko-System umgewandelt werden darf, entfällt diese Mitwirkung; die Erklärung wird am System vermerkt.
Für die Betreiber besteht ein Support. Er richtet sich an die Betreiber und ihre Nutzer; erwartete Anliegen sind Fragen zur Verwendung, Störungen, Leistungsabweichungen und Hinweise auf Risiken, die je nach Art beantwortet, behoben oder als KI-Beobachtung aufgenommen werden. Kanäle und Erreichbarkeit stehen je System in der Gebrauchsanweisung; Diagnosewerkzeuge werden bereitgestellt, wo sie für die Behebung nötig sind.
20. Außerbetriebnahme
Die Außerbetriebnahme eines Systems wird geplant, bevor sie wirksam wird. Festgelegt werden:
- Risikomaßnahmen: wie Risiken aus dem Ende des Betriebs beherrscht werden, etwa der Wegfall einer Funktion, auf die sich Betreiber oder betroffene Personen stützen, und der Übergang auf eine Ersatzlösung.
- Datenmaßnahmen: wie Modelle sowie Trainings-, Eingabe- und Protokolldaten zurückgegeben, gelöscht oder archiviert werden. Personenbezogene Daten werden nach dem Datenschutzrecht gelöscht, soweit keine Aufbewahrungspflicht entgegensteht.
- Archivierung: Die Unterlagen nach Artikel 18 bleiben bis zum Ende ihrer Frist erhalten, auch wenn das System nicht mehr bereitgestellt wird; die Protokolle nach Artikel 19 für die Dauer ihrer Frist.
- Information der Betreiber: Die Betreiber erfahren rechtzeitig, ab wann das System nicht mehr bereitgestellt oder unterstützt wird und welche Maßnahmen sie selbst durchführen, etwa das Beenden der Nutzung, die Sicherung eigener Daten und die Unterrichtung ihrer Nutzer.
Mit der Außerbetriebnahme endet die Beobachtung nach dem Inverkehrbringen, und der Eintrag in der EU-Datenbank wird fortgeschrieben.
21. Aufzeichnungen und Aufbewahrung
Fünf Arten von Unterlagen werden ab dem Inverkehrbringen oder der Inbetriebnahme zehn Jahre bereitgehalten (Artikel 18): die technische Dokumentation, die Dokumentation des Qualitätsmanagementsystems, die von notifizierten Stellen genehmigten Änderungen, deren Entscheidungen und Dokumente sowie die EU-Konformitätserklärung.
Die automatisch erzeugten Protokolle werden über einen Zeitraum aufbewahrt, der der Zweckbestimmung des Systems angemessen ist, mindestens jedoch sechs Monate (Artikel 19). Verlangt das Datenschutzrecht eine frühere Löschung, hat die Löschpflicht Vorrang; dieser Fall wird mit seiner Begründung festgehalten.
Speicherort, Zugriffsrechte und die jährliche Prüfung auf Vollständigkeit werden je System festgelegt.
22. Lenkung dokumentierter Information
Diese Richtlinie, die mitgeltenden Dokumente und die Aufzeichnungen des Qualitätsmanagementsystems werden in [DOKUMENTENSYSTEM, z. B. Dokumentenmanagementsystem oder Intranet] geführt. Vor der Herausgabe wird ein Dokument geprüft und freigegeben; jede Freigabe erzeugt eine neue Version mit Datum und freigebender Person, und die Änderungen gegenüber der zuletzt freigegebenen Version sind nachvollziehbar. Ein geändertes Dokument wird erneut geprüft und freigegeben, von einer Person mit der Kompetenz für den betroffenen Aspekt. Frühere Versionen bleiben erhalten und lesbar, auch nachdem sie als obsolet gekennzeichnet sind. Sie lassen sich auch außerhalb des Dokumentensystems lesen, etwa als PDF.
Eine freigegebene Version dieser Richtlinie gilt für [GELTUNGSDAUER, z. B. ein Jahr] ab Freigabe. Die Person der letzten Freigabe wird rechtzeitig vor dem Ablauf erinnert; nach Ablauf wird die Version als obsolet gekennzeichnet, sofern sie nicht vorher erneut freigegeben oder durch eine neue Version ersetzt wurde. Aufzeichnungen halten einen Stand fest und haben keine Geltungsdauer.
Die Unterlagen nach Artikel 18 rechnen ihre Aufbewahrungsfrist ab dem Inverkehrbringen: technische Dokumentation, EU-Konformitätserklärung und Beobachtungsplan ab dem Inverkehrbringen ihres Systems, diese Richtlinie und die Aufzeichnungen des Qualitätsmanagementsystems ab dem spätesten Inverkehrbringen eines Anbietersystems und nie vor ihrer Erstellung. Die Frist beträgt mindestens zehn Jahre. Nach dem Fristende wird eine Version zur Löschung vorgelegt; gelöscht wird nur auf ausdrückliche Entscheidung, und jede Löschung wird im Löschprotokoll festgehalten.
Unterlagen externer Herkunft, die für Planung und Betrieb des Qualitätsmanagementsystems nötig sind, werden mit ihrer Fundstelle geführt: Bezeichnung, Ausgabe oder Datum und Ort. Angewandte Normen stehen mit ihrer Ausgabe in Kapitel 7 der technischen Dokumentation, Rechtsakte im KI-Rechtsregister und im Rechtsregister der Organisation, Unterlagen von Lieferanten und notifizierten Stellen bei dem System, das sie betreffen.
23. Ressourcen und Versorgungssicherheit
Für die Anbietertätigkeit hält [IHR_ORGANISATIONSNAME] die erforderlichen Ressourcen vor: Personen mit der nötigen Fachkunde, Rechenleistung für Training und Betrieb, Werkzeuge und Modelle sowie die Datenbestände, auf denen die Systeme beruhen.
Zur Versorgungssicherheit gehört, dass die Abhängigkeit von einzelnen Zulieferern bekannt ist. Für Modelle, Rechenleistung und Werkzeuge, die von Dritten bezogen werden, sind die Bezugsquelle, die vertraglichen Fristen und die Folgen eines Ausfalls oder einer Abkündigung festgehalten. Wo ein Ausfall den Betrieb eines in Verkehr gebrachten Systems gefährden würde, besteht eine Ausweichmöglichkeit oder ein beschriebener Weg, das System geordnet außer Betrieb zu nehmen.
Werden ein zugekauftes KI-System, ein KI-Modell, ein Instrument, ein Dienst, eine Komponente oder ein Verfahren in ein Hochrisiko-System eingebaut, schließt [IHR_ORGANISATIONSNAME] mit dem jeweiligen Lieferanten eine schriftliche Vereinbarung über die Informationen, Fähigkeiten und den technischen Zugang, die zur Erfüllung der Anbieterpflichten erforderlich sind (Artikel 25 Absatz 4). Die Vereinbarungen werden je System in der technischen Dokumentation geführt, mit Lieferant, Art des Bestandteils, Bezeichnung, Vertragsstand und Wiedervorlage. Für frei und quelloffen bereitgestellte Bestandteile gilt diese Vereinbarungspflicht nicht; ihre Verwendung wird an derselben Stelle vermerkt. Modelle mit allgemeinem Verwendungszweck sind von dieser Ausnahme ausgenommen (Artikel 25 Absatz 4 Satz 2), für sie bleibt die Vereinbarung erforderlich.
Lieferanten von Modellen, Daten, Komponenten, Diensten und Leistungen im Lebenszyklus werden nach dokumentierten Kriterien ausgewählt und beurteilt: ihrer Fähigkeit, die regulatorischen und vertraglichen Anforderungen zu erfüllen, der Qualität und Herkunft der gelieferten Elemente, ihrer Informationssicherheit und ihrer Verfügbarkeit. Die Strenge richtet sich nach dem Risiko, das aus dem belieferten System folgt, und berücksichtigt, wie wirksam die Kontrollen des Lieferanten selbst sind, etwa belegt durch Zertifikate, Auditergebnisse oder seine Auskunft. Getrennt festgelegt sind die Kontrollen am Lieferanten, also die Beurteilung vor der Beauftragung, die Neubeurteilung im Turnus seines Risikourteils und die Anlassprüfung nach Vorfällen oder Änderungen, und die Kontrollen an den gelieferten Elementen, also Abnahme, Verifizierung und Validierung zugelieferter Modelle, Daten und Komponenten vor ihrer Verwendung und die Prüfung jeder neuen Version. Den Lieferanten werden die Anforderungen mitgeteilt, die ihren Beitrag betreffen. Beurteilungen, Ergebnisse und Maßnahmen stehen im KI-Lieferantenverzeichnis.
Die Ressourcen werden bei der Aufnahme eines neuen Anbietersystems und bei der jährlichen Überprüfung dieser Richtlinie beurteilt.
Jede Beurteilung eines KI-Lieferanten läuft als festgelegter Vorgang: Anlass, Prüfung gegen die genannten Kriterien, Ergebnis mit Befund und Maßnahme. Das Datum der letzten Beurteilung wird im KI-Lieferantenverzeichnis festgehalten; ein ungeeigneter Lieferant führt zu einer Korrekturmaßnahme.
24. Rollen und Verantwortlichkeiten
Für die Aspekte dieser Richtlinie gilt die folgende Verteilung:
- Oberste Leitung: Trägt die Verantwortung dafür, dass das Qualitätsmanagementsystem besteht und wirkt. Genehmigt diese Richtlinie, stellt die Mittel bereit und zeichnet die EU-Konformitätserklärung oder benennt die zeichnungsberechtigte Person.
- KI-beauftragte Person: Führt das Qualitätsmanagementsystem, beurteilt Änderungen auf ihre Wesentlichkeit, verantwortet die Konformitätsbewertung und die technische Dokumentation.
- Betrieb des KI-Managementsystems: Führt Entwicklung, Qualitätssicherung, Datenverwaltung und Beobachtung im Tagesgeschäft.
- Vorfallmeldung: Bewertet Vorfälle auf ihre Meldepflicht und setzt die Meldung fristgerecht ab.
- Menschliche Aufsicht: Nimmt die Aufsicht über den Betrieb wahr, soweit sie einem System zugewiesen ist.
- Aufsicht über das Risikomanagement: Überwacht das Risikomanagementsystem, gibt die Maßnahmen zur Risikobeherrschung frei und nimmt die Restrisiken an.
- Regulatorische Anforderungen und Stand der Technik: Ermittelt und prüft für alle Anbietersysteme die regulatorischen Anforderungen und den Stand der Technik, einschließlich Normen und Leitlinien, und meldet Änderungen an die KI-beauftragte Person.
Neben der verantwortlichen Rolle werden je Prozess weitere Rollen beteiligt:
- Risikomanagement: Konsultiert werden der Betrieb des KI-Managementsystems und die menschliche Aufsicht; informiert wird die KI-beauftragte Person über jede freigegebene Maßnahme und jedes angenommene Restrisiko.
- Konformitätsbewertung und Änderungen: Konsultiert werden die Aufsicht über das Risikomanagement und die Rolle für regulatorische Anforderungen; informiert wird die oberste Leitung vor der Unterzeichnung der EU-Konformitätserklärung.
- Beobachtung und Vorfälle: Konsultiert werden der Betrieb und die menschliche Aufsicht; informiert werden die KI-beauftragte Person und bei einem schwerwiegenden Vorfall die oberste Leitung.
- Lieferkette: Konsultiert wird die Lieferantensteuerung bei jedem Bestandteil eines Dritten; informiert wird der Betrieb über Vertragsstand und Wiedervorlage.
- Konzeption, Entwicklung und Validierung: Konsultiert werden die Aufsicht über das Risikomanagement, die Datenqualität und die menschliche Aufsicht; informiert wird die KI-beauftragte Person über jede Freigabe zum Inverkehrbringen.
- Datenverwaltung: Konsultiert werden der Datenschutz und die Entwicklung; informiert wird die KI-beauftragte Person über Datensätze mit Befund.
- Technische Dokumentation: Konsultiert werden die Entwicklung und die Rolle für regulatorische Anforderungen; informiert wird die oberste Leitung vor der Freigabe einer neuen Version.
- Lenkung dokumentierter Information: Konsultiert werden die Verantwortlichen des jeweiligen Dokuments; informiert werden die Personen, die ein Dokument zur Kenntnis nehmen.
- Kompetenz: Konsultiert werden die Führungskräfte der betroffenen Bereiche; informiert wird die KI-beauftragte Person über offene Schulungen.
- Internes Audit und Managementbewertung: Konsultiert werden die Verantwortlichen der geprüften Prozesse; informiert werden alle Rollen über die Entscheidungen der Leitung.
Die Rollen tragen die Qualitätspolitik und die KI-Ziele; jedes KI-Ziel ist einer verantwortlichen Person zugeordnet. Wer qualitätsrelevante Arbeit leitet, ausführt oder prüft, ist befugt, sie anzuhalten, wenn eine Anforderung verfehlt wird oder ein Risiko für Gesundheit, Sicherheit oder Grundrechte erkennbar ist. Ein angehaltener Schritt wird fortgesetzt, sobald die Ursache geklärt und die Freigabe erneut erteilt ist. Prüfende Personen prüfen keine eigene Arbeit.
Wechselt eine Zuweisung, wird die Änderung mit Datum festgehalten. Die namentliche Zuordnung führt die KI-RACI.
25. Mitgeltende Dokumente
Diese Richtlinie wird durch die folgenden Dokumente ausgeführt:
- KI-Politik: Der Rahmen des KI-Managementsystems, aus dem diese Richtlinie hervorgeht.
- Technische Dokumentation je System: Die Angaben nach Anhang IV, einschließlich Entwicklungsweg, Daten, Prüfverfahren, Normen und Protokollierung.
- EU-Konformitätserklärung: Die Erklärung nach Anhang V je System.
- Beobachtungsplan: Der Plan nach Artikel 72 Absatz 3 je System.
- KI-Kommunikationsplan: Gegenstand, Häufigkeit, Kanäle und Zielgruppen der Kommunikation, einschließlich der Meldung schwerwiegender Vorfälle.
- KI-Rollen und Verantwortlichkeiten: Die namentliche Zuordnung der Verantwortung.
- KI-Verzeichnis: Die eingesetzten und angebotenen Systeme mit ihrer Einstufung und Rolle.
26. Überprüfung und Pflege
Diese Richtlinie wird mindestens jährlich überprüft. Eine zusätzliche Überprüfung findet statt, wenn ein neues System die Anbieterrolle auslöst, wenn eine wesentliche Änderung an einem bestehenden System vorgenommen wird, wenn sich die Rechtsgrundlagen ändern oder nach einem schwerwiegenden Vorfall.
Die KI-beauftragte Person bereitet die Überprüfung vor und legt Änderungen vor; die oberste Leitung genehmigt sie. Jede Version wird mit Datum geführt.
Document control
Owner: [POLICY_OWNER_ROLE, e.g. AI Officer]
Approved by: [APPROVER_NAME_AND_ROLE]
Version: [VERSION]
Effective date: [EFFECTIVE_DATE]
Next review: [NEXT_REVIEW_DATE]
AI Compliance Starter Kit. This policy is the quality management system under Art. 17 of Regulation (EU) 2024/1689 and follows EN 18286:2026. It applies only to organisations that place AI systems on the market or put them into service as a provider; deployers alone do not need it. Sections that apply only to certain roles carry a note in italics and are omitted where the role does not apply.
1. Legal and Normative Basis
This policy rests on:
- Regulation (EU) 2024/1689, Art. 17 (Quality management system)
- Regulation (EU) 2024/1689, Art. 16 (Obligations of providers of high-risk AI systems)
- Regulation (EU) 2024/1689, Art. 8 to 15 (Requirements for high-risk AI systems)
- Regulation (EU) 2024/1689, Art. 43 with Annexes VI and VII (Conformity assessment)
- Regulation (EU) 2024/1689, Art. 6(1) and Art. 43(3) with Annex I (product-safety conformity path)
- EN 18286:2026, Quality management system for EU AI Act regulatory purposes (harmonised standard, reference published in the Official Journal of the Union on 14 October 2026, Implementing Decision (EU) 2026/2274)
- ISO/IEC 42001:2023, Annex A, in particular A.6 (life cycle) and A.7 (data)
The quality management system aims to protect health, safety and fundamental rights. The AI management system under ISO/IEC 42001 forms its framework; for the requirements of Article 17(1) it additionally follows EN 18286:2026. Applying this harmonised standard gives rise under Article 40 of the regulation to the presumption of conformity with Article 17(1), for point (g) only together with a risk management system under Article 9; for Article 11(1) it applies to the extent the technical documentation contains all elements of Annex IV. ISO/IEC 42001 orders the evidence; a presumption of conformity arises only from harmonised standards whose references are published in the Official Journal of the Union. Alongside Article 40, the Regulation provides three further routes to a presumption under Article 42: conformity with Article 10(4) where the system has been trained on data reflecting the geographical, behavioural, contextual or functional setting of the intended purpose (paragraph 1); conformity with the cybersecurity requirements of Article 15 through a cybersecurity certification under Regulation (EU) 2019/881 (paragraph 2); and, since Regulation (EU) 2026/1744, conformity with those same requirements for systems falling within the scope of Regulation (EU) 2024/2847 that meet the conditions of its Article 12(1) (paragraph 3).
The legal basis is reviewed systematically. New and amended legislation is monitored continuously; every change that touches a provider system is assessed and, where needed, triggers a review of this policy. The obligations under the AI Act are kept in the AI legal register. Further legal acts that touch a provider system, such as the General Data Protection Regulation or Regulation (EU) 2024/2847 on cyber resilience, are kept in the legal register of the organisation. Which Union harmonisation legislation listed in Annex I applies to a system is recorded per system together with its assessment procedure. The state of the legal basis is an input to the management review.
2. Purpose and Scope
This policy is the written form of the quality management system that Article 17 of Regulation (EU) 2024/1689 requires from providers of a high-risk AI system. It sets out each of the thirteen aspects of Article 17(1) (points (a) to (m)) in its own chapter of this policy and records which rule applies at [YOUR_ORGANISATION_NAME] and which document carries it in detail.
No second management system arises from this. The requirements of the AI management system continue to apply unchanged; this policy maps them to the requirements of Article 17 and adds the rules that concern the provider role alone.
The depth of each aspect follows the size of the organisation (Article 17(2)). An aspect is kept lean where circumstances allow; none is left out.
Only for financial institutions under Article 17(4); otherwise this paragraph is omitted.
As a financial institution subject to requirements regarding its internal governance, arrangements or processes under Union financial services law, [YOUR_ORGANISATION_NAME] fulfils the obligation to put in place a quality management system by complying with those rules (Article 17(4)). Risk management, post-market monitoring and the reporting of serious incidents (Article 17(1), points (g), (h) and (i)) are excepted; [YOUR_ORGANISATION_NAME] runs these under the respective chapters of this policy.
The policy applies to every AI system for which [YOUR_ORGANISATION_NAME] takes the provider role. The provider role arises where a system is developed in-house and placed on the market or put into service, and equally in the cases of Article 25(1): where the organisation's own name or trade mark is placed on a third-party system, where a system already on the market is substantially modified, or where its intended purpose is changed such that it becomes a high-risk system.
Which systems these are in detail is held in the AI register, with their classification and their role. Systems that are only operated and not provided fall outside this policy.
The boundaries of the quality management system follow from the legal framework and the intended purpose. It covers the requirements of Regulation (EU) 2024/1689 for providers, in full for high-risk systems and, for the other provider systems, the obligations their classification triggers, such as the transparency obligations under Article 50. Where a system falls under the Union harmonisation legislation listed in Annex I, its requirements apply alongside, and the conformity assessment follows the procedure of the product. For each system, the intended purpose as set out in the technical documentation forms the boundary: use within the intended purpose and reasonably foreseeable misuse are covered. A change of the intended purpose is treated as a substantial modification.
3. Processes of the quality management system
The quality management system consists of the following processes. Each delivers results that other processes take up; the table shows which processes interact directly.
| Process | Results | Monitoring | Interacts with |
|---|---|---|---|
| Risk management (Art. 9) | Risk register and treatment plan per system, evaluated residual risks, guidance for deployers | Re-assessment on schedule and on occasion as a task; scenarios above the acceptance threshold in the management review | Conception, design, development and validation, Technical documentation, Post-market monitoring, Reporting of serious incidents |
| Conception, design, development and validation (Art. 17(1)(b)–(d)) | Intended purpose, system requirements, reviewed design, verification and validation results, release decision | Completed release cases per development state; results against the acceptance thresholds | Risk management, Data management, Technical documentation, Conformity assessment and market access |
| Data management (Art. 10, Art. 17(1)(f)) | Data sets with origin, version and quality targets in the data resource register | Quality date and finding per dataset in the data resource register | Conception, design, development and validation, Technical documentation |
| Technical documentation (Art. 11, Annex IV) | Technical documentation per system with the approach per requirement | Release state per system, completeness under Annex IV, release before placing on the market | Risk management, Conception, design, development and validation, Data management, Conformity assessment and market access |
| Conformity assessment and market access (Art. 43, 47 to 49) | Assessment procedure per system, EU declaration of conformity, CE marking, registration | State of declaration, certificate and registration per system in the conformity documentation | Technical documentation, Post-market monitoring, Corrective actions and changes |
| Post-market monitoring (Art. 72) | Post-market monitoring plan per system, evaluations at the defined cadence, risk-relevant observations | Evaluations on schedule with a verdict on continued compliance; figures in the management review | Conformity assessment and market access, Risk management, Reporting of serious incidents, Corrective actions and changes |
| Reporting of serious incidents (Art. 73) | AI incidents with assessment of the reporting duty, report and investigation | Reports on time and late in the management review | Post-market monitoring, Risk management, Corrective actions and changes |
| Corrective actions and changes (Art. 20, ISO/IEC 42001 6.3 and 10.2) | Corrective actions, planned changes to the AI management system, assessment of substantiality | Open and overdue corrective actions; effectiveness check per case | Reporting of serious incidents, Post-market monitoring, Conformity assessment and market access, Internal audit and management review |
| Internal audit and management review (ISO/IEC 42001 9.2, 9.3) | Audit reports, decisions and actions of top management, resources | Fulfilment of the audit programme; implementation of the actions from the last review | Corrective actions and changes, Risk management, Post-market monitoring, Reporting of serious incidents |
| Control of documented information (Art. 18, EN 18286 4.5) | Approved versions of policies and documents, records with their retention period | Validity and release state of documents; retention periods | All processes in this table |
The chain starts with the conception of a system and closes through monitoring: observations and incidents feed the risk assessment, corrective actions and changes flow back into development and, for a substantial modification, trigger a new conformity assessment. The management review checks whether the interplay works.
4. Strategy for regulatory compliance
Before a system is placed on the market, its conformity assessment procedure is determined. For high-risk systems under Annex III Nos. 2 to 8, internal control under Annex VI applies, unless the system also falls under Union harmonisation legislation in Annex I Section A, in which case the procedure of that legislation takes precedence (Article 43(3)). For systems under Annex III No. 1, internal control applies only where the harmonised standards or common specifications are applied in full; otherwise a notified body is engaged under Annex VII.
Internal control under Annex VI includes, before the system is placed on the market, verifying that the design and development process of the system and its post-market monitoring under Article 72 are consistent with the technical documentation (Annex VI point 4). Any divergence identified is resolved before release, either in the process or in the documentation.
The following four paragraphs apply only to systems covered by the harmonisation legislation in Annex I; otherwise they are omitted.
Where a system is a component or safety component of, or is itself, a product covered by the Union harmonisation legislation in Annex I, the conformity assessment under this Regulation is carried out within that product's conformity assessment procedure (Article 43(3)). For each system, the assessment procedure required by the sectoral legislation is recorded. A single EU declaration of conformity is drawn up covering this Regulation together with the applicable sectoral legislation (Article 47), and the CE marking follows the rules of that legislation (Article 48).
Where the sectoral procedure provides for the involvement of a notified body, that body also assesses the requirements of Articles 8 to 15 and the quality management system under Article 17; points 3, 4.3, 4.4, 4.5 and 5 as well as point 4.6, fifth paragraph, of Annex VII apply.
Where the legislation under Annex I Section A allows third-party conformity assessment to be waived, that option is used only where harmonised standards or common specifications under Article 41 are applied that cover all requirements of Chapter III Section 2 (Article 43(3), third subparagraph). The coverage is recorded per system before third-party assessment is waived.
The classification as a high-risk AI system under Article 6(1) does not change the choice of procedure, and a third-party conformity assessment does not become necessary merely because a high-risk AI system is included as a safety component of a product (Article 43(3), third subparagraph). The applicable procedure remains the one that the legislation under Annex I Section A lays down for the product.
Modifications to a system are assessed for substantiality before they are adopted. A change of intended purpose, a change of system boundaries, a change of the underlying model or training data, a change of the oversight architecture and a change of the assured performance limits each count as substantial. A substantial modification triggers a fresh conformity assessment.
Systems that continue to learn after deployment are handled separately: their outputs are not fed back into the training or input data unchecked, so that biased or erroneous results are not reinforced through feedback loops (Article 15(4)). Their performance is evaluated against the design goals at defined intervals, and anomalies trigger a review.
The predetermined changes of a continuously learning system are set during design and described in the technical documentation, with their effect on performance and the data the system learns from. Before release they are checked against the requirements of Articles 8 to 15, taken into account in risk management and observed in every life cycle phase. Every execution of a predetermined change is verified and validated and logged like any other change. Predetermined changes that were set at the initial conformity assessment and are described in the technical documentation do not constitute a substantial modification (Article 43(4)); a change outside that frame is assessed for substantiality.
The following eight paragraphs apply only where a notified body is involved in the conformity assessment; otherwise they are omitted.
The validity period of each certificate is tracked per system, and its renewal is initiated early enough for an extended certificate to be in place before it expires (Article 44).
Where the notified body identifies shortcomings or attaches conditions to its certificate, these are managed as a corrective action with the deadline it has set, and their completion is evidenced before that deadline. A suspension, restriction or withdrawal of the certificate ends the market access of the system concerned until its conformity is restored.
The notified body informs the providers concerned within ten days of a suspension, restriction or withdrawal of its designation (Article 36(5)). From that notification onwards, the matter is handled per affected certificate.
Where, on a suspension or restriction, the notifying authority establishes that the engaged body cannot maintain existing certificates, the organisation confirms in writing to the competent national authorities of the Member State of its registered place of business, within three months of the suspension or restriction, that another qualified notified body temporarily assumes the tasks of monitoring the certificate and remains responsible for them for the duration of the suspension or restriction (Article 36(8)(b)).
Where the designation is withdrawn, the certificates remain valid for nine months provided the competent national authority has confirmed that the systems concerned present no risk to health, safety or fundamental rights, and another notified body has confirmed in writing that it assumes immediate responsibility and will complete its assessment within twelve months of the withdrawal (Article 36(9)). The written confirmation to the authority and the confirmation of the assuming body are taken into the conformity documentation of the system concerned.
Where a notified body is engaged under Annex VII, it is informed of every intended change to the approved quality management system and of every change to the list of AI systems covered by that system before that change takes effect (Annex VII point 3.4).
Where access to the training and the trained models, including their relevant parameters, is necessary to assess conformity with the requirements of Chapter III Section 2, and where all other reasonable means of verifying conformity have been exhausted or have proven insufficient, that access is granted to the notified body upon a reasoned request (Annex VII point 4.5). Such access is subject to existing Union law on the protection of intellectual property and trade secrets.
The ongoing surveillance of the quality management system by the notified body is supported: access to the relevant premises, to the documentation and to the information it requires is provided, and the periodic audits it carries out are accommodated.
The results of this strategy are kept in one place per system: classification and role in the AI register, the chosen conformity assessment procedure and the EU declaration of conformity in the conformity documentation, the approach per requirement in chapter 7 of the technical documentation and the monitoring in the post-market monitoring plan. This policy sets the rules; the state per system is kept there.
The AI officer is responsible for that assessment and records its outcome with a date.
5. Marking, registration and market access
Before being placed on the market, every system carries the provider particulars: name, registered trade name or registered trade mark, and the postal address of [YOUR_ORGANISATION_NAME]. These appear on the system itself, failing that on its packaging or in the accompanying documentation. A website does not replace the postal address.
The CE marking is affixed under Article 48, visibly, legibly and indelibly. For systems provided digitally it is made accessible through the user interface or a machine-readable code. Where a notified body is involved in the procedure, its identification number follows the marking.
The system and the organisation are entered in the EU database under Article 49(1) before the system is placed on the market or put into service. The entry is kept up to date on every change.
Where an Annex III system is classified as non-high-risk under Article 6(3), it is nevertheless registered in the EU database under Article 49(2) before being placed on the market or put into service. The Article 6(3) assessment and its justification underlie the entry.
The wording of the provider particulars is identical across the marking, the EU declaration of conformity and the database entry. Registration number, date of entry, the member states of marketing and the state of the CE marking are recorded for each system.
Every system placed on the market or put into service carries a unique identifier; every delivered unit and every provided instance is in addition identified individually, for example by a serial number, a version identifier or a tenant identifier. The assignment of unit or instance to version and customer is kept in the organisation’s sales and provisioning systems, so that every unit can be traced in the distribution chain, for example for a recall or for informing deployers.
6. Instructions for use
Every high-risk system is accompanied by instructions for use under Article 13. They are concise, complete and comprehensible for the deployer, in a language that is easy to understand.
In line with Article 13(3), the instructions for use contain at least the following information, structured by points (a) to (f):
- point (a): the identity and contact details of the provider and, where applicable, of its authorised representative;
- point (b)(i): the intended purpose of the system;
- point (b)(ii): the level of accuracy including its metrics, robustness and cybersecurity (Article 15);
- point (b)(iii): the known and foreseeable circumstances that may lead to risks to health, safety or fundamental rights (Article 9(2));
- points (b)(iv) to (vii): where applicable, the capabilities to explain the output, the performance for specific persons or groups, the specifications for the input data and the information enabling deployers to interpret the output;
- point (c): the pre-determined changes to the system and its performance;
- point (d): the human-oversight measures (Article 14) including the technical measures to facilitate interpretation of the output;
- point (e): the computational and hardware resources, the expected lifetime and the maintenance and care measures;
- point (f): where applicable, the description of the mechanisms for collecting, storing and interpreting logs (Article 12).
In addition, the instructions for use contain the reference of the system with name, version and identifier, the reporting route to the provider with a description of how the deployer suspends use, and the measures of the deployer on decommissioning. Where a system continues to learn during operation, they explain this, its effect on the system and what to observe in deployment, operation and maintenance. Where post-market monitoring depends on the deployer, they state the technical requirements for that monitoring under the post-market monitoring plan, recommended tools and the competence needed.
The instructions for use are kept up to date and are provided in digital or printed form with the system. Every reported change to a system triggers a review of the instructions for use.
With the instructions for use or the terms of use, the customer receives the limits of the validated domain, the measured accuracy per domain and the division of responsibility between provider and customer. Handover takes place before putting into service and again on every substantial modification. The values sit in the technical documentation; audience, channel and timing are held in the AI communication plan.
7. General-purpose AI models
Only for providers of general-purpose AI models; otherwise this section is omitted. For models released under a free and open-source licence with public weights and without systemic risk, the technical documentation under Annex XI and the information under Annex XII are not required (Article 53(2)).
As a provider of a general-purpose AI model, [YOUR_ORGANISATION_NAME] meets the obligations of Article 53(1) in addition to the other chapters of this policy. They attach to the model, not to the individual system it is embedded in.
For every model placed on the market, technical documentation under Annex XI is maintained. It describes the training and testing process and the results of the evaluation, and is kept up to date with every substantial modification of the model. It is held available for the AI Office and the competent national authorities.
Providers who integrate the model into their own AI system receive the information set out in Annex XII: the capabilities and limitations of the model, the technical requirements for integration, and the details those providers need to meet their own obligations. Where the model changes, the information is updated and the affected providers are informed.
A written policy governs compliance with copyright law. It covers the identification of and compliance with reservations of rights under Article 4(3) of Directive (EU) 2019/790, including machine-readable reservations. Excluded sources are recorded together with the reason for their exclusion.
A sufficiently detailed summary of the content used for training is drawn up according to the template provided by the AI Office and made publicly available. Its location and date of publication are recorded for each model.
8. Life cycle processes
Every provider system passes through the following phases in this order. A phase begins when its entry criterion is met and ends with its exit criterion. Operation, maintenance and monitoring then run side by side until the system is decommissioned.
| Phase | Entry criterion | Exit criterion | Responsible |
|---|---|---|---|
| 1. Conception | The project is created in the AI register. | Intended purpose, classification, role, intended conformity route and a first risk consideration are recorded; the AI officer has approved them. | AI officer |
| 2. Design and development | Intended purpose and system requirements are approved. | The design is reviewed by a second competent person, the data sets are recorded with their version, the state is versioned. | Operation of the AI management system |
| 3. Verification and validation | A versioned state exists. | The results lie within the defined acceptance thresholds, the residual risks are evaluated and accepted. | Operation of the AI management system |
| 4. Placing on the market or putting into service | Verification and validation are passed. | Technical documentation and instructions for use are complete, the conformity assessment is concluded, the declaration is signed, marking and registration are done. | AI officer |
| 5. Operation and monitoring in use | The system is placed on the market or put into service. | Ongoing: evaluations under the post-market monitoring plan, incidents are assessed and reported. | Operation of the AI management system |
| 6. Maintenance and updates | A change request, a monitoring result or a corrective action exists. | The change is assessed for substantiality; a substantial modification leads back to verification and a new conformity assessment. | AI officer |
| 7. Decommissioning | Withdrawal, recall or the end of provision is decided. | Deployers are informed, the entry in the EU database is updated, the documentation is kept until the end of its period. | AI officer |
For each phase, the internal and external resources needed are determined: people with their competence, computing power, tools and models, and data. The nature, duration and extent of the activities depend on the system and its classification; the technical documentation records the computing resources per phase.
Deployers are involved in conception and validation so that their requirements for use, oversight and maintenance enter the system requirements. How the persons a system affects are heard on its risks is set out in the chapter “Consultation of affected persons”.
Planning and execution are kept up to date per system in the AI register and in the technical documentation; the evidence that a phase was passed as planned is kept there. Where a process misses its criteria, this is handled as a corrective action.
Each development state that is to be placed on the market or put into service passes through a defined development and release process: requirements and their review, design and specification, verification against the acceptance thresholds, validation under conditions of use and release by management. Verification and release lie with different roles. The completed case records the execution and is kept as a record of the quality management system.
9. Conception
Every system starts with its conception. It sets out:
- Intended purpose: what the system is intended for, in which context of use and for which user groups, which persons it affects and which misuse is reasonably foreseeable. The intended purpose is kept in the technical documentation and forms the boundary of the system.
- Regulatory requirements: the classification under the Regulation, the role of the organisation, further legal acts concerned and the intended conformity route.
- System requirements: the requirements for performance, accuracy, robustness, cybersecurity, human oversight, logging and transparency, derived from the intended purpose and a first risk consideration.
- Feasibility and resources: whether data, models, computing power and competence are available for the system.
The system requirements are derived from the obligations that follow per system from classification and role, and from the measures of the risk assessment. Every requirement is complete, unambiguous, verifiable and validatable. It is reviewed before specification and kept in the tool development works with; the technical documentation states this reference. The review of the requirements is repeated when design, verification or validation change a requirement.
The results of the conception are reviewed before design and approved by the AI officer.
10. Consultation of affected persons
The persons a system is likely to affect, or their representatives, are heard on its risks to health, safety and fundamental rights. Where direct consultation is not possible, independent expert bodies take their place, such as civil society organisations. Consultation starts at conception, before design and development, and accompanies examination, testing and validation.
For each system it runs in five steps:
- Plan: The means and people are provided so that the affected persons are properly heard.
- Identify affected persons: The persons and groups that can be adversely affected are recorded, with particular attention to disadvantaged, under-represented and vulnerable groups. The affected groups of the impact assessment are the basis.
- Set objectives: It is recorded what the consultation serves, for example identifying and evaluating risks, acceptance criteria, measures, investigating serious incidents or post-market monitoring.
- Choose the method and inform: The format is age-appropriate and accessible and gives participants the information about the system they need to give feedback.
- Carry out and report back: The results are recorded, and participants learn what follows from their input.
Whether and to what extent consultation takes place depends on the classification of the system and the affected groups; the decision and the results are recorded with the risk assessment of the system. The results feed into the risk assessment and can change the intended purpose or trigger additional protective measures in the design.
11. Design and design verification
The design of a system follows the phases of the life cycle model with their entry and exit criteria. Requirements are reviewed before design, design decisions are recorded with their reasoning, and the design is reviewed by a second competent person before development begins.
Two requirements are taken into account at design stage rather than added later. The human oversight measures under Article 14(4) are built in: the ability to halt operation, the display of the limits and accuracy of the system, and safeguards against undue reliance on its output. And accessibility under Directives (EU) 2016/2102 and (EU) 2019/882 applies as a design and acceptance requirement.
The transparency notices under Article 50 are delivered in an accessible form. They are reachable through assistive technology, understandable on their own and recognisable without relying on colour; for digital interfaces EN 301 549 applies. They appear at first interaction, and for generated content at the point where it is perceived.
Which procedures apply in detail is recorded in the technical documentation of the system concerned.
12. Development and quality assurance
Code, models and configuration are held in versioned storage. Changes are approved before they are adopted. Development, test and operation run in separate environments. Before every delivery, defined release criteria are checked.
Quality assurance extends to how the components interact: where a third-party model is integrated, model version and source are kept separate from the application version, so that a change of model remains traceable.
Development is steered by objectives for responsible development, for example on the maintainability, data quality, robustness and security of the systems. These objectives are mapped to the phases of the development life cycle, the corresponding measures are built into each phase, and they are maintained and reviewed together with the other AI objectives (ISO/IEC 42001, Annex A.6.1.2).
Changes to a system after placing on the market pass through a defined change process: recording, assessment of the risks concerned, a justified decision on substantiality, release, verification and the update of the technical documentation and the instructions for use. A predetermined change that is carried out follows the same path. Where a change touches the processes of the quality management system, it is also handled as a change of the management system.
Changes to the quality management system are handled as a management system change and, before their approval, evaluated for their impact on the quality management system and on each provider system. If a system is changed as a result, this change runs as a change to the system. When a new AI system becomes covered by the quality management system or one is substantially modified, its characteristics are used to check whether the processes of the quality management system are to be revised; if so, they are revised through a management system change (EN 18286, 10.2).
13. Examination, test and validation
Testing takes place before, during and after development. Before development, the requirements and the intended data are checked for suitability. During development, checks take place at every phase transition and with every model version. Before release, a full test run against the defined acceptance thresholds is carried out. After release, testing is repeated on every substantial modification and on deviations arising from monitoring.
For each system, the test types, the choice of test data, the metrics and the acceptance thresholds are recorded, as is the rhythm of the recurring checks. These details sit in the technical documentation and are carried forward with every model version. The test plans cover the intended use and the reasonably foreseeable misuse.
14. Technical specifications and standards
For each system it is recorded which technical specifications and standards are applied. For any requirement of Chapter III Section 2 covered by a harmonised standard with a reference in the Official Journal, full application brings the presumption of conformity under Article 40.
The same presumption covers the obligations of Chapter III Section 3 and the requirements that an act listed in Annex I places on the product, to the extent a harmonised standard covers them. In every case it reaches only as far as the standard covers the requirement concerned and its reference is published in the Official Journal of the Union.
Where a harmonised standard is not applied, or not applied in full, a description of the chosen solution takes its place: what is used instead to meet the requirement, why that route was chosen, and how the fulfilment can be traced. That description forms part of the technical documentation and is a condition of release.
15. Data management
The data management procedures extend across the whole process prior to placing on the market: acquisition and collection, analysis, labelling, storage, filtration, mining, aggregation and retention.
For every data set, origin, legal basis and usage restrictions are determined before it is used. Training, validation and test data are examined for their suitability for the intended purpose, for representativeness and for possible bias. Detected bias is addressed and the treatment recorded.
The data sets used, the preparation steps and the exclusions are held in the technical documentation of each system.
The provenance of the data is recorded per dataset: the source kind, the chain-of-custody events (creation, update, transcription, abstraction, validation, transfer of control, sharing without transfer of control, transformation) and the supplying party for externally sourced data. These details are carried forward across the entire life cycle of the data and of the AI system, that is extended for every new data source and every new version of the dataset, from sourcing through preparation and training to decommissioning (ISO/IEC 42001, Annex A.7.5). They are held on the dataset in the data resource register.
16. Risk management
For every provider system, a risk management process under Article 9 runs across the entire life cycle. It identifies the known and reasonably foreseeable risks under intended use and under foreseeable misuse, evaluates them, leads to measures and tests the effect of those measures.
This product-level risk management is distinct from the consideration of risks and opportunities of the management system: it addresses the individual system and its effect on people. Its execution and results are kept in the AI risk register of the system; the residual risks and the guidance for the deployer feed into the technical documentation and the instructions for use.
The quality management system itself carries risks as well: that it misses its outcomes or has undesired effects. They are determined together with the risks and opportunities of the AI management system, kept in the AI risk register under the category “Quality management system” and take into account at least the compliance strategy, the AI technologies used, the need for information and support from third parties, and the available resources and competences. One example is the outage of external software in which documentation of the quality management system is kept; it is addressed by a regular backup of the documentation and a described fallback. Actions against such risks are handled as a corrective action or as a planned change to the AI management system (ISO 6.3), integrated into the processes of the quality management system and evaluated for their effectiveness in the management review.
The process runs in five phases and starts again after the fifth:
- Identify and analyse: The known and reasonably foreseeable risks to health, safety and fundamental rights under intended use are identified and analysed (point a).
- Estimate misuse: The risks that may emerge under reasonably foreseeable misuse are estimated and evaluated (point b).
- Evaluate further risks: From the analysis of the data gathered in post-market monitoring, further risks are evaluated that were not visible in the first two phases (point c).
- Take measures: Appropriate and targeted measures are taken for the evaluated risks; they are implemented and their effect is checked (point d).
- Review and update: The risk management system is regularly and systematically reviewed and updated. Planned reviews take place annually; an unplanned re-assessment takes place as soon as a substantial modification is reported, a system is retrained or its version changes, or an observation in operation exceeds a defined operating margin.
An observation in operation that reveals a previously unknown risk is marked as risk-relevant and triggers the re-assessment of the affected system. This closes the cycle: post-market monitoring feeds the risk assessment, and its result acts back on the measures.
In implementing it, the risk management considers whether a system is, in view of its intended purpose, likely to have an adverse impact on persons under the age of 18 or on other vulnerable groups (Article 9(9)). The affected groups of persons are recorded per system in the impact assessment; which of them count as vulnerable follows from the group catalogue. Where a system touches such a group, the risk register states it per risk scenario, and severity is rated in that light.
17. Post-market monitoring
For every system placed on the market there is a monitoring plan under Article 72. It names the scope of monitoring, the data sources used, the evaluation rhythm, the responsible person and the criterion from which a monitoring result triggers a response.
The monitoring plan is kept as a document of its own and forms part of the technical documentation. Evaluation takes place at the defined rhythm and is recorded.
Defined processes exist for repairs and updates. A detected malfunction or a monitoring result that triggers a response leads to a correction, the urgency of which follows the severity of harm. Response times are committed for acknowledging a report and for resolution, and are recorded per system. Where an update changes a system's behaviour in a safety-relevant way, deployers are informed before or upon provision, and the change is noted in the technical documentation.
Monitoring starts for each system when it is placed on the market or put into service and ends when it is decommissioned. Its extent and evaluation cadence are proportionate to the technology, risk class, intended purpose and foreseeable misuse; for high-risk systems the cadence is closer than for systems with lower risk. The post-market monitoring plan takes into account the risks and measures from risk management, the dependence on deployers, distributors, importers and suppliers, and technical limitations that hinder effective monitoring; such a limitation is recorded together with the compensation that applies instead.
Information is collected and stored per source along a defined route: feedback and complaints from deployers, users and other interested parties through the reporting route for deployers, logs and performance data from operation where they are accessible to the organisation, communications from authorities through the AI communication plan, and serious incidents through the AI incident process. Personal data are processed only to the extent necessary; data on vulnerable groups are specially protected and pseudonymised where possible. The results of monitoring feed into the management review.
Where a nonconformity affects several AI systems, the corrective action lists all affected systems; the investigation of an incident checks for this which systems use the same model or the same supplier. The management review analyses the corrective actions per system and per trigger. Where a nonconformity recurs on a system or cases with the same trigger accumulate, it is examined whether a systemic problem exists, and the action addresses its cause. It is also examined whether the nonconformities give rise to new risks; such risks are recorded and assessed in the AI risk register, and the need for preventive action is determined.
18. Reporting of serious incidents
A serious incident under Article 73 is reported to the market surveillance authorities of the member states concerned. The report is made in time even where the facts are still incomplete; missing details are supplied afterwards.
Where a system is built on a general-purpose AI model and the model and the system come from the same provider or from providers within the same undertaking, the AI Office has exclusive competence for that system; the same applies to systems that are, or are embedded in, a very large online platform or search engine under Regulation (EU) 2022/2065 (Article 75(1) as amended by Regulation (EU) 2026/1744). Four cases stay with the market surveillance authorities: products under Annex I, systems under Annex III point 2, systems of law enforcement, border and financial authorities under Article 74(6), and systems under Annex III point 8. For the systems covered, a serious incident is reported to the AI Office by way of derogation from Article 73 (Article 75(1a)).
Until the authorities have been informed, the system remains unchanged in so far as a change would impair the later assessment of causes. Logs, configuration, model state and the data used are preserved.
Where the organisation is already subject to a Union legislative instrument with equivalent reporting obligations for a system, or where the system is a device under the Medical Device or the IVD Regulation, reporting under this Regulation is limited to incidents under Article 3, point (49)(c), that is the infringement of obligations under Union law intended to protect fundamental rights. The other incident types are reported through the sectoral route. For devices under the Medical Device or the IVD Regulation the report goes to the authority designated by the Member State where the incident occurred. Which case applies to which system is recorded per system in the AI register.
Deployers report serious incidents and observations on risks to health, safety or fundamental rights through the reporting route named in the instructions for use; the route is open to all deployers. Where a deployer has reason to consider that use presents a risk within the meaning of Article 79(1), it suspends use and informs the organisation (Article 26(5)); the instructions for use describe how this is done. Until the matter is resolved, the organisation can itself recommend or require deployers to suspend use. Every deployer report is recorded as an AI observation or AI incident and assessed for its reporting duty.
The deadlines, the recipients and the reporting route are set out in the AI communication plan. Recording, investigation and remedy follow the AI incident process.
19. Communication with authorities and operators
Communication with competent national authorities, notified bodies, other operators in the supply chain, customers and other interested parties is governed by the AI communication plan, with subject, frequency, channel, audience and responsible person.
On a reasoned request from a competent authority under Article 21, the technical documentation, the EU declaration of conformity, the evidence of the conformity assessment, the monitoring plan and the automatically generated logs are provided, in a language the authority readily understands. Access to the logs is granted in so far as they are under the control of the organisation.
Where the authority sets no deadline, the AI officer sets an appropriate deadline on receipt, records it in the case and informs the authority. The same procedure applies to authorities protecting fundamental rights under Article 77 and to bodies providing access to data. The evidence of initial and continuous conformity is compiled per system in a conformity dossier; logs under the control of the organisation are kept at the location named in the technical documentation.
Where a system placed on the market turns out not to conform to the regulation, the necessary measures are taken without delay under Article 20(1): bringing it into conformity, withdrawing it, disabling it or recalling it. Distributors, deployers, authorised representatives and importers are informed.
The chosen measure is carried as a corrective action. The case records the type of measure and the groups in the supply chain that were informed; whom exactly was contacted is held in the case itself.
Where the system presents a risk within the meaning of Article 79(1), the causes are investigated without delay together with the reporting deployer, and the market surveillance authorities and the notified body that assessed the system under Annex VII are informed of the nature of the non-compliance and of the measures taken. Both notifications are recorded on the AI incident with date and reference.
Where a market surveillance authority requires a corrective action, a withdrawal, a recall or a restriction of making available for an AI system, the measure ordered is carried out within the period set by the authority; that period is in any event no later than fifteen working days, unless the Union harmonisation legislation provides otherwise. The order is recorded on the system concerned in the AI register with the authority, the reference and the deadline, its implementation is run as a corrective action and its completion is evidenced there. Where the order concerns a system that is also made available elsewhere in the Union, the measure extends to all systems concerned.
Where a third party takes on the provider role for a system already placed on the market, [YOUR_ORGANISATION_NAME] supplies the technical documentation sufficient to assess conformity under Article 16, informs that party of the known limitations and failure modes of the system, and grants targeted technical access, including for testing and validation (Article 25(2)). The scope and the date of the handover are recorded on the system concerned in the AI register, and the agreement with the incoming provider is concluded in writing. Where it has been clearly specified for a system that it is not to be changed into a high-risk system, that cooperation does not apply; the specification is noted on the system.
Support is provided for deployers. It addresses deployers and their users; expected requests are questions on use, malfunctions, performance deviations and indications of risk, which are answered, resolved or recorded as an AI observation depending on their nature. Channels and availability are stated per system in the instructions for use; diagnostic tools are provided where they are needed for resolution.
20. Decommissioning
The decommissioning of a system is planned before it takes effect. It sets out:
- Risk measures: how risks from the end of operation are controlled, for example the loss of a function deployers or affected persons rely on, and the transition to a replacement.
- Data measures: how models and training, input and log data are returned, deleted or archived. Personal data are deleted in line with data protection law unless a retention duty applies.
- Archiving: The documentation under Article 18 is kept until the end of its period, also when the system is no longer provided; the logs under Article 19 for the duration of their period.
- Informing deployers: Deployers learn in good time from when the system is no longer provided or supported and which measures they carry out themselves, for example ending use, securing their own data and informing their users.
Decommissioning ends post-market monitoring, and the entry in the EU database is updated.
21. Records and retention
Five kinds of documentation are kept for ten years from placing on the market or putting into service (Article 18): the technical documentation, the documentation of the quality management system, the changes approved by notified bodies, their decisions and documents, and the EU declaration of conformity.
The automatically generated logs are retained for a period appropriate to the intended purpose of the system, and for at least six months (Article 19). Where data protection law requires earlier deletion, the deletion duty prevails; that case is recorded with its reasoning.
Storage location, access rights and the annual completeness check are set for each system.
22. Control of documented information
This policy, the related documents and the records of the quality management system are kept in [DOCUMENT_SYSTEM, e.g. document management system or intranet]. A document is reviewed and approved before it is issued; every approval creates a new version with the date and the approving person, and the changes against the last approved version can be traced. A changed document is reviewed and approved again by a person with competence for the aspect concerned. Earlier versions remain preserved and readable, also after they are marked obsolete. They can also be read outside the document system, for example as PDF.
An approved version of this policy is valid for [VALIDITY_PERIOD, e.g. one year] from approval. The person who last approved it is reminded in good time before expiry; after expiry the version is marked obsolete unless it was approved again or replaced by a new version beforehand. Records capture a state and have no validity period.
The documentation under Article 18 counts its retention period from placing on the market: technical documentation, EU declaration of conformity and post-market monitoring plan from the placing on the market of their system, this policy and the records of the quality management system from the latest placing on the market of a provider system, and never before they were created. The period is at least ten years. After the end of the period a version is put forward for deletion; it is deleted only on an explicit decision, and every deletion is recorded in the deletion log.
Documents of external origin needed for planning and operating the quality management system are kept by their reference: title, edition or date, and location. Applied standards are listed with their edition in chapter 7 of the technical documentation, legal acts in the AI legal register and in the legal register of the organisation, documents from suppliers and notified bodies with the system they concern.
23. Resources and security of supply
For its provider activity, [YOUR_ORGANISATION_NAME] keeps the necessary resources available: people with the required expertise, computing capacity for training and operation, tools and models, and the data sets on which the systems rest.
Security of supply includes knowing where dependence on individual suppliers lies. For models, computing capacity and tools obtained from third parties, the source, the contractual notice periods and the consequences of an outage or discontinuation are recorded. Where an outage would endanger the operation of a system already on the market, either an alternative exists or there is a described way of taking the system out of service in an orderly manner.
Where a purchased AI system, AI model, tool, service, component or process is integrated into a high-risk system, [YOUR_ORGANISATION_NAME] concludes a written agreement with the respective supplier covering the information, capabilities and technical access required to meet the provider obligations (Article 25(4)). The agreements are kept per system in the technical documentation, with supplier, kind of component, name, contract status and follow-up date. This agreement duty does not apply to components made available under a free and open-source licence; their use is noted in the same place. General-purpose AI models are excluded from that exception (Article 25(4), second sentence), and an agreement remains required for them.
Suppliers of models, data, components, services and life cycle services are selected and evaluated against documented criteria: their ability to meet the regulatory and contractual requirements, the quality and origin of the supplied elements, their information security and their availability. The rigour follows the risk arising from the supplied system and takes account of how effective the supplier's own controls are, for example as shown by certificates, audit results or its information. Controls on the supplier, namely the evaluation before engagement, the re-evaluation at the cadence of its risk rating and the event-driven review after incidents or changes, are set separately from the controls on the supplied elements, namely acceptance, verification and validation of supplied models, data and components before their use and the review of every new version. Suppliers are informed of the requirements that concern their contribution. Evaluations, results and actions are kept in the AI supplier register.
Resources are assessed when a new provider system is taken on and at the annual review of this policy.
Each assessment of an AI supplier runs as a defined case: occasion, check against the criteria above, result with findings and action. The date of the last assessment is recorded in the AI supplier register; an unsuitable supplier leads to a corrective action.
24. Roles and Responsibilities
The aspects of this policy are allocated as follows:
- Top management: Carries responsibility for the existence and effect of the quality management system. Approves this policy, provides the means and signs the EU declaration of conformity or names the person authorised to sign.
- AI officer: Runs the quality management system, assesses modifications for substantiality, and is responsible for the conformity assessment and the technical documentation.
- AI management system operation: Carries out development, quality assurance, data management and monitoring in day-to-day work.
- Incident reporting: Assesses incidents for their reporting duty and files the report within the deadline.
- Human oversight: Exercises oversight of operation where it is assigned to a system.
- Supervision of risk management: Supervises the risk management system, approves the risk control measures and accepts the residual risks.
- Regulatory requirements and state of the art: Identifies and reviews the regulatory requirements and the state of the art for all provider systems, including standards and guidelines, and reports changes to the AI officer.
Besides the responsible role, further roles take part in each process:
- Risk management: The operation of the AI management system and human oversight are consulted; the AI officer is informed of every approved measure and every accepted residual risk.
- Conformity assessment and changes: The supervision of risk management and the role for regulatory requirements are consulted; top management is informed before the EU declaration of conformity is signed.
- Monitoring and incidents: Operation and human oversight are consulted; the AI officer and, for a serious incident, top management are informed.
- Supply chain: Supplier management is consulted for every third-party component; operation is informed of contract status and follow-up date.
- Conception, development and validation: The oversight of risk management, data quality and human oversight are consulted; the AI officer is informed of every release for placing on the market.
- Data management: Data protection and development are consulted; the AI officer is informed of datasets with a finding.
- Technical documentation: Development and the role for regulatory requirements are consulted; top management is informed before a new version is released.
- Control of documented information: The persons responsible for each document are consulted; the persons who acknowledge a document are informed.
- Competence: The managers of the areas concerned are consulted; the AI officer is informed of outstanding training.
- Internal audit and management review: The persons responsible for the audited processes are consulted; all roles are informed of the decisions of management.
The roles carry the quality policy and the AI objectives; every AI objective is assigned to a responsible person. Whoever manages, performs or verifies work affecting quality has the authority to stop it when a requirement is missed or a risk to health, safety or fundamental rights becomes apparent. A stopped step resumes once the cause is resolved and the approval is given again. Persons who verify do not verify their own work.
Where an allocation changes, the change is recorded with a date. The AI RACI holds the allocation by name.
25. Reference Documents
This policy is carried out through the following documents:
- AI policy: The frame of the AI management system from which this policy follows.
- Technical documentation per system: The particulars under Annex IV, including development route, data, test procedures, standards and logging.
- EU declaration of conformity: The declaration under Annex V for each system.
- Post-market monitoring plan: The plan under Article 72(3) for each system.
- AI communication plan: Subject, frequency, channels and audiences of communication, including the reporting of serious incidents.
- AI roles and responsibilities: The allocation of responsibility by name.
- AI register: The systems in use and on offer, with their classification and role.
26. Review and Maintenance
This policy is reviewed at least annually. An additional review takes place where a new system brings the provider role into play, where a substantial modification is made to an existing system, where the legal basis changes, or after a serious incident.
The AI officer prepares the review and submits changes; top management approves them. Every version is kept with its date.
Sources
- Regulation (EU) 2024/1689 (EUR-Lex): AI Act, Art. 9 to 20, 40, 43 to 49, 72 and 73
- Implementing Decision (EU) 2026/2274 (EUR-Lex): harmonised standards for high-risk AI systems, Official Journal of 14 October 2026
- CEN-CENELEC JTC 21: standardisation of artificial intelligence