QM Methoden-Beratung-Software

🔐 Safety & Security: Müssen wir uns wirklich erst Ende 2027 damit beschäftigen?

In letzter Zeit werde ich in meinen Projekten immer häufiger mit Security-Anforderungen konfrontiert.

Dabei höre ich immer wieder: „Das wird doch erst mit dem Cyber Resilience Act Ende 2027 relevant.“

Ganz so einfach ist es nicht. Denn bereits die neue EU-Maschinenverordnung (EU) 2023/1230, die ab dem 20. Januar 2027 anzuwenden ist, enthält konkrete Anforderungen an die Security von Maschinen.
Besonders deutlich wird das in Anhang III, Abschnitt 1.1.9 – Schutz gegen Korrumpierung. Dort geht es unter anderem darum, dass sicherheitsrelevante Hardware, Software und Daten gegen unbeabsichtigte oder vorsätzliche Korrumpierung geschützt werden müssen.

Und genau hier treffen sich Safety und Security:
➡️ Security wird zur Safety-Anforderung, sobald eine Manipulation die Sicherheit der Maschine beeinträchtigen kann.

Aber 1.1.9 ist nicht die einzige Stelle. Auch bei den Anforderungen an Steuerungssysteme in Anhang III, 1.2.1, bei den technischen Unterlagen und bei der Cybersicherheitszertifizierung finden sich entsprechende Anforderungen bzw. Zusammenhänge.

Ich habe deshalb einmal den Safety Navigator gefragt:
„Wo in der neuen EU-MVO wird Security schon konkret gefordert?“

Die komplette Antwort des Safety Navigators mit den entsprechenden Fundstellen habe ich diesem Post als PDF beigefügt (im 1. Kommentar ist der Link)

In den nächsten Posts werde ich das Thema Safety & Security deshalb etwas genauer betrachten: Was fordert die Maschinenverordnung tatsächlich?

* Was kommt zusätzlich durch den CRA?
* Und was bedeutet das ganz konkret für unsere Safety-Prozesse?
* Wie ist das bei Euch? Betrachtet Ihr Safety und Security bereits gemeinsam – oder sind das bei Euch noch zwei getrennte Welten?



Der Link zum PDF mit der kompletten Antwort vom Safety ist im 1. Kommentar ‼️

1drv.ms

KI trifft Safety – Kapitel 9.5 | Normenkonformität in der Praxis

🔵 Ausgangslage: KI macht Normenkonformität komplexer
Mit KI in Safety-Systemen verschieben sich die klassischen Herausforderungen deutlich: Normenvielfalt, dynamische Regularien, steigende technische Komplexität sowie hoher Aufwand bei Dokumentation und Traceability.
➡️ Normkonformität wird damit zu einem kontinuierlichen Engineering- und Organisationsprozess.

🔵 9.5.1 Zentralisiertes Normenmanagement
Die Vielzahl relevanter Regelwerke (z. B. ISO/IEC TR 5469, AI Act, ISO 13849-1, SOTIF) erfordert strukturierte Steuerung statt Einzelbetrachtung.
➡️ Lösungsansatz:
· zentrale Normenplattformen (z. B. DIN.ONE, CEN-CENELEC)
· digitale Normenverwaltung mit laufender Pflege
· KI-gestützte Abfrage von Normbezügen und Safety Case Zuordnung
Zusätzlich gewinnt KI-Governance (z. B. ISO/IEC 42001) als organisationsweite Referenzstruktur an Bedeutung.

🔵 9.5.2 Iterative Validierung statt Einmalprüfung
KI-Safety kann nicht mehr einmalig „abgenommen“ werden. Stattdessen entsteht ein zyklischer Validierungsansatz:
➡️ Kombination aus:
· Simulation (z. B. CARLA, Gazebo)
· Real-World-Tests
· XAI-Methoden (SHAP, LIME) zur Nachvollziehbarkeit
Ziel ist eine schrittweise Absicherung von Konfidenz, Fallback-Logik und Entscheidungsverhalten.

🔵 9.5.3 Automatisierung der Safety-Dokumentation
Manuelle Nachweisführung stößt schnell an Skalierungsgrenzen.
➡️ Lösung: automatisierte Erstellung und Pflege von:
· Traceability-Matrizen
· Test- und Validierungsprotokollen
· Bias-Analysen
· Konformitätserklärungen (AI Act / Normenbezug)
Das reduziert nicht nur Aufwand, sondern erhöht auch Konsistenz und Auditfähigkeit.

🔵 9.5.4 Schulung & Wissensaufbau
Ein oft unterschätzter Faktor ist das regulatorische Verständnis im Team. Neue Anforderungen aus AI Act, SOTIF, XAI oder branchenspezifischen Normen müssen früh verstanden werden.
➡️ Erfolgsfaktor: praxisnahe Schulungsformate und kontinuierlicher Wissensaufbau entlang realer Use Cases.

🔵 9.5.5 Praxisbeispiel: FTS & KJIO-Fehler
Im fahrerlosen Transportsystem wurden KJIO-Fehler (Konfidenz, Justifikation, Interpretation, Oversight) in der Objekterkennung identifiziert.
Durch Bias-Analysen konnten insbesondere kritische Szenarien (z. B. unbeleuchtete oder atypische Hindernisse) abgesichert werden.
➡️ Im Safety Case führt Unsicherheit zu einem deterministischen Not-Stopp als definierter Fallback-Mechanismus.

🔵 Fazit:
Kapitel 9.5 zeigt sehr klar: Normenkonformität in KI-Systemen ist kein Dokumentationsproblem mehr, sondern ein Systemproblem. Erfolgreich sind Ansätze, die Normenmanagement, Validierung, Dokumentation und Wissen als integrierte, automatisierbare Prozesskette verstehen. Damit wird Compliance nicht nachgelagert geprüft, sondern aktiv in die KI-Systemarchitektur eingebettet.

KI trifft Safety – Kapitel 9.3.6 | AI Act, Maschinenverordnung & neue Zertifizierungslogik

🔷 Regulatorischer Shift: KI wird Hochrisiko-relevant

Mit dem AI Act (seit 2024 in Kraft) verschiebt sich KI-Safety endgültig in den regulierten Hochrisiko-Bereich. Systeme wie FTS, kollaborative Robotik oder autonome Fahrzeuge (Level 2+) fallen – je nach Anwendung – unter Anhang III.

➡️ KI wird nicht mehr nur technisch, sondern umfassend regulatorisch bewertet.

🔷 Kernanforderungen des AI Acts

Für sicherheitskritische KI-Systeme gelten Anforderungen über den gesamten Lebenszyklus:

• Transparenz (Architektur, Trainingsdaten, Entscheidungslogik)
• Robustheit (Drift, Edge Cases, Angriffe)
• Erklärbarkeit (XAI, z. B. SHAP/LIME)
• Datenqualität & Bias-Kontrolle
• Menschliche Aufsicht (z. B. Not-Aus)
• Konformitätsbewertung & EU-Registrierung

➡️ KI-Safety wird auditierbar und dokumentationsgetrieben.

🔷 AI Act vs. Maschinenverordnung

Es entstehen Überschneidungen:

• Maschinenverordnung: HARA, technische Safety, KJIO-Fehlervermeidung
• AI Act: Bias-, XAI- und Datenqualitätsnachweise

➡️ Ergebnis: doppelte Nachweispflichten.

Beispiel FTS: HARA & Safety Case plus Bias- und XAI-Reports.

🔷 Lösung: Modulare Konformitätsarchitektur

• modulare Dokumentation
• wiederverwendbare Safety Cases
• durchgängige Traceability

➡️ Unterstützt durch KI-basierte Dokumentations- und Traceability-Tools.

🔷 Zertifizierung wird hybrid

• interne Konformitätsbewertung bei geringeren Risiken
• Notified Bodies für Hochrisiko-KI
• kombinierte Audits für AI Act & Maschinenverordnung
• Integration von XAI- und Bias-Nachweisen

➡️ Zertifizierung entwickelt sich zum integrierten Safety-AI-Audit.

🔷 Herausforderungen

• doppelte regulatorische Anforderungen
• fehlende Standards für Erklärbarkeit
• hoher Dokumentationsaufwand

➡️ Gegenmaßnahmen: frühe Einbindung der Notified Bodies und modulare Toolchains.

🔷 Fazit

Kapitel 9.3.6 beschreibt den entscheidenden Wandel der KI-Safety: weg von getrennten Regelwerken hin zu einer integrierten Architektur aus AI Act, Maschinenverordnung und zukünftigen Normen (z. B. ISO/IEC TR 5469).

Zertifizierung wird damit zum durchgängigen, daten- und modellgetriebenen Prozess über den gesamten Lebenszyklus.

KI trifft Safety – Kapitel 9.3.3 | Erwartete Normenlandschaft rund um KI

🔷 Grundtrend: Normung reagiert auf KI-Integration und Regulierung
Mit der zunehmenden Integration von KI in sicherheitsrelevante Systeme verschiebt sich der Fokus der Normung deutlich. Treiber sind dabei nicht nur technische Entwicklungen, sondern auch regulatorische Impulse wie die Maschinenverordnung und der AI Act.
➡️ Ergebnis: Kein einzelnes neues Regelwerk, sondern eine breite Evolution bestehender Normenlandschaften.

🔷 SOTIF-Weiterentwicklung (ISO/PAS 21448)
Ein zentraler Baustein ist die erwartete Erweiterung von SOTIF. Im Fokus stehen insbesondere:
• multimodale Sensorfusion
• Unsicherheiten in der Wahrnehmung
• KI-basierte Entscheidungslogiken in dynamischen Szenarien
➡️ Ziel ist die Abbildung realer KI-Risiken jenseits klassischer Fehlermodi.

🔷 Funktionale Sicherheit unter KI-Einfluss (IEC 62061 / ISO 13849-1)
Auch etablierte Safety-Normen stehen vor Anpassungen. Diskutiert wird insbesondere:
• Integration adaptiver bzw. lernender Funktionen
• neue Modelle zur Behandlung systemischer Unsicherheiten
• klare Abgrenzung zwischen deterministischen Safety-Funktionen und KI-Komponenten
➡️ Damit wird das klassische Sicherheitsparadigma erweitert, nicht ersetzt.

🔷 Branchenspezifische Normen & KI-Integration
KI wird perspektivisch in nahezu alle domänenspezifischen Standards einfließen, u. a.:
• Robotik (ISO 10218)
• Landmaschinen (ISO 25119)
• Bahn (EN 50128)
• Prozessindustrie (IEC 61511)
• Kerntechnik (IEC 61513)
➡️ Fokus: systematische Einbettung von KI in bestehende Safety-Architekturen statt Parallelwelten.

🔷 Cybersecurity als Querschnittsebene (IEC 62443)
Mit KI entstehen neue Angriffspunkte (z. B. adversariale Manipulationen oder KI-spezifische Fehlermodi).
Die IEC 62443 entwickelt sich daher zunehmend zur verbindenden Sicherheitsbasis zwischen IT-Security und funktionaler Safety.

🔷 Konvergenz der Normenlandschaft
Übergreifend entsteht ein Trend zur Annäherung der Regelwerke. ISO/IEC TR 5469 fungiert dabei zunehmend als Referenzrahmen, der Inhalte in verschiedene Domänen und Normfamilien „einspeist“.
➡️ Normung wird damit weniger fragmentiert, sondern stärker vernetzt.

🔷 Fazit:
Kapitel 9.3.3 zeigt klar: Die Zukunft der KI-Safety-Normung entsteht nicht durch einzelne neue Standards, sondern durch die systematische Weiterentwicklung bestehender Regelwerke. Für Fachleute bedeutet das einen entscheidenden Shift – weg von isolierten Normen hin zu einem vernetzten, konvergierenden Normensystem, in dem KI, funktionale Sicherheit und Cybersecurity zunehmend zusammenwachsen und sich gegenseitig beeinflussen.

KI trifft Safety – Kapitel 9.3.2 | ISO/IEC TR 5469 als normativer Vorläufer

🟦 ISO/IEC TR 5469:2024 – aktueller Status und Einordnung

Der Technical Report ISO/IEC TR 5469 wurde unter ISO/IEC JTC 1/SC 42 (AI) mit Beiträgen sicherheitsrelevanter IEC-Gremien erstellt und bildet aktuell keinen Normtext, sondern einen strukturierten Überblick über Safety-relevante Eigenschaften von KI-Systemen.

Im Fokus stehen dabei zentrale Risikodimensionen wie:

· Bias und systematische Verzerrungen

· Modell- und Vorhersageunsicherheiten

· Konfidenz- und Vertrauensmetriken

· Anforderungen an Überwachbarkeit im Betrieb

▶️ Damit entsteht erstmals ein konsolidierter Safety-orientierter Referenzrahmen speziell für KI-Systeme.

🟦 Vom Technical Report zur Norm – laufender Übergang

TR 5469 ist nicht als Endpunkt zu verstehen, sondern als aktiver Ausgangspunkt für Normungsaktivitäten. Besonders relevant ist die direkte Anschlussfähigkeit an die ISO/IEC WD TS 22440, die Konzepte aus dem TR aufgreift und in Richtung normatives Unsicherheitsmanagement weiterentwickelt.

▶️ Damit wird deutlich: TR 5469 ist bereits heute faktisch Teil der Normenentwicklung, obwohl formal noch kein Standardstatus vorliegt.

🟦 Normative Entwicklungsperspektive (ab 2026+)

Die Zusammenarbeit der zuständigen Gremien deutet darauf hin, dass eine spätere Überführung in eine vollwertige Norm realistisch ist. Inhaltlich zeichnen sich bereits heute potenzielle Schwerpunkte ab:

· Qualitätsanforderungen an Trainings- und Validierungsdaten

· Definition von Sicherheitsprofilen für KI-Systeme

· standardisierte Unsicherheits- und Konfidenzmetriken

· Monitoring- und Überwachungspflichten über den gesamten Lebenszyklus

▶️ Besonders kritisch: die mögliche Normierung von Unsicherheitsmanagement als verbindlicher Safety-Bestandteil.

🟦 Fazit:

ISO/IEC TR 5469 zeigt exemplarisch, wie sich KI-Safety-Normung heute entwickelt: zuerst als Technical Report, dann als Brücke in Working Drafts und schließlich als potenzielle Norm. Für Fachleute bedeutet das: Der relevante Regelungsrahmen entsteht nicht erst mit Veröffentlichung einer ISO-Norm, sondern bereits in den vorgelagerten Strukturen. Wer TR 5469 und seine Anschlussdokumente versteht, erkennt früh, wohin sich verbindliche Safety-Anforderungen im KI-Kontext bewegen – insbesondere im hochkritischen Bereich des Unsicherheitsmanagements.