Published on

Art. 9 EU AI Act: Risikomanagement-System

Authors

Art. 9 ist die erste materielle Pflichtnorm des Hochrisiko-Regimes. Nachdem Art. 6 die Schwelle definiert und Art. 8 die allgemeinen Anforderungen bündelt, benennt Art. 9 die zentrale Organisationspflicht, aus der sich die übrigen Anforderungen der Art. 10 bis 15 speisen: das Risikomanagement-System. Wer diese Norm als einmalige Dokumentationsübung missversteht, verfehlt ihren Kern — sie verlangt einen dauerhaften, nachprüfbaren Prozess.

Normtext

Art. 9 Abs. 1: Für Hochrisiko-KI-Systeme wird ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten.

Art. 9 Abs. 2: Das Risikomanagementsystem ist als ein kontinuierlicher iterativer Prozess zu verstehen, der über den gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert. Es umfasst die Ermittlung und Analyse der bekannten und vernünftigerweise vorhersehbaren Risiken, die Abschätzung von Risiken bei bestimmungsgemäßer Verwendung und bei vernünftigerweise vorhersehbarer Fehlanwendung, die Bewertung weiterer Risiken auf Grundlage der Daten aus der Beobachtung nach dem Inverkehrbringen (Art. 72) sowie die Ergreifung geeigneter und gezielter Risikomanagementmaßnahmen.

Art. 9 Abs. 5: Die Risikomanagementmaßnahmen sind so zu gestalten, dass das jeweilige mit einer Gefahr verbundene Restrisiko sowie das Gesamtrestrisiko als vertretbar beurteilt werden. (Wortlaut gekürzt.)

Einordnung

Art. 9 steht am Anfang des Abschnitts 2 von Kapitel III und ist die Klammer um die nachfolgenden Anforderungen. Daten-Governance (Art. 10), technische Dokumentation (Art. 11), Aufzeichnung (Art. 12), Transparenz (Art. 13), menschliche Aufsicht (Art. 14) sowie Genauigkeit und Robustheit (Art. 15) sind keine isolierten Pflichten, sondern Ausprägungen eines übergreifenden Risikomanagements. Das Verhältnis ist funktional: Die konkreten Maßnahmen der Folge-Artikel werden erst durch die Risikoanalyse des Art. 9 ausgelöst und dimensioniert.

Anders als Art. 6, der eine punktuelle Einstufungsentscheidung verlangt, fordert Art. 9 einen Prozess. Der Unterschied ist rechtlich erheblich: Eine Momentaufnahme zum Zeitpunkt des Inverkehrbringens genügt nicht. Der Lebenszyklus-Bezug in Abs. 2 verknüpft die Norm unmittelbar mit der Beobachtung nach dem Inverkehrbringen (Art. 72) und schließt den Kreis zwischen Vorabkonformität und laufendem Betrieb.

Erwägungsgründe

Die Auslegung wird maßgeblich durch Erwägungsgrund 65 geprägt, der das Risikomanagement-System als das tragende Instrument beschreibt, mit dem Anbieter die gesundheits-, sicherheits- und grundrechtsbezogenen Risiken ihrer Systeme beherrschen sollen. Der Erwägungsgrund stellt klar, dass es um die Risiken geht, die sich vernünftigerweise mindern oder beseitigen lassen, und dass die Maßnahmen den Stand der Technik berücksichtigen dürfen. Damit ist der Maßstab kein absoluter: Verlangt wird nicht Risikofreiheit, sondern ein methodisch begründetes, verhältnismäßiges Management. Dieser Gedanke korrespondiert mit dem risikobasierten Gesamtansatz, den bereits die Erwägungsgründe zu Art. 6 tragen.

Auslegung

Der Prozesscharakter (Abs. 2). Der Tatbestand nennt vier iterativ zu durchlaufende Schritte: Ermittlung und Analyse bekannter und vorhersehbarer Risiken; Abschätzung der Risiken bei bestimmungsgemäßer Verwendung und bei vernünftigerweise vorhersehbarer Fehlanwendung; Bewertung neu auftretender Risiken anhand der Post-Market-Daten; und schließlich die Ergreifung gezielter Maßnahmen. Entscheidend ist das Wort „iterativ": Die Schritte sind keine Checkliste, sondern eine Schleife, die über den gesamten Lebenszyklus fortläuft. Die „vernünftigerweise vorhersehbare Fehlanwendung" erweitert den Blick über den vorgesehenen Zweck hinaus — sie zwingt den Provider, plausible Zweckentfremdungen zu antizipieren.

Rangfolge der Maßnahmen (Abs. 5). Die Verordnung gibt eine Priorisierung vor. Risiken sind, soweit technisch möglich, durch Konzeption und Entwicklung zu beseitigen oder zu mindern; verbleibende Risiken sind durch geeignete Minderungs- und Kontrollmaßnahmen zu adressieren; und schließlich sind Informations- und gegebenenfalls Schulungsmaßnahmen für Deployer vorzusehen. Diese Reihenfolge ist keine bloße Empfehlung, sondern strukturiert die Sorgfaltspflicht: Der Rückgriff auf bloße Warnhinweise ist erst zulässig, wenn konstruktive Abhilfe ausgeschöpft ist. Das Restrisiko — einzeln wie in der Gesamtschau — muss als vertretbar beurteilt werden; die Beurteilung selbst ist begründungspflichtig.

Testen und Schwellenwerte. Art. 9 verlangt, Hochrisiko-Systeme zu testen, um die am besten geeigneten und gezielten Risikomanagementmaßnahmen zu bestimmen. Die Tests werden anhand vorab festgelegter Metriken und probabilistischer Schwellenwerte durchgeführt, die dem Zweck des Systems angemessen sind. Strittig bleibt, wie präzise diese Schwellenwerte zu definieren sind; die Norm gibt keine Zahlen vor, sondern delegiert die Konkretisierung an harmonisierte Normen und den Stand der Technik. Die Testphase kann bis zum Inverkehrbringen reichen und schließt — unter den Voraussetzungen des Art. 60 — Tests unter Realbedingungen ein.

Schutz besonders gefährdeter Gruppen. Abs. 9 verlangt, bei der Umsetzung besonders zu berücksichtigen, ob das System sich wahrscheinlich auf Personen unter 18 Jahren oder andere schutzbedürftige Gruppen auswirkt. Diese Vorgabe verschiebt den Prüfmaßstab: Nicht der Durchschnittsnutzer, sondern die verletzlichste vorhersehbar betroffene Gruppe bestimmt die Angemessenheit der Maßnahmen.

Integration mit sektoralem Recht. Wo Anbieter bereits nach anderem Unionsrecht einem Risikomanagement unterliegen, dürfen die Anforderungen des Art. 9 in die dort vorgesehenen Verfahren integriert werden. Das vermeidet Doppelstrukturen, entbindet aber nicht von der inhaltlichen Vollständigkeit: Die integrierte Lösung muss die Tatbestandsmerkmale des Art. 9 vollständig abdecken.

Praxis-Konsequenzen

Für Provider ist Art. 9 die Norm, an der sich Konformität im Betrieb entscheidet. Ein Risikomanagement-System, das nur zum Zeitpunkt der Konformitätsbewertung existiert und danach nicht gepflegt wird, verfehlt den Prozesscharakter des Abs. 2 und ist angreifbar. Die vier Analyseschritte sollten als versionierter, nachvollziehbarer Nachweis geführt werden — mit dokumentierter Verknüpfung zwischen identifiziertem Risiko, gewählter Maßnahme und begründeter Restrisiko-Beurteilung. Genau diese Beweisbarkeit ist der Kern eines evidenzbasierten Trust-Ansatzes: nicht die Behauptung, ein System sei sicher, sondern der prüffähige Nachweis, wie Risiken methodisch beherrscht werden.

Für Deployer wirkt Art. 9 mittelbar: Die vom Provider bereitgestellten Informationen und Schulungsmaßnahmen sind Teil des Risikomanagements und müssen in die eigene menschliche Aufsicht nach Art. 14 einfließen. Maßgeblicher Stichtag für die Anwendbarkeit des Hochrisiko-Regimes bleibt der Forcing Event am 02.12.2027 nach den Übergangsregeln des Art. 113. Wer das Risikomanagement-System erst dann aufzusetzen beginnt, unterschätzt die Prozessreife, die die Norm voraussetzt — sie lässt sich nicht rückwirkend herstellen.

Verweise

Eine systematische Operationalisierung der KI-Verordnung als Trust-Infrastructure: aegira.ai.

Discuss on Twitter • View on GitHub