---
title: "Artikel 14 KI-Verordnung: Menschliche Aufsicht – Wortlaut"
description: "Artikel 14 KI-Verordnung im Wortlaut: Menschliche Aufsicht. (1) Hochrisiko-KI‑Systeme werden so konzipiert und entwickelt, dass sie während der Dauer…"
canonical: "https://www.dsb-datenschutz.de/ki-compliance/verordnung-artikel-14/"
---

# Artikel 14 KI-Verordnung: Menschliche Aufsicht

(1) Hochrisiko-KI‑Systeme werden so konzipiert und entwickelt, dass sie während der Dauer ihrer Verwendung – auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle – von natürlichen Personen wirksam beaufsichtigt werden können.

(2) Die menschliche Aufsicht dient der Verhinderung oder Minimierung der Risiken für Gesundheit, Sicherheit oder Grundrechte, die entstehen können, wenn ein Hochrisiko-KI‑System im Einklang mit seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird, insbesondere wenn solche Risiken trotz der Einhaltung anderer Anforderungen dieses Abschnitts fortbestehen.

(3) Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung des Hochrisiko-KI‑Systems angemessen sein und werden durch eine oder beide der folgenden Arten von Vorkehrungen gewährleistet:

1. 1. Vorkehrungen, die vor dem Inverkehrbringen oder der Inbetriebnahme vom Anbieter bestimmt und, sofern technisch machbar, in das Hochrisiko-KI‑System eingebaut werden;
   2. Vorkehrungen, die vor dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI‑Systems vom Anbieter bestimmt werden und dazu geeignet sind, vom Betreiber umgesetzt zu werden.

(4) Für die Zwecke der Durchführung der Absätze 1,2 und 3 wird das Hochrisiko-KI‑System dem Betreiber so zur Verfügung gestellt, dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, angemessen und verhältnismäßig in der Lage sind,

1. 1. die einschlägigen Fähigkeiten und Grenzen des Hochrisiko-KI‑Systems angemessen zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, einschließlich in Bezug auf das Erkennen und Beheben von Anomalien, Fehlfunktionen und unerwarteter Leistung;
   2. sich einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in die von einem Hochrisiko-KI‑System hervorgebrachte Ausgabe („Automatisierungsbias“) bewusst zu bleiben, insbesondere wenn Hochrisiko-KI‑Systeme Informationen oder Empfehlungen ausgeben, auf deren Grundlage natürliche Personen Entscheidungen treffen;
   3. die Ausgabe des Hochrisiko-KI‑Systems richtig zu interpretieren, wobei beispielsweise die vorhandenen Interpretationsinstrumente und -methoden zu berücksichtigen sind;
   4. in einer bestimmten Situation zu beschließen, das Hochrisiko-KI‑System nicht zu verwenden oder die Ausgabe des Hochrisiko-KI‑Systems außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen;
   5. in den Betrieb des Hochrisiko-KI‑Systems einzugreifen oder den Systembetrieb mit einer „Stopptaste“ oder einem ähnlichen Verfahren zu unterbrechen, was dem System ermöglicht, in einem sicheren Zustand zum Stillstand zu kommen.

(5) Bei den in Anhang III Nummer 1 Buchstabe a genannten Hochrisiko-KI‑Systemen müssen die in Absatz 3 des vorliegenden Artikels genannten Vorkehrungen so gestaltet sein, dass außerdem der Betreiber keine Maßnahmen oder Entscheidungen allein aufgrund des vom System hervorgebrachten Identifizierungsergebnisses trifft, solange diese Identifizierung nicht von mindestens zwei natürlichen Personen, die die notwendige Kompetenz, Ausbildung und Befugnis besitzen, getrennt überprüft und bestätigt wurde.

Die Anforderung einer getrennten Überprüfung durch mindestens zwei natürliche Personen gilt nicht für Hochrisiko-KI‑Systeme, die für Zwecke in den Bereichen Strafverfolgung, Migration, Grenzkontrolle oder Asyl verwendet werden, wenn die Anwendung dieser Anforderung nach Unionsrecht oder nationalem Recht unverhältnismäßig wäre.

## Aufsicht muss wirksam sein, nicht nur vorgesehen

Hochrisiko-Systeme sind so zu gestalten, dass Menschen sie während des Betriebs wirksam beaufsichtigen können. Absatz 4 nennt, was dazugehört: die Fähigkeiten und Grenzen des Systems verstehen, die Neigung zum blinden Vertrauen in automatisierte Ausgaben erkennen, die Ausgabe richtig deuten, sie übergehen und das System notfalls anhalten können. Das setzt voraus, dass die beaufsichtigende Person Zeit, Befugnis und Sachkunde hat. Eine Freigabe, die im Arbeitsalltag zur Formalie wird, erfüllt die Anforderung nicht – und lässt zugleich Artikel 22 DSGVO wieder aufleben.

Erwägungsgrund 73 verlangt, dass die aufsichtführenden Personen über die nötige Kompetenz, Schulung und Befugnis verfügen. Bei biometrischer Identifizierung geht er weiter: Dort darf ohne gesonderte Bestätigung durch zwei Personen keine Maßnahme ergriffen werden.

[KI-Richtlinien im Unternehmen](https://www.dsb-datenschutz.de/ki-compliance/wissen-ki-richtlinien/)