Human-in-the-Loop: Warum kritische Entscheidungen beim Menschen bleiben müssen
Kurz beantwortet: Human-in-the-Loop heißt, dass in einem automatisierten Prozess an festgelegten Stellen ein Mensch prüft, entscheidet oder den Ablauf stoppt. Bei Entscheidungen, die für eine Person rechtlich bindend sind oder sie erheblich betreffen, schränkt die DSGVO rein automatisierte Entscheidungen stark ein [1]. Für Hochrisiko-KI verlangt die KI-Verordnung wirksame menschliche Aufsicht, die Regeln dafür gelten nach dem Digital Omnibus ab 02.12.2027 [3][5]. Automatisiere deshalb das Erfassen, Prüfen und Vorbereiten, und lass Entscheidungen mit Folgen beim Menschen.
Je besser KI Dokumente liest und Vorschläge macht, desto verlockender ist es, den Menschen ganz aus dem Prozess zu nehmen. An manchen Stellen ist das rechtlich riskant und im Alltag eine schlechte Idee. Dieser Beitrag zeigt, was DSGVO und KI-Verordnung 2026 dazu sagen, welche Entscheidungen beim Menschen bleiben sollten und wie du die Prüfung so im Prozess verankerst, dass sie mehr ist als ein Klick.
1. Was Human-in-the-Loop konkret heißt
Ein Mensch im Prozess sichert nur dann etwas ab, wenn er etwas ausrichten kann. Die KI-Verordnung beschreibt das in Artikel 14 für Hochrisiko-Systeme erstaunlich konkret. Wer die Aufsicht übernimmt, soll in der Lage sein [3]:
1. die Fähigkeiten und Grenzen des Systems zu verstehen und seinen Betrieb zu überwachen,
2. die Neigung zu kennen, sich zu stark auf das Ergebnis zu verlassen (Automation Bias),
3. das Ergebnis richtig zu deuten,
4. in einer konkreten Situation das System nicht zu nutzen oder sein Ergebnis zu verwerfen, zu übersteuern oder umzukehren,
5. einzugreifen oder das System über einen Stopp-Knopf oder ein ähnliches Verfahren anzuhalten.
Diese fünf Punkte taugen als Prüfliste, auch wenn dein Prozess gar nicht als hochriskant gilt.
2. Was die DSGVO verlangt
Die Europäische Kommission fasst die Regel so zusammen: Niemand soll einer Entscheidung unterworfen werden, die allein auf automatisierter Verarbeitung beruht und rechtlich bindend ist oder die Person erheblich beeinträchtigt. Als Beispiel nennt sie die automatische Ablehnung eines Online-Kreditantrags [1].
Erlaubt ist so eine Entscheidung nur in drei Fällen. Sie ist für einen Vertrag erforderlich, ein Gesetz lässt sie mit Schutzmaßnahmen zu, oder die Person hat ausdrücklich eingewilligt [1]. Selbst dann braucht es Schutzmaßnahmen. Die Person muss über die Logik, die Folgen und ihr Recht auf menschliches Eingreifen informiert werden und die Entscheidung anfechten können. Das entfällt nur, wenn die Entscheidung auf einem Gesetz beruht [1].
Der EuGH hat den Begriff am 07.12.2023 im SCHUFA-Fall (C-634/21) weit ausgelegt. Ein automatisch berechneter Score gilt selbst als automatisierte Entscheidung, wenn Banken ihm eine bestimmende Rolle bei der Kreditvergabe zuschreiben [2]. Es zählt also, wer faktisch entscheidet. Unsere Einordnung: Ein Mensch, der einen automatisch erzeugten Wert nur noch abnickt, ist eine schwache Absicherung.
3. Was die KI-Verordnung verlangt
Artikel 14 richtet sich an die Anbieter. Ein Hochrisiko-System muss so gestaltet sein, dass Menschen es im Betrieb wirksam beaufsichtigen können [3]. Artikel 26 richtet sich an Unternehmen, die ein solches System einsetzen. Sie übertragen die Aufsicht an Personen mit der nötigen Kompetenz, Schulung und Befugnis und unterstützen sie dabei. Sie bewahren die vom System erzeugten Protokolle mindestens sechs Monate auf, soweit sie darauf Zugriff haben. Und sie informieren Personen, über die ein Hochrisiko-System nach Anhang III Entscheidungen trifft oder vorbereitet [4].
Der Zeitplan hat sich verschoben. Nach dem Digital Omnibus on AI gelten die Regeln für Hochrisiko-Systeme nach Anhang III ab 02.12.2027 und für Hochrisiko-KI in regulierten Produkten nach Anhang I ab 02.08.2028 [5]. Ob dein Einsatz als hochriskant gilt, regeln Artikel 6 und Anhang III. Die Kommission bietet dafür einen Compliance Checker an [5].
4. Welche Entscheidungen beim Menschen bleiben sollten
Drei Fragen helfen bei der Abgrenzung. Hat die Entscheidung rechtliche oder ähnlich erhebliche Folgen für eine Person [1]? Lässt sich ein Fehler später kaum zurückholen, wie bei einer ausgezahlten Zahlung? Und passt der Fall in keine Regel, weil er von allem abweicht, was das System kennt? Bei jedem Ja gehört die Entscheidung zu einem Menschen. Das ist unsere Empfehlung, kein Gesetzestext.
| Prozess | Läuft automatisch | Entscheidet ein Mensch |
|---|
| Rechnungsfreigabe | Erfassen, Auslesen per OCR und KI, Abgleich mit Bestellung und Wareneingang | Freigabe durch die zugewiesenen Genehmigenden, besonders bei Abweichungen |
| Zahlungslauf | Fällige Zahlungen sammeln und gegen Freigaben prüfen | Finance genehmigt den Lauf |
| Vertragsfreigaben | Hochladen, Weiterleiten an die Prüfer, Fristen überwachen | Recht, Einkauf und Geschäftsführung geben frei |
| Bewerbungen | Lebenslauf per OCR und KI strukturieren, Qualifikationen extrahieren | Auswahl, Einladung und Absage |
| Vier-Augen-Prüfung | Kritische Vorgänge an zwei unabhängige Prüfende leiten | Beide Prüfenden müssen freigeben |
5. So wird die menschliche Prüfung wirksam
Wer nur den Vorschlag „freigeben“ sieht, gibt meistens frei. Das ist Automation Bias, den Artikel 14 ausdrücklich nennt [3]. Deshalb sollte die prüfende Person das Originaldokument, das KI-Ergebnis und die Abweichungen nebeneinander sehen.
Die Prüfung braucht echte Optionen. Wer nur bestätigen kann, prüft nicht. Ablehnen, zurückgeben und ändern müssen möglich sein, und ein laufender Vorgang muss sich anhalten lassen [3].
Die prüfende Person braucht Befugnis und eine Vertretung. Artikel 26 verlangt für Hochrisiko-Systeme Kompetenz, Schulung und Befugnis [4]. In der Praxis kommt eine Frist dazu, nach der der Vorgang an die Vertretung oder an die Führungskraft eskaliert, damit keine Entscheidung im Postfach liegen bleibt.
Und jede Entscheidung muss nachlesbar sein, mit Person, Zeitstempel und Ergebnis. Bei Hochrisiko-Systemen sind die Protokolle mindestens sechs Monate aufzubewahren [4].
6. Wie FireStart Human-in-the-Loop umsetzt
In FireStart legst du im BPMN-2.0-Prozessmodell fest, an welchen Stellen ein Mensch entscheidet. KI übernimmt davor die Vorarbeit, etwa Dokumente auslesen, klassifizieren und eine Entscheidung vorbereiten. Freigaben und kritische Entscheidungen bleiben beim Menschen. FireStart protokolliert jeden Schritt mit Person, Zeitstempel und Entscheidung. Du entscheidest, ob die Plattform in der Cloud mit Hosting in Deutschland läuft oder On-Premise.
Eine Software ersetzt die rechtliche Einordnung nicht. Ob dein Einsatz von KI als hochriskant gilt und welche Pflichten daraus folgen, klärst du mit deiner Rechtsberatung.
7. Fünf Fragen für deinen Prozess
1. Betrifft die Entscheidung eine Person rechtlich oder erheblich [1]?
2. Kann der Mensch das Ergebnis tatsächlich ändern oder den Vorgang stoppen [3]?
3. Sieht er genug, um zu entscheiden, und nicht nur das Ergebnis der KI?
4. Wer ist zuständig, wer vertritt, und was passiert, wenn die Frist abläuft?
5. Wo steht jede Entscheidung mit Person und Zeitstempel?
Häufige Fragen
Was bedeutet Human-in-the-Loop?
Human-in-the-Loop heißt, dass in einem automatisierten Prozess an festgelegten Stellen ein Mensch prüft, entscheidet oder den Ablauf stoppt. Die KI bereitet vor, der Mensch trägt die Entscheidung mit Folgen.
Ist Human-in-the-Loop gesetzlich vorgeschrieben?
Für bestimmte Fälle ja. Die DSGVO schränkt Entscheidungen, die allein auf automatisierter Verarbeitung beruhen und eine Person rechtlich oder erheblich betreffen, stark ein [1]. Die KI-Verordnung verlangt menschliche Aufsicht für Hochrisiko-Systeme [3]. Für alle anderen Prozesse ist es eine Empfehlung.
Reicht es, wenn ein Mensch am Ende auf „Freigeben“ klickt?
Das hängt davon ab, ob er die Entscheidung tatsächlich beeinflussen kann. Der EuGH hat 2023 entschieden, dass ein automatisch erzeugter Wert selbst als Entscheidung zählt, wenn die entscheidende Stelle ihm eine bestimmende Rolle zuschreibt [2]. Ein reines Abnicken ist deshalb eine schwache Absicherung.
Ab wann gelten die Aufsichtspflichten der KI-Verordnung?
Für Hochrisiko-Systeme nach Anhang III ab 02.12.2027, für Hochrisiko-KI in regulierten Produkten nach Anhang I ab 02.08.2028. Das ergibt sich aus dem Zeitplan der Kommission nach dem Digital Omnibus on AI [5].
Welche Entscheidungen sollte ich nicht allein der KI überlassen?
Alle, die für eine Person rechtlich bindend sind oder sie erheblich betreffen [1], dazu Entscheidungen, deren Fehler sich kaum zurückholen lassen. Das ist unsere Empfehlung auf Basis der DSGVO-Regel.
Bremst Human-in-the-Loop den Prozess?
Nur an den Stellen, an denen ein Mensch entscheiden soll. Erfassen, Prüfen und Zuweisen laufen davor automatisch, die prüfende Person bekommt eine vorbereitete Entscheidung.
Quellen
1. Europäische Kommission: Are there restrictions on the use of automated decision-making?, https://commission.europa.eu/law/law-topic/data-protection/rules-business-and-organisations/dealing-citizens/are-there-restrictions-use-automated-decision-making_en
2. Gerichtshof der Europäischen Union: Pressemitteilung Nr. 186/23, Urteile in der Rechtssache C-634/21, SCHUFA Holding (Scoring) (07.12.2023), https://curia.europa.eu/jcms/jcms/p1_4213242/en
3. Europäische Kommission, AI Act Service Desk: Article 14, Human oversight, https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-14
4. Europäische Kommission, AI Act Service Desk: Article 26, Obligations of deployers of high-risk AI systems, https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-26
5. Europäische Kommission, AI Act Service Desk: Timeline for the Implementation of the EU AI Act, https://ai-act-service-desk.ec.europa.eu/en/ai-act/timeline/timeline-implementation-eu-ai-act
FireStart wird in der EU gehostet (DSGVO-konform, EU-Datenspeicherung). Website: www.firestart.com. Kontakt: sales@firestart.com.
