KI & AutomatisierungKI-Agenten im Service prüfbar machen, mit Human in the Loop und Audit-Trail
Human in the Loop heißt, dass an festgelegten Stellen eines automatisierten Prozesses eine Person das Ergebnis der KI prüft, ändert oder freigibt. Ein Audit-Trail ist das Protokoll, das für jeden Fall festhält, welche Quellen, welches Modell und welche Person zu einer Entscheidung geführt haben.
Wir würden einen KI-Agenten im Service in Stufen freigeben. Er beginnt mit Vorschlägen, und jede Stufe mit mehr Eigenständigkeit braucht vorher Messwerte und ein Protokoll, das ein Mensch nachlesen kann. Der Grund liegt im Fehlerfall, denn nur mit Protokoll lässt sich klären, ob die Quelle, das Modell oder die Freigabe versagt hat.
Warum braucht ein KI-Agent im Service Kontrolle?
Agenten werden schneller eingeführt, als sie kontrolliert werden. In der Deloitte-Umfrage „State of AI in the Enterprise 2026“ (3.235 Führungskräfte in 24 Ländern, branchenübergreifend) erwarten 74 Prozent, bis 2027 mindestens mäßig KI-Agenten zu nutzen. Ein reifes Governance-Modell hatten 21 Prozent. Dazu zählt Deloitte klare Grenzen, welche Entscheidungen ein Agent selbst trifft und welche eine menschliche Freigabe brauchen.
Gartner prognostiziert seit Juni 2025, dass bis Ende 2027 mehr als 40 Prozent der Agenten-Projekte eingestellt werden, wegen steigender Kosten, unklarem Nutzen oder unzureichender Risikokontrollen. Das ist eine Analystenschätzung und keine Messung.
Welche Autonomiestufen sind im Service sinnvoll?
Unsere vier Stufen für den Service lehnen sich an das Fünf-Stufen-Modell von Feng, McDonald und Zhang (University of Washington, 2025) an, das Autonomie als Designentscheidung versteht.
- Stufe 0, Vorschlag: Die KI schlägt vor, die Person entscheidet und führt aus.
- Stufe 1, Entwurf mit Pflichtfreigabe: Die KI erstellt den Entwurf, eine Person gibt jeden Fall frei.
- Stufe 2, Ausführung mit Stichprobe: Die KI führt aus, eine Person prüft eine Stichprobe und alle Fälle unter der Konfidenzschwelle.
- Stufe 3, Ausführung mit Ausnahmemeldung: Die KI führt aus und fragt nur bei Ausnahmen nach.
Die Tabelle zeigt, womit ein Service-Prozess beginnen könnte. Sie ist unsere Einordnung.
| Service-Schritt | Startstufe | Wer prüft |
|---|
| Anfrage einordnen (Service, Ersatzteil, Reklamation) | 2 | Stichprobe und alles unter der Konfidenzschwelle |
| Maschine und Vertrag zuordnen | 2 | Innendienst bei fehlender Zuordnung |
| Lösungsvorschlag aus Handbüchern | 0 | Technik |
| Antwort an die Kundschaft | 1 | Innendienst oder Service-Leitung |
| Ersatzteilangebot | 1 | Vertrieb, bei Preis oder Verfügbarkeit |
| Technikereinsatz anstoßen | 1 | Disposition |
Wie zwei Freigabepunkte im Prozess aussehen, zeigt der Artikel zum AB-Abgleich.
Was gehört in einen Audit-Trail?
Ein Audit-Trail für einen KI-Agenten im Service sollte für jeden Fall sieben Angaben speichern. Das ist unsere Checkliste. Eine gesetzliche Mindestliste für diesen Anwendungsfall haben wir nicht gefunden.
- Eingangskanal und Zeitpunkt der Anfrage
- gelesene Quellen mit Dokumentversion, etwa Handbuch und Vertrag
- Modell und Modellversion
- Ergebnis und Konfidenzwert
- Person, die geprüft oder freigegeben hat
- Abweichung der Person vom Vorschlag der KI
- Zeitpunkt der Entscheidung und was danach geschah
Was gilt rechtlich für KI im Service?
Die Angaben haben den Stand 03.11.2026 und ersetzen keine Rechtsberatung.
Seit 02.08.2026 gelten die Transparenzpflichten nach Artikel 50 der KI-Verordnung. Wer ein KI-System bereitstellt, das direkt mit Menschen interagiert, muss diese darüber informieren, außer es ist offensichtlich. Die Leitlinien der EU-Kommission nennen KI-Werkzeuge, mit denen Mitarbeitende im Kundenservice die Kommunikation unterstützen, als Beispiel. Fachbeiträge lesen das so, dass bei einem Vorschlag, den eine Person prüft und versendet, die Kundschaft mit einem Menschen spricht. Schreibt der Agent selbst, ist der Hinweis nötig. Das spricht für die Stufen 0 und 1 bei der Antwort an die Kundschaft.
Wie sieht ein Pilot im Maschinenhandel aus?
Der Maschinenhändler Ascendum hat laut einer Fallstudie von McKinsey (November 2024) seinen Außendienst mit einer KI unterstützt. Die Technikerinnen und Techniker mussten mehr als 14.000 PDF-Dokumente durchsuchen, eine Diagnose dauerte bis zu 30 Minuten. Der Pilot lief nach vier Wochen direkt in Salesforce Service Cloud, und der Außendienst war von Anfang an eingebunden.
Nach der Beschreibung hilft die KI dabei, Reparaturanleitungen zu finden, und die Person entscheidet weiter selbst. Das entspricht unserer Stufe 0. Es ist eine Eigenveröffentlichung der Beratung, einen unabhängigen Beleg für die Wirkung haben wir nicht gefunden.
Wo hat das Stufenmodell Grenzen?
Eine Person in der Schleife hilft nur, wenn sie den Prozess stoppen darf. Ein CIO-Beitrag vom 23.09.2026 beschreibt Aufsicht, bei der Menschen nur Bedenken melden können, als symbolisch. Die Stufen sind unser Modell und keine Norm, die Deloitte-Zahlen gelten branchenübergreifend, und die Gartner-Zahl ist eine Prognose. Zur Wirkung von KI-Agenten auf die Erstlösungsquote im Maschinenbau haben wir keine unabhängige Messung gefunden.
Häufige Fragen
Was ist Human in the Loop?
Human in the Loop bedeutet, dass eine Person an festgelegten Stellen in einen automatisierten Prozess eingebunden ist. Sie prüft Ergebnisse, korrigiert Fehler, trifft Entscheidungen oder gibt Aktionen frei. Entscheidend ist, dass sie das Recht hat, einzugreifen oder den Prozess zu stoppen.
Was ist der Unterschied zwischen Human in the Loop und Human on the Loop?
Beim Human in the Loop ist die Person an festgelegten Stellen direkt im Prozess. Beim Human on the Loop überwacht sie das System und greift bei Bedarf ein. Beim Human out of the Loop läuft der Prozess ohne Eingriff ab.
Was ist ein Audit-Trail bei KI-Agenten?
Ein Audit-Trail ist das Protokoll, das für jeden Fall festhält, welche Quellen, welches Modell und welche Person zu einer Entscheidung geführt haben. Damit lässt sich im Fehlerfall nachvollziehen, wo etwas schiefging.
Braucht ein KI-Agent im Kundenservice eine Kennzeichnung?
Wenn Menschen direkt mit dem KI-System interagieren, ja, außer es ist offensichtlich. Das regelt Artikel 50 der KI-Verordnung, der seit 02.08.2026 gilt. Bei Vorschlägen, die eine Person prüft und versendet, ist die Lage nach Auslegung von Fachbeiträgen anders. Ihre Rechtsberatung prüft den Einzelfall.
Gilt die Maschinenverordnung für KI im Service?
Nein, nicht für einen Service-Prozess. Die Maschinenverordnung (EU) 2023/1230 gilt ab 20.01.2027 für Maschinen und Sicherheitsbauteile, unter anderem für KI mit Sicherheitsfunktion im Produkt.
Ab wann gelten die Hochrisiko-Pflichten der KI-Verordnung?
Für Systeme nach Anhang III ab 02.12.2027, für Systeme nach Anhang I ab 02.08.2028. Das hat die Verordnung (EU) 2026/1744 festgelegt, die seit 27.07.2026 in Kraft ist. Anfragen einordnen und Ersatzteile anbieten gehört nach gängiger Lesart nicht zu den Einsatzbereichen von Anhang III, etwa Personalauswahl, Kreditwürdigkeit, kritische Infrastruktur und Bildung. Ihre Rechtsberatung prüft, ob das für Ihren Fall stimmt.
Für den ersten Schritt reicht ein Blatt mit den Service-Schritten und der Stufe, mit der jeder beginnt. Wer es gemeinsam durchgehen möchte, findet den Einstieg im Prozesskosten-Audit von FireStart.
Quellen
- Deloitte, „AI agents scaling faster than governance“ (State of AI in the Enterprise 2026): https://www.deloitte.com/global/en/insights/topics/emerging-technologies/ai-agents-scaling-faster.html
- Gartner, Pressemitteilung vom 25.06.2025: https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027
- Feng, McDonald, Zhang, „Levels of Autonomy for AI Agents“ (arXiv 2506.12469, 2025): https://arxiv.org/abs/2506.12469
- Verordnung (EU) 2026/1744 (Digital Omnibus zur KI): https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX%3A32026R1744
- Leitlinien zu Artikel 50, DATEV Magazin (28.07.2026): https://www.datev-magazin.de/nachrichten-steuern-recht/recht/transparenzpflichten-nach-art-50-ai-act-eu-kommission-veroeffentlicht-leitlinien-148086
- Maschinenverordnung (EU) 2023/1230, IHK Halle-Dessau: https://www.ihk.de/halle/produktmarken/innovation-und-infrastruktur/produktsicherheit-ce-kennzeichnung/maschinenverordnung-5886622
- McKinsey, Fallstudie Ascendum (13.11.2024): https://www.mckinsey.com/capabilities/tech-and-ai/case-studies/adding-a-powerful-new-tool-to-the-field-mechanics-toolbelt-ai
- CIO.de, „Human-in-the-Loop, wenn der Mensch bei KI keine Rolle spielt“ (23.09.2026): https://www.cio.de/article/4221736/human-in-the-loop-wenn-der-mensch-bei-ki-keine-rolle-spielt.html
