KI & Automatisierung
Wie misst du den Erfolg von KI-Projekten?
·FireStart GmbH
Du misst den Erfolg eines KI-Projekts, indem du vor dem Start einen Ausgangswert festhältst, pro Prozess einen Zielwert festlegst und nach der Einführung regelmäßig vergleichst. Ohne Ausgangswert fehlt der Maßstab, an dem sich später ablesen lässt, ob die KI etwas verändert hat.
Die Lücke ist in Österreich groß. Laut dem McKinsey-Report State of AI in Austria, Update 2026 (Oktober 2026) ist die Erfolgsmessung nach der Einführung für rund 70 % der untersuchten Unternehmen eine zentrale Hürde. Rund der Hälfte fehlt schon bei der Planung eine verlässliche Methode, das wirtschaftliche Potenzial einer KI-Initiative zu beziffern. An der Erhebung nahmen 54 Unternehmen teil, und die Stichprobe ist laut McKinsey nicht repräsentativ.
Warum fällt die Erfolgsmessung bei KI so schwer?
Die Unternehmen in der McKinsey-Erhebung sind bei Strategie und Technik weiter als bei der Wirkungsmessung. Auf einer Skala von 1 bis 5 erreicht die Abstimmung im Topmanagement 3,7, der Business Case 2,8 und die Erfolgsmessung 2,5. KI ist also gewollt, aber ihr Nutzen wird selten vorab beziffert und danach selten nachgemessen.
Dazu kommt, dass sich die Kosten bei KI schwer sehen lassen. 70 % der befragten Unternehmen konnten nicht angeben, wie viele KI-Tokens sie im Monat verbrauchen. McKinsey beschreibt außerdem, dass dieselbe Aufgabe je nach Ausführungspfad bis zum Dreißigfachen an Tokens verbrauchen kann und rund 60 % der Kosten eines agentischen Vorgangs beim Prüfen und Nachbessern entstehen.
Was ist ein KI-Business-Case?
Ein KI-Business-Case beziffert vorab, welchen Beitrag eine KI-Anwendung zu Umsatz, Kosten oder Risiko leisten soll, und benennt, wer dafür im Fachbereich verantwortlich ist. Er ist der Maßstab, an dem du später die Ergebnisse misst.
In welchen Schritten machst du KI-Erfolg messbar?
- Wenige Anwendungsfälle wählen. McKinsey empfiehlt, wenige geschäftskritische Anwendungsfälle auszuwählen, statt KI-Initiativen breit zu streuen.
- Ausgangswerte messen. Halte vor dem Start fest, wie lange ein Vorgang dauert und was er kostet.
- Zielwert und Verantwortliche festlegen. Pro Anwendungsfall braucht es einen Zielwert und eine Person im Fachbereich, die dafür geradesteht.
- Regelmäßig prüfen und entscheiden. Vergleiche in festen Abständen mit dem Ausgangswert. McKinsey rät, Investitionen auf Basis messbarer Ergebnisse zu skalieren, anzupassen oder zu beenden.
Wie sieht ein Rechenbeispiel aus?
Die folgende Rechnung nutzt angenommene Werte und ist keine Messung.
| Größe | Wert |
|---|
| Vorgänge pro Jahr | 2.000 |
| Bearbeitungszeit vorher | 12 Minuten |
| Bearbeitungszeit nachher | 5 Minuten |
| Stundensatz | 45 € |
| Eingesparte Zeit | 233 Stunden (2.000 × 7 Minuten) |
| Wert der eingesparten Zeit | rund 10.500 € |
Rechenbeispiel mit angenommenen Werten, keine Messung
Davon ziehst du die laufenden Kosten der Lösung ab, vom KI-Verbrauch bis zum Betrieb. Erst die Differenz ist der Nutzen. Wie du Schritte mit richtiger Antwort aus dem Sprachmodell nimmst und so den Verbrauch senkst, steht im Artikel LLM oder feste Regel.
Warum lässt sich KI in einem Prozess leichter messen?
Ein Prozess hat einen Anfang, ein Ende und Schritte, in denen sich Zeit und Kosten erfassen lassen. Steckt die KI als ein Schritt in einem Prozess, vergleichst du genau diesen Schritt vorher und nachher. McKinsey nennt als Merkmal erfolgreicher Unternehmen, dass sie relevante Workflows neu gestalten und klare Ende-zu-Ende-Verantwortung für den produktiven Betrieb festlegen. Wenn du für einen Prozess Ausgangswerte in Stunden und Euro brauchst, ist das Prozesskosten-Audit von FireStart ein möglicher Einstieg.
Wo hat die Messung Grenzen?
McKinsey hat für 38 Unternehmen mit Zweijahresvergleich geprüft, ob der Anstieg der KI-Reife mit Umsatz, EBIT und Produktivität zusammenhängt. Ein statistisch belastbarer Zusammenhang ließ sich nicht nachweisen. Die Daten belegen aber auch nicht, dass es keinen gibt. McKinsey nennt als Gründe die kleine Stichprobe, den kurzen Beobachtungszeitraum und mögliche zeitliche Verzögerungen zwischen Investition und Wirkung. Für dich heißt das, dass du den Effekt auf der Ebene des einzelnen Prozesses misst und nicht aus der Konzernbilanz ablesen solltest.
Häufige Fragen
Wie misst man den Erfolg von KI-Projekten?
Mit einem Ausgangswert vor dem Start, einem Zielwert pro Prozess und regelmäßigen Vergleichen nach der Einführung. Jeder Anwendungsfall braucht außerdem eine verantwortliche Person im Fachbereich.
Welche Kennzahlen eignen sich für KI-Projekte?
Typisch sind Zeit pro Vorgang, Durchlaufzeit, Fehler- und Nacharbeitsquote, Kosten pro Vorgang und der KI-Verbrauch pro Prozess. Welche davon zählen, hängt vom Prozess ab.
Was ist ein KI-Business-Case?
Eine Rechnung, die vorab beziffert, welchen Nutzen eine KI-Anwendung bringen soll, und die eine verantwortliche Person im Fachbereich benennt.
Warum können viele Unternehmen den KI-Nutzen nicht belegen?
Laut McKinsey (State of AI in Austria, Update 2026) fehlt rund der Hälfte der untersuchten Unternehmen schon vor dem Start eine verlässliche Methode, und für rund 70 % ist die Erfolgsmessung nach der Einführung die zentrale Hürde.
Wie behalte ich die KI-Kosten im Blick?
McKinsey empfiehlt Kostentransparenz je Anwendungsfall, Modell-Routing und Verbrauchsgrenzen, die in der Architektur verankert sind. Vorher brauchst du aber einen Überblick, wie viele Tokens überhaupt verbraucht werden.
Fazit
Miss, bevor du skalierst. Ein Ausgangswert, ein Zielwert und eine verantwortliche Person pro Prozess reichen für den Anfang. Alles Weitere baut darauf auf.
Quellen