Forecast Accuracy im Controlling: wie du Prognosequalität messbar machst

Du hast eine KI-Prognose eingeführt, und die Zahlen sehen plausibel aus. Dann fragt jemand im Vorstand, ob der neue Forecast besser ist als der alte. Und im Raum wird es still. Ohne gemessene Forecast Accuracy ist diese Frage nicht beantwortbar. Und ohne Antwort bleibt jede Diskussion über Prognosemethoden eine Geschmacksfrage.

Forecast Accuracy bezeichnet den messbaren Abstand zwischen Prognose und späterem Istwert. Sie wird über Fehlerkennzahlen wie MAPE, WAPE, Bias und Forecast Value Added ausgedrückt. Berechnet wird sie immer für einen festen Prognosehorizont, etwa „Forecast aus Monat M für Monat M+2″. Ohne diesen Bezug ist die Zahl nicht vergleichbar.

Warum genügt der Vergleich von Forecast und Ist allein nicht?

Weil ein einzelner Vergleich nichts über die Qualität des Verfahrens aussagt. Ein Forecast, der im Juni um 2 Prozent daneben lag, kann trotzdem systematisch zu optimistisch sein. Und ein Forecast mit 12 Prozent Abweichung kann gut sein, wenn das Geschäft stark schwankt.

Dazu kommt der Aggregationseffekt. Genauigkeit sieht auf aggregierter Ebene fast immer besser aus als auf Produkt- oder Standortebene. Über- und Unterschätzungen heben sich in der Summe auf. Wer nur die Konzernzahl misst, hält einen Forecast für gut, mit dem in den Bereichen niemand arbeiten kann.

Deshalb braucht Accuracy-Messung drei Festlegungen, bevor die erste Zahl entsteht:

• Aggregationsebene: Konzern, Bereich, Kunde, Produkt? Miss auf der Ebene, auf der entschieden wird.
• Prognosehorizont: Wie viele Perioden vor dem Ist wurde die Prognose erstellt? Ein Forecast für den nächsten Monat ist nicht mit einem für das nächste Quartal vergleichbar.
• Einfrierzeitpunkt: Welcher Planstand gilt? Wenn Werte nachträglich überschrieben werden, lässt sich Genauigkeit nicht rekonstruieren. Der Planstand muss zum Stichtag festgeschrieben und archiviert sein.

Der dritte Punkt ist der häufigste Stolperstein. In vielen Systemen wird der Forecast laufend überschrieben. Dann existiert die Zahl, die man messen müsste, gar nicht mehr.

Welche Kennzahlen zeigen die Prognosequalität?

Vier Kennzahlen deckten in unseren Projekten die relevanten Fragen ab. Sie beantworten unterschiedliche Dinge und ersetzen sich nicht.

Der Bias ist die unbequemste Zahl

MAPE sagt, wie weit du daneben liegst. Bias sagt, in welche Richtung, und das ist meist die politisch interessantere Information. Ein Beispiel aus der Praxis: Liegt ein Vertriebs-Forecast über zwölf Monate im Schnitt 8 Prozent zu hoch, ist das kein Methodenproblem, sondern ein Anreizproblem. Solche Muster findest du nur, wenn du die Vorzeichen nicht wegrechnest.

FVA beantwortet die Frage, die bei KI-Prognosen zählt

Forecast Value Added misst, um wie viel sich die Prognosequalität durch einen zusätzlichen Prozessschritt verbessert. Man vergleicht das Ergebnis mit einer bewusst einfachen Referenzprognose, dem sogenannten naiven Forecast. Klassische Varianten sind der letzte bekannte Wert oder der Wert derselben Periode im Vorjahr.

Das Prinzip geht auf Michael Gilliland zurück und ist im Demand Planning etabliert. Für Controlling und KI-Forecasting ist es der aussagekräftigste Test. Wenn eine KI-Prognose den Vorjahreswert nicht schlägt, ist sie kein Fortschritt. Auch dann nicht, wenn das Dashboard überzeugt. Und dasselbe gilt für manuelle Anpassungen. Auch die kosten Aufwand und müssen ihren Beitrag nachweisen.

Genau hier liegt der Wert der Methode für dich. Sie bewertet nicht nur Modelle, sondern jeden Schritt im Prozess. Statistischer Basis-Forecast, Anpassung durch den Fachbereich, Konsolidierung im Controlling: Jeder Schritt bekommt eine Zahl.

Wie liefern Mensch und Modell gemeinsam die besseren Prognosen?

Die verbreitete Erwartung lautet, dass ein Modell den manuellen Forecast ersetzt. Die Befundlage sieht anders aus. In einem bei Springer Nature veröffentlichten Beitrag zu Predictive Analytics in der Unternehmensplanung wird eine unternehmensinterne Benchmark-Auswertung beschrieben. Ergebnis: Der kombinierte Forecast war genauer als der rein maschinelle und als der rein manuelle Bottom-up-Forecast. Die Autoren leiten daraus ab, dass Predictive Analytics mit stärkerer Einbindung des Controllings arbeiten sollte. Eine unternehmensübergreifende Verallgemeinerung lässt der Einzelfall nicht zu.

Für die Praxis heißt das: Das Modell liefert die Basislinie, der Fachbereich bringt Wissen ein, das nicht in den Daten steht. Ausschreibungen, Kundenverluste, Preisrunden. Und die FVA-Messung entscheidet, ob dieser Beitrag den Forecast tatsächlich verbessert. Ohne diese Messung wird jede Anpassung durchgewinkt, auch die, die schadet.

Welche Schritte führen zu einer belastbaren Accuracy-Messung?

1. Planstände einfrieren und archivieren. Lege je Forecast-Runde eine unveränderliche Version ab, mit Stichtag. In IBM Planning Analytics genügt dafür eine Versionsdimension im Cube. Ohne diesen Schritt geht nichts weiter.
2. Messebenen festlegen. Wähle eine Führungsebene und eine operative Ebene, etwa Gesamtumsatz und Umsatz je Produktgruppe. Nur Konzernebene reicht nicht.
3. Horizonte definieren. Üblich sind M+1, M+3 und Jahresende. Miss jeden Horizont getrennt.
4. Naive Referenzprognose mitrechnen. Letzter Istwert und Vorjahreswert derselben Periode. Das kostet zwei Rechenschritte im Modell und ist die Grundlage jeder FVA-Aussage.
5. Kennzahlen im Berichtswesen verankern. WAPE und Bias je Ebene und Horizont, dazu FVA je Prozessschritt. Als fester Bestandteil des Monatsberichts, nicht als Sonderauswertung.
6. Zielwerte erst nach drei Monaten Messung setzen. Vorher kennst du dein Niveau nicht. Zielwerte ohne Ausgangsmessung erzeugen nur Ausweichverhalten.
7. Ergebnisse in die Prozessgestaltung zurückführen. Ein Schritt mit dauerhaft negativem FVA wird vereinfacht oder gestrichen. Das ist der eigentliche Zweck der Messung.

Was ändert sich durch eine gemessene Prognosequalität?

Häufige Fragen zur Forecast Accuracy

Welcher MAPE-Wert gilt als gut?

Es gibt keinen allgemein gültigen Zielwert. Ein MAPE von 5 Prozent kann bei stabilen Abo-Umsätzen schwach sein und bei projektgetriebenem Geschäft sehr gut. Belastbar ist nur der Vergleich mit deiner eigenen Historie und mit der naiven Referenzprognose. Deshalb steht die Basismessung immer vor dem Zielwert.

Warum sollten wir MAPE und Bias gemeinsam auswerten?

Weil beide unterschiedliche Fehler zeigen. MAPE ignoriert die Richtung, Bias ignoriert die Streuung. Ein Forecast mit Bias null kann große gegenläufige Fehler enthalten, die sich rechnerisch aufheben. Erst zusammen ergeben die beiden Kennzahlen ein verwendbares Bild.

Wie prüfen wir, ob eine KI-Prognose besser ist als unser bisheriger Forecast?

Über FVA. Rechne für denselben Zeitraum, dieselbe Ebene und denselben Horizont drei Werte: naive Referenzprognose, bisheriger Forecast, KI-Prognose. Vergleiche die Fehlerkennzahlen. Wenn die KI-Prognose die naive Referenz nicht schlägt, liefert sie keinen Mehrwert. Wenn sie den bisherigen Forecast nicht schlägt, ist der Wechsel nicht begründet.

Welche Daten brauchen wir für eine rückwirkende Messung?

Archivierte Planstände mit Stichtag und die zugehörigen Ist-Werte auf derselben Struktur. Fehlt die Planhistorie, weil Werte überschrieben wurden, lässt sich Accuracy nicht rekonstruieren. Dann beginnt die Messung mit der nächsten Forecast-Runde, und der erste Schritt ist das Einfrieren der Versionen.

Wie oft sollte die Accuracy-Auswertung laufen?

Monatlich, als fester Teil des Berichtswesens. Eine Sonderauswertung einmal im Jahr erzeugt Diskussionen, aber keine Verbesserung. Der Nutzen entsteht durch die Wiederholung, weil erst dann Muster wie ein systematischer Bias sichtbar werden.

Welche Rolle spielt Accuracy-Messung bei rollierender Planung?

Besonders dort. Rollierende Planung erhöht die Zahl der Prognoserunden. Ohne Genauigkeitsmessung erhöht sie damit nur den Aufwand. Mit Messung wird sichtbar, ab welchem Horizont die Genauigkeit abfällt, und du kannst die Zahl der Runden begründet festlegen.

Warum Accuracy-Messung ins Planungssystem gehört und nicht in eine Nebenrechnung

Accuracy-Messung scheitert in der Praxis fast immer an einem Punkt: Die Planhistorie fehlt. Wer Forecast-Versionen in Excel-Kopien ablegt, hat nach zwei Jahren keine vergleichbare Datenbasis. In einem Planungssystem wie IBM Planning Analytics ist das ein Modellierungsthema. Eine Versionsdimension, ein Prozess zum Einfrieren, und die Kennzahlen rechnen sich anschließend im selben Cube, in dem geplant wird.

Das ist der Grund, warum wir Accuracy-Kennzahlen als Teil des Planungsmodells aufsetzen und nicht als separates Reporting. Die Messung nutzt dieselben Definitionen wie die Planung. Damit entfällt die Diskussion, ob zwei Zahlen dasselbe meinen.

Und wenn die Auswertung ergibt, dass dein bisheriger Forecast die naive Referenz deutlich schlägt, sagen wir das auch. Nicht jedes Unternehmen braucht ein KI-Modell für Prognosen. Manche brauchen nur den Nachweis, dass ihr Prozess funktioniert.