Neuronale Netzwerke für optimierte Zeitreihenprognosen

Neuronale Netze sind geeignet, multivariate Vorhersageprobleme mit Abhängigkeiten wie zum Beispiel bei der Rohstoffpreisprognose zu lösen, da sie Zusammenhänge zwischen diversen Input- und Outputvariablen abbilden. Eine häufige Schwierigkeit stellt die Datenverfügbarkeit beim Training der Netze dar. Manche Daten werden zwar regelmäßig, aber nur punktuell und in großen zeitlichen Abständen erfasst. Bei bestimmten Wirtschaftsindikatoren kommen so oft nur einige hundert Datenpunkte zusammen. Je nach Komplexität des Problems ist es kritisch, ein Neuronales Netz mit so wenigen Daten zu trainieren.
Durch die Berücksichtigung der zeitlichen Struktur der Datenerfassung ist es möglich, dass Modelle auch mit wenigen Daten lernen. Diese Struktur kann am besten anhand von tiefen Rekurrenten Neuronalen Netzen generiert und genutzt werden, denn hierbei werden die Daten zeitlich sortiert, so dass ein Modell weiß, wie sich eine Variable über die Zeit verändert hat. In den vergangenen dreißig Jahren wurden in diversen Anwendungen verschiedene Topologien Neuronaler Netze entwickelt, die spezifische Zeitreihenprognoseproblemen adressieren. Allerdings sind die entwickelten Architekturen »Historical Consistent Neural Networks« (kurz: HCNNs) speziell und in keinem öffentlichen Framework für Neuronale Netze verfügbar. Die Besonderheiten dieser Architekturen ist der multivariate Ansatz, mit intern im Modell dargestellten Variablen und das Nutzen prognostizierter Inputvariablen für die Prognose der Outputvariablen.

Auch in der Wissenschaft finden diese Modelle bisher wenig Beachtung, da noch keine Evaluierung mit wissenschaftlichem Maßstab durchgeführt wurde, obwohl es theoretische Hinweise und erste empirische Evidenzen gibt, dass HCNNs anderen state-of-the-Art Verfahren wie LSTMs (Long short-term memory) und Gradient Boosting-Verfahren überlegen sind.
Besonders in der Makroökonomie wird angezweifelt, dass Neuronale Netze geeignet sind, gute Langzeit-Prognosen zu erstellen, denn gerade hier werden Wirtschaftsindikatoren (Daten) nicht stetig sondern regelmäßig aber in großen Abständen erfasst. Mittels unseren Untersuchungen wird gezeigt, dass gerade bei längeren Prognosehorizonten wie Rohstoffpreisprognosen HCNNs anderen Methoden überlegen sein können. Weitere denkbare und interessante Forschungsgegenstände könnten BIP- oder Wechselkursprognosen sein.

Veröffentlichung eines Python Pakets

In dem Projekt wurde das Deep Learning Framework PyTorch verwendet, um die oben beschriebenen HCNN-Modelle in einer populären Softwareumgebung zu implementieren. Das entwickelte Python-Paket »Prosper-NN« enthält unter anderem vier spezielle Modelle. Eines erlaubt die Einbindung logischer Regeln von Experten in die Neuronalen Netze, somit kann bereits vorhandenes Wissen in Modelle integriert werden. Ein weiteres verwendet Fehler aus vorherigen Zeitschritten, um den Zustand im nächsten Zeitschritt zu verbessern. Das dritte Modell behandelt alle Einfluss- und Zielgrößen gleich. Zusätzlich werden diese Größen für Vergangenheit und Zukunft im Netzwerk für den Menschen verständlich dargestellt.

Beim vierten Modell werden die Einflüsse aus der Vergangenheit um die Erwartungen in der Zukunft auf die Prognose erweitert. Die entwickelten Verfahren nutzten alle Sequenzbasiertes Lernen um Prognosen zu erstellen.

Um den Zugang zu den Modellen für Forschung und Industrie zu ermöglichen, wird das Paket in einer guten Dokumentation und ausführlichen Tutorials beschrieben. Dies setzt den Grundstein für die breitere Erforschung der einzelnen Modelle und für deren Einsatz in Industrieanwendungen.

Validierung durch Benchmark

Um das Potential von HCNNs in (makroökonomischen) Anwendungen zu verdeutlichen, ist es notwendig einen umfangreichen Benchmark mit wissenschaftlicher Strenge durchzuführen. Dafür müssen mit diesen auf mehreren relevanten Datensätzen signifikant bessere Lösungen erzielt werden als mit aktuellen state-of-the-Art Verfahren (LSTMs, XGBoost, Prophet usw.).

Zur Durchführung des Benchmarks wird das Zeitreihenframework GluonTS genutzt. Es ermöglicht eine große Anzahl verschiedener Modelle auf vielen Datensätzen zu vergleichen. Die Vorstrukturierung der Modelle anhand der zeitlichen Struktur soll bewirken, dass diese bei wenigen Datenpunkten (Few Data Learning) im Vergleich zu anderen Verfahren bessere Ergebnisse erzielen. Durch eine Veröffentlichung der Ergebnisse werden die Verfahren zum einen bekannter, können der Forecasting-Community zugänglich gemacht werden, und ermöglichen zudem die Einsatzbereiche klarer zu spezifizieren.

Einsatz des Pakets für Preis- oder Bedarfsprognosen

Das entstandene Python-Paket konnte bereits in ersten Projekten erfolgreich angewendet werden. Es wurden HCNNs verwendet um die Entwicklung zukünftiger Stahlpreise zu prognostizieren. Diese unterliegen aufgrund vielfältiger Einflüsse teils starken Preisschwankungen. Dadurch ist eine richtige Einschätzung des Marktpreises im Einkauf für viele Bereiche der Industrie essenziell. Hier konnten HCNNs, auch im Vergleich zu anderen Verfahren, vielversprechende Ergebnisse erzielen.
Im Forschungsprojekt OBER werden mit den Modellen Bedarfsprognosen im Großhandel erstellt. In dem Projekt werden die Lagerbestände und Bestellzeitpunkte optimiert. Dafür werden Prognosen über zukünftige Bedarfe verwendet und darauf basierend die optimalen Dispositionsvorschläge geliefert. Es wird untersucht, ob die Fehlerkorrektur-Mechanismen in den Modellen die Prognosen verbessern können.  

Ausblick:

In den nächsten Schritten werden die entwickelten Modelle detailliert evaluiert und weitere Topologien erforscht, um sie in öffentliche Frameworks zu integrieren. Beispielsweise soll eine Weiterentwicklung zur Feature Selection in die Modelle integriert werden. Das Modell entscheidet dann selber, wie es die vorhandenen Variablen kombiniert. Das bietet eine enorme Zeitersparnis, da die Variablenkombinationen nicht mehr händisch von Experten durchgeführt werden müssen. Darüber hinaus soll zukünftig die Unsicherheitsabschätzung der Modelle genauer untersucht werden, um sie in nachfolgenden Optimierungen besser verwenden zu können. Die gewonnenen Erkenntnisse können in weiteren Projekten wie KIBA-Apotheke und Dynamische Optimierung der Materialdisposition im Supply Netzwerk (DOMNet) genutzt werden.