Automatisiertes Maschinelles Lernen (AutoML) für Anwendungen in der Industrie

Wie gut sind automatisierte ML-Lösungen in der industriellen Praxis?

Ein großes Hindernis für die praktische Anwendung von Künstlicher Intelligenz (KI) im Allgemeinen und Maschinellem Lernen (ML) im Speziellen ist der extrem hohe Aufwand, die beste Methode zu identifizieren und schließlich optimal für die jeweilige Anwendung zu konfigurieren: In der Regel überprüfen ML-Experten auf Basis der vorliegenden Datengrundlage und der angedachten Aufgabe zuerst unterschiedlichste Methoden auf Passung, bevor sie daraus die beste für die aktuelle Fragestellung auswählen, den ML-Prozess entwerfen und aufsetzen. Oftmals müssen etliche verschiedene Methoden und Konfiguration getestet werden, bevor anhand der Ergebnisse eine Entscheidung getroffen werden kann. Das dauert lange und ist mit viel manuellem Aufwand verbunden.

Weniger Wartungsaufwand und Personalbedarf im ML-Prozess

Mit AutoML sollen nun Systeme entwickelt werden, mit denen die gesamten Prozesse, oder bei hoher Komplexität auch nur einzelne Schritte daraus, automatisiert ablaufen können. So können  beispielsweise Veränderungen in der Datengrundlage automatisch einfließen oder bei Abweichungen im Prozessumfeld die für den jeweiligen Zeitpunkt beste Methode automatisch neu ausgewählt werden. Dies schafft freie Zeit und Ressourcen, die Mitarbeiter sinnvolleren und wichtigeren Aufgaben widmen können, anstatt manuell Methoden und Konfigurationen zu testen.

Standard- versus Individuallösung – was ist besser?

Zwar existieren inzwischen einige kommerzielle AutoML Lösungen; ob diese Systeme aber wirklich eine Option für komplexe industrielle Anwendungen sind, ist aktuell nur schwer zu beurteilen. Diese Systeme, so wie auch jüngere wissenschaftliche Publikationen, sind meist auf Standard-Klassifikations- und Regressionsprobleme ausgerichtet und benötigen in der Regel qualitativ hochwertige und große Datenmengen. Solche Daten liegen in der Industrie aber nicht immer vor. Außerdem haben diese AutoML-Systeme in der Modellauswahl in der Regel keinen Zugriff auf spezifischere ML Methoden und Modelle – sie sind auf einen bestimmten, recht generischen ML-Methodenpool beschränkt. Oftmals erfordern aber genau industrielle Anwendungen, bei denen beispielweise spezielle Datentypen vorhanden sein können oder zu wenig Datenpunkte einer bestimmten Klasse vorliegen, spezielle ML-Methoden, um optimale Ergebnisse zu erzielen.

Gemeinsam mit der Siemens AG, unserem Kunden aus der industriellen Fertigung, untersuchten wir deshalb, ob sich AutoML-Systeme in der Industrie tatsächlich sinnvoll einsetzen lassen, ob Standardsysteme für die Industriebedarfe ausreichen, inwieweit spezifische Anpassungen existierender Systeme helfen können, und welche Anforderungen an ein speziell entwickeltes AutoML System gestellt werden müssen, damit sich der Einsatz lohnt.

Die Basis der Forschungsarbeit, also die Analyse des aktuellen Forschungsstandes hinsichtlich AutoML, ist in einem Review Paper zusammengefasst, das dem Kunden zur Verfügung gestellt wurde. Darin wurden in direkter Abstimmung mit dem Kunden Schwerpunkte auf diejenigen Anwendungen gelegt, die im industriellen Kontext von besonderer Bedeutung sind, beispielsweise »Limitierungen von AutoML«, »Neural Architecture Search« oder »AutoML auf Sensordaten«.

Standard-AutoML-Lösungen im Praxistest

Darauf aufbauend konnten allein durch die Anwendung verschiedener State-of-the-Art AutoML-Lösungen sowohl quantitative als auch qualitative Erkenntnisse abgeleitet werden, wie beispielsweise die Definition von Schwachstellen, die Einflussgrößen für eine höhere Performance oder eine Bewertung hinsichtlich der Gesamtleistung der Standardsysteme.
Die Qualität der getesteten Standardsysteme war im Vergleich zu den gewählten manuellen Modellen zwar verbessert, aber weniger gut als erhofft. Außerdem offenbarte der Vergleich einige Probleme der standardmäßigen AutoML Frameworks beim Umgang mit großen Datenmengen, eigens definierten Qualitätsmaßen und unbalancierten Datensätzen.

Im Vergleich: zielgerichtete AutoML-Lösungen für die Industrie

Ein eigens für Qualitätskontrolle entwickeltes AutoML Framework konnte einige der Probleme der zuvor getesteten Standart-AutoML Lösungen beheben und zeigte vielversprechende Ergebnisse auf relevanten Datensätzen. Zudem erlaubt es die Integration von ausgewählten Machine Learning Methoden, wie z.B. Upsampling Methoden, die besonders in diesem Use Case (Qualitätskontrolle) interessant sein können.

Zukunftsthema: Auto ML für spezielle Anwendungsbereiche

In der Gesamtschau zeigte der Vergleich also, dass es Sinn machen kann, ein System für eine spezielle Anwendung (oder eine Gruppe von ähnlichen Anwendungen) zu entwickeln – gerade wenn spezielle ML-Methoden verbesserte Ergebnisse versprechen, von Anwendung zu Anwendung aber unklar ist, wie genau die ML Pipeline konfiguriert werden sollte. Aus diesem Grund ist zielgerichtetes AutoML für spezielle Anwendungsbereiche ein vielversprechendes Forschungsgebiet für die Zukunft.

Unser Projektpartner, die Siemens AG, ist ein führendes Unternehmen im Bereich der industriellen Fertigung. Für das Projekt wurde eng mit dem Siemens Advanced Artificial Intelligence Team zusammengearbeitet.