Data-centric AI

Im Rahmen der Umsetzung von »Meta Lernstrategien« unter anderem im »Bereich der bildgebenden Medizin« werden Methoden wie Few-Shot oder Transfer-Learning entwickelt und erforscht.

Gerade in der Medizin im Bereich der Gewebeklassifikation ist die Annotation von großen Datensätzen besonders schwierig und die Datensituation variiert oft von Krankenhaus zu Krankenhaus bzw. von Aufnahmegerät zu Aufnahmegerät. Daher eignen sich hierbei Verfahren des Few-Shot Learnings, wie beispielsweise Prototypical Network, um zwischen verschiedenen Anwendungen zu generalisieren. Methoden des Transfer Learnings, wobei Modelle auf vergleichbaren Datensätzen mit vielen annotierten Datenpunkten gewissermaßen vortrainiert werden, um sie dann auf die eigentliche Problemstellung anzuwenden, werden in diesem Kontext auch für die praktische Auswertung von medizinischen CTs verwendet.

Insgesamt werden in der Applikation »Robuste KI für Digitale Pathologie« Methoden des Few-Shot Learnings für die interaktive Gewebeklassifikation genutzt. Durch die Möglichkeit zur Interaktion mit den Modellen, können auch eventuelle, neue Gewebeklassen berücksichtigt werden.

In der Applikation »KI-Framework für Autonome Systeme« werden unter Anderem Meta-Lernstrategien für das autonome Fahren erforscht. Dabei werden Reinforcement-Learning Modelle in einer Simulationsumgebung vortrainiert und dann via Transfer-Learning für die Anwendung in der Realität angepasst. In einem weiteren Teilbereich dieses Projekts wird Continual Learning eingesetzt, um Modelle zu trainieren, die sich schnell und flexibel an neu auftretende Szenarien im autonomen Fahren anpassen können. 

Methoden des »Semi-supervised Learning« werden in Szenarien angewandt, in denen zwar viele Trainingsdaten vorhanden sind, von denen allerdings nur eine Minderheit auch annotiert ist. Diese Methoden lassen auch latente Informationen aus den nicht-annotierten Daten, wie z.B. Ähnlichkeiten, in das Modell-Training mit einfließen um performante Machine Learning Modelle zu trainieren.
In einem Teilprojekt werden Methoden aus dem Bereich der »Consistency Regularization« für die Anwendung auf sequentiellen Sensordaten erforscht und entwickelt. Weiterhin werden Semi-supervised Lernstrategien in einem Projekt im Bereich der Kamera-basierten, automatisierten Müllsortierung eingesetzt, um dabei das Problem weniger annotierter Trainingsdaten zu umgehen. 

Im Bereich der Lokalisierung ist die Annotation von Trainingsdaten technisch herausfordernd und zeitintensiv, daher gilt es hier die richtigen Methoden für die Unterstützung bei der Datenerhebung zu entwickeln.
In der Applikation »Datengetriebenen Lokalisierung« wird daher eine Messplattform zur effizienten Datenannotation durch Active Learning und unter Einbeziehung von Predictive Uncertainty entwickelt, um dem Anwender Messpunkte vorzuschlagen, die den größten Informationsgewinn erwarten lassen.
Die Generierung der Mess- bzw. Trainingsdaten bei der datengetriebenen Lokalisierung erfordert andererseits aber auch die Einbeziehung der statistischen Verteilung bzw. der Nicht-Linearitäten der Signalausbreitung in der Umgebung. Schon während der Datenannotationsphase wird daher auf eine Ungleichverteilung der Klassenmengen geachtet.
Durch Verfahren wie beispielsweise »SMOTE«, bei welchem entweder Trainingsdaten der überrepräsentierten Klasse verworfen oder aber zusätzliche Daten aus der unterrepräsentierten Klasse augmentiert werden, sollen solche Effekt ausgeglichen werden.

Durch Digitalisierung und die stetige Entwicklung in der Erforschung von Künstlicher Intelligenz (KI), insbesondere im Bereich Machine Learning (ML), profitieren derzeit viele Unternehmen, indem sie neue datengetriebene Geschäftsmodelle entwickeln oder Prozesskosten (z. B. in der Fertigung) senken können. Ein wichtiger Baustein für diese KI-Entwicklung ist das Vorhandensein einer großen Menge von qualitativ hochwertigen Daten.

Doch nicht immer sind die Daten in einer ausreichenden Menge vorhanden, vollständig, fehlerfrei oder aktuell, sodass sie für ML-Anwendungen nicht wirklich sinnvoll genutzt werden können. Durch Methoden der Datenerweiterung (Data Augmentation – kurz: DA) ist es möglich, die Datenqualität und -quantität signifikant zu verbessern. Dadurch können ML Modelle in manchen Anwendungsfällen erstmalig eingesetzt oder die Ergebnisse bestehender ML Modelle optimiert werden.

Few Data Learning kommt in Anwendungsbereichen zum Einsatz, in denen eine sehr kleine Datenbasis vorliegt: beispielsweise im Bereich der Bilderkennung, vor allem in der Medizintechnik zur Diagnose von Gewebeanomalien, für Computer Vision Anwendungen in der Bild- und Videoproduktion, oder für Prognose- und Optimierungsanwendungen in der Produktion und Logistik.

Bestehende Few Data Learning Methoden wurden für jeweils sehr spezifische Datenprobleme entwickelt und verfolgen unterschiedliche Zielsetzungen. Daher ist die Herausforderung in Forschung und Anwendung, für einen konkreten Anwendungsfall die richtigen Few Data Learning Verfahren auszuwählen, miteinander zu kombinieren und weiterzuentwickeln.

Innerhalb des ADA Lovelace Centers ist die Arbeit der Kompetenzsäule Few Data Learning eng verknüpft mit der Säule Few Labels Learning, in welcher die Annotation großer Datensätze im Fokus steht. Denn in der Praxis treten beide Probleme häufig zusammen auf: Wenn Daten fehlen, fehlerhaft sind oder nicht in ausreichender Menge vorhanden sind, fehlen häufig auch die dazugehörigen Annotationen. Daher werden Verfahren aus den beiden Kompetenzsäulen »Few Data Learning« und »Few Labels Learning« oft miteinander kombiniert.

Wenn eine Zeitreihe (hier Nachfrage in Stück nach einem Produkt) mit wenigen Datenpunkten zur ML Modellierung erweitert werden soll, kann nach ähnlichen bereits vorhandene Zeitreihen gesucht werden. Im Anschluss werden diese Datenpunkte zu Erweiterung der kurzen Zeitreihe direkt übernommen. Die Suche nach ähnlichen Daten erfolgt beispielsweise mittels Clustering Verfahren.

Falls eine solche direkte Zuordnung zu ähnlichen Zeitreihen nicht möglich, schwierig oder nicht gewollt ist, kann stattdessen aus mehreren verfügbaren Zeitreihen eine synthetische Datenreihe neu generiert werden welche die Informationen der vielen Datenreihen repräsentiert. Dabei werden Redundanzen in einem hochdimensionalen Datensatz ausgenutzt, um eine niedrigdimensionale Repräsentation des gesamten Datensatzes zu generieren.

In manchen Anwendungen kann es sogar vorkommen, dass keinerlei Daten zur Analyse vorliegen. In diesem Fall können mit Simulationsmodellen komplett synthetische Daten generiert werden. Beispielsweise in der Produktion: Wenn eine bestehende Fertigung auf ein komplett neues Produkt umgestellt werden soll, gibt es dafür noch keine Erfahrungswerte bzw. Daten. In dem Fall kann auf Basis der bestehenden Daten und der Prozessmodellierung eine Simulationsumgebung erstellt werden, welche für die neuen Produkte Daten simuliert, um diese anschließend mittels ML Modellen zu analysieren. Dabei ist es besonders wichtig, aber auch schwierig, möglichst realistische Daten zu simulieren, welche bestimmte Charakteristika (z. B. Produktionsfehler oder Maschinenstillstände) nicht über- oder unterschätzt, damit das ML Modell auch im laufenden Betrieb mit realen Daten gute Ergebnisse liefern kann.

In der Applikation Robuste KI für Digitale Pathologie werden KI-Methoden entwickelt um Darmkrebs auf CT-Gewebescans automatisiert zu erkennen. Dabei stehen oft nur sehr wenige Daten zur Verfügung. Daher wurden im Rahmen der Kompetenzsäule Few Data Learning verschiedene Verfahren der Datenaugmentierung anhand einer Multi-Scanner Datenbank miteinander verglichen. Ziel ist es eine robuste Gewebeanalyse in Darmschnitten von Adenokarzinomen zu gewährleisten. Dabei wurden verschiedene konvolutionale Netzwerk-Architekturen hinsichtlich ihrer Ausführungsgeschwindigkeit und Robustheit auf einer Multi-Scanner Datenbank verglichen. Die Robustheit wird dabei durch Anwendung von Datenaugementierung, speziell Farbaugmentierungen, erzielt.

In der Applikation KI-gestütze Diagnosen in Funksystemen wird eine Toolchain zur automatisierten Erkennung und Vorhersage von Übertragungsstörungen in drahtlosen Netzwerken entwickelt. Dabei wird ein Beitrag zur Verbesserung von Fehleranalysewerkzeugen in Funknetzwerken, unter Verwendung von Spektrumanalysatoren geleistet. Mithilfe von auf maschinellem Lernen basierenden Bildverarbeitungsalgorithmen werden einzelne Frames verschiedener Funktechnologien sowie Kollisionen zwischen Frames in Echtzeit erkannt und entsprechend ihres Kommunikationsstandards klassifiziert. Zur Verbesserung der Datenbasis wurden die mit einem Vektorsignalgenerator erzeugten Funksignale in einer eigens entwickelten Simulations-Pipeline weiterverarbeitet und rekombiniert. Über diesen Ansatz konnte auf einen umfangreichen gelabelten Trainingsdatensatz zurückgegriffen werden.

In der Applikation Selbstlernende adaptive logistische Netzwerke wurde ein Verfahren entwickelt, welches auf Basis von unvollständigen Verbrauchsdaten von Ersatzteilen in der Logistik mittels Clustering-Verfahren Ähnlichkeiten in einem großen Datensatz erkennt und verfügbare Verbrauchsdaten über einen längeren Zeithorizont zur Prognose von neuen Ersatzteilen (ohne lange Datenhistorie) nutzt.