Erfahrungsbasiertes Lernen

Eine der größten Stärken des Reinforcement Learning ist die Fähigkeit, qualitativ hochwertige und kreative Lösungen für ein komplexes Problem zu erlernen. Für viele reale Anwendungen ist eine leistungsstarke Lösung allein jedoch nicht ausreichend, da in vielen Situationen Systeme durch transparente und sicherheitsbewusste Mechanismen gesteuert werden müssen. Ein typisches Beispiel hierfür sind autonome Fahrzeuge, bei denen der Agent in der Steuerung nicht nur das gewünschten Ziel erreichen muss, sondern auch die Treibstoffeffizienz und den Fahrgastkomfort beachten muss und neben all diesen Anforderungen zusätzlich die Wahrscheinlichkeit von Kollisionen minimieren sollte.

Um diesen sicherheitsrelevanten Anforderungen gerecht zu werden, werden Algorithmen verwendet, die sowohl einen Risikoschätzer entweder aus verfügbaren Daten oder mittels der Interaktion zwischen dem Agenten und der Umwelt lernen, als auch einen Trade-off-Faktor zwischen dem Wert des zu erreichenden Ziels und dem Risiko einer bestimmten Strategie, um das Ziel zu erreichen.

Im Rahmen des Projektes wurde dieser Ansatz von der Applikation »KI-Framework für autonome Systeme« genutzt, um einem autonomen Fahragenten beizubringen, risikosensitive Entscheidungen auf hoher Ebene sicher durchzuführen, wie z. B. Zusammenführen im Kreisverkehr, ungeschütztes Abbiegen und Spurwechsel. Darüber hinaus wurde in der Applikation »Effiziente Suche und Repräsentation von Trackingdaten« das Risiko, den Ball in einem Fußballspiel zu verlieren, anhand von Offline-Daten aus realen Spielen abgeschätzt und ein sicherheitsbewusster Reinforcement Learning-Agent trainiert, um ein 11 gegen 11 Fußballspiel in der Simulation zu spielen.

Eine zusätzliche Ebene der Sicherheit und Robustheit kann durch die Anwendung von hierarchischen Reinforcement Learning Ansätzen erreicht werden. Anstelle eines Algorithmus, der lernt, eine Aufgabe direkt zu lösen, sind Low-Level-Controller/Policies für die Ausführung grundlegender Funktionen zuständig. Higher-Level-Policies lernen, die komplexe Aufgabe durch Wiederverwendung, Kombination und Sequenzierung der verfügbaren Low-Level-Policies zu lösen. Die Low-Level-Komponenten können von Hand entwickelt und individuell trainiert werden oder sogar eine fortgeschrittene Steuerungslogik wie Model Predictive Controllers enthalten. Dieser Ansatz wurde von der Anwendung »KI-Framework für autonome Systeme« genutzt, um robustere und interpretierbare Strategien für autonomes Fahren zu erlernen. Hier stehen Low-Level-Strategien wie »der Spur folgen«, »auf die linke/rechte Spur wechseln« oder »die Geschwindigkeit erhöhen/verringern« zur Verfügung und ein koordinierender Agent wird darauf trainiert, diese zu nutzen, um sicher durch den Verkehr zu einem Zielpunkt zu navigieren.  

Das Paradigma des Verstärkungslernens basiert auf der Verfügbarkeit einer Belohnungsfunktion, die angibt, wie vorteilhaft oder nachteilig die Entscheidungen sind, die der Agent in jedem Schritt getroffen hat. Auf der Grundlage dieser Informationen kann der Agent schrittweise lernen, seine Leistungen zu verbessern und eine bestimmte Aufgabe effizienter zu lösen. In einigen Fällen kann es jedoch schwierig sein, eine geeignete Belohnungsfunktion zu entwickeln. Wie kann beispielsweise die »interne« Belohnungsfunktion des Fahrers eines Autos quantifiziert werden, die zwischen Komfort, Kraftstoff-/Kosteneffizienz und dem Erreichen eines Ziels in möglichst kurzer Zeit abwägt?

In solchen Situationen kann das Imitationslernen eingesetzt werden. Hier haben wir entweder Beispiele eines Experten, der die betreffende Aufgabe ausführt (im Fall des autonomen Fahrens stehen beispielsweise aufgezeichnete Daten von mehreren menschlichen Fahrern zur Verfügung), und der Agent lernt, deren Strategie zu »imitieren«, oder es wird ein »Lehrer/Schüler«-Setting definiert, bei der wir den Experten interaktiv direkt nach den besten Aktionen in bestimmten Situationen befragen können, um den Agenten schrittweise zu trainieren, damit er die Leistung des Experten erreicht.

Imitationslernen kann auch als Prozess zur Interpretation der Entscheidungen des trainierten Agenten genutzt werden. Dabei wird Imitationslernen genutzt, um das Verhalten eines trainierten Black-Box-Agenten (z. B. eines neuronalen Netzes) zu einem binären Entscheidungsbaum zu destillieren, wie in der »Lehrer/Schüler«-Situation. Auf diese Weise hat der generierte Entscheidungsbaum dieselbe Leistung wie die ursprüngliche Strategie, kann aber als eine Reihe von »Wenn-dann-wenn«-Regeln interpretiert werden. Dieser Ansatz wird von der Anwendung »KI-Framework für autonome Systeme« verwendet, bei der High-Level-Verhaltensrichtlinien für das Fahren (z. B. die Entscheidung, wann man die Spur wechselt oder sich in den Verkehr einreiht) mit Hilfe von Reinforcement Learning trainiert und dann in binäre Entscheidungsbäume extrahiert werden. Diese Bäume können entweder manuell von einem Sicherheitsingenieur oder mit automatisierten formalen Verifikationsmethoden verifiziert werden.