Reinforcement Learning

Staffel 1· 28. Januar 2020· 1674

Episoden-Cover: Reinforcement Learning
0:001674
  • Dr. Theo SteiningerCo-Founder & CEO von Erium
  • Dr. Maksim GreinerCo-Founder & CTO von Erium

Überblick

In dieser Folge des Erium Podcasts erklaeren Theo Steininger und Maksim Greiner gemeinsam, was Reinforcement Learning ist, wie es funktioniert und wann es sinnvoll eingesetzt werden kann. Anhand anschaulicher Beispiele wie dem Rubiks Cube, autonomem Fahren und Smart Cities wird das Konzept verstaendlich aufbereitet. Abschliessend teilen sie ihre praktischen Erfahrungen aus dem Industriekontext.

Zusammenfassung

Was ist Reinforcement Learning? Grundbegriffe und Funktionsprinzip

Reinforcement Learning (RL) beschaeftigt sich damit, wie ein sogenannter Agent in einer gegebenen Situation eine optimale oder zielfoerdernde Handlung ableitet. Die zentralen Konzepte sind der Agent (der Handelnde), sein Handlungsspektrum (die moeglichen Aktionen) sowie der State (der aktuelle Zustand von Agent und Umgebung). Ziel ist es, eine sogenannte Policy zu erlernen, also eine Abbildung von Zustand auf Handlung. Diese Policy gilt als gut, wenn sie den kumulierten Reward (die Belohnung) maximiert.

Als anschauliches Beispiel dient der Rubiks Cube: Bei 43 Trillionen moeglichen Zustaenden kann keine Loesungstabelle angelegt werden. Stattdessen muss das System abstrahieren und lernen, aus dem aktuellen Zustand die jeweils beste Aktion abzuleiten. Der Reward wird am Ende vergeben, etwa wenn der Cube geloest ist.

Die Rolle der Reward-Funktion und Tücken der Zielsetzung

Die Reward-Funktion ist der Dreh- und Angelpunkt jedes RL-Systems. Wie sie definiert wird, bestimmt massgeblich das Verhalten des Agenten. Ein einfaches Beispiel: Wird beim Rubiks Cube nur belohnt, ob er am Ende geloest ist, nicht aber wie viele Zuege dafuer benoetigt wurden, ist eine Loesung mit 1000 Zuegen gleichwertig mit einer in einem einzigen Zug.

Wird hingegen fuer jeden zusaetzlichen Zug ein kleiner Abzug eingebaut, lernt das System, moeglichst effizient zu loesen. Dieses Beispiel verdeutlicht, dass die genaue Formulierung des Reward entscheidend fuer die Praktikabilitaet der erlernten Policy ist. Zu vereinfachte Reward-Strukturen koennen zu unerwuenschten oder sogar problematischen Verhaltensweisen fuehren, wie das Smart-City-Beispiel zeigt, in dem eine Person dauerhaft an einer roten Ampel festgehalten werden koennte, wenn nur der Durchschnitt optimiert wird.

Explore vs. Exploit: Zwischen Entdecken und Ausnutzen

Ein zentrales Spannungsfeld im Reinforcement Learning ist der Tradeoff zwischen Exploration (Entdecken neuer Strategien) und Exploitation (Ausnutzen bekannter, guter Strategien). Wer zu frueh nur auf Exploitation setzt, landet moeglicherweise in einem lokalen Optimum, verpasst aber bessere Loesungen.

Dieses Prinzip wird durch das Bild eines Hundes veranschaulicht, der gelernt hat, beim Besitzer nach Leckerlis zu betteln, aber nie herausfindet, dass die Nachbarin nebenan mit 100-prozentiger Wahrscheinlichkeit ein Leckerli gibt. Ohne Explorationsphase bleibt das System im bekannten, suboptimalen Bereich gefangen. Daher ist es wichtig, dem System genuegend Raum zu geben, unterschiedliche Strategien auszuprobieren, bevor es auf die vermeintlich beste setzt.

Einordnung in die ML-Landschaft: Zwischen Supervised und Unsupervised Learning

Reinforcement Learning laesst sich nicht eindeutig in die klassischen Kategorien Supervised und Unsupervised Learning einordnen. Beim Supervised Learning existieren klar gelabelte Trainingsdaten mit bekannten Loesungen. Beim Unsupervised Learning werden Strukturen in Daten gefunden, ohne dass Labels benoetigt werden. RL liegt dazwischen: Es braucht eine klar definierte Reward-Funktion (aehnlich wie Labels beim Supervised Learning), bewertet aber nicht einzelne Handlungen, sondern nur das Endergebnis einer Handlungskette.

Wann ist Reinforcement Learning der richtige Ansatz?

Reinforcement Learning eignet sich besonders dann, wenn drei Bedingungen erfuellt sind: Erstens besteht eine Verkettung von Handlungen, deren Konsequenz erst in der Zukunft sichtbar wird. Zweitens laesst sich das Endergebnis klar bewerten, auch wenn Einzelhandlungen schwer zu beurteilen sind. Drittens steht eine sichere Trainingsumgebung, etwa eine Simulation oder ein Sandbox-Environment, zur Verfuegung, in der Fehler keine realen Schaeden anrichten.

Klassische Szenarien sind Brettspiele wie Schach oder Go, bei denen nur der aktuelle Spielzustand relevant ist (Markov-Eigenschaft), nicht die Vorgeschichte. Poker hingegen ist schwieriger, da unvollstaendige Informationen und die Spielhistorie des Gegners eine Rolle spielen. Autonomes Fahren gilt als komplexes Anwendungsfeld, in dem RL Teil eines groesseren Methodenmixes ist.

Praxisbeispiele: Robotik, Videospiele und Smart Cities

Zu den spannendsten realen Anwendungsfaellen zaehlen unter anderem: die Anpassung des Schwierigkeitsgrades in Videospielen an den individuellen Spieler, damit dieser weder unter- noch ueberfordert ist; Industrieroboter, die sich eigenstaendig beibringen, Objekte zu greifen, ohne aufwendige manuelle Programmierung (Google setzte hierzu mehrere Roboter ueber Wochen in einer Lernumgebung ein); sowie intelligente Ampelsteuerung in Smart Cities, die den Verkehrsfluss optimiert.

Bei letzterem Beispiel wird deutlich, dass der Einsatz im realen Strassenverkehr waehrend des Trainings nicht moeglich ist. Eine Simulation des Stadtverkehrs ist zwingend notwendig, um Policies vorab zu validieren, bevor sie im echten System eingesetzt werden.

Erium und Reinforcement Learning: Warum der Ansatz (noch) nicht passt

Erium setzt Reinforcement Learning in seiner aktuellen Arbeit nicht ein. Der Hauptgrund: Im industriellen Kontext, etwa bei Automobilherstellern, ist eine Explorationsphase schlicht nicht leistbar. Fehler und Ausfaelle in der laufenden Produktion verursachen enorme Kosten. Zudem existieren fuer Industrieanlagen in der Regel keine ausreichend guten Simulationsumgebungen.

Stattdessen verfolgt Erium den Ansatz, datenwissenschaftlich eine solche Simulation erst zu erstellen. Das Ziel ist also, eine datengetriebene Abbildung der Anlage zu lernen und diese dann fuer gezielte Handlungsempfehlungen zu nutzen, ohne eine komplexe Handlungskette trainieren zu muessen. Reinforcement Learning bleibt damit ein Thema fuer die Zukunft, sobald geeignete Simulationsumgebungen vorliegen.

Kernaussagen

  • Reinforcement Learning lernt eine Policy, also die Abbildung von Zustand auf Handlung, mit dem Ziel, einen kumulierten Reward zu maximieren.
  • Die genaue Definition der Reward-Funktion ist entscheidend: Falsch formulierte Ziele fuehren zu unerwuenschten oder problematischen Verhaltensweisen.
  • Der Explore-vs.-Exploit-Tradeoff ist zentral: Zu fruehes Ausnutzen bekannter Strategien fuehrt in lokale Optima, ausreichende Exploration erschliesst bessere Loesungen.
  • RL eignet sich besonders bei Handlungsketten, deren Guete erst am Ende bewertet werden kann, und wenn eine sichere Trainingsumgebung oder Simulation vorhanden ist.
  • Spiele wie Schach oder Go profitieren von der Markov-Eigenschaft (nur der aktuelle Zustand zaehlt); Szenarien mit unvollstaendiger Information wie Poker sind anspruchsvoller.
  • Im industriellen Umfeld scheitert RL oft an fehlenden Simulationsumgebungen und an der Unmoeglichkeit, kostspielige Explorationsphasen durchzufuehren.
  • Erium setzt RL aktuell nicht ein, arbeitet aber daran, datenwissenschaftliche Simulationen als Grundlage fuer kuenftige RL-Anwendungen zu schaffen.

Fazit

Reinforcement Learning ist ein maechtige Methode fuer Szenarien, in denen eine Kette von Entscheidungen zu einem bewertbaren Endergebnis fuehrt. Die Qualitaet des Ansatzes haengt jedoch stark von einer sorgfaeltig definierten Reward-Funktion, einem ausgewogenen Explore-Exploit-Verhaeltnis und einer geeigneten Trainingsumgebung ab. Wer diese drei Voraussetzungen sicherstellt, kann mit RL beeindruckende Ergebnisse erzielen, von selbstlernenden Industrierobotern bis hin zu optimierten Ampelschaltungen.

Fuer Entscheider und Fuehrungskraefte in der Industrie

Reinforcement Learning bietet enormes Potenzial, setzt aber eine sichere Trainingsumgebung voraus. Wer RL in bestehenden Produktionsanlagen einfuehren will, sollte zunaechst in den Aufbau einer robusten Datensimulation investieren.

Fuer Data Scientists und KI-Interessierte

Besonderes Augenmerk verdienen die Reward-Funktion und der Explore-Exploit-Tradeoff: Hier entscheidet sich, ob ein RL-System sinnvolle und praktikable Policies erlernt oder in lokalen Optima haengen bleibt.

Volltranskript anzeigen

Speaker0: Im April 2019 sagte Elon Musk voraus, dass Teslas System für autonomes Fahren 2020 so weit fortgeschritten sein wird, dass Fahrer nicht mal mehr auf die Straße achten müssen. Und weiterhin werde Tesla dieses Jahr wohl 1000000 sogenannter Robotaxis auf die Straße bringen, die die Menschen völlig selbstständig von a nach b bringen. Was für eine Technologie dahintersteckt, was uns aus diesem Feld noch erwartet und auf was ihr dabei achten müsst, erfahrt ihr jetzt. Und damit herzlich willkommen zu 1 weiteren Ausgabe von The Eriam Podcast. Bei mir sitzt heute der Maxim. Hallo, Hallo. Toll, dass Du da bist. Und wir möchten heute ein über Reanforcement Learning quatschen und mal uns son bisschen herantasten, was das eigentlich ist. Könntest Du uns kurz erzählen, was es dabei geht, Maxim? Was ist Reanforcement Learning überhaupt?

Speaker1: Ja, beim Reanforcement Learning geht's darum, wie ich 1 gegebenen Situation, in 1 gegebenen Situation eine optimale oder wenigstens zielführende Handlung vollziehe. Mhm. Und es geht darum zu lernen, wie ich also wie ich in jeder Situation da jetzt eben eine Handlung ableite. Was man da unterscheidet, ist, ich führ mal kurz 'n paar Begriffe ein, sind sogenannte Agents, das ist also der, der handelt, sein Handlungsspektrum und der State, also da der Zustand von ihm und seiner Umgebung, die der Und dieser Zustand diktiert natürlich, welche Handlung jetzt besser und welche schlechter ist. Mhm. Als Beispiel, jeder von euch kennt wahrscheinlich den Rubrikscube. Wenn es darum geht logischerweise, den zu lösen, dann kann ich jetzt nicht einfach eine Tabelle aufbauen, dass ich sag, ja, für alle 43 Trillionen Zustände, glaube ich, des Rubrix Cubes, mach bitte den und den Move als Nächstes. Ja, das geht nicht. Also ich muss da a muss ich interpolieren, das heißt oder oder abstrahieren, was ja immer beim Maschinenern der Fall ist, diese eben nicht explizit abspeichern zu müssen. Das heißt, ich muss abstrahieren, okay, dieser Rubix Cube sieht grad so und so aus. Ich sollte jetzt den und den Move machen. Das heißt, der Rubix Cube sieht so und so aus, das ist mein State, ich. Mhm. Ich bin jetzt in diesem Fall der Agent. Und die Moves, die ich machen kann, na ja, das sind halt, ich drehe hier mal die Kante, ich mach da eine Mitteldrehung nach links oder rechts. Ihr ihr kennt ja die verschiedenen Bewegungen beim Rubix Cube. Und verschiedenen Bewegungen beim Rubrx Cube. Und mein Ziel ist logischerweise, den zu lösen. Und der eine zielführend, ob ein Move zielführend ist oder gar optimal, entscheidet sich eben dadurch, ob er mich diesem Ziel näherbringt. Ich hab da letztens sone Sache gesehen, die vielleicht, das zu veranschaulichen, da hat

Speaker0: eine gesehen, die vielleicht, das zu veranschaulichen, da hat ein Roboter, es war im Prinzip so 2 Roboterarme, die sich die die sich irgendwie bewegt haben und besser gesagt, 2 Hände. Und irgendeine Person hat quasi einen Rubix Cube einfach son bisschen verdreht und diesen Händen dann in die Hand gegeben. Und dann hat diese, da haben diese Hände halt irgendwie wild gedreht und innerhalb von 3 Sekunden oder 4 Sekunden war das Ding gelöst. Wie schnell. Nicht absolut lächerlich, wie schnell das war. Und da konnte ich mir, als ich das gesehen hab, auch nicht wirklich vorstellen, dass da eine Tabelle dahintersteckt, die quasi zu jedem zu jeder Verdrehung von diesem Rubrik Cube einfach die optimale Lösung diesem Computer gibt. So, da muss ja eigentlich irgendwas anderes dahinterstecken bei 43 Trillionen Zuständen. Richtig. Weiß es, das 10 hoch 12 oder?

Speaker1: 18 oder? 10 hoch 18? Jeden Fall sauviel. Genau. Also ja, was die jetzt konkrete Technik beim beim Rubix Cube ist ja noch als System immer noch überschaubar genug, dass wir verschiedenste Ansätze greifen können. Ja. Aber dennoch, also allein von der Robotik natürlich ziemlich geil. Ja, genau.

Speaker0: Genau. Reanforced Building, was steckt da denn dahinter? Ja, also wie Guck mal, wie's funktioniert. Genau, wie's funktioniert. Also was ist, wenn ich jetzt dieser Roboter, was wird der wahrscheinlich für eine Art Was wir da gemacht haben? Das das

Speaker1: das Ziel haben wir ja schon beschrieben. Es geht darum, eben eine sogenannte Policy zu finden. Also wie soll ich wie leite ich aus einem Zustand eine Handlung ab? Mhm. Also die ist die Übersetzung von State to Move Mhm. Oder State to Action. Und was ich und eine ist dann gut, wenn sie meinen Maximiert, also meine Belohnung. Und das muss ich ja eben definieren. Ich muss also definieren, Beispiel wäre, beim Rubix Cube, ich hab immer irgendwie, nehmen wir mal irgend eine Zahl, ich hab 1000 Moves Zeit. Mhm. Und am Ende ist der Rubix Cube gelöst oder eben nicht. Und dann gelöst, hier kriegst 'n Stück Schokolade, nicht gelöst, kriegst nix, ja? Was wirst Du also tun? Du wirst versuchen, eine Policy zu finden, die deinen Erwartungswert an Schokolade maximiert. Ja. Und das steckt letztendlich letztendlich immer dahinter. Also Du definierst einen klar definierten Belohnungskontext Und was dann gelernt wird, ist eben diese Policy, also diese Übersetzung von einem Zustand in eine Handlung.

Speaker0: Also das bedeutet quasi, je nach, ich nenn's jetzt mal Handlungsstrategie, ja, so das jetzt quasi jetzt das also im Sinne der also das so die Policy sein Genau. Die nach Handlung, also die die Reward Funktion nimmt quasi eine Handlungsstrategie und schickt sie auf Schokolade oder Nichtschokolade. Vielleicht kann man das so richtig verstehen und dann möcht ich quasi die finden, die mir am meisten Schokolade gibt.

Speaker1: Grundsätzlich ja, ja. Okay.

Speaker0: Jetzt steckt ja quasi schon je nach System, nehmen wir mal wieder den Rubrikscube, ist ja irgendwie klar oder beziehungsweise jedes dieser Systeme hat ja auch ein gewisses Ziel, ja. Sprich Genau, dieser Report eben. Genau, wer soll das soll gelöst werden. Wie sehr hängt das oder wie sehr hängt Reanforcement Learning mit der Zielsetzung zusammen, ne? Also was, wenn ich jetzt die Zielsetzung verändere, was was kann da passieren? Macht das dann das kommt das Problem einiges schwieriger, leichter? Was kann da Also die Zielsetzung ist natürlich Dreh- und Angelpunkt. Also es beeinflusst

Speaker1: das Verhalten massiv. Und man muss da einfach auch schon schauen, ist diese Zielsetzung wirklich das, was ich will? Beispiel jetzt, ich hab vorhin gesagt, als Zielsetzung bei 'nem Rubrick's Group könnte sein, okay, es gibt jetzt einfach eine 1 finite Anzahl an an Moves, die Du machen darfst. Mhm. Und am Schluss zählt einfach nur, ist der gelöst oder ist er nicht gelöst? Ja. Was jetzt da nicht drin wäre, ist war dann die Lösung auch praktikabel, ja? Also wenn jetzt zum Beispiel 'n Rubix Cube in einem Move lösbar war, ja, weil nur ein Kästchen da falsch war und ich mach aber brauch aber 1000 Moves, zur Lösung zu kommen. Ja. Ist jetzt so, wie ich's vorhin formuliert hab, vollkommen gleichwertig mit, ich geh direkt zur Lösung. Ja. Das heißt, was ich da einbauen müsste, ist, okay, wenn er gelöst ist, kriegst Du ein Stück Schokolade, aber von mir aus, für jeden Move, den Du gebraucht hast, wird von dieser Schokolade irgendwie son kleines Eckchen abgeschnitten, ja. Dann wirst Du plötzlich auch schauen, dass Du es möglichst schnell löst mit möglichst wenig Moves. Und plötzlich hast Du eine ganz andere Policy. Also das heißt, auch die Praktikabilität deiner Policy, die hängt dann eben von der genauen Struktur deiner Funktion ab.

Speaker0: Angenommen, ich hab jetzt eine andere Zielsetzung dadurch, ja, soll zum Beispiel Rubix Cube in möglichst wenig Zügen lösen. Was kann ich denn da machen? Was kann ich meinem Learning noch dazugeben als Zutat, dass ich das hinbekomme?

Speaker1: Ja, eine andere Sache neben der, Also wir haben ja immer dieses Abstraktionsthema dadrin, ja? Wir können ja nicht die Tabelle aufbauen für unsere 43 Trillionen Zustände. Mhm. Und diese Abstraktion, die kann halt auch mal besser oder schlechter sein. Und deswegen ist es häufig gut, dass ich und geborene und gebt dir trotzdem Schokolade. Okay. Ja? Damit Du erst mal lernst, wie son Rubix Cube funktioniert. Das ist dann sogenanntes Exploring,

Speaker0: also Wie bei 'nem kleinen Kind im Prinzip. Ja, genau.

Speaker1: Es es gibt nämlich immer diesen Explore versus Exploit Trade off, also Explore entdecken, Exploit ausnutzen. Mhm. Und in dem Moment, wo ich quasi strikt nach dem gehe, bin ich quasi im Exploiting drin. Was aber halt sein kann, dann ist, dass in 1, dass ich eine Lösung finde, also mathematisch quasi ein lokales Optimum. Mhm. Aber es gäbe woanders noch viel bessere Lösungen. Aber da komm ich jetzt nicht hin, weil alleine auszuprobieren, mich in diese Richtung vielleicht zu bewegen, verlieh ich schon wieder zu viel. Mhm. Denn die Änderungen der Policy sind logischerweise meistens inkrementell. Was man sich da gut vorstellen kann anschaulicher, ist vielleicht ein Hund, der Leckerlis mag, ja? Mhm. Stell dir vor, Du hast 'n Hund und der lernt, ja, wenn er dich einen Leckerli bittet, anbettelt, ja? Der sitzt vor dir und vinelt, dann hat er irgendwie immer sone Chance von, sagen wir mal, 5 Prozent, dass Du ihm 1 gibst. Okay. Ja? Wenn er nicht bei dir nach Leckerlis bettelt, sondern irgendwo in der Wohnung rumsträuunert, kriegt er ja Sicherheit. Mhm. Aber Also wenn seine ist, sein sein ist, möglichst viele Leckerlis kriegen, dann ist seine, er bettelt den ganzen Tag bei dir. Was er aber vielleicht gar nicht weiß, ist, dass die Nachbarin, da lebt sone sone nette Oma und die bei der hätte der, wenn er einen Leckerli bittet, 'n Chance von 100 Prozent 1 zu kriegen, ja. Mhm. Es wäre also viel besser, wenn er zu dieser Oma ginge. Aber der weiß vielleicht gar nix von der Oma, weil er die ganze Zeit im Exploiting ist und quasi nur noch das Wohnzimmer und dich kennt. Er bräuchte also eine Explorephase, indem er mal sagt, jetzt honorieren wir mal die Leckerlis und und schauen uns mal diese Welt genauer an. Und dann findet er eben vielleicht das bessere Optimum, nämlich diese Oma, die nebenan wohnt. Das heißt, ich möchte diese Explorephase

Speaker0: machen, möglichst das globale Maximum zu erwischen und nicht nur in Anführungszeichen das Lokale.

Speaker1: Genau, also dann quasi deinen deinen deine Abstraktion dieser unendlich vielen Zustände zu verbessern und eben auch ein besseres, nicht nur ein irgendein lokales Optimum zu finden.

Speaker0: Okay, jetzt haben wir eigentlich schon ein recht gutes Bild von Reanforcement Learning und wie das so funktioniert. In der vergangenen Folgen haben wir ja auch über Regreschen gesprochen, ein gutes Beispiel für Supervice Learning und auch über Clustering, auch ein sehr klassisches Beispiel für Unsuperviseed Learning. Könntest Du da vielleicht das kurz einordnen in diese Bereiche beziehungsweise ist das überhaupt möglich, ja? Ich kann's mal versuchen. Mhm.

Speaker1: Also Learning war ja der der der das Hauptmerkmal, dass ich diese gelabelten Daten hab. Das heißt Mhm. Ja. Ich konnte, die ich wusste für einen Trainingsdatensatz, die korrekte Lösung. Also bei bei Bilderkennung zum Beispiel hatt ich dann einen Trainingsdatensatz, wo halt klar steht, auf diesen Foto ist 'n Hund, auf diesen Foto ist eine Katze. Also es gibt irgendwie sone Target variable. Ja, genau. Also es gibt a eine Target variable und ich kenn die richtige Lösung für ein gewisses Set an Mhm. An an Daten. Bei unsupervised Learning hab ich das nicht, sondern da find ich einfach nur Strukturen in Daten. Ich brauch im Prinzip keine Labels und ich brauch auch keine richtigen Lösungen in dem Sinn. Mhm. Jetzt, was haben wir bei Reanforcement Learning? Ja, ist son bisschen dazwischen. Was ich brauche, ist diese ganz klare Reward Funktion. Dazwischen. Was ich brauche, ist diese ganz klare Funktion. Das heißt, ich muss für einen Zustand definieren, gibt es für den jetzt einen Reward oder nicht? Das ist ja son bisschen was wie 'n Labeling, ja. Aber gleichzeitig ist es schon auch in dem Sinne, dass der Weg hin zum, also ich ich beurteile ja nicht, ob 'n konkreter Move jetzt gut oder schlecht war, ja, sondern es gibt es ist nur das Endziel. Das heißt, das ist so von in diesem Kontext nicht so ganz klar einzuordnen. Aber ich muss halt meine muss ich klar definieren, ähnlich wie ich beim supervist meine Labels klar definieren muss.

Speaker0: Vielleicht daran anknüpfend, wann bietet sich denn dann Reanforcement Learning überhaupt an, ja? Also wir hatten ja auch schon gesprochen in den vergangenen Folgen, wann Clustering oder beziehungsweise wann man den Clustering machen möchte beziehungsweise wann man sogar Supervice Learning machen könnte, ja, wenn man sogar mehr Informationen noch dazu dazu hat und einfach für ein gewisses Set weiß, okay, auf dem Bild ist 'n Hund drauf, auf dem Bild ist kein Hund drauf. Wann bildet sich bietet sich denn dann Reanforcement Learning an?

Speaker1: Ja, was sind so die Szenarien? Also wir haben ja schon vorhin gesagt, es geht darum, Handlungen Handlungen zu lernen. Das heißt, Grundvoraussetzung ist erst mal, es geht etwas, wo eine Verkettung vor Handlungen zu einem Endergebnis führt. Und dieses Endergebnis kann halt bewertet werden, gut oder schlecht. Jede einzelne Handlung ist aber ist aber schwieriger zu bewerten. Also wieder beim Rubrikscube, ja, ob ich jetzt hier in dieser Situation nach links oder rechts gedreht hab, ich hab keine Ahnung, ob das gut ist. Ja. Ich kann halt nur schauen, ob das halt mich dann irgendwann zu 'ner Lösung geführt hat oder nicht. Ein Rubrik, der kann dir das natürlich für jeden einzelnen Move sagen, weil der ja quasi ein perfekt bereits trainiertes System ist. Aber a priori kann ich das erst erst mal nicht. Ja. Wenn wir aber jetzt mal den den Gegencase aufzubauen, hätten wir so hätten wir so was, wo für jeden einzelnen Zustand zum Beispiel gesagt werden kann, dieser Zustand ist 5 Moves von der Lösung entfernt oder dieser Zustand ist 12 Moves von der Lösung entfernt, ja? Mhm. Wenn ich quasi son diese perfekte Bewertungsfunktion hätte, dann wär ich eigentlich auch nicht mehr wirklich im Remforcement Learning, weil ich dann gar nicht diese Handlungskette wirklich hab, weil weil ich kann bei jeder einzelnen Handlung bereits sagen, was ist optimale Move, ja? Einfach der, der diese Zahl am weitesten verringert. Das braucht's dann eigentlich schon gar nicht im Moment. Genau, dann brauch ich schon kein Reanforcement Learning. Ich brauch Reanforcement Learning dann, wenn ich wenn meine Reward Funktion eben nur auf sonen Endzustand wirkt, Mhm. Wo eben eine Verkettung von Handlungen hinführt. Weil dann kann ich eben bei der einzelnen Handlung nicht mehr sagen, war die jetzt konkret gut oder schlecht, sondern ich ich kann es immer immer nur für die Kette sagen, ob die funktioniert hat. Ja. Etwas Weiteres, was für Reanforcement Learning Systeme dann häufig wichtig ist, weil's die Sache mathematisch einfach deutlich vereinfacht ist, wenn die Zukunft nur von der Gegenwart abhängt und nicht von der Vergangenheit. Also in der Regel ist die Grundannahme, dass wir einen sogenannten haben. Also Beispiel, ich hab jetzt irgendwie 'n Schachbrett vor mir oder ich hab halt diesen Rubix Cube vor mir. Mir kann wirklich schnurzegal sein, wie ich in diesen Zustand des Rubix Groups gekommen bin oder wie meine Konstellation von Schachfiguren zustande gekommen ist. Entscheidend ist nur jetzt stets so. Mhm. Und daraus leitet sich kann sich ableiten lassen, welcher Move ist jetzt zielführend oder nicht? Also für die Lösung an sich irrelevant, was vorher war. Genau. Wenn wir jetzt aber zum Beispiel uns Poker anschauen, ja? Ich hab unvollständige Informationen, anders als beim Rubix Cube oder Schach. Ich hab unvollständige Informationen und das heißt, da ist dann eigentlich schon wichtig, was ist denn in der Vergangenheit passiert, ja? Hat 'n der vorhin geblöfft oder doch nicht? Das heißt, da ist 'n bisschen komplizierter. Also das heißt, Poker wär schon 'n bisschen schwieriger für Reenforcement Learning, weil's eben aufgrund der unvollständigen Information dann doch irgendwie von der Vergangenheit abhängt. Das heißt nicht, dass das nicht auch gangbar ist, aber nicht sozusagen kein Standardanwendungsfall. Und autonomes Fahren, da muss man natürlich auch immer erwähnen in den Kontext. Also wenn die Sensorik sehr vollständig ist, was worauf ja hingearbeitet wird, da wird ja Kamera, Sensor und Radar, und was was weiß ich, was alles verbaut. Na ja, dann hab ich relativ vollständige Informationen und dann interessiert mich jetzt eigentlich auch nicht wirklich, wie bin ich in diese gegenwärtige Situation gekommen, sondern nur, wo bin ich? Wo steh ich? Muss aber dazu sagen, autonomes Fahren ist ist eine harte Nuss, da wird 'n ganzer Blumenstrauß von Methoden verwendet meines Wissens nach. Reanforcement Learning wird irgendwo in diesem Blumenstrauß sein, aber ich weiß nicht, ob's jetzt die tragende Säule ist.

Speaker0: Also wie ist es denn nicht auch so bei jetzt, also vielleicht, mal das Schachbeispiel zu erwähnen, dann ist es ja quasi eher so die idealisierte Version von Schach, ja. Son son son Magnus Carlsen oder so. Der der Schachweltmeister, der weiß vielleicht von seinen größten Kontrahenten, hey, in der Situation macht er üblicherweise den und den Move. Ja, ja. Dann ist er vielleicht auch noch wieder son bisschen dabei dabei, dass es die Vergangenheit das von der Vergangenheit abhängt. Aber so an sich, wenn man jetzt seine Gegenspieler nicht direkt kennt und seine Spielverhalten nicht kennt, dann ist das eher eine Sache für Reforcement Learning. Ja. Alles klar. Jetzt haben wir ja grad kurz schon autonomes Fahren angesprochen. Was sind denn noch weitere Anwendungsgebiete für Reanforcement Learning, die, sag ich mal, vielleicht unser Leben leichter machen oder auch nicht? Oder wo findet das Anwendung?

Speaker1: Der wichtigste Anwendungsfall meiner Meinung nach ist, Space Invaders besiegen. Also ja Spaß beiseite, aber die Ihr kennt ja die Also die die coolen Erfolge sind ja häufig so irgendwie Videospiele oder eben perfekt simulierbare Spiele wie Go oder so was. Genau. Aber jetzt mal so in Richtung Real Life. Okay, gehen wir mal eben semi Real Life so. Also zum Beispiel gibt's da Ansätze, den Schwierigkeitsgrad bei Videospielen, ja? Also dass der an den Nutzer angepasst wird, sodass der Nutzer immer eine interessante Challenge hat, also

Speaker0: sich weder langweilend noch überfordert ist. Also quasi der perfekte Schwierigkeitsgrad sozusagen. Genau, das kann also da ist also die Policy

Speaker1: wird da wird ja eben die Policy auf den hin trainiert. Der der Reward ist, dass der Spieler es schafft, aber herausgefordert ist. Und die Policy ist aber herausgefordert ist. Und die sozusagen, wie viel Gegner schick ich wann oder wie wie tough sind die Gegner und so weiter. Jetzt dann son bisschen mal was mit mehr wirtschaftlichen Impact. Wär so in der Robotik. Also vielleicht kennen ja einige von euch, gibt's ja diese netten Videos von den Wer ist denn die Boston Dynamics oder? Genau, Boston Dynamics. Dass der Roboter zum Beispiel lernt, sich selber zu schützen, ne? Ich glaub, da treten die auf den Roboter ein und so was, Echt, ich sag mit den Einschlägenschläger. Wenn man wehrt oder zumindest ausweicht. Ja, das wär so Richtung 'n bisschen Skynet.

Speaker0: Genau, ja. Was

Speaker1: was mir persönlich aber auch gut gefallen hat, ist, ihr kennt ja vielleicht diese Industrieroboter so typischerweise in Deutschland von KUKA, die ja irgendwas greifen oder schweißen oder montieren und sowas. Und die sind echt kompliziert zu programmieren, den muss man so sauviele Teaching Points und so was setzen und deswegen ist natürlich interessant, können die nicht selber sich beibringen, wie sie zum Beispiel jetzt irgendwie eine 1 Schraube in oder oder irgendeinen Bolzen an irgend eine Öffnung halten oder so was oder irgendwie Kommissionierer zum Beispiel, ist ja nervig, den zu programmieren, wie musst Du welche Schachtel greifen und so was. Und was da Ich glaub, Google wars unter anderem, die haben das gemacht, die haben irgendwie, ich weiß nicht, so 20 Roboter oder so was mehrere Wochen oder so arbeiten lassen lässt, die einfach lernen sollten, von 1 Kiste in eine andere so Schachteln rüberzugreifen. Okay. Und der Report hing halt davon ab, ob denen was rausgefallen war oder nicht. Und die haben sehr, am Anfang sind die total dämlich da irgendwie so rumgedruckst diese Roboter und da ist im Prinzip nix, hat nix geklappt. Und dann irgendwann haben die aber wirklich zufällig gelernt, diese Schachteln zu greifen, egal wie sie in der in der ersten Box lagen und die dann rüberzutun. Das heißt, man musste keine aufwendige Teaching Points für diese Roboter programmieren, sondern die haben sich das selbst beigebracht. Und das könnte, wenn wenn wenn sich das so weiterentwickelt, da echt dieser Industrierobotik noch mal einigen Aufwand verschaffen. Also quasi Roboter Trainingslager Ja,

Speaker0: Trainingslager. Ja, genau. Ohne das Roboter Bootcamp.

Speaker1: Und dann haben wir so, also was gern auch gesagt wird, ist so Richtung Smart Cities. Okay. Stellt euch vor, ich meine, die meisten Ampelphasen heutzutage sind ja mehr oder weniger unoptimiert, sondern folgen einfach so ganz vordefinierten Regeln. Unoptimiert, sondern folgen einfach so ganz vordefinierten Regeln. Mhm. Man könnte sich aber vorstellen, der ist, der hängt davon ab, wie schnell sind die Leute nach Hause gekommen, ja? Mhm. Und die Policy ist sozusagen abhängig von der aktuellen Verkehrslage, wie mach ich meine Ampelschaltungen mit dem Ziel, dass im Durchschnitt die Leute möglichst früh nach Hause kommen. Okay. Da haben wir jetzt 2 Aspekte dabei. Zum einen, das kann man nicht einfach so ausprobieren. Also anders als diese Roboter im Google Labor, wo es ja keinem wehtut, wenn die wenn die ihre Schachtel tausendmal fallen lassen. Ja. Ich kann jetzt nicht in der in der Stadt zu zu Rhode Rage und Unfällen und so weiter führen, wenn ich da mal einfach mein mein System, seine Policies ausprobieren lasse. Das ist also 'n klassisches Szenario, sone Einschränkung, die ich sehr häufig im realen Leben hab. Ich brauch eine Simulation. Also in dem Fall brauche ich eine Simulation von meiner Stadt und meinen Verkehrs mein Verkehrsfluss, damit ich diese Policies schon mal zumindest vorvalidieren kann, wenn nicht sogar quasi das komplette Renforcement Learning in der, ja, in der Simulationsumgebung durchführe. Und was man da noch vielleicht ganz nett mal kurz die Brücke schlagen kann, wir haben ja vorher noch gesprochen über diese Feinheiten in der Funktion. Mhm. Also man sollte vielleicht bei 'ner SmartCity jetzt nicht sagen, der ist hängt von der durchschnittlichen hängt nur von der durchschnittlichen Reisezeit der ganzen Pendler zum Beispiel ab. Dann könnte es zum Beispiel sein, dass da ein Bauernopfer Okay. An irgendeiner Ampel steht, die eine halbe Stunde auf rot ist, ja. Könnt ja den all, könnt ja im Durchschnitt immer noch gut sein, also man müsste da schon auch auf die Feinheiten achten, dass der auch der Einzelne nicht zu

Speaker0: schlimm bestraft wird. Da wird quasi ute literistisch eine Person quasi der der roten Ampel geopfert, damit alle nach früher nach Hause kommen. Ja, wäre beim Reward durchschnittliche

Speaker1: Reisezeit soll minimiert werden, ja vollkommen drin.

Speaker0: Alles klar. So, dann kommen wir jetzt noch zu Erium und eurem Verhältnis zum Unser Verhältnis. Zum Reinforcement Learning. Ist das ein gutes Könnt ihr noch miteinander schreiben oder gratuliert ihr euch noch zum Geburtstag? Ins complicated. Ins complicated. Wie schaut's da aus? Benutzt ihr, nee, da lassen wir die Finger davon, das ist

Speaker1: Ja, also die die die kurze Antwort ist, wir benutzen es nicht. Okay. Aus 2 Gründen. Zum einen kann man sich so was wie eine Explorephase, kann man's kannst kannst Du die in 'ner Industrieanlage einfach nicht leisten, ja. Also wir können wir können jetzt nicht einem Automobilhersteller sagen, baut mal eure Autos 2 Wochen irgendwie, ja? Ach so und ja, wird's Ach so und ja, wie viel verliert ihr denn pro Tag? 4000005 Ich weiß nicht genau, aber Langfristig lohnt sich das. Ja, ja, genau. Das das können wir nicht bringen. Ja. Ja, das heißt, wir können keine Explorephase machen und sofort exploiiten ist dann eben, wird uns wird nicht besonders zielführend sein, auch weil von soner Anlage gibt's halt auch keine gute Simulation oder so was. Also Mhm. Wenn man jetzt von soner Anlage eine perfekte Simulation hätte, na ja, dann dann würden wir durchaus Learning mal auch ausprobieren. Okay. Aber wir haben keine Simulation von von irgend 'ner Industrieanlage. Das heißt, eigentlich ist unser Ziel ja genau, diese Simulation auf Data Science Basis zu erstellen. Darüber sprechen wir bestimmt an 'nem anderen Punkt noch mal. Genau. Und das heißt, wir fangen quasi einen Schritt vorher an. Wir möchten diese Simulation oder etwas, was dir simulational kommt, aus den Daten lernen und nutzen das dann, aber nimm nicht in 1 komplizierten Verkettung von Handlungen, sondern einfach dieses Teil produzierst Du jetzt bitte mit diesen Einstellungen. Okay, also quasi Das heißt Reanforcement Learning in der Zukunft, maybe. Mhm. Aber aktuell nein. Also quasi zum Wohle des Autoherstellers und seiner gesamten Fabrik, dass die nicht abfackelt. Ja. Wir leben da einfach in 'nem Kontext etwas, was bereits existiert, was bereits läuft und kein.

Speaker0: Alles klar. Dann Maxim, jetzt vielleicht noch zum Schluss so ein kleines Rap-up für die Complexitymasters da draußen, wenn Du denen vielleicht auch an die Hand mitgeben könntest. Was sind so deine auf jeden Fall Go to Tipps für Reforcement Learning? Was sollte man sich über was sollte man sich bewusst sein? Was sind da deine Tipps, die Du denen mit an die Hand geben kannst?

Speaker1: Ja, oder die Voraussetzungen ist allein schon zu erkennen, wann ist Reforcement Learning wichtig oder anwendbar. Also ich hab eine Verkettung von von Handlungen Okay. Deren Konsequenz, aber typischerweise in der Zukunft, ja? Wie beim Rubrik Scope, ob der Einzelmove Ich weiß erst, ob der wirklich gut war, wenn ich nachher den Rubrik Scope gelöst hab oder eben nicht. Mhm. Dann Punkt 2, ich muss also mein Ergebnis auch klar erkennen beziehungsweise bewerten können. Ich muss nicht den Einzelmove bewerten können, aber ich muss am Schluss sagen, ist der Rubix Cube gelöst oder nicht? Mhm. Also ich muss ein Endergebnis bewerten können. Okay. Und dann, damit das Ganze trainiert werden kann, brauche ich entweder eine Simulation oder son Sandbox Environment, also etwas, eine Umgebung, in der ich keinen Schaden anrichte.

Speaker0: Also Spielraum zum Ausprobieren eben. Damit

Speaker1: mein System lernen kann, vor allem wenn sone Explorephase auch mit rein muss.

Speaker0: Mhm.

Speaker1: Also diese 3 Punkte, ja? Also Verkettung von Handlungen, die in Konsequenz typischerweise in der Zukunft liegt. Ich kann das Ergebnis klar bewerten und ich habe einen ein 1 Safe Environment,

Speaker0: dann sind wir im Business mit Reanforcement Learning. Alles klar. Super. Vielen Dank. Damit können die Hörer da draußen auf jeden Fall was anfangen. Für die von euch, die selber mal Reanforcement Learning ausprobieren wollen, findet ihr in den Shownotes wieder eine Jupiter Notebook Datei. Und genau, dann Lass uns zusammen sagen diesmal. Lass uns zusammen sagen, ja okay, alles klappt. Und

Speaker1: Master the Compactity.

Speaker0: Damit wir weiterhin für euch Komplexitymasters hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.

Mehr Folgen aus Staffel 1 →