Reinforcement Learning

Season 1· 28. Januar 2020· 1674

Episode cover: Reinforcement Learning
0:001674
  • Dr. Theo SteiningerCo-Founder & CEO at Erium
  • Dr. Maksim GreinerCo-Founder & CTO at Erium

Overview

In this episode of the Erium Podcast, Theo Steininger and Maksim Greiner explain together what Reinforcement Learning is, how it works, and when it can be meaningfully applied. Using vivid examples such as the Rubik's Cube, autonomous driving, and smart cities, the concept is made accessible and easy to understand. They conclude by sharing their practical experiences from an industrial context.

Summary

What is Reinforcement Learning? Core Concepts and How It Works

Reinforcement Learning (RL) deals with how a so-called agent derives an optimal or goal-promoting action in a given situation. The central concepts are the agent (the one acting), its action space (the possible actions), and the state (the current condition of the agent and its environment). The goal is to learn a so-called policy - a mapping from state to action. This policy is considered good when it maximises the cumulative reward.

The Rubik's Cube serves as an illustrative example: with 43 quintillion possible states, no lookup table can be created. Instead, the system must abstract and learn to derive the best action from the current state. The reward is granted at the end - for example, when the cube is solved.

The Role of the Reward Function and the Pitfalls of Goal Setting

The reward function is the cornerstone of every RL system. How it is defined largely determines the behaviour of the agent. A simple example: if the Rubik's Cube only rewards whether it is solved at the end, but not how many moves were needed, a solution in 1,000 moves is equivalent to one in a single move.

If, on the other hand, a small penalty is introduced for each additional move, the system learns to solve the puzzle as efficiently as possible. This example illustrates that the precise formulation of the reward is crucial for the practicability of the learned policy. Overly simplified reward structures can lead to undesirable or even problematic behaviours, as the smart city example shows - a person could be held indefinitely at a red light if only the average is being optimised.

Explore vs. Exploit: Between Discovery and Exploitation

A central tension in Reinforcement Learning is the trade-off between exploration (discovering new strategies) and exploitation (making use of known, good strategies). Switching to pure exploitation too early may lead to a local optimum, causing better solutions to be missed.

This principle is illustrated by the image of a dog that has learned to beg its owner for treats, but never discovers that the neighbour next door gives a treat with 100% probability. Without an exploration phase, the system remains trapped in the familiar, suboptimal region. It is therefore important to give the system enough room to try out different strategies before committing to the seemingly best one.

Positioning within the ML Landscape: Between Supervised and Unsupervised Learning

Reinforcement Learning cannot be clearly assigned to the classic categories of supervised and unsupervised learning. In supervised learning, clearly labelled training data with known solutions exists. In unsupervised learning, structures in data are discovered without the need for labels. RL sits in between: it requires a clearly defined reward function (similar to labels in supervised learning), but does not evaluate individual actions - only the final outcome of a sequence of actions.

When is Reinforcement Learning the Right Approach?

Reinforcement Learning is particularly well-suited when three conditions are met: first, there is a chain of actions whose consequences only become visible in the future. Second, the final outcome can be clearly evaluated, even if individual actions are difficult to assess. Third, a safe training environment - such as a simulation or sandbox environment - is available in which mistakes cause no real-world damage.

Classic scenarios include board games such as chess or Go, where only the current game state is relevant (the Markov property), not the history of moves. Poker, by contrast, is more challenging, as incomplete information and the opponent's game history play a role. Autonomous driving is considered a complex application field in which RL is part of a broader mix of methods.

Real-World Examples: Robotics, Video Games, and Smart Cities

Among the most exciting real-world use cases are: adapting the difficulty level in video games to the individual player so they are neither under- nor over-challenged; industrial robots that independently teach themselves to grasp objects without extensive manual programming (Google deployed several robots in a learning environment over a period of weeks for this purpose); and intelligent traffic light control in smart cities to optimise traffic flow.

The last example makes clear that deployment in real road traffic during training is not feasible. A simulation of urban traffic is absolutely necessary in order to validate policies in advance before they are used in the real system.

Erium and Reinforcement Learning: Why the Approach Does Not (Yet) Fit

Erium does not use Reinforcement Learning in its current work. The main reason: in an industrial context - for example at automotive manufacturers - an exploration phase is simply not feasible. Errors and failures in ongoing production cause enormous costs. In addition, sufficiently good simulation environments for industrial plants generally do not exist.

Instead, Erium pursues the approach of first creating such a simulation using data science methods. The goal is therefore to learn a data-driven representation of the plant and then use it for targeted action recommendations, without having to train a complex chain of actions. Reinforcement Learning thus remains a topic for the future, once suitable simulation environments are available.

Key takeaways

  • Reinforcement Learning learns a policy - a mapping from state to action - with the goal of maximising a cumulative reward.
  • The precise definition of the reward function is critical: poorly formulated goals lead to undesirable or problematic behaviours.
  • The explore-vs.-exploit trade-off is central: exploiting known strategies too early leads to local optima, while sufficient exploration unlocks better solutions.
  • RL is particularly well-suited for sequences of actions whose quality can only be evaluated at the end, and when a safe training environment or simulation is available.
  • Games such as chess or Go benefit from the Markov property (only the current state matters); scenarios with incomplete information such as poker are more demanding.
  • In industrial settings, RL often fails due to the absence of simulation environments and the impossibility of conducting costly exploration phases.
  • Erium does not currently use RL, but is working on building data-driven simulations as a foundation for future RL applications.

Conclusion

Reinforcement Learning is a powerful method for scenarios in which a chain of decisions leads to an evaluable final outcome. However, the quality of the approach depends heavily on a carefully defined reward function, a balanced explore-exploit ratio, and a suitable training environment. Anyone who ensures these three prerequisites can achieve impressive results with RL - from self-learning industrial robots to optimised traffic light systems.

For Decision-Makers and Executives in Industry

Reinforcement Learning offers enormous potential, but requires a safe training environment. Anyone wishing to introduce RL into existing production facilities should first invest in building a robust data simulation.

For Data Scientists and AI Enthusiasts

Particular attention should be paid to the reward function and the explore-exploit trade-off: this is where it is decided whether an RL system learns meaningful and practical policies or becomes stuck in local optima.

Show full transcript

Speaker0: Im April 2019 sagte Elon Musk voraus, dass Teslas System für autonomes Fahren 2020 so weit fortgeschritten sein wird, dass Fahrer nicht mal mehr auf die Straße achten müssen. Und weiterhin werde Tesla dieses Jahr wohl 1000000 sogenannter Robotaxis auf die Straße bringen, die die Menschen völlig selbstständig von a nach b bringen. Was für eine Technologie dahintersteckt, was uns aus diesem Feld noch erwartet und auf was ihr dabei achten müsst, erfahrt ihr jetzt. Und damit herzlich willkommen zu 1 weiteren Ausgabe von The Eriam Podcast. Bei mir sitzt heute der Maxim. Hallo, Hallo. Toll, dass Du da bist. Und wir möchten heute ein über Reanforcement Learning quatschen und mal uns son bisschen herantasten, was das eigentlich ist. Könntest Du uns kurz erzählen, was es dabei geht, Maxim? Was ist Reanforcement Learning überhaupt?

Speaker1: Ja, beim Reanforcement Learning geht's darum, wie ich 1 gegebenen Situation, in 1 gegebenen Situation eine optimale oder wenigstens zielführende Handlung vollziehe. Mhm. Und es geht darum zu lernen, wie ich also wie ich in jeder Situation da jetzt eben eine Handlung ableite. Was man da unterscheidet, ist, ich führ mal kurz 'n paar Begriffe ein, sind sogenannte Agents, das ist also der, der handelt, sein Handlungsspektrum und der State, also da der Zustand von ihm und seiner Umgebung, die der Und dieser Zustand diktiert natürlich, welche Handlung jetzt besser und welche schlechter ist. Mhm. Als Beispiel, jeder von euch kennt wahrscheinlich den Rubrikscube. Wenn es darum geht logischerweise, den zu lösen, dann kann ich jetzt nicht einfach eine Tabelle aufbauen, dass ich sag, ja, für alle 43 Trillionen Zustände, glaube ich, des Rubrix Cubes, mach bitte den und den Move als Nächstes. Ja, das geht nicht. Also ich muss da a muss ich interpolieren, das heißt oder oder abstrahieren, was ja immer beim Maschinenern der Fall ist, diese eben nicht explizit abspeichern zu müssen. Das heißt, ich muss abstrahieren, okay, dieser Rubix Cube sieht grad so und so aus. Ich sollte jetzt den und den Move machen. Das heißt, der Rubix Cube sieht so und so aus, das ist mein State, ich. Mhm. Ich bin jetzt in diesem Fall der Agent. Und die Moves, die ich machen kann, na ja, das sind halt, ich drehe hier mal die Kante, ich mach da eine Mitteldrehung nach links oder rechts. Ihr ihr kennt ja die verschiedenen Bewegungen beim Rubix Cube. Und verschiedenen Bewegungen beim Rubrx Cube. Und mein Ziel ist logischerweise, den zu lösen. Und der eine zielführend, ob ein Move zielführend ist oder gar optimal, entscheidet sich eben dadurch, ob er mich diesem Ziel näherbringt. Ich hab da letztens sone Sache gesehen, die vielleicht, das zu veranschaulichen, da hat

Speaker0: eine gesehen, die vielleicht, das zu veranschaulichen, da hat ein Roboter, es war im Prinzip so 2 Roboterarme, die sich die die sich irgendwie bewegt haben und besser gesagt, 2 Hände. Und irgendeine Person hat quasi einen Rubix Cube einfach son bisschen verdreht und diesen Händen dann in die Hand gegeben. Und dann hat diese, da haben diese Hände halt irgendwie wild gedreht und innerhalb von 3 Sekunden oder 4 Sekunden war das Ding gelöst. Wie schnell. Nicht absolut lächerlich, wie schnell das war. Und da konnte ich mir, als ich das gesehen hab, auch nicht wirklich vorstellen, dass da eine Tabelle dahintersteckt, die quasi zu jedem zu jeder Verdrehung von diesem Rubrik Cube einfach die optimale Lösung diesem Computer gibt. So, da muss ja eigentlich irgendwas anderes dahinterstecken bei 43 Trillionen Zuständen. Richtig. Weiß es, das 10 hoch 12 oder?

Speaker1: 18 oder? 10 hoch 18? Jeden Fall sauviel. Genau. Also ja, was die jetzt konkrete Technik beim beim Rubix Cube ist ja noch als System immer noch überschaubar genug, dass wir verschiedenste Ansätze greifen können. Ja. Aber dennoch, also allein von der Robotik natürlich ziemlich geil. Ja, genau.

Speaker0: Genau. Reanforced Building, was steckt da denn dahinter? Ja, also wie Guck mal, wie's funktioniert. Genau, wie's funktioniert. Also was ist, wenn ich jetzt dieser Roboter, was wird der wahrscheinlich für eine Art Was wir da gemacht haben? Das das

Speaker1: das Ziel haben wir ja schon beschrieben. Es geht darum, eben eine sogenannte Policy zu finden. Also wie soll ich wie leite ich aus einem Zustand eine Handlung ab? Mhm. Also die ist die Übersetzung von State to Move Mhm. Oder State to Action. Und was ich und eine ist dann gut, wenn sie meinen Maximiert, also meine Belohnung. Und das muss ich ja eben definieren. Ich muss also definieren, Beispiel wäre, beim Rubix Cube, ich hab immer irgendwie, nehmen wir mal irgend eine Zahl, ich hab 1000 Moves Zeit. Mhm. Und am Ende ist der Rubix Cube gelöst oder eben nicht. Und dann gelöst, hier kriegst 'n Stück Schokolade, nicht gelöst, kriegst nix, ja? Was wirst Du also tun? Du wirst versuchen, eine Policy zu finden, die deinen Erwartungswert an Schokolade maximiert. Ja. Und das steckt letztendlich letztendlich immer dahinter. Also Du definierst einen klar definierten Belohnungskontext Und was dann gelernt wird, ist eben diese Policy, also diese Übersetzung von einem Zustand in eine Handlung.

Speaker0: Also das bedeutet quasi, je nach, ich nenn's jetzt mal Handlungsstrategie, ja, so das jetzt quasi jetzt das also im Sinne der also das so die Policy sein Genau. Die nach Handlung, also die die Reward Funktion nimmt quasi eine Handlungsstrategie und schickt sie auf Schokolade oder Nichtschokolade. Vielleicht kann man das so richtig verstehen und dann möcht ich quasi die finden, die mir am meisten Schokolade gibt.

Speaker1: Grundsätzlich ja, ja. Okay.

Speaker0: Jetzt steckt ja quasi schon je nach System, nehmen wir mal wieder den Rubrikscube, ist ja irgendwie klar oder beziehungsweise jedes dieser Systeme hat ja auch ein gewisses Ziel, ja. Sprich Genau, dieser Report eben. Genau, wer soll das soll gelöst werden. Wie sehr hängt das oder wie sehr hängt Reanforcement Learning mit der Zielsetzung zusammen, ne? Also was, wenn ich jetzt die Zielsetzung verändere, was was kann da passieren? Macht das dann das kommt das Problem einiges schwieriger, leichter? Was kann da Also die Zielsetzung ist natürlich Dreh- und Angelpunkt. Also es beeinflusst

Speaker1: das Verhalten massiv. Und man muss da einfach auch schon schauen, ist diese Zielsetzung wirklich das, was ich will? Beispiel jetzt, ich hab vorhin gesagt, als Zielsetzung bei 'nem Rubrick's Group könnte sein, okay, es gibt jetzt einfach eine 1 finite Anzahl an an Moves, die Du machen darfst. Mhm. Und am Schluss zählt einfach nur, ist der gelöst oder ist er nicht gelöst? Ja. Was jetzt da nicht drin wäre, ist war dann die Lösung auch praktikabel, ja? Also wenn jetzt zum Beispiel 'n Rubix Cube in einem Move lösbar war, ja, weil nur ein Kästchen da falsch war und ich mach aber brauch aber 1000 Moves, zur Lösung zu kommen. Ja. Ist jetzt so, wie ich's vorhin formuliert hab, vollkommen gleichwertig mit, ich geh direkt zur Lösung. Ja. Das heißt, was ich da einbauen müsste, ist, okay, wenn er gelöst ist, kriegst Du ein Stück Schokolade, aber von mir aus, für jeden Move, den Du gebraucht hast, wird von dieser Schokolade irgendwie son kleines Eckchen abgeschnitten, ja. Dann wirst Du plötzlich auch schauen, dass Du es möglichst schnell löst mit möglichst wenig Moves. Und plötzlich hast Du eine ganz andere Policy. Also das heißt, auch die Praktikabilität deiner Policy, die hängt dann eben von der genauen Struktur deiner Funktion ab.

Speaker0: Angenommen, ich hab jetzt eine andere Zielsetzung dadurch, ja, soll zum Beispiel Rubix Cube in möglichst wenig Zügen lösen. Was kann ich denn da machen? Was kann ich meinem Learning noch dazugeben als Zutat, dass ich das hinbekomme?

Speaker1: Ja, eine andere Sache neben der, Also wir haben ja immer dieses Abstraktionsthema dadrin, ja? Wir können ja nicht die Tabelle aufbauen für unsere 43 Trillionen Zustände. Mhm. Und diese Abstraktion, die kann halt auch mal besser oder schlechter sein. Und deswegen ist es häufig gut, dass ich und geborene und gebt dir trotzdem Schokolade. Okay. Ja? Damit Du erst mal lernst, wie son Rubix Cube funktioniert. Das ist dann sogenanntes Exploring,

Speaker0: also Wie bei 'nem kleinen Kind im Prinzip. Ja, genau.

Speaker1: Es es gibt nämlich immer diesen Explore versus Exploit Trade off, also Explore entdecken, Exploit ausnutzen. Mhm. Und in dem Moment, wo ich quasi strikt nach dem gehe, bin ich quasi im Exploiting drin. Was aber halt sein kann, dann ist, dass in 1, dass ich eine Lösung finde, also mathematisch quasi ein lokales Optimum. Mhm. Aber es gäbe woanders noch viel bessere Lösungen. Aber da komm ich jetzt nicht hin, weil alleine auszuprobieren, mich in diese Richtung vielleicht zu bewegen, verlieh ich schon wieder zu viel. Mhm. Denn die Änderungen der Policy sind logischerweise meistens inkrementell. Was man sich da gut vorstellen kann anschaulicher, ist vielleicht ein Hund, der Leckerlis mag, ja? Mhm. Stell dir vor, Du hast 'n Hund und der lernt, ja, wenn er dich einen Leckerli bittet, anbettelt, ja? Der sitzt vor dir und vinelt, dann hat er irgendwie immer sone Chance von, sagen wir mal, 5 Prozent, dass Du ihm 1 gibst. Okay. Ja? Wenn er nicht bei dir nach Leckerlis bettelt, sondern irgendwo in der Wohnung rumsträuunert, kriegt er ja Sicherheit. Mhm. Aber Also wenn seine ist, sein sein ist, möglichst viele Leckerlis kriegen, dann ist seine, er bettelt den ganzen Tag bei dir. Was er aber vielleicht gar nicht weiß, ist, dass die Nachbarin, da lebt sone sone nette Oma und die bei der hätte der, wenn er einen Leckerli bittet, 'n Chance von 100 Prozent 1 zu kriegen, ja. Mhm. Es wäre also viel besser, wenn er zu dieser Oma ginge. Aber der weiß vielleicht gar nix von der Oma, weil er die ganze Zeit im Exploiting ist und quasi nur noch das Wohnzimmer und dich kennt. Er bräuchte also eine Explorephase, indem er mal sagt, jetzt honorieren wir mal die Leckerlis und und schauen uns mal diese Welt genauer an. Und dann findet er eben vielleicht das bessere Optimum, nämlich diese Oma, die nebenan wohnt. Das heißt, ich möchte diese Explorephase

Speaker0: machen, möglichst das globale Maximum zu erwischen und nicht nur in Anführungszeichen das Lokale.

Speaker1: Genau, also dann quasi deinen deinen deine Abstraktion dieser unendlich vielen Zustände zu verbessern und eben auch ein besseres, nicht nur ein irgendein lokales Optimum zu finden.

Speaker0: Okay, jetzt haben wir eigentlich schon ein recht gutes Bild von Reanforcement Learning und wie das so funktioniert. In der vergangenen Folgen haben wir ja auch über Regreschen gesprochen, ein gutes Beispiel für Supervice Learning und auch über Clustering, auch ein sehr klassisches Beispiel für Unsuperviseed Learning. Könntest Du da vielleicht das kurz einordnen in diese Bereiche beziehungsweise ist das überhaupt möglich, ja? Ich kann's mal versuchen. Mhm.

Speaker1: Also Learning war ja der der der das Hauptmerkmal, dass ich diese gelabelten Daten hab. Das heißt Mhm. Ja. Ich konnte, die ich wusste für einen Trainingsdatensatz, die korrekte Lösung. Also bei bei Bilderkennung zum Beispiel hatt ich dann einen Trainingsdatensatz, wo halt klar steht, auf diesen Foto ist 'n Hund, auf diesen Foto ist eine Katze. Also es gibt irgendwie sone Target variable. Ja, genau. Also es gibt a eine Target variable und ich kenn die richtige Lösung für ein gewisses Set an Mhm. An an Daten. Bei unsupervised Learning hab ich das nicht, sondern da find ich einfach nur Strukturen in Daten. Ich brauch im Prinzip keine Labels und ich brauch auch keine richtigen Lösungen in dem Sinn. Mhm. Jetzt, was haben wir bei Reanforcement Learning? Ja, ist son bisschen dazwischen. Was ich brauche, ist diese ganz klare Reward Funktion. Dazwischen. Was ich brauche, ist diese ganz klare Funktion. Das heißt, ich muss für einen Zustand definieren, gibt es für den jetzt einen Reward oder nicht? Das ist ja son bisschen was wie 'n Labeling, ja. Aber gleichzeitig ist es schon auch in dem Sinne, dass der Weg hin zum, also ich ich beurteile ja nicht, ob 'n konkreter Move jetzt gut oder schlecht war, ja, sondern es gibt es ist nur das Endziel. Das heißt, das ist so von in diesem Kontext nicht so ganz klar einzuordnen. Aber ich muss halt meine muss ich klar definieren, ähnlich wie ich beim supervist meine Labels klar definieren muss.

Speaker0: Vielleicht daran anknüpfend, wann bietet sich denn dann Reanforcement Learning überhaupt an, ja? Also wir hatten ja auch schon gesprochen in den vergangenen Folgen, wann Clustering oder beziehungsweise wann man den Clustering machen möchte beziehungsweise wann man sogar Supervice Learning machen könnte, ja, wenn man sogar mehr Informationen noch dazu dazu hat und einfach für ein gewisses Set weiß, okay, auf dem Bild ist 'n Hund drauf, auf dem Bild ist kein Hund drauf. Wann bildet sich bietet sich denn dann Reanforcement Learning an?

Speaker1: Ja, was sind so die Szenarien? Also wir haben ja schon vorhin gesagt, es geht darum, Handlungen Handlungen zu lernen. Das heißt, Grundvoraussetzung ist erst mal, es geht etwas, wo eine Verkettung vor Handlungen zu einem Endergebnis führt. Und dieses Endergebnis kann halt bewertet werden, gut oder schlecht. Jede einzelne Handlung ist aber ist aber schwieriger zu bewerten. Also wieder beim Rubrikscube, ja, ob ich jetzt hier in dieser Situation nach links oder rechts gedreht hab, ich hab keine Ahnung, ob das gut ist. Ja. Ich kann halt nur schauen, ob das halt mich dann irgendwann zu 'ner Lösung geführt hat oder nicht. Ein Rubrik, der kann dir das natürlich für jeden einzelnen Move sagen, weil der ja quasi ein perfekt bereits trainiertes System ist. Aber a priori kann ich das erst erst mal nicht. Ja. Wenn wir aber jetzt mal den den Gegencase aufzubauen, hätten wir so hätten wir so was, wo für jeden einzelnen Zustand zum Beispiel gesagt werden kann, dieser Zustand ist 5 Moves von der Lösung entfernt oder dieser Zustand ist 12 Moves von der Lösung entfernt, ja? Mhm. Wenn ich quasi son diese perfekte Bewertungsfunktion hätte, dann wär ich eigentlich auch nicht mehr wirklich im Remforcement Learning, weil ich dann gar nicht diese Handlungskette wirklich hab, weil weil ich kann bei jeder einzelnen Handlung bereits sagen, was ist optimale Move, ja? Einfach der, der diese Zahl am weitesten verringert. Das braucht's dann eigentlich schon gar nicht im Moment. Genau, dann brauch ich schon kein Reanforcement Learning. Ich brauch Reanforcement Learning dann, wenn ich wenn meine Reward Funktion eben nur auf sonen Endzustand wirkt, Mhm. Wo eben eine Verkettung von Handlungen hinführt. Weil dann kann ich eben bei der einzelnen Handlung nicht mehr sagen, war die jetzt konkret gut oder schlecht, sondern ich ich kann es immer immer nur für die Kette sagen, ob die funktioniert hat. Ja. Etwas Weiteres, was für Reanforcement Learning Systeme dann häufig wichtig ist, weil's die Sache mathematisch einfach deutlich vereinfacht ist, wenn die Zukunft nur von der Gegenwart abhängt und nicht von der Vergangenheit. Also in der Regel ist die Grundannahme, dass wir einen sogenannten haben. Also Beispiel, ich hab jetzt irgendwie 'n Schachbrett vor mir oder ich hab halt diesen Rubix Cube vor mir. Mir kann wirklich schnurzegal sein, wie ich in diesen Zustand des Rubix Groups gekommen bin oder wie meine Konstellation von Schachfiguren zustande gekommen ist. Entscheidend ist nur jetzt stets so. Mhm. Und daraus leitet sich kann sich ableiten lassen, welcher Move ist jetzt zielführend oder nicht? Also für die Lösung an sich irrelevant, was vorher war. Genau. Wenn wir jetzt aber zum Beispiel uns Poker anschauen, ja? Ich hab unvollständige Informationen, anders als beim Rubix Cube oder Schach. Ich hab unvollständige Informationen und das heißt, da ist dann eigentlich schon wichtig, was ist denn in der Vergangenheit passiert, ja? Hat 'n der vorhin geblöfft oder doch nicht? Das heißt, da ist 'n bisschen komplizierter. Also das heißt, Poker wär schon 'n bisschen schwieriger für Reenforcement Learning, weil's eben aufgrund der unvollständigen Information dann doch irgendwie von der Vergangenheit abhängt. Das heißt nicht, dass das nicht auch gangbar ist, aber nicht sozusagen kein Standardanwendungsfall. Und autonomes Fahren, da muss man natürlich auch immer erwähnen in den Kontext. Also wenn die Sensorik sehr vollständig ist, was worauf ja hingearbeitet wird, da wird ja Kamera, Sensor und Radar, und was was weiß ich, was alles verbaut. Na ja, dann hab ich relativ vollständige Informationen und dann interessiert mich jetzt eigentlich auch nicht wirklich, wie bin ich in diese gegenwärtige Situation gekommen, sondern nur, wo bin ich? Wo steh ich? Muss aber dazu sagen, autonomes Fahren ist ist eine harte Nuss, da wird 'n ganzer Blumenstrauß von Methoden verwendet meines Wissens nach. Reanforcement Learning wird irgendwo in diesem Blumenstrauß sein, aber ich weiß nicht, ob's jetzt die tragende Säule ist.

Speaker0: Also wie ist es denn nicht auch so bei jetzt, also vielleicht, mal das Schachbeispiel zu erwähnen, dann ist es ja quasi eher so die idealisierte Version von Schach, ja. Son son son Magnus Carlsen oder so. Der der Schachweltmeister, der weiß vielleicht von seinen größten Kontrahenten, hey, in der Situation macht er üblicherweise den und den Move. Ja, ja. Dann ist er vielleicht auch noch wieder son bisschen dabei dabei, dass es die Vergangenheit das von der Vergangenheit abhängt. Aber so an sich, wenn man jetzt seine Gegenspieler nicht direkt kennt und seine Spielverhalten nicht kennt, dann ist das eher eine Sache für Reforcement Learning. Ja. Alles klar. Jetzt haben wir ja grad kurz schon autonomes Fahren angesprochen. Was sind denn noch weitere Anwendungsgebiete für Reanforcement Learning, die, sag ich mal, vielleicht unser Leben leichter machen oder auch nicht? Oder wo findet das Anwendung?

Speaker1: Der wichtigste Anwendungsfall meiner Meinung nach ist, Space Invaders besiegen. Also ja Spaß beiseite, aber die Ihr kennt ja die Also die die coolen Erfolge sind ja häufig so irgendwie Videospiele oder eben perfekt simulierbare Spiele wie Go oder so was. Genau. Aber jetzt mal so in Richtung Real Life. Okay, gehen wir mal eben semi Real Life so. Also zum Beispiel gibt's da Ansätze, den Schwierigkeitsgrad bei Videospielen, ja? Also dass der an den Nutzer angepasst wird, sodass der Nutzer immer eine interessante Challenge hat, also

Speaker0: sich weder langweilend noch überfordert ist. Also quasi der perfekte Schwierigkeitsgrad sozusagen. Genau, das kann also da ist also die Policy

Speaker1: wird da wird ja eben die Policy auf den hin trainiert. Der der Reward ist, dass der Spieler es schafft, aber herausgefordert ist. Und die Policy ist aber herausgefordert ist. Und die sozusagen, wie viel Gegner schick ich wann oder wie wie tough sind die Gegner und so weiter. Jetzt dann son bisschen mal was mit mehr wirtschaftlichen Impact. Wär so in der Robotik. Also vielleicht kennen ja einige von euch, gibt's ja diese netten Videos von den Wer ist denn die Boston Dynamics oder? Genau, Boston Dynamics. Dass der Roboter zum Beispiel lernt, sich selber zu schützen, ne? Ich glaub, da treten die auf den Roboter ein und so was, Echt, ich sag mit den Einschlägenschläger. Wenn man wehrt oder zumindest ausweicht. Ja, das wär so Richtung 'n bisschen Skynet.

Speaker0: Genau, ja. Was

Speaker1: was mir persönlich aber auch gut gefallen hat, ist, ihr kennt ja vielleicht diese Industrieroboter so typischerweise in Deutschland von KUKA, die ja irgendwas greifen oder schweißen oder montieren und sowas. Und die sind echt kompliziert zu programmieren, den muss man so sauviele Teaching Points und so was setzen und deswegen ist natürlich interessant, können die nicht selber sich beibringen, wie sie zum Beispiel jetzt irgendwie eine 1 Schraube in oder oder irgendeinen Bolzen an irgend eine Öffnung halten oder so was oder irgendwie Kommissionierer zum Beispiel, ist ja nervig, den zu programmieren, wie musst Du welche Schachtel greifen und so was. Und was da Ich glaub, Google wars unter anderem, die haben das gemacht, die haben irgendwie, ich weiß nicht, so 20 Roboter oder so was mehrere Wochen oder so arbeiten lassen lässt, die einfach lernen sollten, von 1 Kiste in eine andere so Schachteln rüberzugreifen. Okay. Und der Report hing halt davon ab, ob denen was rausgefallen war oder nicht. Und die haben sehr, am Anfang sind die total dämlich da irgendwie so rumgedruckst diese Roboter und da ist im Prinzip nix, hat nix geklappt. Und dann irgendwann haben die aber wirklich zufällig gelernt, diese Schachteln zu greifen, egal wie sie in der in der ersten Box lagen und die dann rüberzutun. Das heißt, man musste keine aufwendige Teaching Points für diese Roboter programmieren, sondern die haben sich das selbst beigebracht. Und das könnte, wenn wenn wenn sich das so weiterentwickelt, da echt dieser Industrierobotik noch mal einigen Aufwand verschaffen. Also quasi Roboter Trainingslager Ja,

Speaker0: Trainingslager. Ja, genau. Ohne das Roboter Bootcamp.

Speaker1: Und dann haben wir so, also was gern auch gesagt wird, ist so Richtung Smart Cities. Okay. Stellt euch vor, ich meine, die meisten Ampelphasen heutzutage sind ja mehr oder weniger unoptimiert, sondern folgen einfach so ganz vordefinierten Regeln. Unoptimiert, sondern folgen einfach so ganz vordefinierten Regeln. Mhm. Man könnte sich aber vorstellen, der ist, der hängt davon ab, wie schnell sind die Leute nach Hause gekommen, ja? Mhm. Und die Policy ist sozusagen abhängig von der aktuellen Verkehrslage, wie mach ich meine Ampelschaltungen mit dem Ziel, dass im Durchschnitt die Leute möglichst früh nach Hause kommen. Okay. Da haben wir jetzt 2 Aspekte dabei. Zum einen, das kann man nicht einfach so ausprobieren. Also anders als diese Roboter im Google Labor, wo es ja keinem wehtut, wenn die wenn die ihre Schachtel tausendmal fallen lassen. Ja. Ich kann jetzt nicht in der in der Stadt zu zu Rhode Rage und Unfällen und so weiter führen, wenn ich da mal einfach mein mein System, seine Policies ausprobieren lasse. Das ist also 'n klassisches Szenario, sone Einschränkung, die ich sehr häufig im realen Leben hab. Ich brauch eine Simulation. Also in dem Fall brauche ich eine Simulation von meiner Stadt und meinen Verkehrs mein Verkehrsfluss, damit ich diese Policies schon mal zumindest vorvalidieren kann, wenn nicht sogar quasi das komplette Renforcement Learning in der, ja, in der Simulationsumgebung durchführe. Und was man da noch vielleicht ganz nett mal kurz die Brücke schlagen kann, wir haben ja vorher noch gesprochen über diese Feinheiten in der Funktion. Mhm. Also man sollte vielleicht bei 'ner SmartCity jetzt nicht sagen, der ist hängt von der durchschnittlichen hängt nur von der durchschnittlichen Reisezeit der ganzen Pendler zum Beispiel ab. Dann könnte es zum Beispiel sein, dass da ein Bauernopfer Okay. An irgendeiner Ampel steht, die eine halbe Stunde auf rot ist, ja. Könnt ja den all, könnt ja im Durchschnitt immer noch gut sein, also man müsste da schon auch auf die Feinheiten achten, dass der auch der Einzelne nicht zu

Speaker0: schlimm bestraft wird. Da wird quasi ute literistisch eine Person quasi der der roten Ampel geopfert, damit alle nach früher nach Hause kommen. Ja, wäre beim Reward durchschnittliche

Speaker1: Reisezeit soll minimiert werden, ja vollkommen drin.

Speaker0: Alles klar. So, dann kommen wir jetzt noch zu Erium und eurem Verhältnis zum Unser Verhältnis. Zum Reinforcement Learning. Ist das ein gutes Könnt ihr noch miteinander schreiben oder gratuliert ihr euch noch zum Geburtstag? Ins complicated. Ins complicated. Wie schaut's da aus? Benutzt ihr, nee, da lassen wir die Finger davon, das ist

Speaker1: Ja, also die die die kurze Antwort ist, wir benutzen es nicht. Okay. Aus 2 Gründen. Zum einen kann man sich so was wie eine Explorephase, kann man's kannst kannst Du die in 'ner Industrieanlage einfach nicht leisten, ja. Also wir können wir können jetzt nicht einem Automobilhersteller sagen, baut mal eure Autos 2 Wochen irgendwie, ja? Ach so und ja, wird's Ach so und ja, wie viel verliert ihr denn pro Tag? 4000005 Ich weiß nicht genau, aber Langfristig lohnt sich das. Ja, ja, genau. Das das können wir nicht bringen. Ja. Ja, das heißt, wir können keine Explorephase machen und sofort exploiiten ist dann eben, wird uns wird nicht besonders zielführend sein, auch weil von soner Anlage gibt's halt auch keine gute Simulation oder so was. Also Mhm. Wenn man jetzt von soner Anlage eine perfekte Simulation hätte, na ja, dann dann würden wir durchaus Learning mal auch ausprobieren. Okay. Aber wir haben keine Simulation von von irgend 'ner Industrieanlage. Das heißt, eigentlich ist unser Ziel ja genau, diese Simulation auf Data Science Basis zu erstellen. Darüber sprechen wir bestimmt an 'nem anderen Punkt noch mal. Genau. Und das heißt, wir fangen quasi einen Schritt vorher an. Wir möchten diese Simulation oder etwas, was dir simulational kommt, aus den Daten lernen und nutzen das dann, aber nimm nicht in 1 komplizierten Verkettung von Handlungen, sondern einfach dieses Teil produzierst Du jetzt bitte mit diesen Einstellungen. Okay, also quasi Das heißt Reanforcement Learning in der Zukunft, maybe. Mhm. Aber aktuell nein. Also quasi zum Wohle des Autoherstellers und seiner gesamten Fabrik, dass die nicht abfackelt. Ja. Wir leben da einfach in 'nem Kontext etwas, was bereits existiert, was bereits läuft und kein.

Speaker0: Alles klar. Dann Maxim, jetzt vielleicht noch zum Schluss so ein kleines Rap-up für die Complexitymasters da draußen, wenn Du denen vielleicht auch an die Hand mitgeben könntest. Was sind so deine auf jeden Fall Go to Tipps für Reforcement Learning? Was sollte man sich über was sollte man sich bewusst sein? Was sind da deine Tipps, die Du denen mit an die Hand geben kannst?

Speaker1: Ja, oder die Voraussetzungen ist allein schon zu erkennen, wann ist Reforcement Learning wichtig oder anwendbar. Also ich hab eine Verkettung von von Handlungen Okay. Deren Konsequenz, aber typischerweise in der Zukunft, ja? Wie beim Rubrik Scope, ob der Einzelmove Ich weiß erst, ob der wirklich gut war, wenn ich nachher den Rubrik Scope gelöst hab oder eben nicht. Mhm. Dann Punkt 2, ich muss also mein Ergebnis auch klar erkennen beziehungsweise bewerten können. Ich muss nicht den Einzelmove bewerten können, aber ich muss am Schluss sagen, ist der Rubix Cube gelöst oder nicht? Mhm. Also ich muss ein Endergebnis bewerten können. Okay. Und dann, damit das Ganze trainiert werden kann, brauche ich entweder eine Simulation oder son Sandbox Environment, also etwas, eine Umgebung, in der ich keinen Schaden anrichte.

Speaker0: Also Spielraum zum Ausprobieren eben. Damit

Speaker1: mein System lernen kann, vor allem wenn sone Explorephase auch mit rein muss.

Speaker0: Mhm.

Speaker1: Also diese 3 Punkte, ja? Also Verkettung von Handlungen, die in Konsequenz typischerweise in der Zukunft liegt. Ich kann das Ergebnis klar bewerten und ich habe einen ein 1 Safe Environment,

Speaker0: dann sind wir im Business mit Reanforcement Learning. Alles klar. Super. Vielen Dank. Damit können die Hörer da draußen auf jeden Fall was anfangen. Für die von euch, die selber mal Reanforcement Learning ausprobieren wollen, findet ihr in den Shownotes wieder eine Jupiter Notebook Datei. Und genau, dann Lass uns zusammen sagen diesmal. Lass uns zusammen sagen, ja okay, alles klappt. Und

Speaker1: Master the Compactity.

Speaker0: Damit wir weiterhin für euch Komplexitymasters hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.

More episodes from season 1 →