Bayesian Methods

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Dr. Maksim GreinerCo-Founder & CTO von Erium
Überblick
In dieser Folge des Erium Podcasts erklaert Dr. Maksim Greiner gemeinsam mit Host Dr. Theo Steininger, was Bayesian Methods sind und warum sie fuer Machine Learning und Data Science so wertvoll sind. Anhand anschaulicher Beispiele wird erlaeutert, wie bedingte Wahrscheinlichkeiten, der Satz von Bayes, Regularisierung und Unsicherheitsquantifizierung zusammenhaengen - und warum Erium diesen Ansatz taeglich in der Praxis einsetzt.
Über den Gast
Dr. Maksim Greiner ist Co-Founder von Erium und gilt im Team als ausgewiesener Experte fuer Bayesian Methods. Er bringt tiefes statistisches und mathematisches Fundament in die angewandte Machine-Learning-Arbeit von Erium ein und setzt Bayesian-Ansaetze regelmaessig in Industrieprojekten ein, bei denen Datenmengen begrenzt sind und Expertenwissen systematisch integriert werden muss.
Zusammenfassung
Was sind Bayesian Methods? - Wahrscheinlichkeitsbaeume im Machine Learning
Bayesian Methods bezeichnen Verfahren, bei denen ein Problem als Verkettung konditionaler Wahrscheinlichkeiten formuliert wird - aehnlich den Wahrscheinlichkeitsbaeumen aus dem Schulunterricht, aber beliebig tief und komplex. Das Ziel ist stets, unbekannte Parameter mithilfe bekannter Groessen zu schaetzen oder zu lernen. Dabei sind Wahrscheinlichkeiten immer kontextabhaengig: Dieselbe Beobachtung fuehrt je nach Hintergrundinformation zu unterschiedlichen Einschaetzungen - wie das anschauliche Kinobeispiel zeigt, in dem lange Haare je nach Kontext auf eine Frau oder einen Mann hindeuten koennen.
Neuronale Netze als statistische Modelle - der Zusammenhang zwischen Kostenfunktion und Wahrscheinlichkeitsverteilung
Ein Feed-forward-Neuronales Netz modelliert im Kern eine konditionale Wahrscheinlichkeit: die Wahrscheinlichkeit, einen bestimmten Output zu beobachten, gegeben einen bestimmten Input und die Netzwerkgewichte. Parametrisiert man diese Verteilung als Normalverteilung, ergibt sich beim Maximierungsproblem (Maximum Likelihood) direkt die bekannte quadratische Kostenfunktion des Netzwerktrainings. Damit besteht ein direktes Eins-zu-eins-Mapping zwischen der Wahl der Kostenfunktion und einer statistischen Annahme ueber die Fehlerverteilung - eine wichtige Erkenntnis fuer die bewusste Modellgestaltung.
Der Satz von Bayes und A-priori-Verteilungen - wie Regularisierung entsteht
Mithilfe des Satzes von Bayes laesst sich die Fragestellung umkehren: Statt der Wahrscheinlichkeit fuer den Output gegeben die Gewichte sucht man die Wahrscheinlichkeit der Gewichte gegeben die Daten. Dabei muss man eine A-priori-Verteilung fuer die Gewichte angeben - also eine Annahme darueber, wie die Parameter verteilt sind, bevor man Daten gesehen hat. Diese A-priori-Verteilung entspricht direkt einem Regularisierungsterm in der Kostenfunktion: Eine normalverteilte A-priori entspricht der L2-Regularisierung (kleine Gewichte bevorzugt), eine Exponentialverteilung der L1-Regularisierung (sparse Gewichte bevorzugt). Auch Dropout-Layer lassen sich in diesem Rahmen als Bernoulli-Verteilung interpretieren.
Overfitting reduzieren - aber nicht vollstaendig vermeiden
Da Bayesian Methods bei konsequenter Anwendung des Bayes-Theorems automatisch Regularisierung erzeugen, wird Overfitting gegenueber klassischen Ansaetzen deutlich abgeschwaecht. Allerdings loesen sie das Problem nicht vollstaendig: Wenn der Trainingsdatensatz nicht repraesentativ fuer das Zielproblem ist - zum Beispiel wenn ein Modell nur auf Hunde und Katzen trainiert wurde, spaeter aber auch Igel klassifizieren soll -, helfen auch die besten Regularisierungsverfahren nur begrenzt. Im Limit sehr grosser Datenmengen unterscheiden sich Bayesian und nicht-Bayesian Methoden kaum noch.
Praxis bei Erium - Expertenwissen integrieren und Unsicherheit quantifizieren
Erium setzt Bayesian Methods in der taeglichen Arbeit ein, da Industrieprojekte typischerweise mit begrenzten Datenmengen arbeiten und gleichzeitig wertvolles Expertenwissen verfuegbar ist, das systematisch eingebunden werden soll. Der Bayesian-Rahmen erlaubt es, dieses Prozesswissen formal korrekt als A-priori-Verteilung einzubringen. Ein weiterer zentraler Vorteil ist die Unsicherheitsquantifizierung: Statt nur einen Punktschaetzer fuer Parameter zu erhalten, ergibt sich eine ganze Verteilung - inklusive Varianz. So laesst sich erkennen, wie stark einzelne Netzwerkgewichte tatsaechlich durch die Daten bestimmt sind, und es entsteht eine Modellunsicherheit, die etwa bei adversarial noise hilft, da die Unsicherheit des Modells in solchen Faellen ansteigt.
Drei Faustregeln fuer den Einstieg in Bayesian Methods
Dr. Maksim Greiner fasst die drei wichtigsten Erkenntnisse zusammen: Erstens entspricht die funktionale Form einer Kostenfunktion immer einer bestimmten Annahme ueber die Fehlerstatistik - dieses Mapping herzustellen hilft, die passende Kostenfunktion zu waehlen. Zweitens ist Regularisierung nichts anderes als die Annahme einer A-priori-Verteilung, und die Wahl der Regularisierungsfunktion laesst sich direkt auf eine A-priori-Verteilung zurueckfuehren. Drittens erlauben Bayesian Methods, die Unsicherheit der gelernten Parameter abzuschaetzen und damit zu beurteilen, wie stark jedes Gewicht wirklich durch die Daten bestimmt wird.
Kernaussagen
- Bayesian Methods formulieren Machine-Learning-Probleme als Verkettung konditionaler Wahrscheinlichkeiten und machen statistische Annahmen explizit.
- Die Wahl einer Kostenfunktion entspricht immer einer bestimmten Annahme ueber die Fehlerstatistik - quadratische Kostenfunktion entspricht einer Normalverteilung.
- Regularisierung ist die direkte Konsequenz einer A-priori-Verteilung ueber die Modellparameter: L2 entspricht Normalverteilung, L1 einer Exponentialverteilung.
- Bayesian Methods reduzieren Overfitting strukturell, koennen es aber nicht vollstaendig verhindern, wenn der Datensatz nicht repraesentativ ist.
- Im Industrieeinsatz ermoeglicht der Bayesian-Rahmen die formale Integration von Expertenwissen als A-priori-Information.
- Unsicherheitsquantifizierung ueber Parameterverteilungen liefert Modellunsicherheit als zweite Informationsebene - besonders wertvoll bei wenig Daten und adversarial noise.
- Im Limit sehr grosser Datenmengen konvergieren Bayesian und klassische ML-Methoden und liefern kaum noch unterschiedliche Ergebnisse.
Fazit
Bayesian Methods bieten eine mächtige und prinzipienbasierte Perspektive auf Machine Learning: Sie machen implizite Annahmen hinter Kostenfunktionen und Regularisierung explizit, ermoeglichen die Integration von Vorwissen und liefern neben Vorhersagen auch belastbare Unsicherheitsinformationen. Besonders in Industrieprojekten mit begrenzten Datenmengen und verfuegbarem Expertenwissen sind sie ein zentrales Werkzeug.
Fuer ML-Praktikerinnen und -Praktiker
Wer bereits neuronale Netze trainiert, sollte seine Kostenfunktionen und Regularisierungsverfahren durch die bayesische Linse betrachten - das schafft Klarheit ueber statistische Annahmen und hilft, bessere Designentscheidungen zu treffen.
Fuer Fach- und Fuehrungskraefte in der Industrie
In Szenarien mit wenig Daten und vorhandenem Expertenwissen - wie in der Fertigung oder Automobilindustrie - bieten Bayesian Methods einen strukturierten Weg, dieses Wissen formal einzubinden und robustere Modelle zu erhalten.
Volltranskript anzeigen
Speaker0: Wie stark sind die Gewichte 1 neue Netzwerks durch den Datenbestand bestimmt? Und warum erfreuen sich beigen methods immer größerer Beliebtheit? Erfahrt es jetzt in dieser neuen Ausgabe von The Ihrem Podcast. Und damit herzlich willkommen zu 1 neuen Ausgabe von The Erian Podcast. Zu meinem großen Glück sitzt heute mir gegenüber der Maxime. Toll, dass Du da bist. Hallo, Jagro. Schön, dass ich da sein darf. Und heute soll's mal beigen methods gehen oder oder beigen methods.
Speaker1: Könntest Du für uns kurz einordnen, was damit genau gemeint ist mit beigen methods? Also ganz grob gesagt, beigen methods sind einfach Methoden, mit denen ein Problem als Verkettung von konditionalen Wahrscheinlichkeiten formuliert wird. Das könnt ihr euch bisschen so vorstellen, ihr hattet vielleicht in der Schule, in Statistik immer diese Wahrscheinlichkeitsbäume gemalt. Mhm. Ist eigentlich genau das. Ich ich splitte ein größeres Problem in in immer in Einzelschritte runter. Und das sind eigentlich konditionale Wahrscheinlichkeiten.
Speaker0: Und das heißt, das ist quasi wie diese Baumdiagramme in der Schule, nur vermutlich noch beliebig kompliziert. Genau, beliebig tief, beliebig komplex und danach immer mit dem Ziel,
Speaker1: da drin da drin unbekannte Parameter irgendwie durch die Bekannten zu schätzen, zu lernen derart.
Speaker0: Das im Gedächtnis der Hörer noch mal vielleicht kurz aufzufrischen, den Begriff kennen, glaub ich, alle, aber könntest Du noch mal kurz klären, was sind denn bedingte Wahrscheinlichkeiten oder konditionale Wahrscheinlichkeiten?
Speaker1: Ja, gerne. Also der Witz ist, dass Wahrscheinlichkeiten eigentlich immer kontextabhängig sind. Also die Wahrscheinlichkeit, die ich an der Sache zuweise, ist immer von der Hintergrundinformation abhängig. Mhm. Nehmen wir mal 'n Beispiel. Also ihr seid im Kino und da ist irgendwie eine Schlange von Menschen und ihr seht, da hat jemand sein, da fällt jemand 'n Ticket runter. Und jetzt hebt ihr das Ticket auf, ihr seht von der Person nur den Rücken und wollt jetzt sagen, ja, gute Frau, guter Mann, Sie haben ihr Ticket verloren. Und über die, was was sag ich 'n? Okay, dann was was macht ihr? Nehmt erst mal die Informationen auf. Okay. Jetzt stehen da Jaguar und ich nebeneinander. Wir haben dieses Ticket in der Hand und überlegen, Mann oder Frau, was sagen wir? Und ich sag, ja okay, also ich sehe lange Haare, wahrscheinlich eine Frau. Spricht ja dann erst mal die Wahrscheinlichkeit dafür, das heißt meine Wahrscheinlichkeit, die ich dem Ganzen jetzt zuweise, wäre, sagen wir mal, keine Ahnung, 70, 30, dass es eine Frau ist. Ja. So, Jago aber, der schaut, hm, das ist eine Schlange, in der sind nur Männer. Aha, es ist die Schlange zum Männerklo. Mhm. Okay, das heißt, was sagt mir das? Es könnte natürlich auch immer noch eine Frau sein, die, weil die Schlange beim Frauenklo noch länger ist, jetzt aufs Männerklo geht, aber wahrscheinlich ist es dann doch ein Mann mit langen Haaren und Jaguar sagt dementsprechend nicht 70, 30 folgende Frau, sondern sagt 70, 30 für einen Mann trotz der langen Haare. Einfach, weil wir verschiedene Backgroundinformations, verschiedene Kontextinformationen dazu haben.
Speaker0: Und bedingte Wahrscheinlichkeiten drücken das einfach nur explizit aus. Das heißt, Kontext beziehungsweise die Umgebung, in der ich mich befinde, beeinflusst auf jeden Fall auch die Wahrscheinlichkeit.
Speaker1: Auf jeden Fall. Im am Ende des Tages sind dadurch Wahrscheinlichkeiten, obwohl sie rational konstruiert werden, irgendwo wieder subjektiv, weil jeder andere Hintergrund, wo man Genau. Hat. Das Schöne ist aber, Sie geben uns einen Kontext, indem ich formal trotzdem damit korrekt weiterrechne.
Speaker0: Für mich klingt das jetzt zunächst erst mal son bisschen nach 'ner Themaverfehlung, ehrlich zu sein. Das ist son bisschen der Nebenerwer, wie soll's so hier hier Data Science und Machine Learning gehen. Ach so. Warte, wir vielleicht schon Podcast. Im Wahrscheinlichkeitstheorie Podcast von Erium. Nee, es geht ja geht Data Science und Machine Learning. Was hat das damit zu tun? Wo findet das dann tatsächlich Anwendung? Tatsächlich ist es am Ende des Tages ist Machine Learning tatsächlich angewandte Statistik. Gehen wir das mal an 'nem Beispiel durch.
Speaker1: Nehmt euch mal 'n ganz normales Feed forward Neural Network. Was das eigentlich macht, ist, es modelliert mir eine konditionale Wahrscheinlichkeit, nämlich welche. Es die Wahrscheinlichkeit, einen gewissen Output zu sehen unter der Bedingung, also konditional zu, ich habe einen gewissen Input und ich habe gewisse Parameter, die mein Netzwerk zum Beispiel beschreiben.
Speaker0: Was genau kann man sich unter diesen Parametern vorstellen? Weil also was ist das in dem Kontext? Die Gewichte im Die Gewichte im Netz zum Beispiel. Ah ja, die Gewichte beim Neuronanetz.
Speaker1: So und jetzt hab jetzt möcht ich also so 1, jetzt hab ich so eine Verteilung, die muss ich jetzt ja irgendwie parametrisieren. Typischerweise würde ich sie als Normalverteilung parametrisieren. Der Mittelwert der Normalverteilung ist dann eben genau das Ergebnis meines neuronalen Netzes Mhm. Und die Standardabweichung zum Beispiel 1. Und mein Fittingproblem ist jetzt, ich suche die Parameter, die mir diese bedingte Wahrscheinlichkeit, also die Wahrscheinlichkeit, bei diesem Input genau diesen Output zu sehen, maximiert.
Speaker0: Mhm.
Speaker1: Und jetzt muss ich 'n bisschen mathematischer werden. Also wenn wir dann diese Normalverteilung hernehmen und den negativen Logarithmus bilden Okay, okay. Dann
Speaker0: Da muss ich da muss ich jetzt kurz anders gesehen. Ich ich glaub, ich weiß, worauf Du da hinauswillst. Und Vorschlag, wir lassen das auf das, wir lassen das für das Jupyter Notebook. Okay. Und da da kann man das dann auch schön alles in Latex runterschreiben und so. Ja, nee. Nicht, dass jemand jetzt beim Autofahren mitschreibt und Genau. Okay. Ich also ich glaub dir, dass man mithilfe von mathematischem Können da auf jeden Fall vorankommt.
Speaker1: Okay, aber wo schreibt's euch in den Shownotes. Worauf es hinausläuft, ist, ich hab's jetzt als Wahrscheinlichkeitsverteilung, als Normalverteilung formuliert und wenn ich dann dieses Maximierungsproblem, also ich suche die die wahrscheinlichste Konfiguration, dann ist das genau das Gleiche wie das Minimierungsproblem beim Trainieren 1 neuronalen Netzwerks. Ich hab genau diese gleiche quadratische Kostenfunktion,
Speaker0: die ihr ja wahrscheinlich alle kennt. Also da besteht ein direkter Zusammenhang zwischen Ganz genau.
Speaker1: Und dieser Zusammenhang, der zeigt mir etwas auf, nämlich hinter der Wahl meiner Kostenfunktion steckt eigentlich eine statistische Annahme. Denn die Tatsache, dass es eine quadratische Kostenfunktion ist, kommt genau daher, dass ich eine Normalverteilung genommen hab. Hätte ich eine andere Kostenfunktion, wär's eine andere Wahrscheinlichkeitsverteilung oder eben umgekehrt bei 1 anderen Wahrscheinlichkeitsverteilung eine andere Kostenfunktion. Und da gibt's ein quasi One to One Mapping
Speaker0: und das sagt mir also, ich habe letztendlich immer in meiner Wahl, meiner Kostenfunktion eine Annahme über meine Federstatistik. Jetzt hattest Du ja zu Beginn erwähnt, dass wir es mit 1 Verkettung von Wahrscheinlichkeiten zu tun haben, also dieses Baumdiagramm. Aber jetzt haben wir ja nur eine Wahrscheinlichkeit, also diese dieses Wahrscheinlichkeit für Output bedingt Input und Parameter. Mhm. Wo wie geht's jetzt weiter? Also wir hatten ja eigentlich eine Verkettung angegeben. Genau, wir haben jetzt ja Schritt 1 gemacht. Wir haben dieses Fittingproblem als Wahrscheinlichkeit formuliert. Okay, ja, was haben wir daran gewonnen? Ja, okay, ein bisschen hier so, aber Mhm. Das Schöne ist, wir können jetzt diesen Formalismus nutzen und weitere Ebenen hinzufügen. Und wie schauen die genau aus? Also diese diese Ebene macht man einfach nur noch mal das Gleiche oder?
Speaker1: Gehen Spinnen wir einfach das Beispiel weiter. Also wir möchten ja die Gewichte unseres neuronalen Netzes lernen. Mhm. Und was das ja eigentlich bedeutet, ist, wenn man jetzt mal überlegt, wie würde ich diese Frage formulieren, dann ist doch diese Frage, ich hätte gern eine Schätzung meiner Gewichte gegeben, meine Input- und Outputdaten. Mhm. Die Wahrscheinlichkeit, die ich vorhin beschrieben hab, war aber die Wahrscheinlichkeit für die Output Daten gegeben die Inputs und die Gewichte. Ja. Das heißt, ich möchte das eigentlich son bisschen neu sortieren. Ja. Und das kann ich eben mit dem Satz von genau machen. Mhm. Und da werde ich aber feststellen, aha, ich muss eine Frage noch beantworten, was ist meine A priori Verteilung, also die Verteilung, bevor ich Daten gesehen habe, zu meinen Gewichten?
Speaker0: Mhm. Und
Speaker1: das zwingt mich quasi, deine Antwort auf diese Frage zu geben und von dieser Antwort hängt die Regularisierung ab. Das ist ganz interessant. Wenn ich also sage, ich glaube, bevor ich Daten gesehen hab, dass meine Parameter, meine Gewichte normal verteilt sind, dann ist das eine l-zwei-Regularisierung. Mhm. Nur mal so als Beispiel.
Speaker0: Kurz da zur Eingang, mal 'n bisschen zu refreshen, was macht der Satz von Baiers? Der gibt mir quasi oder Base, der gibt mir quasi eine Methode, wie ich die innerhalb meiner Wahrscheinlichkeit, also angenommen, ich wir hatten ja zunächst einmal Wahrscheinlichkeit für Output bedingt Input Parameter. Und zwar, wie Du schon richtig gesagt hast, der Satz vom Base lässt mich das jetzt umsortieren. Genau. Ich kann Bedingungen und und und also die die zufallsverteilte Größe und die Bedingungen, die kann ich umsortieren. Genau. Also wir möchten jetzt nicht die Parameter als Bedingung haben, sondern als
Speaker1: das, wofür wir die Wahrscheinlichkeit finden möchten. Genau. Und wenn ich das jetzt machen mache, meine Gewichte finden, dann hab ich eben nachher gleich 2 Ebenen, nämlich die a priori Verteilung für die Gewichte. Also was glaube ich, in welcher Größenordnung bewegen sich die Gewichte? Was haben die für eine Verteilung, bevor ich überhaupt Daten mir angeschaut habe? Mhm. Und dann eben diese vorhin beschriebene Verteilung für die Output Daten. Ja, genau. Da hab ich jetzt schon quasi 2 Ebenen drin und ich könnt nach der gleichen Methodik immer mehr Ebenen einziehen.
Speaker0: Jetzt hattest Du ja noch einen Begriff reingeworfen und zwar Regularisierung. Genau. Könntest Du den an der Stelle vielleicht noch mal klären? Na klar. Also
Speaker1: worum geht's? Warum macht man das? Es man hat ja immer dieses Overfiting Problem, ja? Wenn ich wenn ich meinen mein neuronales Netz oder eigentlich egal welches Machine Learning Konstrukt, zu stark an die Daten anpasse. Dann laufe ich in die Gefahr, dass ich nicht mehr abstraaktionsfähig bin und quasi, wenn ich dann mal Testdaten drauf anwende, eigentlich nur Crab draufkriege. Okay. Also Overfitting ist einfach das Problem, wenn ich jetzt meine Daten zu sehr quasi mit einfach zu sehr mich an die anpasse, dann dann krieg ich da dadurch Probleme. Und es eine Möglichkeit, das zu bekämpfen, ist eben die Regularisierung. Mhm. Das heißt, ich packe in meine Kostenfunktion noch einen Term rein, der quasi einfach nur die Gewichte konservativ halten will. Mhm. Was man gerne nimmt, ist die l-zwei-Regularisierung und die entspricht genau 1 a priorinormalverteilung meiner Gewichte. Was was sagt die uns? Letztendlich sagt die, versuch bitte, die Gewichte eher kleinzuhalten. Also versuch, dein deine deine dein Netzwerk so zu trainieren, dass Du eher mit kleineren Gewichten zurechtkommst. Ein anderes, was es gibt, ist die L1 Regularisierung, die korrespondiert zu 1 Exponentialverteilung, also Anpieori Verteilung. Und die sagt im Prinzip so was wie, halte die Also halte lieber einige Gewichte bei 0 und versuch mit weniger Gewichten zurechtzukommen. Also mit weniger von 0 verschiedenen. Und was anderes, was ihr vielleicht kennt auch, ist diese Geschichten mit den Drop out Layers.
Speaker0: Okay.
Speaker1: Da möchte ich jetzt nicht zu tief drauf eingehen, weil das 'n bisschen länger braucht zu erklären, aber das ist das da gibt's auch eine korrespondierende Verteilung, nämlich sone Art Bernoulli Verteilung, also die Wahrscheinlichkeit, ob ich mal was aktiviere oder nicht.
Speaker0: Das bedeutet jetzt mit der Methode, wie Du dir vorhin erklärt hast, mit dem Zusammenhang zwischen dem Minimierungsproblem und diesem Maximierungsproblem, sag ich jetzt mal, dann müsste es ja mit diesen Regularisierungen eigentlich bei Basion System kein Overfitting geben. Sind die denn da auch wirklich immer regularisiert, so wie Du's grade erklärst? Also wenn ich den Satz von b s anwende
Speaker1: und eben diese die die Rolle von Bedingung und Zufallsvariable so umstelle, dass ich wirklich die Wahrscheinlichkeit nach den Parametern Mhm. Optimiere, dann ist es erst mal regularisiert. Das heißt, ich hab dann quasi bei Design ein regularisiertes Problem. Mhm. Was erst mal gut ist, weil das Overfitting schon mal stark abschwächt. Allerdings, Overfitting kann durch verschiedene Sachen zustande kommen zum Beispiel auch, dass mein Datensatz nicht repräsentativ ist für das komplette Problem, was ich adressiere. Und wenn ich das wenn das der Fall ist, dann hilft mir die Regularisierung auch nur bedingt. Also wenn ich jetzt 1000000 Bilder von nur Hunden und Katzen hab und wende das aber nachher auf auf einen Datensatz an, indem auch Igel vorkommen, dann hilft mir auch die beste Regallorisierung nichts. Dann dann bin ich einfach in sonem Dann dann hab ich dadurch ein Overfiting, dass mein Datensatz nicht repräsentativ ist. Genau, grundsätzlich dann noch als Anmerkung, wenn ich echt viele Daten hab, also im Limit sehr großer Datenmengen unterscheiden sich die Ergebnisse von basian Methoden und nicht basian dann in der Regel nicht mehr oder kaum noch.
Speaker0: Dann kommen wir jetzt zu Erium und beigen methods. Benutzt ihr bei eurer
Speaker1: Arbeit mit Machine Learning? Lass mich mal überlegen. Ja. Ja, wir Das ist euer Steckenpferd. Ja, eigentlich eigentlich machen wir nichts anderes. Also wir benutzen, wir versuchen jedes Problem auf zu formulieren. Mhm. Warum? Zum einen, ich hab's ja grad schon angedeutet, also im Limit vieler Daten ist es meistens nicht mehr so wichtig, ob man betrachtet oder nicht. Aber wir vorher grad in diesem Industriekontext hast Du diesen Luxus meistens nicht, dass Du wirklich so quasi 'n Daten ertrinkst. Nee, ja. Weil Du musst mit dem zurechtkommen, was Du halt was Du halt da hast. Und dann wird so was wie Overfiting und so was natürlich immer gefährlich und dann ist es einfach schön, wenn man das gleich durch diesen basischen Kontext schon mal deutlich reduziert. Und was auch ganz wichtig für uns ist, ist, wir müssen immer auch Modellwissen integrieren. Also wir müssen also 'n bisschen Backgroundinformation über den Prozess aus der Zusammenarbeit mit Experten mit einbringen. Mhm. Und da ist einfach dieses ganze Thema mit konditionalen Wahrscheinlichkeiten das ideale Framework dafür, weil Du dann alles halt korrekt statistisch miteinander gewichtest. Das heißt Ja, wir verwenden es jeden Tag.
Speaker0: Das heißt, es gibt quasi 2 Gegebenheiten, einmal eher wenig Daten vorhanden plus man möchte irgendwie noch das Experten wissen, was ja vorhanden ist. Genau. Also in 1 Automanufaktur sind ja nicht nur, also da sind ja auch absolute Experten da, die ihren Job auch schon lange gut machen. Richtig. Und das möchte man ja auch verwenden und dafür sind dann beigen mess jetzt super geeignet. Aber ganz allgemein, sie haben bringen viele Vorteile mit sich. Also ich hab generell immer die Möglichkeit mal 1 Unsicherheitsquantifizierung.
Speaker1: Das heißt, wie stark sind jetzt meine Parameter wirklich durch die Daten bestimmt? Mhm. Das hab ich ja auch in der Eingangsmessage erwähnt. Also ich kann dadurch, dass ich eine Wahrscheinlichkeit formuliere für meine Gewichte, für meine Parameter, Die Wahrscheinlichkeit hat ja nicht nur ein Maximum. Ja. Sie hat ja ein, das ist ja eine ganze Verteilung. Das heißt, die hat einen Mittelwert, die hat eine Varianz. Mhm. All diese Sachen und die kann ich grundsätzlich auch bestimmen oder wenigstens approximieren. Und dass da drin steckt dann noch mal viel Information. Das heißt, ist zum Beispiel 'n bestimmter Parameter meines neuronalen Netzes extrem stark durch die Daten bestimmt? Also hat das eine ganz geringe Varianz oder ist der mehr oder weniger frei? Mhm. Oh, ich hab eine große Varianz. Natürlich hab ich irgendeinen wahrscheinlichsten Wert, aber eine große Varianz sagt mir, es könnte eigentlich 'n breites Spektrum an Werten sein. Und ich glaub, wir hatten mal bei der im Kontext von Advert Serial Noisdom Genau. Gesprochen, dadurch gewinnt man quasi dieses diese 2. Komponente der Modellunsicherheit. Also nicht nur meine Vorhersageunsicherheit, die quasi aus dieser Modellierung der Vorwärtswahrscheinlichkeit kommt, sondern ich krieg auch noch diese Modellunsicherheit,
Speaker0: die mein System zum Beispiel im Kontext von advisorial noise dann noch mal 'n bisschen robuster macht oder ich hab zumindest vollständigere Informationen über das Verhalten. Genau. Zur Erinnerung, das war der Punkt, wo man quasi gesagt hat, dass der Output vielleicht zwar immer noch falsch ist, aber dafür schießt die Unsicherheit nach oben. Genau. Ob's dann son bisschen den advisorial noise enttarnt, sag ich jetzt mal. Genau.
Speaker1: Und was was auch schön ist, wenn man so in diesem Kontext mit konditionalen Wahrscheinlichkeiten arbeitet oder selbst wenn man das, was man bisher gemacht hat, einfach mal in diesem Kontext nur umformuliert, man kriegt eine Interpretation zu seinen Designentscheidung, ja? Hab ich eine bestimmte Regularisierungsfunktion genommen oder eine bestimmte Kostenfunktion? Das stecken immer, das lässt sich immer mappen auf eine statistische Formulierung. Und dadrin kann einfach viel Wert drinstecken, weil häufig ist es so, wenn man das nicht statistisch betrachtet, na ja, man probiert halt mal so, man probiert halt mal so. Also man man man hat eigentlich wenig Orientierung, warum eine Regularisierung oder Kostenfunktion besser sein sollte als die andere.
Speaker0: Also vielleicht kurz zusammenfassend, dass es bei Basion methods so ist, die großen großen der große Vorteil besteht darin, dass man nicht nur Metainformationen auch noch hinzu implementieren kann oder mit modellieren kann, sondern auch noch weiterhin Metainformationen rausbekommt, die man dann weiterhin benutzt. Du meinst so was wie die Varianz? Genau, perfekt. Also ich nenn jetzt mal Metainformationen, aber ja. Gut, dann Maxim zum Ende hin. Könntest Du unseren Complexity Maestas noch die 3 wichtigsten Faustregeln für das Arbeiten mit beigen Methits verraten? Du als beigen Methits Experte von Erium?
Speaker1: Ja, also oder vielleicht auch einfach so Werbung für jeden, der so Machine Learning macht, das auch mal im Kontext der beigen methods zu betrachten. Also zum einen, weil ich hab's schon 'n paarmal jetzt erwähnt, aber jetzt noch mal ganz klar, die funktionale Form 1 Kostenfunktion entspricht 1 bestimmten Annahme über meine Fehlerstatistik. Ja. Und wenn ich dir, wenn ich dieses Mapping herstelle, dann kann ich überprüfen, macht diese Statistik Sinn? Entspricht das der Beobachteten? Und das kann einfach sehr wertvoll sein, eben die richtige Kosten zweitens, Regularisierung ist eigentlich nichts anderes als die Annahme 1 Apriori Verteilung. Mhm. Und auch die Regularisierungsfunktion, korrespondiert zu 1 funktionalen Form der Apriori Verteilung, auch sehr wichtig. Damit ich halt weiß, gibt es eine kanonische Regularisierung für mein Problem, einfach auf aufgrund der Hintergrundinformation? Und drittens, mit Methoden könnt ihr die Unsicherheit eurer Parameter abschätzen, also wie stark es welches Gewicht von meinen Daten bestimmt. Das sind aus meiner Sicht 3 sehr starke Argumente, Methoden auf jeden Fall mal auszuprobieren. Alles
Speaker0: klar. Dann findet ihr in den Jupiter in den Shownotes wieder eine Jupiter Notebook Datei, indem ihr das selber mal ausprobieren dürft, basian methodits. Und dort wird natürlich auch noch mal erklärt, wie die mathematische wie der mathematische Zusammenhang war zwischen dem Minimierungsproblem und dem Maximierungsproblem, was der Maxime angesprochen hatte. Genau. Das steht dann im. Genau. Sehr gut. Ansonsten sag ich vielen Dank an dich, Maxim. Toll, dass Du wieder dabei warst. Sehr gerne. Und ich würde sagen, Master the Complexity. Damit wir weiterhin für euch, hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.