Bayesian Methods

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
Overview
In this episode of the Erium Podcast, Dr. Maksim Greiner joins host Dr. Theo Steininger to explain what Bayesian Methods are and why they are so valuable for machine learning and data science. Using clear, illustrative examples, they explore how conditional probabilities, Bayes' theorem, regularization, and uncertainty quantification are connected - and why Erium applies this approach in practice every day.
About the guest
Dr. Maksim Greiner is Co-Founder at Erium and is recognized within the team as a leading expert in Bayesian Methods. He brings a deep statistical and mathematical foundation to Erium's applied machine learning work and regularly employs Bayesian approaches in industrial projects where data is limited and expert knowledge must be systematically integrated.
Summary
What Are Bayesian Methods? - Probability Trees in Machine Learning
Bayesian Methods refer to techniques in which a problem is formulated as a chain of conditional probabilities - similar to the probability trees taught in school, but arbitrarily deep and complex. The goal is always to estimate or learn unknown parameters using known quantities. Probabilities are always context-dependent: the same observation leads to different assessments depending on background information - as illustrated by the vivid cinema example, in which long hair can indicate a woman or a man depending on the context.
Neural Networks as Statistical Models - The Link Between Cost Functions and Probability Distributions
At its core, a feed-forward neural network models a conditional probability: the probability of observing a particular output given a particular input and the network weights. If this distribution is parameterized as a normal distribution, the maximization problem (maximum likelihood) directly yields the familiar quadratic cost function used in network training. This establishes a direct one-to-one mapping between the choice of cost function and a statistical assumption about the error distribution - an important insight for deliberate model design.
Bayes' Theorem and Prior Distributions - How Regularization Emerges
Bayes' theorem allows the question to be inverted: instead of the probability of the output given the weights, one seeks the probability of the weights given the data. To do this, a prior distribution over the weights must be specified - that is, an assumption about how the parameters are distributed before any data has been observed. This prior distribution corresponds directly to a regularization term in the cost function: a normally distributed prior corresponds to L2 regularization (favoring small weights), while an exponential distribution corresponds to L1 regularization (favoring sparse weights). Dropout layers can also be interpreted within this framework as a Bernoulli distribution.
Reducing Overfitting - But Not Eliminating It Entirely
Because Bayesian Methods automatically produce regularization when Bayes' theorem is applied consistently, overfitting is significantly reduced compared to classical approaches. However, they do not solve the problem completely: if the training dataset is not representative of the target problem - for example, if a model was trained only on dogs and cats but later needs to classify hedgehogs as well - even the best regularization techniques offer only limited help. In the limit of very large datasets, Bayesian and non-Bayesian methods differ very little.
Practice at Erium - Integrating Expert Knowledge and Quantifying Uncertainty
Erium uses Bayesian Methods in its day-to-day work because industrial projects typically operate with limited amounts of data while valuable expert knowledge is available that should be systematically incorporated. The Bayesian framework makes it possible to formally introduce this process knowledge as a prior distribution. Another key advantage is uncertainty quantification: instead of obtaining only a point estimate for parameters, an entire distribution is obtained - including variance. This makes it possible to see how strongly individual network weights are actually determined by the data, and it produces a model uncertainty that is helpful in cases such as adversarial noise, where the model's uncertainty increases accordingly.
Three Rules of Thumb for Getting Started with Bayesian Methods
Dr. Maksim Greiner summarizes the three most important insights: First, the functional form of a cost function always corresponds to a specific assumption about the error statistics - establishing this mapping helps in choosing the appropriate cost function. Second, regularization is nothing other than the assumption of a prior distribution, and the choice of regularization function can be traced directly back to a prior distribution. Third, Bayesian Methods allow the uncertainty of the learned parameters to be estimated, making it possible to assess how strongly each weight is truly determined by the data.
Key takeaways
- Bayesian Methods formulate machine learning problems as chains of conditional probabilities and make statistical assumptions explicit.
- The choice of a cost function always corresponds to a specific assumption about the error statistics - a quadratic cost function corresponds to a normal distribution.
- Regularization is the direct consequence of a prior distribution over model parameters: L2 corresponds to a normal distribution, L1 to an exponential distribution.
- Bayesian Methods structurally reduce overfitting, but cannot prevent it entirely when the dataset is not representative.
- In industrial applications, the Bayesian framework enables the formal integration of expert knowledge as prior information.
- Uncertainty quantification via parameter distributions provides model uncertainty as a second layer of information - particularly valuable with limited data and adversarial noise.
- In the limit of very large datasets, Bayesian and classical ML methods converge and produce results that differ very little.
Conclusion
Bayesian Methods offer a powerful and principled perspective on machine learning: they make implicit assumptions behind cost functions and regularization explicit, enable the integration of prior knowledge, and deliver reliable uncertainty information alongside predictions. They are a central tool especially in industrial projects with limited data and available expert knowledge.
For ML Practitioners
Anyone already training neural networks should examine their cost functions and regularization methods through the Bayesian lens - this creates clarity about statistical assumptions and helps in making better design decisions.
For Domain Experts and Business Leaders in Industry
In scenarios with limited data and available expert knowledge - such as in manufacturing or the automotive industry - Bayesian Methods provide a structured way to formally incorporate that knowledge and obtain more robust models.
Show full transcript
Speaker0: Wie stark sind die Gewichte 1 neue Netzwerks durch den Datenbestand bestimmt? Und warum erfreuen sich beigen methods immer größerer Beliebtheit? Erfahrt es jetzt in dieser neuen Ausgabe von The Ihrem Podcast. Und damit herzlich willkommen zu 1 neuen Ausgabe von The Erian Podcast. Zu meinem großen Glück sitzt heute mir gegenüber der Maxime. Toll, dass Du da bist. Hallo, Jagro. Schön, dass ich da sein darf. Und heute soll's mal beigen methods gehen oder oder beigen methods.
Speaker1: Könntest Du für uns kurz einordnen, was damit genau gemeint ist mit beigen methods? Also ganz grob gesagt, beigen methods sind einfach Methoden, mit denen ein Problem als Verkettung von konditionalen Wahrscheinlichkeiten formuliert wird. Das könnt ihr euch bisschen so vorstellen, ihr hattet vielleicht in der Schule, in Statistik immer diese Wahrscheinlichkeitsbäume gemalt. Mhm. Ist eigentlich genau das. Ich ich splitte ein größeres Problem in in immer in Einzelschritte runter. Und das sind eigentlich konditionale Wahrscheinlichkeiten.
Speaker0: Und das heißt, das ist quasi wie diese Baumdiagramme in der Schule, nur vermutlich noch beliebig kompliziert. Genau, beliebig tief, beliebig komplex und danach immer mit dem Ziel,
Speaker1: da drin da drin unbekannte Parameter irgendwie durch die Bekannten zu schätzen, zu lernen derart.
Speaker0: Das im Gedächtnis der Hörer noch mal vielleicht kurz aufzufrischen, den Begriff kennen, glaub ich, alle, aber könntest Du noch mal kurz klären, was sind denn bedingte Wahrscheinlichkeiten oder konditionale Wahrscheinlichkeiten?
Speaker1: Ja, gerne. Also der Witz ist, dass Wahrscheinlichkeiten eigentlich immer kontextabhängig sind. Also die Wahrscheinlichkeit, die ich an der Sache zuweise, ist immer von der Hintergrundinformation abhängig. Mhm. Nehmen wir mal 'n Beispiel. Also ihr seid im Kino und da ist irgendwie eine Schlange von Menschen und ihr seht, da hat jemand sein, da fällt jemand 'n Ticket runter. Und jetzt hebt ihr das Ticket auf, ihr seht von der Person nur den Rücken und wollt jetzt sagen, ja, gute Frau, guter Mann, Sie haben ihr Ticket verloren. Und über die, was was sag ich 'n? Okay, dann was was macht ihr? Nehmt erst mal die Informationen auf. Okay. Jetzt stehen da Jaguar und ich nebeneinander. Wir haben dieses Ticket in der Hand und überlegen, Mann oder Frau, was sagen wir? Und ich sag, ja okay, also ich sehe lange Haare, wahrscheinlich eine Frau. Spricht ja dann erst mal die Wahrscheinlichkeit dafür, das heißt meine Wahrscheinlichkeit, die ich dem Ganzen jetzt zuweise, wäre, sagen wir mal, keine Ahnung, 70, 30, dass es eine Frau ist. Ja. So, Jago aber, der schaut, hm, das ist eine Schlange, in der sind nur Männer. Aha, es ist die Schlange zum Männerklo. Mhm. Okay, das heißt, was sagt mir das? Es könnte natürlich auch immer noch eine Frau sein, die, weil die Schlange beim Frauenklo noch länger ist, jetzt aufs Männerklo geht, aber wahrscheinlich ist es dann doch ein Mann mit langen Haaren und Jaguar sagt dementsprechend nicht 70, 30 folgende Frau, sondern sagt 70, 30 für einen Mann trotz der langen Haare. Einfach, weil wir verschiedene Backgroundinformations, verschiedene Kontextinformationen dazu haben.
Speaker0: Und bedingte Wahrscheinlichkeiten drücken das einfach nur explizit aus. Das heißt, Kontext beziehungsweise die Umgebung, in der ich mich befinde, beeinflusst auf jeden Fall auch die Wahrscheinlichkeit.
Speaker1: Auf jeden Fall. Im am Ende des Tages sind dadurch Wahrscheinlichkeiten, obwohl sie rational konstruiert werden, irgendwo wieder subjektiv, weil jeder andere Hintergrund, wo man Genau. Hat. Das Schöne ist aber, Sie geben uns einen Kontext, indem ich formal trotzdem damit korrekt weiterrechne.
Speaker0: Für mich klingt das jetzt zunächst erst mal son bisschen nach 'ner Themaverfehlung, ehrlich zu sein. Das ist son bisschen der Nebenerwer, wie soll's so hier hier Data Science und Machine Learning gehen. Ach so. Warte, wir vielleicht schon Podcast. Im Wahrscheinlichkeitstheorie Podcast von Erium. Nee, es geht ja geht Data Science und Machine Learning. Was hat das damit zu tun? Wo findet das dann tatsächlich Anwendung? Tatsächlich ist es am Ende des Tages ist Machine Learning tatsächlich angewandte Statistik. Gehen wir das mal an 'nem Beispiel durch.
Speaker1: Nehmt euch mal 'n ganz normales Feed forward Neural Network. Was das eigentlich macht, ist, es modelliert mir eine konditionale Wahrscheinlichkeit, nämlich welche. Es die Wahrscheinlichkeit, einen gewissen Output zu sehen unter der Bedingung, also konditional zu, ich habe einen gewissen Input und ich habe gewisse Parameter, die mein Netzwerk zum Beispiel beschreiben.
Speaker0: Was genau kann man sich unter diesen Parametern vorstellen? Weil also was ist das in dem Kontext? Die Gewichte im Die Gewichte im Netz zum Beispiel. Ah ja, die Gewichte beim Neuronanetz.
Speaker1: So und jetzt hab jetzt möcht ich also so 1, jetzt hab ich so eine Verteilung, die muss ich jetzt ja irgendwie parametrisieren. Typischerweise würde ich sie als Normalverteilung parametrisieren. Der Mittelwert der Normalverteilung ist dann eben genau das Ergebnis meines neuronalen Netzes Mhm. Und die Standardabweichung zum Beispiel 1. Und mein Fittingproblem ist jetzt, ich suche die Parameter, die mir diese bedingte Wahrscheinlichkeit, also die Wahrscheinlichkeit, bei diesem Input genau diesen Output zu sehen, maximiert.
Speaker0: Mhm.
Speaker1: Und jetzt muss ich 'n bisschen mathematischer werden. Also wenn wir dann diese Normalverteilung hernehmen und den negativen Logarithmus bilden Okay, okay. Dann
Speaker0: Da muss ich da muss ich jetzt kurz anders gesehen. Ich ich glaub, ich weiß, worauf Du da hinauswillst. Und Vorschlag, wir lassen das auf das, wir lassen das für das Jupyter Notebook. Okay. Und da da kann man das dann auch schön alles in Latex runterschreiben und so. Ja, nee. Nicht, dass jemand jetzt beim Autofahren mitschreibt und Genau. Okay. Ich also ich glaub dir, dass man mithilfe von mathematischem Können da auf jeden Fall vorankommt.
Speaker1: Okay, aber wo schreibt's euch in den Shownotes. Worauf es hinausläuft, ist, ich hab's jetzt als Wahrscheinlichkeitsverteilung, als Normalverteilung formuliert und wenn ich dann dieses Maximierungsproblem, also ich suche die die wahrscheinlichste Konfiguration, dann ist das genau das Gleiche wie das Minimierungsproblem beim Trainieren 1 neuronalen Netzwerks. Ich hab genau diese gleiche quadratische Kostenfunktion,
Speaker0: die ihr ja wahrscheinlich alle kennt. Also da besteht ein direkter Zusammenhang zwischen Ganz genau.
Speaker1: Und dieser Zusammenhang, der zeigt mir etwas auf, nämlich hinter der Wahl meiner Kostenfunktion steckt eigentlich eine statistische Annahme. Denn die Tatsache, dass es eine quadratische Kostenfunktion ist, kommt genau daher, dass ich eine Normalverteilung genommen hab. Hätte ich eine andere Kostenfunktion, wär's eine andere Wahrscheinlichkeitsverteilung oder eben umgekehrt bei 1 anderen Wahrscheinlichkeitsverteilung eine andere Kostenfunktion. Und da gibt's ein quasi One to One Mapping
Speaker0: und das sagt mir also, ich habe letztendlich immer in meiner Wahl, meiner Kostenfunktion eine Annahme über meine Federstatistik. Jetzt hattest Du ja zu Beginn erwähnt, dass wir es mit 1 Verkettung von Wahrscheinlichkeiten zu tun haben, also dieses Baumdiagramm. Aber jetzt haben wir ja nur eine Wahrscheinlichkeit, also diese dieses Wahrscheinlichkeit für Output bedingt Input und Parameter. Mhm. Wo wie geht's jetzt weiter? Also wir hatten ja eigentlich eine Verkettung angegeben. Genau, wir haben jetzt ja Schritt 1 gemacht. Wir haben dieses Fittingproblem als Wahrscheinlichkeit formuliert. Okay, ja, was haben wir daran gewonnen? Ja, okay, ein bisschen hier so, aber Mhm. Das Schöne ist, wir können jetzt diesen Formalismus nutzen und weitere Ebenen hinzufügen. Und wie schauen die genau aus? Also diese diese Ebene macht man einfach nur noch mal das Gleiche oder?
Speaker1: Gehen Spinnen wir einfach das Beispiel weiter. Also wir möchten ja die Gewichte unseres neuronalen Netzes lernen. Mhm. Und was das ja eigentlich bedeutet, ist, wenn man jetzt mal überlegt, wie würde ich diese Frage formulieren, dann ist doch diese Frage, ich hätte gern eine Schätzung meiner Gewichte gegeben, meine Input- und Outputdaten. Mhm. Die Wahrscheinlichkeit, die ich vorhin beschrieben hab, war aber die Wahrscheinlichkeit für die Output Daten gegeben die Inputs und die Gewichte. Ja. Das heißt, ich möchte das eigentlich son bisschen neu sortieren. Ja. Und das kann ich eben mit dem Satz von genau machen. Mhm. Und da werde ich aber feststellen, aha, ich muss eine Frage noch beantworten, was ist meine A priori Verteilung, also die Verteilung, bevor ich Daten gesehen habe, zu meinen Gewichten?
Speaker0: Mhm. Und
Speaker1: das zwingt mich quasi, deine Antwort auf diese Frage zu geben und von dieser Antwort hängt die Regularisierung ab. Das ist ganz interessant. Wenn ich also sage, ich glaube, bevor ich Daten gesehen hab, dass meine Parameter, meine Gewichte normal verteilt sind, dann ist das eine l-zwei-Regularisierung. Mhm. Nur mal so als Beispiel.
Speaker0: Kurz da zur Eingang, mal 'n bisschen zu refreshen, was macht der Satz von Baiers? Der gibt mir quasi oder Base, der gibt mir quasi eine Methode, wie ich die innerhalb meiner Wahrscheinlichkeit, also angenommen, ich wir hatten ja zunächst einmal Wahrscheinlichkeit für Output bedingt Input Parameter. Und zwar, wie Du schon richtig gesagt hast, der Satz vom Base lässt mich das jetzt umsortieren. Genau. Ich kann Bedingungen und und und also die die zufallsverteilte Größe und die Bedingungen, die kann ich umsortieren. Genau. Also wir möchten jetzt nicht die Parameter als Bedingung haben, sondern als
Speaker1: das, wofür wir die Wahrscheinlichkeit finden möchten. Genau. Und wenn ich das jetzt machen mache, meine Gewichte finden, dann hab ich eben nachher gleich 2 Ebenen, nämlich die a priori Verteilung für die Gewichte. Also was glaube ich, in welcher Größenordnung bewegen sich die Gewichte? Was haben die für eine Verteilung, bevor ich überhaupt Daten mir angeschaut habe? Mhm. Und dann eben diese vorhin beschriebene Verteilung für die Output Daten. Ja, genau. Da hab ich jetzt schon quasi 2 Ebenen drin und ich könnt nach der gleichen Methodik immer mehr Ebenen einziehen.
Speaker0: Jetzt hattest Du ja noch einen Begriff reingeworfen und zwar Regularisierung. Genau. Könntest Du den an der Stelle vielleicht noch mal klären? Na klar. Also
Speaker1: worum geht's? Warum macht man das? Es man hat ja immer dieses Overfiting Problem, ja? Wenn ich wenn ich meinen mein neuronales Netz oder eigentlich egal welches Machine Learning Konstrukt, zu stark an die Daten anpasse. Dann laufe ich in die Gefahr, dass ich nicht mehr abstraaktionsfähig bin und quasi, wenn ich dann mal Testdaten drauf anwende, eigentlich nur Crab draufkriege. Okay. Also Overfitting ist einfach das Problem, wenn ich jetzt meine Daten zu sehr quasi mit einfach zu sehr mich an die anpasse, dann dann krieg ich da dadurch Probleme. Und es eine Möglichkeit, das zu bekämpfen, ist eben die Regularisierung. Mhm. Das heißt, ich packe in meine Kostenfunktion noch einen Term rein, der quasi einfach nur die Gewichte konservativ halten will. Mhm. Was man gerne nimmt, ist die l-zwei-Regularisierung und die entspricht genau 1 a priorinormalverteilung meiner Gewichte. Was was sagt die uns? Letztendlich sagt die, versuch bitte, die Gewichte eher kleinzuhalten. Also versuch, dein deine deine dein Netzwerk so zu trainieren, dass Du eher mit kleineren Gewichten zurechtkommst. Ein anderes, was es gibt, ist die L1 Regularisierung, die korrespondiert zu 1 Exponentialverteilung, also Anpieori Verteilung. Und die sagt im Prinzip so was wie, halte die Also halte lieber einige Gewichte bei 0 und versuch mit weniger Gewichten zurechtzukommen. Also mit weniger von 0 verschiedenen. Und was anderes, was ihr vielleicht kennt auch, ist diese Geschichten mit den Drop out Layers.
Speaker0: Okay.
Speaker1: Da möchte ich jetzt nicht zu tief drauf eingehen, weil das 'n bisschen länger braucht zu erklären, aber das ist das da gibt's auch eine korrespondierende Verteilung, nämlich sone Art Bernoulli Verteilung, also die Wahrscheinlichkeit, ob ich mal was aktiviere oder nicht.
Speaker0: Das bedeutet jetzt mit der Methode, wie Du dir vorhin erklärt hast, mit dem Zusammenhang zwischen dem Minimierungsproblem und diesem Maximierungsproblem, sag ich jetzt mal, dann müsste es ja mit diesen Regularisierungen eigentlich bei Basion System kein Overfitting geben. Sind die denn da auch wirklich immer regularisiert, so wie Du's grade erklärst? Also wenn ich den Satz von b s anwende
Speaker1: und eben diese die die Rolle von Bedingung und Zufallsvariable so umstelle, dass ich wirklich die Wahrscheinlichkeit nach den Parametern Mhm. Optimiere, dann ist es erst mal regularisiert. Das heißt, ich hab dann quasi bei Design ein regularisiertes Problem. Mhm. Was erst mal gut ist, weil das Overfitting schon mal stark abschwächt. Allerdings, Overfitting kann durch verschiedene Sachen zustande kommen zum Beispiel auch, dass mein Datensatz nicht repräsentativ ist für das komplette Problem, was ich adressiere. Und wenn ich das wenn das der Fall ist, dann hilft mir die Regularisierung auch nur bedingt. Also wenn ich jetzt 1000000 Bilder von nur Hunden und Katzen hab und wende das aber nachher auf auf einen Datensatz an, indem auch Igel vorkommen, dann hilft mir auch die beste Regallorisierung nichts. Dann dann bin ich einfach in sonem Dann dann hab ich dadurch ein Overfiting, dass mein Datensatz nicht repräsentativ ist. Genau, grundsätzlich dann noch als Anmerkung, wenn ich echt viele Daten hab, also im Limit sehr großer Datenmengen unterscheiden sich die Ergebnisse von basian Methoden und nicht basian dann in der Regel nicht mehr oder kaum noch.
Speaker0: Dann kommen wir jetzt zu Erium und beigen methods. Benutzt ihr bei eurer
Speaker1: Arbeit mit Machine Learning? Lass mich mal überlegen. Ja. Ja, wir Das ist euer Steckenpferd. Ja, eigentlich eigentlich machen wir nichts anderes. Also wir benutzen, wir versuchen jedes Problem auf zu formulieren. Mhm. Warum? Zum einen, ich hab's ja grad schon angedeutet, also im Limit vieler Daten ist es meistens nicht mehr so wichtig, ob man betrachtet oder nicht. Aber wir vorher grad in diesem Industriekontext hast Du diesen Luxus meistens nicht, dass Du wirklich so quasi 'n Daten ertrinkst. Nee, ja. Weil Du musst mit dem zurechtkommen, was Du halt was Du halt da hast. Und dann wird so was wie Overfiting und so was natürlich immer gefährlich und dann ist es einfach schön, wenn man das gleich durch diesen basischen Kontext schon mal deutlich reduziert. Und was auch ganz wichtig für uns ist, ist, wir müssen immer auch Modellwissen integrieren. Also wir müssen also 'n bisschen Backgroundinformation über den Prozess aus der Zusammenarbeit mit Experten mit einbringen. Mhm. Und da ist einfach dieses ganze Thema mit konditionalen Wahrscheinlichkeiten das ideale Framework dafür, weil Du dann alles halt korrekt statistisch miteinander gewichtest. Das heißt Ja, wir verwenden es jeden Tag.
Speaker0: Das heißt, es gibt quasi 2 Gegebenheiten, einmal eher wenig Daten vorhanden plus man möchte irgendwie noch das Experten wissen, was ja vorhanden ist. Genau. Also in 1 Automanufaktur sind ja nicht nur, also da sind ja auch absolute Experten da, die ihren Job auch schon lange gut machen. Richtig. Und das möchte man ja auch verwenden und dafür sind dann beigen mess jetzt super geeignet. Aber ganz allgemein, sie haben bringen viele Vorteile mit sich. Also ich hab generell immer die Möglichkeit mal 1 Unsicherheitsquantifizierung.
Speaker1: Das heißt, wie stark sind jetzt meine Parameter wirklich durch die Daten bestimmt? Mhm. Das hab ich ja auch in der Eingangsmessage erwähnt. Also ich kann dadurch, dass ich eine Wahrscheinlichkeit formuliere für meine Gewichte, für meine Parameter, Die Wahrscheinlichkeit hat ja nicht nur ein Maximum. Ja. Sie hat ja ein, das ist ja eine ganze Verteilung. Das heißt, die hat einen Mittelwert, die hat eine Varianz. Mhm. All diese Sachen und die kann ich grundsätzlich auch bestimmen oder wenigstens approximieren. Und dass da drin steckt dann noch mal viel Information. Das heißt, ist zum Beispiel 'n bestimmter Parameter meines neuronalen Netzes extrem stark durch die Daten bestimmt? Also hat das eine ganz geringe Varianz oder ist der mehr oder weniger frei? Mhm. Oh, ich hab eine große Varianz. Natürlich hab ich irgendeinen wahrscheinlichsten Wert, aber eine große Varianz sagt mir, es könnte eigentlich 'n breites Spektrum an Werten sein. Und ich glaub, wir hatten mal bei der im Kontext von Advert Serial Noisdom Genau. Gesprochen, dadurch gewinnt man quasi dieses diese 2. Komponente der Modellunsicherheit. Also nicht nur meine Vorhersageunsicherheit, die quasi aus dieser Modellierung der Vorwärtswahrscheinlichkeit kommt, sondern ich krieg auch noch diese Modellunsicherheit,
Speaker0: die mein System zum Beispiel im Kontext von advisorial noise dann noch mal 'n bisschen robuster macht oder ich hab zumindest vollständigere Informationen über das Verhalten. Genau. Zur Erinnerung, das war der Punkt, wo man quasi gesagt hat, dass der Output vielleicht zwar immer noch falsch ist, aber dafür schießt die Unsicherheit nach oben. Genau. Ob's dann son bisschen den advisorial noise enttarnt, sag ich jetzt mal. Genau.
Speaker1: Und was was auch schön ist, wenn man so in diesem Kontext mit konditionalen Wahrscheinlichkeiten arbeitet oder selbst wenn man das, was man bisher gemacht hat, einfach mal in diesem Kontext nur umformuliert, man kriegt eine Interpretation zu seinen Designentscheidung, ja? Hab ich eine bestimmte Regularisierungsfunktion genommen oder eine bestimmte Kostenfunktion? Das stecken immer, das lässt sich immer mappen auf eine statistische Formulierung. Und dadrin kann einfach viel Wert drinstecken, weil häufig ist es so, wenn man das nicht statistisch betrachtet, na ja, man probiert halt mal so, man probiert halt mal so. Also man man man hat eigentlich wenig Orientierung, warum eine Regularisierung oder Kostenfunktion besser sein sollte als die andere.
Speaker0: Also vielleicht kurz zusammenfassend, dass es bei Basion methods so ist, die großen großen der große Vorteil besteht darin, dass man nicht nur Metainformationen auch noch hinzu implementieren kann oder mit modellieren kann, sondern auch noch weiterhin Metainformationen rausbekommt, die man dann weiterhin benutzt. Du meinst so was wie die Varianz? Genau, perfekt. Also ich nenn jetzt mal Metainformationen, aber ja. Gut, dann Maxim zum Ende hin. Könntest Du unseren Complexity Maestas noch die 3 wichtigsten Faustregeln für das Arbeiten mit beigen Methits verraten? Du als beigen Methits Experte von Erium?
Speaker1: Ja, also oder vielleicht auch einfach so Werbung für jeden, der so Machine Learning macht, das auch mal im Kontext der beigen methods zu betrachten. Also zum einen, weil ich hab's schon 'n paarmal jetzt erwähnt, aber jetzt noch mal ganz klar, die funktionale Form 1 Kostenfunktion entspricht 1 bestimmten Annahme über meine Fehlerstatistik. Ja. Und wenn ich dir, wenn ich dieses Mapping herstelle, dann kann ich überprüfen, macht diese Statistik Sinn? Entspricht das der Beobachteten? Und das kann einfach sehr wertvoll sein, eben die richtige Kosten zweitens, Regularisierung ist eigentlich nichts anderes als die Annahme 1 Apriori Verteilung. Mhm. Und auch die Regularisierungsfunktion, korrespondiert zu 1 funktionalen Form der Apriori Verteilung, auch sehr wichtig. Damit ich halt weiß, gibt es eine kanonische Regularisierung für mein Problem, einfach auf aufgrund der Hintergrundinformation? Und drittens, mit Methoden könnt ihr die Unsicherheit eurer Parameter abschätzen, also wie stark es welches Gewicht von meinen Daten bestimmt. Das sind aus meiner Sicht 3 sehr starke Argumente, Methoden auf jeden Fall mal auszuprobieren. Alles
Speaker0: klar. Dann findet ihr in den Jupiter in den Shownotes wieder eine Jupiter Notebook Datei, indem ihr das selber mal ausprobieren dürft, basian methodits. Und dort wird natürlich auch noch mal erklärt, wie die mathematische wie der mathematische Zusammenhang war zwischen dem Minimierungsproblem und dem Maximierungsproblem, was der Maxime angesprochen hatte. Genau. Das steht dann im. Genau. Sehr gut. Ansonsten sag ich vielen Dank an dich, Maxim. Toll, dass Du wieder dabei warst. Sehr gerne. Und ich würde sagen, Master the Complexity. Damit wir weiterhin für euch, hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.