CAUSAL MACHINE LEARNING – welche Algorithmen eignen sich dafür?

Season 4· 11. Mai 2021· 2355

Episode cover: CAUSAL MACHINE LEARNING – welche Algorithmen eignen sich dafür?
0:002355
  • Dr. Theo SteiningerCo-Founder & CEO at Erium
  • Dr. Maksim GreinerCo-Founder & CTO at Erium

Overview

In this episode of the Erium Podcast, Theo Steininger and Maksim Greiner discuss which algorithms and software packages are suitable for Causal Machine Learning. Alongside a detour into the 'Misleading Statistic of the Week' on the topic of percentages and reference values, they present concrete tools ranging from Microsoft's DoWhy to Pyro/NumPyro and CausalML (Uber) through to Halerium. Self-Organizing Maps (SOMs) are also introduced as the Algorithm of the Week.

Summary

Misleading Statistic of the Week: What Are the 100 Percent?

Maksim Greiner addresses a common problem with percentage figures: relative numbers can sound impressive but say little when the reference value (the '100-percent baseline') remains unclear. The example of cancer risk illustrates this - it can nominally double while remaining vanishingly small in absolute terms. Growth statistics from early-stage startups or marketing campaigns such as 'We'll cover the VAT for you' highlight the same issue: customers who subtract 19 percent from the gross price instead of paying the net price end up with a different amount than the retailer intended. Another example is disinfectants advertised as '99.99 percent effective', where the actually relevant figure would be the number of bacteria remaining.

Causal Machine Learning: No Way Around the Causal Graph

Theo and Maksim clarify that Causal Machine Learning does not necessarily require Bayesian networks, but always needs an explicit graph representation of causal relationships. The core idea: a directed causal graph (nodes = variables, edges = dependencies) is combined with quantitative sub-models, so-called 'metalearners', for individual edges or groups of edges. These metalearners can in principle be any kind of regressor - including Decision Trees - as long as inputs and outputs are correctly derived from the graph.

The approach of Structural Equation Modeling (SEM), originating from the social sciences, also quantifies causal dependencies - typically in a linear fashion by matching covariance matrices from data and model. The key insight: statistics alone contains no causal logic. The causal graph is the necessary add-on.

Algorithm of the Week: Self-Organizing Maps (SOMs)

Theo introduces Self-Organizing Maps, an algorithm used primarily for dimensionality reduction and visualization. The idea: a low-dimensional grid of neurons (e.g. a 2D checkerboard pattern) is 'folded' into a high-dimensional data space in such a way that it covers the data points as well as possible. This allows neighborhood relationships from the high-dimensional space to be read off on a 2D map.

Training does not use backpropagation but instead competitive learning: neurons compete to become the 'Best Matching Unit' for a given data point. Application examples include star classification and music recommendations. Limitations arise with data that has complex topology, such as toroidal distributions. There is also a Bayesian extension that uses probability distributions instead of a single Best Matching Unit.

Package Overview: Which Tool for Which Purpose?

The hosts compare concrete Python packages for Causal Machine Learning along a spectrum from 'quick to deploy' to 'maximum flexibility':

- DoWhy (Microsoft): Low barrier to entry, quick to get started, performs sanity checks on the causal model, but less configurable. - NumPyro (Uber AI Lab, successor to Pyro and PyMC3): Very powerful for Bayesian networks and conditional probabilities, supports interventions via the do-calculus, but requires significant expertise. - CausalML (Uber): Focused on marketing and customer engagement use cases, less generalist. - causalnex (IBM): Allows different regressors to be freely combined as metalearners and embedded in a structured graph. - Halerium (Erium, Munich/Garching): Positioned as the sweet spot between DoWhy and NumPyro. Halerium Core offers Bayesian network functionality with less complexity than NumPyro, while higher abstraction layers enable a quick start similar to DoWhy. The package was long closed source and commercially licensed, but is now open access for research and experimentation, and installable via pip.

Halerium: Open Access and Community Invitation

Theo emphasizes that Halerium is now free to use for scientific purposes and experimentation, including proof-of-concept projects within companies. For production use in larger pipelines, prior consultation is recommended. He explicitly invites the community to contribute feedback and feature requests directly, and points to the documentation as well as links to all discussed packages in the show notes.

Key takeaways

  • Percentage figures are often misleading or meaningless without a clear reference value (the '100-percent baseline').
  • Causal Machine Learning necessarily requires an explicit graph representation of causal dependencies - statistics alone is not sufficient.
  • Any regressor, including Decision Trees, can be used as a metalearner in causal models, provided that inputs and outputs are correctly derived from the graph.
  • Structural Equation Modeling (SEM) from the social sciences is an alternative but related approach to Bayesian networks.
  • Self-Organizing Maps are particularly well suited for dimensionality reduction and visualization of high-dimensional data through competitive learning.
  • The package spectrum ranges from DoWhy (quick to deploy) through CausalML and causalnex to NumPyro (maximum flexibility and depth).
  • Halerium is positioned as the sweet spot between ease of use and deep configurability, and is now open access for research and experimentation.

Conclusion

The episode provides a practical overview of the Causal Machine Learning ecosystem: regardless of which tool is chosen, an explicit causal graph is indispensable. The packages presented cover different levels of complexity, so that both beginners and experienced data scientists can find suitable tools. The tip to try out Halerium via pip for personal experiments makes getting started particularly straightforward.

For Data Scientists and ML Practitioners

The package comparison (DoWhy, NumPyro, CausalML, causalnex, Halerium) helps in choosing the right tool depending on the use case and one's own level of expertise. For quick experiments, DoWhy or Halerium are recommended; for deep Bayesian modeling, NumPyro is the go-to choice.

For Beginners and Students

The explanations of Structural Equation Modeling, metalearner concepts, and Self-Organizing Maps offer an accessible introduction to advanced ML topics without requiring deep prior knowledge.

Show full transcript

Speaker0: So, ich hab die Chance noch fürn Kaffee genutzt. Mhm. Einmal jetzt schnell den Mund verbrennen, damit hinterher die Anmoderation nicht mehr klappt. Ah, okay. Willkommen zu New York Podcasts. So, total, sodass Du den Mund nicht mehr spürst, genau. Gut. Also.

Speaker1: Okay, ready.

Speaker2: Ihr hört the Iram Podcast, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.

Speaker0: Herzlich willkommen zu 1 neuen Folge von die Eriam Podcast. Mein Name ist Theo Steininger und mir remote gegenüber sitzt mein durchtrainierter Kollege Maxim Greiner. Hi Maxim.

Speaker1: Jede Woche ein neues Adjektiv.

Speaker0: Ja, dann warten wir mal auf nächste Woche. Oh Gott. Hallo. Hi, geht's dir gut? Ja, und dir? Ja, bestens. Wunderbar. Wetter ist ziemlich mies, aber ich freu mich auf das Gespräch. Wir haben ja einige coolen coolen Zeug vorbereitet. Und genau, Speaking of Watch, worum geht's heute? Wir gucken uns heute an, welche Tools es gibt, mit denen wir Castle Machine Learning machen können. Wir haben auch für uns 'n bisschen recherchiert. Bevor wir da aber einsteigen, wir haben die Kategorie irreitete Statistik der Woche. Und da wollen wir uns doch wieder mal was angucken, was ein bisschen fragwürdig ist. Hast hattest Du da was?

Speaker1: Ich hätte eher so das Metathema, was sind die 100 Prozent?

Speaker0: Okay, das musst Du mal erklären.

Speaker1: Na ja, man also ich beobachte häufig, dass Also es ist ja immer gut, irgendwie Prozentangaben zu machen. Wir haben irgendwas 10 Prozent gesteigert oder das dein Risiko erhöht sich 100 Prozent, wenn Du das oder das machst, ja? Also gerne irgendwie dein Risiko für, ich weiß nicht, welche Krebsform ist 100 Prozent gesteigert, wenn Du diese oder jene Tätigkeit machst oder so was. Und was halt immer son bisschen dann dem Zuhörer überlassen ist oder dem Leser, okay, was ist jetzt Prozent ist ja eine relative Angabe, die bezieht sich ja auf was, ne. Pro 100, aber 100 was? Also bei so was wie sonem Krebsrisiko zum Beispiel, da kommen häufig dann irgendwelche gigantischen Zahlen und die sich aber beziehen auf eine auf ein verschwindend geringes Grundrisiko, ja? Also Mhm. Okay meinetwegen es ist jetzt okay heißt 100 Prozent das Risiko hat sich verdoppelt, aber es war vorher schon quasi deine leeast Worry unter all den möglichen Arten zu sterben und jetzt ist es immer noch die leeast Worry. Mhm. Und das zieht sich ja generell durch viele Sachen hindurch. Ich glaub, Du hattest mir das mal erzählt Theo mit mit der Mehrwertsteueraktion, dass der Supermarkt dann einfach gesagt hat, ach, ich schenk euch die 2 Extraprozent, nicht die ständigen Diskussionen zu haben. Ach so, ja, ja, ja, genau, genau, genau. Gutes Beispiel.

Speaker0: Da müssen wir, glaub ich, kurz die Zuhörer abholen. Genau, ihr erinnert's euch da bestimmt, es gab doch mal vor 'ner Zeit diese Modeerscheinung der Werbeaktionen. Wir schenken euch die Mehrwertsteuer, ja, 19 Prozent geschenkt. Und worauf Du dich grad beziehst, Maxim ist diese Diskrepanz, oder? Dass quasi dann real nicht 19 Prozent

Speaker1: Genau.

Speaker0: Quasi die oder es wurden nicht die Mehrwertsteuer tatsächlich abgezogen,

Speaker1: sondern es wurden 19 Prozent Rabatt auf den Bruttopreis gegeben. Genau, geben wir's mal kurz durch. Das ist nämlich ein guter Beispiel gutes Beispiel für was sind die 100 Prozent also Mehrwertsteuer ja ein Produkt kostet ein Euro netto und Du bezahlst ein Euro 19 brutto. Das heißt, das sind die 19 Prozent, die auf den Nettopreis aufgeschlagen werden, in dem Fall jetzt 19 Cent. So, wenn Du jetzt wenn jetzt also der Supermarkt sagt, ich erlasse dir die Mehrwertsteuer, würde er wieder einen Euro von dir verlangen. Aber sozusagen der Kunde denkt, Moment, 19 Prozent ist doch die Mehrwertsteuer, also 19 Prozent, wenn ich statt ein Euro 19, ich davon jetzt 19 Prozent abziehe, Genau. Dann gibt er das 'n Taschenrechner ein, quasi mal Bruttopreis mal Also mal 0.81. 0.81 und dann kommen 96 Cent raus, nicht ein Euro. Und der, wenn er dann einen Euro an der Supermarktkasse bezahlen soll, beschwert er sich. Warum? Weil der eine andere 100 Prozent Marke genommen hat als der Supermarkt vielleicht vorher und was Du mir da erzählt hattest mal, ist, dass irgendein Supermarkt dann gesagt hat, ach fuck it, dann zahlt halt 96 Cent. Hauptsache, hier diskutiert nicht jeder an der Kasse 10 Minuten lang

Speaker0: und und die Effizienz geht mit dem Dach runter. Ja, genau, genau. Das war nämlich für mich der Moment, ich hab diese Überschrift gelesen und mir gedacht, oje, das geht in die Hose, mir die Details angeguckt und dann festgestellt, Hut ab, ihr habt's das Problem vorhergesehen und habt's gleich auf die, was sind's, dreieinhalb Cent dann relativ geschissen, ja.

Speaker1: Genau, also Und da muss man halt immer echt schauen. Also was ist gemeint mit der 100 Prozent Marke, weil je nach dem, was man für eine Message transportieren will, ist das halt wird das halt gern mal irgendwo angesetzt, was die Prozentangabe dann höher oder niedriger macht. Da gab's doch auch das nette x-k-c-d mit dem irgendwie ja, Und dann sagt der Typ in dem ExKCD Comic ruft zu seinem Body rüber, hey Frank, Schuhe. Und dann so, ja, okay.

Speaker0: Ja, genau, ja.

Speaker1: So grad bei so Wachstumsstatistiken ist es natürlich immer ja bei etwas, was bisher oder was vielleicht letztes Jahr noch gar nicht existierte. Ich glaub, der Erium Umsatz zwischen 2018 und 2019 ist doch unendlich Prozent

Speaker0: gewachsen. Unendlich. Ja, ja, ja. Genau. Du sprichst da auch was an. Ich glaube keinen Wachstumsstatistiken von sehr frühphasigen Start ups. Alles Bullshit.

Speaker1: Genau. Und und auch grad bei so was wie Wachstum versus Schrumpfen, da ist da auch immer sehr interessant, wo dann die Genau und und auch grad bei sowas wie Wachstum versus Schrumpfen, da ist da auch immer sehr interessant, wo dann die 100 Prozent Marke hingelegt wird. Je nachdem wie man halt die seine Message formulieren würde. So wenn zum Beispiel jemand sagt, wir haben etwas 50 Prozent reduziert, das kann jetzt das kann jetzt auch sehr viel heißen ne also es also sagen wir mal mal hatte irgendwie wir haben ein Risiko 50 Prozent reduziert das Risiko war meinetwegen vorher irgendwie ein Prozent dass irgendwas kaputtgeht Wahrscheinlich wird damit jetzt gemeint sein, dass Sie's das Risiko auf ein halbes Prozent reduziert haben und hoffentlich meint's also das wär natürlich lustig, wenn Sie jetzt absolut Prozentpunkte meinen, das gibt's ja auch gern bei Wahlergebnissen und so was, dass das Risiko jetzt so bei minus 49 Prozent ist. Wahrscheinlich jetzt in dem Fall nicht, Emers Energy Check. Aber es kommt manchmal auch vor, dass damit dann irgendwas gemeint ist. Das Risiko wurde wurde eigentlich nur 2 Drittel, also auf 0.66 Prozent reduziert, was, wenn man die 100 Prozent auf das Ergebnis setzt, dann aber ein diese 50 Prozent auf die Reduktion erklärt, also da wird immer mal wieder gemacht mit der 100 Prozent Marke. Oder mit dem Verwenden von relativen Prozent auf bereits Prozentangaben. Ist okay, aber man muss es halt eigentlich dann sagen, was meine ich jetzt konkret? Was sind meine 100 Prozent? Absolut, absolut. Auf der anderen Seite, also ich erleb da auch oftmals Understatement.

Speaker0: Wenn's drum geht, eine Business Präsentation zu halten und nehmen wir mal das Thema Ausschuss. Du hast Top 1 Kostentreiber Ausschuss bei dir in der Produktion vielleicht und der liegt absolut gesehen bei 3 Prozent. Dann sagst Du, okay, mit unserer Lösung haben wir den Ausschuss 1.5 Prozent reduziert. Er so, hä, ernsthaft jetzt? Und wieso sitz ich hier in diesem Meeting? Und dann sagst Du, ja, Moment, von 3 auf eineinhalb halbiert, meines 50. Und dann sagst Du, wow, ja. Genau. Also Und auch umgekehrt

Speaker1: mit hohen hohen Prozent am besten ihr kennt ja alle diese Desinfektionsprays bei relativ 99 Komma. Ich weiß auch nicht wie viele neuen hinter diesem Komma sind 99.99 Prozent der Bakterien und ihr seht schon, auch ich, wo ich jetzt viel Statistik mache, hab mir nicht gemerkt, wie viele Neuen da stehen. Mhm. Mhm. Weil man einfach so im Kopf hat, ja round about 100 Prozent, aber eigentlich ist ja das Invers interessant. Also bleiben eine pro 10000 oder eine pro 100000 Bakterien übrig da könnte man sich das schon eher merken ja oh es bleiben zehnmal weniger übrig das finde ich hat eine andere Message als wir haben einen neuen hinterm Komma hinzugefügt obwohl's das Gleiche ist. Also Mathematischer, ja genau. Ja, was sind die, also quasi, welchen Teil der Prozentangabe, also das, was übrig bleibt oder das, was weggeht, gibt man an und was sind die 100 Prozent? Das sind Dinge, die im Storytelling manchmal absichtlich und manchmal unabsichtlich gewählt werden. Mhm.

Speaker0: Find ich 'n cooles Beispiel. Wir haben noch eine 2. Kategorie vorbereitet, aber die würd ich vorschlagen, die bringen wir 'n bissel später. Oh nein. Einen kleinen Spannungsbogen aufbauen. Wir gucken uns vom inhaltlichen Thema der Folge heute mal an, welche Algorithmen gibt's denn eigentlich, mit denen man Cost Machine Learning machen kann? Wir haben uns ja in der letzten Folge dieses Coupons Beispiel angeguckt, die Struktur dieser Fragestellung auch zu diskutieren. Mhm. Und wir von unserer Seite her arbeiten natürlich immer mit erst mal von Base herkommend mit Base Netzen, applizieren da den den kausalen Graph drauf. Aber das muss ja vielleicht nicht so sein. Und da einfach mal ganz, ganz offen die Frage an dich in den Raum gestellt, Maxim, gibt's denn noch andere Ansätze, die ich benutzen kann? Muss es immer ein basisches Netz sein? Nein. Das ist nur die meiner Meinung nach Art, das zu formulieren, die halt

Speaker1: jetzt nicht verstanden daran dass Judia Pearl der Erfinder von basion letzten Endes und dann oder diesen Dukkal Kilos mitgeprägt hat wenn nicht sogar gefunden weiß ich jetzt nicht genau was da die genaue Historie ist aber es ist halt sozusagen ein Formalismus, der auf den sich da sehr das sehr leicht aufsetzen lässt. Aber eigentlich kann man hat man da relativ viel Möglichkeiten. Eigentlich ist die Quintessenz, Du kombinierst eine grafische Struktur, also diesen gerichteten Graphen der kausalen Abhängigkeiten dann mit irgendwelchen quantitativen meinetwegen Submodellen, die einzelnen Kanten des Graphen mit, ich sag mal, lieben zu befüllen. Also Okay. Quantitativen Zahlen. Das heißt, Du könntest zum Beispiel Folgendes machen. Du könntest sagen, Du malst dir jetzt einen Graphen auf mit deinen ganzen Kanten und Knoten. Mit die ganzen Kanten sind die Pfeile, die deine Abhängigkeiten zeigen und die ganzen Knoten sind die verschiedenen Parameter, die vorkommen. Und jetzt kannst Du theoretisch für jeden der Pfeile oder beziehungsweise für gewisse Subgruppen der Pfeilen Regressoren trainieren. Wenn Du das wenn Du diese Gruppierungen korrekt machst, dann hast Du hast Du nachher ein 1 Netz von Regressoren, die deine Daten gut erklären. Und wenn Du dann ein irgendetwas schätzen möchtest daraus und zum Beispiel den DuCardilles anwendest und dann weißt Du, aha, bei dem Regressor Regressor muss jetzt das oder das weg. Mhm. Dann kannst Du das auch so machen. Also Du musst natürlich dann immer Du musst letztendlich auf 'nem Blatt Papier dann diesen Grafen mit tracken und immer wissen, welcher Regressor soll jetzt überhaupt abgefragt werden und auch in vielleicht in welcher Reihenfolge, wie in soner Kette hintereinander. Und etwas, wo das son bisschen systematisiert wurde zum Beispiel dieser Ansatz ist, so wie ich es verstanden hab, das.

Speaker0: Mhm.

Speaker1: Und ich glaube, das kommt, das haben wir in unserer Recherche gefunden, das kommt so aus dem Bereich Soziologie und Psychologie, also so Sozialwissenschaften und Social Sciences. Die haben natürlich auch immer schon das Interesse gehabt, was ist Wirkung, was ist Ursache? Korrelationen durch vermeiden und so weiter. Und aus diesem Bereich kommen dann diese Models oder dieses ja SEM, ne, benutzen Sie das ab. Und so wie ich das verstanden hab, ist das letztendlich so ähnlich zu dem, was ich grade gesagt hab. Also Du definierst oder einen oder mehrere Kandidaten für so ein kausales Abhängigkeitendiagramm. Und dann versuchst Du, die die quantitativen Beziehungen zwischen den Parametern entlang der Pfeile deines Abhängigkeitendiagramms zu quantifizieren. Und so wie's mein Eindruck war, in der Regel erst mal linear. Das ist dann schon mal, das ist ja schon mal was. Und die machen das, indem sie schauen, dass oder in den Ansätzen, die ich da so gesehen hab, dass die Kovarianzmatrix aus den Daten und die Kovarianzmatrix, die das Modell ergeben würde, wenn Du, sagen wir mal, gewisse quantitative Beziehungen grade annimmst, dass sie diese Beziehung versuchen zu matchen. Und dann hast Du im nachher dein ja deine letzte deine Verkettung von zum Beispiel linearen Abhängigkeiten die dann dein kausales Modell definieren und dann kannst Du das benutzen

Speaker0: voll cool hältst Du davon? Ich würd sagen, wir klatschen auf jeden Fall mal den Link, den zu dem Wikipedia Artikel in die Shownotes.

Speaker1: Ja, gern. Dass

Speaker0: alle, die schon mal Erfahrung jetzt mit based Netzen gesammelt haben, sich das auch noch komplementär angucken können. Also ich find das immer spannend, die die die Ansätze auch zu vergleichen, die aus unterschiedlichen Domänen kommen. Also jetzt wie wie Du gesagt hast, hier Social Science ist und dann die Gemeinsamkeiten auch mal aufzudecken beziehungsweise sich anzugucken, wo liegen die Unterschiede. Also genau, guckst Du mal rein, wenn ich's richtig verstanden hab, oder? Genau, Wikipedia Link Genau. Gib mir in die Shownotes, cool. Und dann dann dann eine weitere Frage, die mich in dem Komplex auch häufig erreicht. Das ist die, dass na ja, ich möcht's mal eigentlich so einfach wie möglich machen. Und wenn ich jetzt nicht der geborene bin, dann kann ich nicht zum Beispiel einen Decision Tree hernehmen, kausale zu machen. Weil das Argument, das dann häufig ins Feld geführt wird, ist, na ja, Decision Trees, die sind doch so schön verstehbar. Also die sind doch so super und total transparent. Kann ich da nicht auch genau dann eben Rückschlüsse auf die Wirksamhänge ziehen? Was würdest Du da sagen, Maxim?

Speaker1: Ja, auf keinen Fall vom alleine. Aber wenn Du, also was ich vorhin meinte mit denen, Du könntest ja einen Wirkgrafen, deinen kausalen Grafen aufmalen.

Speaker2: Mhm.

Speaker1: Und dann für ja, die richtigen Gruppen von Kanten, Decision Trees aufsetzen. Kurz was mein ich mit die richtigen Gruppen von Kanten? Also sagen wir mal, Du müsstest dir im Prinzip mindestens mal anschauen bei jedem Knoten.

Speaker2: Mhm.

Speaker1: Wie viele Kanten von andere Knoten führen zu ihm hin? Mhm. Mhm. Und dann wären alle dahinführenden also oder die Knoten von den Kanten zu deinem Knoten, den Du grade betrachtest, hinführen. Das wären dann die Inputs für deinen Subregressor und dein Knoten, den Du dir grade anschaust, ist dann der Output. Und solche Grüppchen musst Du dann halt bilden. Das sind dann im Prinzip wie die bedingten Wahrscheinlichkeiten im basischen Netz, ne. Und all das, was da in der also rechts des konditionalen Strichs steht, das sind deine Inputs für den Regressor und was links steht, ist dein Output. Und ich glaub, in dem Kontext nennt man das auch gerne Metalearner. Also wenn Du sagst, Du steckst ein kausales Modell letztendlich zusammen aus Einzelregressoren, dann sind das deine Metalearner. Und die die Idee ist, die können dann vielleicht auch aus dedizierten Studien kommen. Also grad sind Bereich Social Sciences, Du möchtest dann in 'n komplexes Modell bauen und hast gar keine Studie, die das alles auf einmal abbildet. Aber Du hast halt Du isolierst sozusagen deine Metalearner Mhm. Und schaust, haben wir dann dazu irgendwo schon Was gibt's dazu eine Studie oder einen Subdatensatz oder Pipapo. Und da kannst Du auch Decision Trees einsetzen. Aber man muss halt wieder wissen, welchen also mit welchen Inputs und welchen Outputs. Einfach ein globaler Decision Tree kann ich mir jetzt zumindest nicht gut vorstellen, wie man damit dann machen soll.

Speaker0: Ja, also wir kommen nicht drum rum, oder? Eine Graphrepräsentation der Zusammenhänge.

Speaker1: Ich fürchte ja. Aha. Aha.

Speaker0: Ja, alright. Gut, aber das ist, denk ich mal, auch 'n interessantes Learning. Man kommt nicht drum rum, ob ich jetzt einen Ansatz wähle, der das mit sich trägt, so wie jetzt 'n basisches Netz, wo die Struktur dann inhärent enkodiert ist oder ob ich das quasi auf meinem Blatt Papier mittrecke, sei's drum. Aber

Speaker1: an sich muss es muss es getan werden in der auf die eine oder andere Art. Ja, das das hängt einfach mit dem zusammen. Ich glaub, das habe ich letzte oder vorletzter Podcast Folge gesagt, die Statistik allein beinhaltet die kausale Logik nicht. Ja, genau. Und deswegen ist das dieses Add on dieser Graph.

Speaker0: Ja cool sehr spannend machen wir hier mal 'n Cut und steigen in die Kategorie ein die ich vorhin schon angekündigt hatte nämlich was haben wir uns ausgedacht den Machine Learning Algorithmus der Woche zu bringen. Mhm. Was ist die Idee? Und zwar, es gibt eine unendliche Anzahl an Machine Learning Algorithmen und ich mach mir gern meinen Spaß draus, auch einfach mal mich auf Wikipedia treiben zu lassen. Und anstatt auf irgendwelche History- oder verschwörungstheoretischen Seiten zu gehen, guck ich mir dann doch lieber mal gerne auch 'n paar Algorithmen an. Und genau, die die Idee ist, dass wir einfach auch mal paar Algorithmen ins Spiel bringen, die vielleicht nicht so ganz bekannt sind und die einfach mal kurz kurz antiesern, denen eine Bühne zu geben. Und ein Algorithmus und mit dem würd ich sagen, den könnten wir heute mal als Startpunkt nehmen, das sind die. Oh. Hast Du damit schon mal gearbeitet?

Speaker1: Ich muss mich an dieser Stelle outen, ich habe mit den Maps noch nicht gearbeitet und muss sogar beschämend zugeben, dass ich die, also dass ich nie die Mühe investiert hab, die richtig zu verstehen. Deswegen bin ich umso gespannt, ob Du sie mir jetzt noch mal erklärst.

Speaker0: Nee, nächster Punkt. Nee, Quatsch. Also ich kann so viel dazu sagen, back in the Days am Max Planck Institut. 1 1 meiner Kollegen hatte damit mal sehr, sehr coole Arbeiten gemacht Und zwar im Bereich jetzt, ui, das war Classification von Supernovaexplosion oder oder Sternkartografie, also quasi in die Spektralklassen. Worum ging's? Wofür sind die da? Zur vor allem Dimensionalitätsreduktion. Und ich bin ja son alter High Dimensional, auch mal gerne Vorstellendyp, ja, aus der Stringtheorie raus, damals vom Master. Und da fand ich die Idee so cool. Und da vom Master. Und da fand ich die Idee so cool. Und zwar, worum geht's bei den? Du hast neben dem Datenraum noch einen deutlich niedrigerdimensionalen Raum, in dem Neuronen leben. Und die Neuronen, die sind in einem, die Topologie kannst Du dir aussuchen. Also Du könntest Du kannst 'n hexagonales Grid wählen, aber auch einfach jetzt zum Beispiel 'n ortagonales Grid. Also stell dir vor, Du hast irgendwie 100 auf 100 Neuronen und die sind wie in 'nem Schachbrett Muster miteinander verknüpft. Okay. Also jedes Neuronen, außer die am Rand, nach oben, unten, links, rechts. Und damit hast Du eine zweidimensionale, flache Topologie im in diesem zweiten neu eingeführt niedrigdimensionalen Raum. Und was Du jetzt machst, ist, Du versuchst, diese zweidimensionale Topologie in dem hochdimensionalen Datenraum möglichst gut an deine Datenpunkte zu finden.

Speaker1: Also quasi wie ich hab ein Blatt Papier und versuch das jetzt im 3D Raum so zu falten, wenn mein Datenraum dreidimensional wär, so zu bisschen zu knicken und so, dass es möglichst meine Datenpunkte gut berührt wird. Genau, genau, genau, genau, genau. Du kannst dir, wenn Du den Datenraum

Speaker0: noch quasi 3 oder weniger als dreidimensional wählst, kannst Du auch schöne Illustrationen dazu bauen. Du kannst es dir wirklich so vorstellen, diese 2D Topologie, die stülpt sich, wenn du Daten erzeugst, die sich auf 'ner Kugel aufhalten. Also der Datenraum ist dreidimensional, aber die Struktur ist so, dass die eine Sphäre bilden, eine Kugelschale, keinen Wall, oder? Nee, doch genau, das dann Wall. Dann versucht dieses diese Self organising Map sich sozusagen drüber zu falten, Okay. Was die die interessante Konsequenz hat, dass sich am, wenn Du von oben startest her mit der Optimierung, dann gibt's am Südpol der Kugel den Moment, wo sich die Kanten wieder treffen, weil sich das so zusammencrampelt. Und damit bricht der Ansatz am Südpol zusammen, aber Du hast eine coole Eigenschaft gewonnen, nämlich für alle Punkte auf der Kugel, außer jetzt dem pathologischen Südpol, kannst Du Nachbarschaftsbeziehungen dir einfacher gucken und zwar jetzt im zweidimensionalen Raum auf der Karte und nicht mehr im dreidimensionalen.

Speaker1: Okay.

Speaker0: Na ja, ist super cool. Natürlich, das Beispiel mit der Kugel zeigt schon, wo die Grenzen des Ansatzes liegen, nämlich stell dir mal vor, Du hast tory doiale verteilte Daten in deinem in deinem Datenraum. Ja, okay. Ja, da passt einfach die die Mannigfaltigkeit hinten und vorne nicht mehr. Aber für Approximationen, also besser als eine lineare Regression ist es dann allemal. Wenn Du wenn Du einigermaßen Struktur in die Daten hast, die nicht pathologisch ist, dann kann man damit sehr, sehr coole Dinge machen, eben im im Zuge von der Dimensionalitätsreduktion und dann halt für die Visualisierung, weil es cool ist, dein dein dein dein Traum, der ist zweidimensional und zweidimensional kann man gut ausdrucken. Ja, also ist sehr gut für Präsentationen.

Speaker1: Aber was seh ich dann? Ich hab dann die zwei-d- Neuronen. Ich möchte aber meine Daten damit ein darstellen. Quasi würd ich dann auf diesen zwei-d-Raum meine N-d-Daten lokalisieren, das Also sagen wir mal, das sind Personen. Ja. Ja. Dann wirklich auf der 2D Karte, die haben halt eigentlich 10 Eigenschaften, zehndimensional. Ich und ich mappe das auf diesen zweidimensionalen Raum und dann kann ich quasi jeder Person auf dieser 2D Karte sagen, Du sitzt hier, Du sitzt da, mir dadurch anzuschauen, was so die Nachbarschaftsbeziehungen

Speaker0: sind. Exakt. Genau. Es geht drum, eine Nachbarschaftsbeziehung einzuführen. Du könntest es zum Beispiel nutzen, spontanes Beispiel, Du Du Du hast Musik auf dem Streaminganbieter deiner Wahl. Musik hat irre viele Features erst mal rein theoretisch. Also Du kannst dir ja das Spektrum angucken, Geschwindigkeit, Farbtonalität und so weiter. Du brichst es runter auf weniger Dimensionen mit sonem Ansatz, dann quasi eine zu schreiben, was könnte denn als Nächstes gut zu den vorherigen Liedern passen. Okay, okay. Ziemlich cool und vor allem, wer sich da genauer einlesen möchte, da würd ich an der Stelle auch 'n Cut machen. Warum finde ich das auch von der mathematischen Perspektive her interessant? Das Lernverhalten oder dieses Training, wie diese Dinge trainiert werden, ist supercool, weil es kein Training ist, wie jetzt bei einem klassischen neuronalen Netz mit mit Backpropagation, sondern es ist sogenanntes kompetitives Lernen, wo die Neuronen gegeneinander kämpfen. Wer wer sozusagen die der Terminus des Best Matching Unit ist für einen Datenpunkt. Und ich find's spannend, allein schon konzeptionell ist 'n ist eine nette Lesübung mal für den Sonntagnachmittag,

Speaker1: kann ich nur ans Herz legen. Ich fand deine Erklärung jetzt sehr cool, dann hab ich auf jeden Fall mal was gelernt. Dankeschön.

Speaker0: Und es gibt natürlich die Basey Erweiterung. Da arbeitest dann nicht mehr mit Best Matching Unit, sondern mit Distribution, aber das springt, glaub ich, für jetzt den Rahmen. Alright. So, an der Stelle würde ich sagen, lass uns mal da noch zu dem zweiten inhaltlichen Teil der Folge kommen, nämlich würde ich ganz gern mit dir diskutieren, welche konkreten Packages es gibt. Also wir haben ja vorhin diskutiert, welche Ansätze man benutzen kann, Castle Milliliter zu betreiben. Stichwort noch mal Structural Equation Modeling. Aber jetzt sind wir wirklich pragmatisch, ja, aus der aus der Praxis, was kann ich einsetzen? Ich hab mich immer mal bissel umgeguckt und vielleicht magst Du kommentieren, wie aus deiner Sicht Du einschätzt, wo wo jeweils bei den Packages eine Stärke liegt und woraus sich dann eben ableiten lässt, wo man's halt dann eher hernimmt. Mhm. Das 1., worauf ich gestoßen bin, das ist von Microsoft tatsächlich, nämlich heißt das Package. Genau, ist auf ist auf GitHub released. Was ist das fürn Ding?

Speaker1: Also mein Eindruck von ist, dass es schön ist, einfach schnell loszulegen. Du definierst quasi, was ist dein vermutetes kausales Wirkmodell. Ich glaub, der macht dann sogar 'n paar Sanity Checks darauf. Weiß nicht, ob die jetzt zum Beispiel über Deseparation oder so weiter, also mit den Daten, ob das, was Du als kausales Wirkmodell eingegeben hast, auch eine Chance hat zu stimmen. Mhm. Und dann findet der halt irgendwelche Metalearner, ich weiß nicht, ob man die da wirklich auswählen kann. Also das schien mir son bisschen blackboxig in dieser Sache dazu sein, dass es dann einfach dann die Abhängigkeiten lernt und dann kannst Du halt eine bestimmte Klasse an Fragen damit beantworten. Ah, okay. Das heißt, ich glaub jetzt nicht so heily customizable, aber niedrigere Einstiegshürde.

Speaker0: Ja gut. Ja, das ist halt dann einfach der Trade off, oder? Also ich ich krieg was Vorgefertigtes, bin schnell am Start. Ja. Ja. Okay. Mhm. Mhm. Okay. Und in dem Kontext, also was was wir auch vor vor 'ner Zeit mal dann gesehen haben, es gibt ja auch das Package oder also zunächst Piro, dann die Erweiterung auf auf.

Speaker1: Mhm. Ja, das ist letztendlich ja ein Package für bedingte Wahrscheinlichkeiten. Also letztendlich, wenn man so will für basische Netze. Und ein sehr, sehr, sehr mächtiges. Also das sozusagen jetzt die die Sachen wie Pi MC3 und und wie sie alle heißen, beerbt. Mhm. Ist besonders sehr schnell in seinen Kalkulationen. Und Sie haben jetzt zumindest auch den mit drin. Das heißt jetzt nicht nur, es geht nicht nur Wahrscheinlichkeiten, sondern man kann auch sowas wie eine Intervention dann da modellieren es ist aber was für wirklich Experten also da muss man schon glaube ich wirklich was verstehen von basischer Statistik und auch was es da für Lösungsstrategien gibt et cetera pp Also wenn man da richtig tief einsteigen will, da ist da ist dann Lumpiro definitiv 'n sehr cooles Package. Okay, also Aber ich möcht jetzt mal im Nachmittag loslegen und eigentlich möcht ich nur, ich hab hier meine Daten, ich hab hier meinen meinen meine Wirk Vermutungen und möchte loslegen, dann würd ich jetzt nicht sagen, fangen mit an.

Speaker0: Also de facto am anderen Ende des Spektrums oder im Vergleich zu.

Speaker1: Ja, denke schon.

Speaker0: Was ich da spannend finde, wenn ich's richtig gesehen hab, und zwar Nampiro ist jetzt ist Open Source, aber kommt aus dem Uber AI Lab. Und Uber scheint da ziemlich krass zu sein, weil ich da nämlich auch gesehen habe, es gibt noch 'n zweites Package auch von Uber, glaube ich. Das kostet ML, oder? Castle ML, ja genau, genau, genau.

Speaker1: Ja, die kostet ML scheint einen starken Fokus auf so Marketingkampagnen und und Kundenengagement zu haben. Also wir haben ja diesen Coupon Case letzte Folge diskutiert. Also das wäre, glaub ich, son Klassiker für. Mhm. Also für das Package von Uber. Mhm. Da scheint mir der Fokus drauf zu sein, also jetzt auch nicht generalistisches Package, wo jetzt non Pirode ist Extrembeispiel wär, sondern eher Fokus auf 'nem bestimmten Use Case oder eine Klasse von Use Cases. Mhm.

Speaker0: Okay. Und dann hab ich noch gefunden, natürlich muss das vorkommen, wenn's irgendwas zum Thema Data Science und Machine Learning gibt, irgendwas von IBM. Warum sagst Du das so? Na ja, irgendwie, ich weiß nicht. Ich hab sone so so son bissel den Hass auf IBMatson, ehrlich zu sein. Aber aber aber Ja. So viel dazu. Nee, aber jetzt mal hier bezogen auf auf Castle machine learning, es gibt ja diese dieses IBM per Coach.

Speaker1: Ja, das ist eigentlich ganz nett, weil das, was ich am Anfang erwähnt hatte, Du kannst ja dir dann sagen, Du Du zeichnest dir deinem Papier, auf Papier deinen Grafen auf und dann benutzt aber für die Subbestandteile davon Regressuren deiner Wahl. Und genau diesen Ansatz verfolgt. Also dass zum Beispiel die Algorithmen, die's so gibt, einfach da drin verwendest und sagst, ich möcht jetzt Ich glaub, Du kannst sogar verschiedene kombinieren, sagen, möcht jetzt die, ich möcht hier irgendwie linear oder hier möcht ich oder so was aus verwenden, dann, und das macht ja quasi das, diesen übergeordneten strukturierten Graphen zu ja, also zu erlernen, sag ich jetzt mal. Also benutzt quasi andere Metalearner, wie sie in diesem Kontext dann gerne genannt werden, deinen großen Graph zusammenzubauen. Also wäre wie son Rapper da drumrum für diesen Ansatz, den ich vorhin geschildert hab. Auch 'n ganz nette Idee.

Speaker0: Mhm. Und, es gibt eine Firma, die auch 'n sehr, sehr cooles Package entwickelt hat. Ist son Münchner Start-up, die sitzen in Garching. Und das Package heißt HALYERYOM. Uns da einordnen in dieser Range, ja? Also wenn wenn wir uns das angucken, was wir jetzt da für eine für eine Range auch skizziert haben zwischen und?

Speaker1: Ja, ich würd's, es gibt quasi Halerium Core, das geht so bisschen in die Richtung von Nampiro, nicht ganz so krass, nicht ganz so komplex, also bisschen leichter zu bedienen und dafür ist es jetzt vielleicht für die Big Data Anwendungen nicht ganz so schnell. Und dann gibt's da auf quasi der nicht Chor Ebene gibt's dann Instrumente, die von der Idee so wie Dubai sind. Definier einfach deine Wirkketten, gib mir die Daten und das Package lernt das dann für dich und Du kannst dann deine Fragen stellen. Das heißt, wir versuchen da ja den Douy Teil zu bedienen durch convenience Klassen und die numb piro Welt aber auch zu eröffnen. Das heißt, wenn Du wirklich weißt, ich kenne die genaue Abhängigkeit zwischen solchen Größen. Ich hab da ein Naturgesetz vielleicht sogar oder so was. Ich kann das komplett definieren, ja? Das die Flexibilität wollen wir dem Nutzer eben auch geben sind aber jetzt nicht so wie numbyre dass wir irgendwie 7000000 Distributionen unterstützen sondern beschränken uns da auf einige praktische

Speaker0: Ja, also ich denke, das beschreibt's aber auch ganz gut. Ja, dieses dieses pragmatische beschränken auch auf die Features, die ich brauche, in der Praxis den Wahl ins Rollen zu bringen, dass ich auch als Ingenieur damit arbeiten kann. Oder? Im Endeffekt als als auch Maschinenbauer mit 'n bisschen Python Erfahrung bin ich mit HALYRIUM eigentlich am Start.

Speaker1: Genau, mit dem mit der Ebene, die so Richtung Dubai geht. Genau. Konveniencesachen und dann musst Du halt nicht gleich super Hardcore basion Data Scientist sein das benutzen zu können

Speaker0: jo also ich hab schon sone leichte Präferenz für Herr Larry muss ich muss ich sagen vielleicht bin ich da bissel gebeißt

Speaker1: Vielleicht.

Speaker0: Vielleicht. Aber an der Stelle, also ich denke, die die die Übersicht, die dürfte hilfreich sein, wenn man das mal ausprobieren möchte und sich nicht ganz sicher ist, an welchem Ende des Spektrums das mal einsteigen möchte. Also Dubai sehr, sehr schneller Start, Nan Pyro sehr tief unten, HALYRIUM meines Erachtens genau am Sweet Spot und wichtig wichtig hinzuzufügen. Und da möchte ich auch ein bisschen Werbung machen, beziehungsweise auch einfach nur Awareness schaffen, dass es es gibt. Alyrium war lange Zeit closed source und auch nur zugänglich, wenn ich einen richtig dicken Batzen Geld auf den Tisch lege. Und wir haben uns jetzt entschlossen, dort die Tore ein bisschen zu öffnen. Und HALYRIUM ist nach wie vor nicht Open Source, aber es ist Open Access für alles, was in der Wissenschaft passiert und wenn ich Experimente durchführen möchte. Das heißt, auch wenn ich jetzt Data Scientist bin in 'ner Firma und ich möchte mal 'n Experiment aufsetzen, dann erlauben die Lizenzbedingungen das total stressfrei, das einfach mal zu nutzen. Wenn's dann drum geht, das in eine größere Pipeline einzubauen, dann sollten wir noch mal miteinander sprechen. Aber ich möcht hier ganz klar an alle Komplexity mehr als das die Einladung aussprechen. Ihr könnt HALYRIUM nutzen, ihr könnt es frei benutzen, auch ohne irgendwelche Haken oder anwaltliche Einfach über Pip installieren. Und genau, einfach über Pip installieren. Ich würd sagen, wir klatschen auch die Dokumentation, den Link zur Dokumentation in die Shownotes. Ja, auch packages, die wir grad diskutiert haben, oder? Alle Packages, ja genau. Und es wird einen Link geben, der bisschen prominenter platzieren muss. Genau, genau, genau. Und wenn ihr da Feedback habt seht, dann zeig gerne, ja. Also das ist ja das Schöne, wir haben hier keinen Konzern, da wo man irgendwo einen Crazy Chef davon erst über 5 Budgetrunden davon überzeugen muss, dass man aber irgendwas macht. Wir haben hier 2 Crazy Chefs, die sehr schnell von von coolen Ideen zu überzeugen sind. Also an alle Complexity Masters, wenn ihr da Feedback für uns habt, Featurewünsche jederzeit gerne durchschicken. Jo, in diesem Sinne möchte ich nur noch ermuntern, wenn euch der Podcast gefällt, dann drückt's gern bei Spotify auf abonnieren. Wir achten da sehr drauf, wie sich die die Zahlen entwickeln, welche Themen noch interessieren. Wir nehmen das ernst. Abonniert unseren Podcast und ich würde mich freuen, wenn ihr das nächste Mal wieder dabei seid. Denkt's an die Meetups jeden Dienstag 16 bis 17 Uhr Data Science Meetup auf Meetup dot com in München suchen. Und Maxim, ich freu mich auf die nächste Podcastfolge mit dir. Ich mich auch. Sag in diesem Sinne, Mastery Complexity.

Speaker2: Jeden Dienstag erscheint eine neue Folge von The Erium Podcast. Auf dem Laufenden zu bleiben, folgt uns auf Facebook, Instagram, Twitter und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.

More episodes from season 4 →