CAUSAL MACHINE LEARNING – Use Cases aus der Praxis

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
Overview
In this episode of the Erium Podcast, Theo Steininger and Maksim Greiner discuss concrete real-world use cases for Causal Machine Learning. Using a synthetic supermarket coupon scenario and a process industry example, they show why it makes a fundamental difference whether one accounts for causal structures or relies purely on correlation-based analyses.
Summary
Misleading Statistics of the Week: Vaccine Protection and the South Africa Variant
To kick things off, the two analyse an article from the Frankfurter Rundschau whose original headline suggested that the South African coronavirus variant B.1.351 was more contagious for vaccinated people than for unvaccinated people. Maksim Greiner explains the underlying statistical misunderstanding: the cited study merely examined whether vaccinated individuals who were infected more frequently carried the South African variant (compared to the British one) than unvaccinated individuals who were infected. This is something entirely different from the claim conveyed in the headline that vaccine protection is negative. In reality, the overall probability of infection remains significantly lower for vaccinated people. The article was later renamed - but the old clickbait headline remained in search engine indices, which Theo describes as a deliberate or unconscious pattern in such media articles.
Supermarket Coupon Case: When Correlation Leads Astray
The central example presented is a synthetic yet realistic dataset: household income, fuel turnover, supermarket turnover, and coupon usage frequency of customers. The data was collected under a 'pull principle' - customers actively sought out coupons themselves. A purely statistical analysis yields a confusing correlation: customers who frequently use coupons (90% of purchases) have on average significantly lower annual turnovers (e.g. 2,200 euros) than customers who rarely use coupons (e.g. 4,800 euros). A hasty conclusion would be: coupons harm revenue, so they should be abolished. The real explanation lies in household income as a confounder: wealthier customers search for coupons less often while simultaneously spending more. The negative correlation between coupon usage and revenue therefore reflects the income effect, not a negative coupon effect.
Judea Pearl's Ladder of Causation: From Observation Through Intervention to Counterfactuals
The three rungs of Judea Pearl's Ladder of Causation are worked through using the coupon example. At the level of observation (prediction), the model delivers misleading forecasts because coupon usage implicitly encodes household income. At the intervention level, the question is answered of what happens when coupons are actively sent to customers via push. In the do-calculus, the causal path from household income to coupon usage is severed: coupon assignment no longer depends on income. The result reverses - customers receiving frequent push coupons generate slightly more revenue (e.g. 2,500 euros) than customers receiving infrequent push coupons (e.g. 2,300 euros). At the counterfactual level, finally, an estimate is made for a specific, known customer of what their revenue would have been had they been sent more or fewer coupons. Here, individual deviations from the model's expected value are retained in order to preserve the specificity of that particular customer.
The Sign Reversal as the Core of the Difference
Theo and Maksim emphasise: the difference between correlative prediction and causal intervention analysis is not a marginal phenomenon here, but a sign reversal. While the prediction suggests that coupons reduce revenue, the causal intervention calculation shows that coupons increase revenue. For business practice, this means: a wrongly made decision actively burns money, while a correctly made one deploys it with a positive impact on revenue and profit. The example also shows that for clean statistical control (e.g. holding household income constant), one ultimately needs a causal graph intuitively anyway - making it more consistent to also use one formally.
Process Industry: Causality in Closed Control Loops
As a second use case, the two outline the process industry (e.g. oil refineries, power plants). There, past target variables (e.g. temperatures) influence current control variables, which in turn determine future target variables - a closed control loop. Classical machine learning frequently assumes uncorrelated training data, which is not the case here. Crucially, when simulating an intervention (e.g. manually changing a control parameter), the do-calculus formally 'cuts out' the control logic: the influence of past target variables on the control parameter to be changed is severed. Without this awareness, backward propagations in the probabilistic model can lead to completely distorted simulation results.
A Thought Exercise for the Community: Causal Modelling Against Discrimination
As an open question, Theo and Maksim suggest: can causal structures help to specifically eliminate discrimination effects in machine learning systems? In the background lies the real problem that training data can contain discriminatory patterns (e.g. place of residence as a proxy for migration background) that reproduce themselves in decision-making systems for loans or insurance. At the same time, such criteria are prohibited by regulation. Listeners are invited to send in their assessments and links to relevant papers.
Key takeaways
- Correlation-based analyses can lead to sign reversals in recommendations for action - what appears negatively correlated can, after causal analysis, have a positive effect.
- The do-calculus (Judea Pearl) formalises what would intuitively be necessary anyway: severing causal paths when simulating interventions.
- Confounders such as household income can completely mask and even reverse the true effect of a measure (e.g. coupons).
- In the process industry, closed control loops create dependencies between data that can systematically mislead classical machine learning.
- Counterfactual analyses make it possible to capture individual deviations from the model for individual customers or cases and to calculate hypothetical scenarios.
- Even without a formal causal graph, data scientists must implicitly account for causal structures - making it more consistent to model them explicitly.
- Statistical headlines frequently confuse conditional probabilities in different directions - a fundamental problem for data-driven communication.
Conclusion
The episode illustrates clearly that causal machine learning is not merely an academic end in itself, but produces fundamental differences in real business decisions. Whether in retail marketing or in the process industry: anyone who plans interventions while relying solely on correlations risks not merely suboptimal, but actively harmful decisions. Becoming aware of causal mechanisms - even without a fully formal model - is the first and most important step.
For Data Scientists and ML Practitioners
The example makes clear why the do-calculus, or at least an explicit causal graph model, is indispensable for intervention questions - pure feature control is not sufficient when the causal direction is unclear.
For Business and Marketing Decision-Makers
Coupon and pricing decisions based on correlations can produce the exact opposite of the intended effect; collaboration with causal modelling pays off as soon as interventions are being planned.
For Engineers and Experts in the Process Industry
Closed control loops require particular care when modelling simulation scenarios - explicitly cutting out the control logic via causal intervention calculation systematically prevents distorted predictions.
Show full transcript
Speaker0: Handy noch auf lautlos. Outlook zu. So. Alter, wie viel Quatsch, dass man offen hat. Das geht's echt nicht.
Speaker1: Manchmal starte ich meinen Computer einfach nur neu, weil es schneller ist, als alle Sachen zu schließen. Echt jetzt?
Speaker0: Okay, bereit? Mhm.
Speaker2: Ihr hört, die IRIUM Podcast, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.
Speaker0: Herzlich willkommen zu 1 neuen Folge von die Eriam Podcast. Mein Name ist Theo Steininger und mir remote gegenüber sitzt mein bezaubernder Kollege Maxim Greiner. Hi Maxim. Zugütig von dir. Vielen Dank. In der Folge, die wir jetzt grade anpacken, werden wir uns auf konkrete Use Cases konzentrieren. Und zwar wollten wir illustrieren, abgesehen von den sehr trivialen und lustigen Beispielen, bei welchen Use Cases, vor allem halt dann aus der Realität, aus der Praxis, wo es wirklich 'n Unterschied macht, ob man kausale Strukturen mitberücksichtigt oder ob man sich rein auf korrelationsbasierte Analysen verlässt. Und bevor wir da einsteigen, wir haben natürlich wieder die irreitete Statistik der Woche mitgebracht. Und seitdem wir das letztes Mal diskutiert haben, dieses Beispiel mit, muss ich beliebt sein, ein guter Kanzler zu sein? Ja. Ja, genau. Seitdem seh ich dieses Muster ständig. Ah. So viel. Ja, ja, ja, richtig. Das ist und das ist wirklich schlimm. Und zwar ganz konkret wieder Politik, nämlich dieses Mal Annalena Baerbock, ja. Man kritisiert oder versucht ja da jetzt einen Angriffspunkt zu finden, dass sie keine Regierungserfahrung hat. Ja, und sie macht jetzt wieder diesen doppelten Umkehrschluss und sagt, na ja, wenn Erfahrung alles wär, dann könnten wir einfach bei der Großen Koalition bleiben. Ja, ist natürlich erlaubt ihr wieder in keinerlei Hinsicht den Rückschluss, dass keine Erfahrung dann irgendwie weiterhilft, aber gut. Richtig. So, aber für diese Woche. Und zwar das hattest Du ausgegraben, ja. Genau. Ein Artikel, ich ich les den wieder kurz vor, nämlich in der Frankfurter Rundschau. Die Titelzeile war südafrikanische Variante B11315 für Geimpfte ansteckender als für Ungeimpfte. Yay. Na, da muss man sich mal auf der Zunge ziehen lassen, Südafrikanische Variante B 1 3 5 1 für Geimpfte ansteckender als für Ungeimpfte. So, das zerlegen wir jetzt und ich kann gleich mal die die die Spannung vorwegnehmen. Die haben mittlerweile den Titel geändert. Ah, haben Sie 'n bisschen weglash bekommen, ja. Genau, aber aber bevor ich verrate, wohin Sie ihn verändert haben, lass uns mal kurz das zerlegen. Also wenn Du das liest, das 1. Mal, Maxim, wie interpretierst Du diese Aussage? Also was was kommt dir sofort in in in
Speaker1: ins Bewusstsein? Na ja klar, wenn Sie sagen südafrikanische Variante b irgendwas ist für Geimpfte ansteckender als für Ungeimpfte, dann bedeutet das ja gegeben, ich bin geimpft und gegeben, die Variante ist die südafrikanische, dass die Wahrscheinlichkeit, dass ich mich infiziere, höher ist als gegeben, ich bin nicht geimpft und die Variante ist Südafrika. Und das wär natürlich 'n starkes Stück. Das würde bedeuten, der Impfschutz ist negativ.
Speaker0: Ja, genau.
Speaker1: Und das Schöne war ja, die beziehen sich da natürlich auf irgendeine wissenschaftliche Studie. Und was steht in der wissenschaftlichen Studie? In der steht, gegeben, Du bist geimpft und gegeben, Du bist trotzdem infiziert. Dann ist die ist die Wahrscheinlichkeit, dass Du die Südafrika Variante hast gegenüber der britischen Variante, also in Israel wurde die Studie, glaub ich, gemacht, höher als gegeben, Du bist ungeimpft und gegeben, Du bist infiziert. Das heißt, gegeben, Du bist infiziert, ist ein ganz wichtiger Punkt, egal wie unwahrscheinlich das ist. Aber das ist die Voraussetzung für diese Statistik. Und da natürlich so ein munteres Vertauschen von Konditionen und Zufallsgröße ist natürlich maximal fahrlässig.
Speaker0: Also ich fand's hammerhart, ja. Dementsprechend die die die, also wie Du sagst, die haben da wahrscheinlich Feedback gekriegt oder irgendein seriöser Redakteur hat sich da doch noch mal dazwischengeklemmt. Mittlerweile heißt nämlich dieser Artikel Coronastudie, Doppelpunkt, Impfschutz gegen Südafrika Variante leicht geringer.
Speaker1: Genau. Ja. Und das ist halt auch schon mal, denn ganz wichtig ist, die Statistik zeigt nach wie vor, dass die Wahrscheinlichkeit zu infizieren, egal ob mit der Südafrika Variante oder mit 1 anderen Variante, ist, wenn Du geimpft bist, deutlich kleiner, als wenn Du nicht geimpft bist. Aber na ja, man kann ja mal munter rumtauschen, sondern über die Wahrscheinlichkeit.
Speaker0: Clickbaity. Genau. Ja, ja, ja, ja. Was mir in dem Kontext auch mal aufgefallen ist, und zwar, da kann man mal drauf achten. Und zwar genau bei bei den Artikeln, bei denen der Titel geändert wird. Häufig wird es dann vergessen, aha, die alte Clickbait Überschrift, die die Suchmaschinen indizieren, zu ändern. Mhm. Das heißt, Du kriegst bei Google News nach wie vor die Clickbait Variante vorgeschlagen. Dann kriegen die den Klick und dann können Sie sagen, na ja, ist ja ist doch richtig, also hier nicht Clickbait formuliert. Mal drauf achten. Also wenn wenn sich die Überschrift auf einmal verändert, da wurd zufällig vergessen, hier die die die Titel an allen Stellen Stellen zu ändern. Ja, hart. Also ich bin mal gespannt, was ich jetzt die kommende Woche nicht mehr anziehen kann, nachdem ich die Variante hier kenn. Alter. Oh, man. Steigen wir mal ein oder ins eigentliche Thema in der Folge, nämlich Beispiele. Das finde ich immer sehr, sehr cool, vor allem, weil man sich dran festhalten kann, die Grundprinzipien dann noch mal schnell in der Praxis bereitzuhalten. Und ich würd Folgendes vorschlagen, nämlich dass wir uns an den Stufen von Julia Purd orientieren, wo er ja durch diese 3 Kategorien, wir haben's das letzte Mal diskutiert, sprich die Counterfactials, wie ihr das durchdekliniert. Und vielleicht magst Du, bevor wir da quasi diese Aufsplittung machen, einmal den Case an sich, also sozusagen das Setting und den Use Case beschreiben, den wir uns da überlegt haben, das möglichst gut zu illustrieren. Sehr gerne. Worum geht's da genau? Also kurz vorweg, der Case, den ich jetzt vorstell,
Speaker1: das ist 'n synthetischer Case, aber der illustriert einfach, da kann man sehr schön erkennen, was so diese Effekte sind und zwischen Beobachtung, Intervention, Counter Factsual und so weiter. Und der orientiert sich schon an entsprechenden Real Life Szenarien. Es geht hier den Fall, ich möchte Haushaltseinkommen und Umsätze in einem Supermarkt und Verwendung von Coupons und Relation bringen. Stellt euch vor, ihr habt folgenden Datensatz. Ihr habt von 1000 Haushalten meinetwegen oder einhundert, ist jetzt erst mal egal, habt ihr das Jahreshaushaltseinkommen. Ihr habt den Jahrestankumsatz. Ihr und dann habt ihr für den Supermarkt die Filiale, die euch interessiert, den Umsatz in diesem Supermarkt und die Quote, also der die ja genau, die Frequenz, in der dabei Coupons benutzt wurden beim Einkaufen. Also zwischen niemals 0 und immer 1.
Speaker0: Okay. Also quasi son klassischen Payback Datensatz. Ich track das Kaufverhalten von meinen Kunden und krieg irgendwoher noch dieses Haushaltseinkommen
Speaker1: raus. Genau, da könnte man sich jetzt vorstellen, dass es zum Beispiel, weil die irgendwie für Extrapunkte sich noch 'n bisschen Gläsern gemacht haben oder so was, ja. Das wird man jetzt nicht bei jedem Kunden haben, dieses Datum. Beim Wald- und Wiesenkunden hat man wahrscheinlich dann nur die Umsätze und die Coupongebote. Aber für einige Auserwählte hat man halt dieses Haushaltseinkommen. Mhm. Mhm. Und das ist dann auch sehr interessant oder wichtig, dass man das hat. Wichtig ist noch, die Daten wurden erhoben in 1, also in dem Szenario, dass die Coupons wurden von den Kunden selbstständig gesucht. Also Stichwort Pull Prinzip. Das heißt, man hat halt in die Lokalzeitung geschaut oder im Internet aktiv danach gesucht, dann halt gegebenenfalls eben einen Coupon zu finden. Und wenn man fleißig war, wird man schon immer irgendwas gefunden haben.
Speaker0: Oder man fängt sich in den Virus ein.
Speaker1: So oder so. Man kommt zu einem Ergebnis. So jetzt hat man diesen Datensatz und was man jetzt gerne eruieren möchte ist, würde es Sinn machen, die Coupon Strategie umzustellen? Denn da anstatt dieses, dass die ja irgendwo überall rumflattern und wer danach sucht, findet vielleicht einen. Wie wär es denn, wenn man eine App einführt und den Benutzern der App son Coupon einfach direkt zuschickt? Oder meinetwegen man schafft es durch quasi eine Outreach Kampagne Push Prinzip quasi 1 gewissen oder jedem Kunden bei zu 1 gewissen Prozentzahl seiner Einkäufe eine Coupon zu verpassen. Und das möchte man gern untersuchen, was da dieser Effekt wäre. Und jetzt gehen wir mal so die das die Stufen von Judiaprint durch also die 1. Das ist ja das ja beobachten letztendlich und und Vorhersagen also die Prediction wenn ich mit diesen Daten die ich gerade angesprochen habe wenn ich da einfach die statistische Auswertung mache meinetwegen über Korrelationen oder auch überall etwas komplizierteres ich möchte vorhersagen, wenn jemand ein öfter Coupons benutzt, was wird denn dann sein Umsatz sein im Vergleich zu, wenn er seltener Coupons benutzt? Und wenn man das mit so einem Datensatz macht, dann findet man folgendes Phänomen. Das jetzt nehmen wir mal an, wir vergleichen einfach 2 Kunden. Bei dem einen sagen wir, der benutzt in 90 Prozent der Feldcoupons und bei dem anderen sagen wir, der benutzt in 10 Prozent der Feldcoupons. Und dann werden wir erstaunlicherweise feststellen, dass die Vorhersage für den, der also für den Umsatz dessen, der in 90 Prozent der Fälle Coupons benutzt, ist der vorhergesagte Umsatz deutlich geringer als bei dem der fast nie Coupons benutzt. Also das heißt, das klingt so im Moment, das heißt mit Coupons kauft ihr kaufen die Leute weniger ein. Eigentlich würde man doch erwarten, wenn ich 'n also das im Durchschnitt, wenn die Leute 'n Coupon haben, dass sie dann etwas mehr einkaufen.
Speaker0: Du redest jetzt von absoluten Umsatzzahlen oder? Genau. Also mhm.
Speaker1: Also machen wir mal Zahlenbeispiel irgendwie der mit 90 Prozent Couponverwendung, der hat einen Umsatz in den Laden gebracht oder statistisch im statistischen Mittel würde der Umsatz in den Laden bringen von 2200 Euro in die in dem Jahr in dem Supermarkt und der der fast die Coupons verwendet 4800
Speaker0: Euro
Speaker1: und das ist ja erstmal total verwirrend wie kann das sein oder man greift den kurzen Strohhalm und sagt okay ja dann geben wir halt keine Coupons mehr raus Genau, das wäre dann natürlich die der Trugschluss, wenn man dann sagt, okay, Coupons haben offensichtlich einen negativen Effekt. Die Korrelation wäre ja auch negativ zwischen Umsatz und Couponverwendung. Dann macht's vielleicht Sinn, alle Coupons abzuschaffen. Jetzt ist es aber so, wenn man sich jetzt mal jetzt wieder in diese Wirkmechanismen versteht, also 'n bisschen schon jetzt versucht ein kausales Modell aufzusetzen. Na ja, die Leute, jetzt kommt das Haushaltseinkommen ins Spiel, die ein hohes Haushaltseinkommen haben, die werden im Durchschnitt seltener nach Coupons aktiv suchen. Einfach weil sie es weniger nötig haben vielleicht auch weniger Zeit haben das heißt ich habe auch eine Korrelation zwischen dem Haushaltseinkommen und der Couponverwendung und das heißt in der Statistik passiert dann folgendes wenn ich die Vorhersage mache auf Basis der Frequenz in der jemand guck mal verwendet dann sage ich eigentlich auch ob bewusster oder unbewusst sein Haushaltseinkommen vorher und ja höheres Haushaltseinkommen führt halt zu höheren Umsätzen. Also geringe weniger Coupon Verwendung bedeutet höheres höheres höheres höheres Haushaltseinkommen höheres höhere Umsätze, was eine größeren Effekt hat als quasi der Bonus oder Malus der Couponverwendung. Mhm. Mhm. Das ist das und das ist auch vollkommen korrekt als, ja, das ist nicht falsch. Aber es kann halt zu Trugschlüssen führen, wenn ich über eine Intervention nachdenke, wie möchte ich Coupons immer den Leuten quasi aufs Auge drücken oder nicht? Und quasi da aus diesem Paradox auszubrechen, muss ich eine Stufe weiterklettern in Julia Pearls Leiter, nämlich zur Intervention. Also what if, was würde passieren, wenn, das ist ja die Frage, was würde passieren, wenn ich die Coupons aktiv raushaue? Und dafür muss ich dann brauch ich mal brauch ich einen kausalen Graphen, das erst mal machen zu können. Das heißt, ich muss jetzt erst mal den Graphen aufbauen, indem ich sagen würde, okay, abhängig vom Einkommen hängt es ab, ob jemand also wie viel jemand einkauft und wie viel jemand Coupons verwendet und auch wie viel jemand tankt das da kommen wir aber später noch drauf zurück und dann gibt's noch die Abhängigkeit ob jemand also abhängig davon wie oft jemand Coupons verwendet hat das auch noch mal einen Einfluss auf seinen Umsatz aber der Umsatz wird also von 2 Dingen beeinflusst vom Haushaltseinkommen und dem den Couponverwendung Und die Couponverwendung wird beeinflusst von Haushaltseinkommen in diesen 4 Parameternmodell. So, wenn ich jetzt nach der Intervention frage, was wie würde sich das der Umsatz verändern, wenn ich einen Coupon aktiv aushändige mit 1 gewissen Frequenz? Dann, wenn ihr euch an die letzte Folge erinnert, bedeutet das, ich schneide den zum Coupon führenden Einfluss jetzt weg. Das heißt, durch diese Intervention hängt Couponverwendung nicht mehr vom Haushaltseinkommen ab. Zumindest, sondern ich die Intervention mache. Mhm. Das bedeutet, dass diese Zahlen, wenn ich dann sage 90 Prozent Coupon als Intervention, hat das keinerlei Auswirkung auf das Haushaltseinkommen. Also dann würde quasi eine also ein der Schätzwert fürs Haushaltseinkommen dann einfach der globale Mittelwert sein und nicht mehr beeinflusst von dieser Couponszahl, die ich nehme. Aber die Vorwärtspropagation, die bleibt erhalten unter der Intervention. Das heißt, der Einfluss des Coupons auf den Umsatz, der würde erhalten bleiben. Und wenn wir dann in unser Zahlenbeispiel zurückgehen, ich würde dann mit jemand nutzt, jemand kriegt zu 90 Prozent oder 90 Prozent seiner Einkäufe kriegt davor per Push den Coupungen, dann würde der einen Umsatz zum Beispiel von 2500 Euro machen. Und der, der nur in 10 Prozent der Fälle 'n Kuckungen geschickt kriegt, würde vielleicht nur 2300 Euro Umsatz machen. Im Mittel mit wo man jetzt davon ausgehen würde, das hat er hat doch das mittlere Haushaltseinkommen. Oder beide haben jetzt in diesem Interventionsszenario das gleiche Haushaltseinkommen, beide meine virtuellen Kunden. Während Sie ja bei der Vorhersage unterschiedliche Haushaltseinkommen implizit geschätzt bekommen hätten aufgrund der Verbindung Coupon Nutzung und Haushaltseinkommen.
Speaker0: Genau.
Speaker1: Und ja, das ist halt, da kann man halt in in saubere Trugschlüsse kommen, wenn man rein statistisch vorgeht und sich nicht dessen bewusst ist, was man da grad für Abhängigkeiten hat. Man kann natürlich versuchen innerhalb der Statistik, ich könnte sagen, ja, nein, nein, nein, nein, ich möchte jetzt bitte die Vorhersage gegeben, gewisse Kuppmannutzung und auch Haushaltseinkommen festgehalten. Ja, dann komm ich auch in die richtige Richtung. Aber ich muss das halt wissen, was ich festhalte und was nicht. Und das kann ich eigentlich nur anhand 1 Wirk, also 1 kausalen Graphen vernünftig entscheiden.
Speaker0: Mhm. Mhm. Also man man muss sich des kausalen Grafen so oder so bewusst werden, diese Entscheidung überhaupt zu fällen und dann bin ich eigentlich schon so weit. Ja, genau. Dann warum dann nicht gleich sauber durchziehen. Ja. Ja, und wenn Du dann dann schneidest und schneidest und schneidest durch den Datensatz, dann gehen die auch irgendwann die Datenpunkte aus, oder? Wenn Du's rein datengetrieben hast, schon. Natürlich, wenn Du 1 1 1 Modell daran fittest, dann sagen wir irgendwie
Speaker1: oder sonst was, dann kannst Du natürlich dann beliebig schneiden. Aber wo Du dann jetzt, ich hab ja vorhin gesagt, wir haben ja auch diesen Tankumsatz. Da jetzt noch den mit reinbringen willst und zwar jetzt machen wir es mal kompliziert Du möchtest vor für einen Kunden dessen Tankumsatz Du kennst Beobachtung möchtest Du jetzt voraussagen, was wäre der erwartete Umsatz für diesen Kunden, wenn Intervention ich ihm Coupons schicke oder ihm Coupons verweigere? Jetzt sind beide Konzepte gemischt. Mhm. Mhm. Jetzt wird's dann also im Du Kalkilus kein Problem, okay? Also Intervention auf den Coupon, schneid die Verbindung von Haushaltseinkommen zu Coupon weg, löst dein bedingtes Wahrscheinlichkeitsproblem, fertig. Wenn Du jetzt aber da rein statistisch, okay, Du, mich musst Du doch das Haushaltseinkommen festhalten, das rein statistisch zu machen. Aber dann vervier ich doch die Information vom Tankumsatz, ja? Dann muss ich quasi wenn, dann müsst ich's jetzt 2 Spalten. Ich müsste jetzt erst mal Haushaltseinkommen aus Tankumsatz vorhersagen, dann an diesem Wert festhalten und dann wieder versuchen, die Prädiktion zu machen von Haushaltseinkommen und Coupon auf den Umsatz. Dann wird auch wieder 'n Shoot draus, aber ihr seht schon, ich muss jetzt 2 Schritte machen und auch ganz genau wissen, was halt dich fest, was nicht. Ich muss eigentlich wieder in in Gedanken einen kausalen Graph bilden und den dann quasi teile- und herrschemäßig in normale Statistikprobleme zerlegen. Und im Du Kalkulus schneidet das weg, was zu deiner Intervention führt und löst die bedingten Wahrscheinlichkeiten. Wunderbar elegant.
Speaker0: Ja, also ich seh das so, ja, der Du Kalkulus, der übernimmt einfach die formalen Schritte, die man ansonsten per Hand implementieren und zu Fuß gehen muss. Genau. Ja, klar. Klar, Du kannst es per Hand implementieren, aber Du machst jetzt sauschnell einen Fehler. Und die richtig interessanten Use Cases, eben wie das, was Du beschrieben hast, ich sehe, ah, okay, Kunde tankt so und so viel. Jetzt muss ich die Entscheidung fällen. Kriegt ihr über die whatever Points App kriegt ihr jetzt den Coupon ja oder nein? Genau. Dann habe ich genau diese Anforderung.
Speaker1: Genau. Und ja, noch mal also der Unterschied zwischen dem der Intervention und der Prädiktion der war das war 'n Vorzeichenwechsel. Wir hatten ja vorhin das Beispiel gesagt, was hab ich mit Die Zahlen gesagt waren glaub ich 2800 Euro wäre der Umsatz in der Prädiktion für den, der fast nie Coupons verwendet und 2200 in der Prädiktion für den, der fast immer Coupons verwendet. Also viel weniger Umsatz für den, der fast immer Coupons verwendet. Aber ich hatte umgekehrte Vorzeichen, also 2300 und 2500 in den Fällen, wo es bei Intervention passiert. Also einfach heftiger Unterschied.
Speaker0: Ja, und und vor allem also, sich das auf der Zunge zergehen zu lassen, das ist verbrenne ich jetzt mit soner Couponaktion einfach mal aktiv Geld oder setze ich das Geld Umsatz und damit am Ende auch profitwirksam ein? Genau. Also ist Und Da geht's jetzt nicht nur 3 oder 4 Prozent Optimierung, wie das ja häufig in Machine Learning Use Case ist, sondern wirklich wie Du sagst, 'n Vorzeichenwechsel. Wechseln. Ja, es ist eine Fundamentalentscheidung.
Speaker1: Ich meine, natürlich wird jeder, der aus dem Business kommt, dann bei der Prädiktion sich denken, Moment, lieber Data Scientist, hast Du denn das und das und das beachtet? Und dann kommt man vielleicht irgendwie iterativ dahin. Also viele Wege führen immer nach Rom und Corsa Calkiosk ist nicht der einzige aber in in solchen Fällen dann doch der mit dem man seine Gedanken am besten sortieren kann wir haben noch die 3. Stufe von Juderba Also dieses oder das Counter factsual? Das wäre jetzt, ich habe jetzt einen gewissen Kunden. Und der hat der ist einfach dieser Kunde, Punkt, ja? Ja und der hat eine gewissen Tankumsatz gemacht und der hat 'n gewisses Haushaltseinkommen was ich vielleicht nicht kenne nichtsdestotrotz jetzt möchte ich wissen was wäre der Umsatz für diesen Kunden gewesen wenn ich ihm per Push Prinzip so und so viele Coupons zugespielt hätte oder oder so und so oft? Wie wird das dann gelöst? Zuerst einmal wird dann das beobachtete System der Wahrscheinlichkeiten gelöst, sodass quasi Ihr könnt euch das so vorstellen, nehmen wir ein lineares Modell. Also die die Coupon Frequenz, die hängt die ist irgend, das Haushaltseinkommen mal irgendein linearer Faktor meinetwegen, okay? Mhm. Mhm. Und was dann aber wirklich beobachtet ist, ist natürlich nicht genau Haushalt mal dieser lineare Faktor, sondern Haushalt mal dieser lineare Faktor plus irgendeine Abweichung. Ja, also ist ja nie exakt. Und diese ganzen Abweichungen, also diese Deltas zu den Mittelwerten, die sich aus deinen Verbindungen ergeben, diese ganzen Deltas, die ermitteln wir jetzt durchs Lösen des Wahrscheinlichkeitssystems, sodass wir quasi bei jeder Größe wissen, okay, ja, die ist Mittelwert, der aus den vorgelagerten Größen kommt, plus x oder minus x dieses x das halten wir jetzt fest und jetzt schneiden wir in dem Wahrscheinlichkeitsgrafen durch die Intervention die Verbindung von Haushaltseinkommen zu Coupon weg zu Coupon Frequenz Setzen bei Coupon Frequenz das ein, was wir gerne als Counterfactual uns durchdenken würden und lassen dann aber all diese xe, die ich grade beschrieben habe, also außer das außer das x für die Coupon Verwendung, Das gibt es jetzt nicht mehr durch die Intervention. Aber alle anderen xe, die lassen wir gleich. Ich setz mal wieder wieder ein, ja. Mit anderen Worten, ja, wenn der Umsatz vorher gegeben Haushaltseinkommen und gegeben die damals beobachtete Coupon Frequenz zum Beispiel eine Standardabweichung überm Erwartungswert gewesen wäre. Dann halten wir dieses, das ist jetzt unser x, dann halten wir genau dieses x fest. Und jetzt ändern wir die Verwendung haben dadurch meinetwegen einen höheren Erwartungswert laut Wahrscheinlichkeitsmodell Oder ihr könnt's auch als euch als Regressionsmodell vorstellen. Aber ich sag dann meine oder oder? Pred? Prediktion ist jetzt auch dieser Mittelwert plus eine Standardabweichung. Das heißt, ich versuche alle Zufallsabweichungen festzuhalten. Und dann ist das sozusagen mein Schätzwert, okay, dieser Kunde, der war vorher schon aus irgendeinem Grund ein besonders hungriger im Vergleich zu dem, was die Regressionen vorhergesagt hätten. Das da denke ich, hätt sich jetzt nix dran geändert, wenn ich im wenn ich ihm Coupons geschickt hätte, dann hätte der halt noch mehr gekauft, der aber immer noch 'n Overperformer quasi. Die Idee dahinter ist, diese xe die fangen alles auf was mein Modell nicht beinhaltet hat deswegen genau möchte ich die wenn ich dieses Counter factsual genau für diesen Kunden mache dann halt auch erhalten Deswegen hab ich, glaub ich, in der letzten Folge gesagt, deswegen finde ich das ein kleines bisschen gewagt, ne. Du hältst sone Zufallsrealisierung fest und dann tauschst Du da was aus. Aber das ist hier so für son Counterfact, schulen würde das das, was man macht.
Speaker0: Na, wär vielleicht was für für Key Accountmanagement. So wenn ich mich genau auf einen Kunden einschießen möchte
Speaker1: und den sozusagen genau festpinnen möchte in 'ner Verteilung von vielen. Mhm. Ja. Ja, Du gehst davon aus logischerweise, dein Modell entspricht die der Realität und Du versuchst jetzt sozusagen die Individualabweichung zwischen Realität und Modell für einen bestimmten Kunden zum Beispiel, die willst Du einfach ernst nehmen und Ja, genau. Festhalten. Das ist ja macht ja auch irgendwo Sinn.
Speaker0: Also ich find das Beispiel krass, ja? Weil weil Du siehst, wie Du mit einfachen Änderungen von deiner Strategie total unterschiedliche Ergebnisse noch noch rauskriegen kannst. Also ich kann das ja kurz mit mit den Complexity Masters teilen, welche Cases wir da durchgespielt haben. Allein die zig Varianten, muss ich mir eben einen Coupon suchen oder kriege ich den aufs Handy? Oder was ich mir auch vorstellen könnte, ist, dass der einfach an der Kasse angewandt wird. Ob ob ich jetzt quasi möchte oder nicht als Kunde, aber ich werd vorher informiert und mich möcht dadurch den Kunden dazu bringen, dass dass dass er oder sie in den Laden geht, ja? Also all diese Varianten, die verhalten sich ja alle total unterschiedlich. Und das find ich einfach krass, wie schnell das man da wirklich, wie Du es vorhin ja beschrieben hast, ja, Vorzeichen verändernde Effekte erzeugen. Ja, das war jetzt ja nur mit 4 Parametern, damit man halt auch überhaupt Das ist zu so. Verfolgen kann.
Speaker1: Das ist tatsächlich, kann da schon heftig sein. Ja.
Speaker0: Total krass. Wollen wir uns mal von dem Coupon Case lösen?
Speaker1: Ja.
Speaker0: Und eher in die Richtung Industrie eintauchen. Mhm. Das find ich auch noch ganz spannend. Klar, Pricing und Marketingoptimierung, das ist das ist 'n Thema, die beschäftigen sich schon länger mit dem Thema statistische Auswertung. Und ein Beispiel ist uns ja jetzt neulich untergekommen. Das das das find ich auch sehr, sehr spannend, weil dort auch der Unterschied noch mal ganz schön rauskommt. Wo hilft's mir wirklich tatsächlich, wo ich ohne verloren wär, wenn ich Wirkmechanismen explizit modellier. Mhm. Vielleicht magst Du dir da noch kurz einsteigen. Genau, das
Speaker1: ist in der Prozessindustrie ganz wichtig. Was ist Prozessindustrie? Also ihr habt einen, ich kann's euch vorstellen wie eine Ölraffinerie oder so was. Ihr kippt laufend, es kommt laufend Rohstoff nach und am Ende kommt laufend ein Ergebnis raus, ja? Oder auch ein Kraftwerk wär so was, ja? Ja? Und ich hab dazwischen und ich hab eine Regelungstechnik, die quasi meine Zeit rein, die man auf auf Basis der letzten meinetwegen wie vielen Minuten entscheidet, wie gewisse Stellgrößen jetzt angepasst werden. Und dabei ist es ja irgendwie vertrackt, ne. Also ich mein, die die die Zielparameter der Vergangenheit würden werden ja meine Regelung veranlassen, Entscheidungen für die Einstellparameter der Zukunft zu treffen und oder die Einstellparameter der Gegenwart vielleicht. Und die Einstellparameter der Gegenwart haben da wieder eine Auswirkung auf die Zielparameter der Zukunft.
Speaker0: Das heißt, im Endeffekt, die die AIRID Annahme geht einem zumindest in in 'ner gewissen Größenordnung flöten, oder? Also ist er anders als in der diskretenfertigung, wo ich erst mal in erster Ernährung davon ausgehen kann, okay, jedes produzierte Stück ist erst mal für sich quasi individuell und von dem Vorher- und nachgelagerten unabhängig.
Speaker1: Ja, also der hier total zusammengebrochen. Geht natürlich verloren. Und was für 'n klassisches Machine Learning auch immer eigentlich implizit angenommen wird, ist, dass deine in einen Trainingsdatensatz unkorreliert sind. Mhm. Also das ist zumindest meistens eine wichtige Voraussetzung, damit das Zeug gut funktioniert. Ja, wobei selbst ist okay, das auch bei der diskreten Fertigung ja. Ich sag eine Parameter Presets. Es ist natürlich, ich meine in Bilderkennung ist sind die Bilder ja sind ja auch nicht unkorrigiert oder so. Aber aber grundsätzlich, wenn das ist also man hat halt Probleme, wenn die also diese Regelungstechnik, die aus der Vergangenheit Entscheidungen für die Stellparameter trifft, also die Einstellparameter, die trifft die ja in gewissen Patterns, ja? Die wird nicht mal in einen, mal in anderen Parameter, sondern da da gibt es halt Muster und Patterns, sondern dann hat man nachher riesige Probleme auch mit sag ich mal 'nem Explain away Effekt. Ja, es könnte jetzt der Stellparameter sein und der oder der Stellparameter, aber die halt immer irgendwie parallel verändert werden, ist es halt rein Mustererkennungsmäßig relativ schwierig dann. Aber vor allem das Wichtigste ist aber dadurch, dass ich dieses wechselwirkende System also also diese kausale Kette, Zielgrößen der Vergangenheit führen zu Einstellungen in der Gegenwart, führen zu Zielgrößen der Zukunft. Da da ist es dann ganz wichtig, wenn ich mit dem System dann was machen möchte, dann muss ich bin ich eigentlich ganz schnell in der Logik des der Corsalden Vierance, weil ich möchte jetzt mit meinen Stellgrößen, ich möchte die verändern, ja? Ja, genau. Die sind aber ständig in der im laufenden Prozess wurden die ständig bedingt durch die Vergangenheit der der Zielparameter. Und die Zielparameter, die beeinflussen sich natürlich auch selber im Sinne von also die, wenn man jetzt irgendwie sone Temperatur hat, die springt ja nicht von Sekunde zu Sekunde Wildum her, sondern die hat irgend einen kontinuierlichen Verlauf. Das heißt, die Zielparameter beeinflussen sich dann auch ja einfach die Vergangenheit 1 Zielparameters beeinflusst auch seine Zukunft. Und wenn ich jetzt simulieren möchte, was würde denn passieren, wenn ich an meiner irgendeiner Einstellung was rumschraube? Ich hätte aber dann noch den Fall, dass ich quasi einfach auf Prädiktionsebene bearbeite, dann fließt ja meine Information quasi von der Einstellung in der Gegenwart, auch wenn ich's nicht festhalte, rückwärts über meine messgemessenen Zielparameter, dann wieder in die Zukunft der Zielparameter und dann komm ich auch ganz schnell in in in Kraut und Rüben und muss da höllisch aufpassen, wie ich da meine Vorhersagen berechne. Und mit also mit der mit der Intervention hätte ich natürlich da hier klare klare Vorgabe aha wenn Du jetzt eine Intervention simulieren willst dann machst Du einen Cut schneidest die Regelungslogik quasi raus ne also Du schneidest dann die Übersetzung der vergangenen Zielparameter für die gegenwärtigen stellparameter die schneidest Du dann raus durch den Dukkalkilus weil Du jetzt ja in der Intervention logischerweise dann die Regelungslogik verletzt. Und das ist da dann sehr wichtig, dass man das zumindest sich bewusst macht, ob man Also kann das dann gerne mit Dukkiduis machen oder auch anders, aber man muss sich einfach dieses Effektsbewusstsein, dass man da einen Teil seines Modells dann halt, wenn man ja letztendlich eine Intervention macht, ausknipsen muss. Ja, das ist das in der Prozessindustrie.
Speaker0: Find ich wahnsinnig spannend, Use Case. Ja, ja, ja. Wir wir stehen ja da jetzt in 'nem ersten Case drin. Wir können ja so machen, dass wir da kontinuierlich auch Updates dazu geben, Denn tatsächlich bisher war dieses ganze Thema Prozessindustrie eher etwas, das wir ausgeklammert haben. Aber ich denk mal, da regelmäßig 'n Update zu geben, schadet nicht. Find ich sehr, sehr spannend. Ich hätt einen Punkt, der ja, etwas strittig sein kann, aber 'n großes Problem darstellt im Machine Learning. Da bin ich vorher noch draufgekommen, nämlich es gibt ja dieses große Problem, dass ein Machine Learning System zu Diskriminierung neigt, wenn der Trainingsdatensatz diskriminierende Strukturen innehatte. Und jetzt bin ich mir nicht sicher, wie wie gut Du aus der Hüfte geschossener 'n Statement dazu abgeben kannst oder möchtest. Wir können's auch als kleine Hausaufgabe den Complexity Masters mitgeben. Und zwar kurz, was meine ich damit? Es gibt leider ja die Realsituation, dass Diskriminierung stattfindet, einfach in der echten Welt. Zum Beispiel lassen sich Rückschlüsse ziehen über wo wohnt eine Person? Was hat die dann dementsprechend für ein Einkommen? Und was hat die vielleicht für einen Background? Also Migrationshintergrund ja oder nein. So. Und nun ist es ja so, es gibt Gott sei Dank Vorgaben, dass anhand gewisser Kriterien nicht entschieden werden darf, ob jemand ein Bankkonto erhält oder nicht oder einen Kredit bekommt oder nicht Oder ob jemand so und so viel für eine Versicherung bezahlen muss oder mehr, ja. Das ist das ist ja Gott sei Dank auch reguliert. Und jetzt steht man aber vor der Herausforderung, wie man das abbildet, nämlich okay, ich möchte ja irgendwo mein Risiko schätzen. Also wenn ich jetzt mal mich in einen Versicherer hineinversetze, aber gleichzeitig möchte ich nicht diskriminieren. Und genau, machen wir's doch so. Ich möchte es mal als kleine Denkaufgabe mitgeben, dass dass dass wir alle drüber reflektieren, wie und wenn ja, wie, also ob und wenn ja, wie so rum, man über kausale Strukturen auch Diskriminierungseffekte gezielt eliminieren kann und welche Einbahnstraßen es da vielleicht gibt, wo man da nicht weiterkommt. Wir das vielleicht so machen, Maxime?
Speaker1: Gerne. Okay.
Speaker0: Super. Dann bin ich auch nächste Woche auf deine Meinung gespannt. Ich greif das Thema dann noch mal auf und schickt uns da gerne eure Statements, keine Ahnung, vom bis hin zu 'nem Archive Paper, les ich alles gerne. Schickt es uns einfach gerne an Podcast at irium Punkt d e. Genau, ich bin gespannt. Ich bin gespannt, was ihr da auf Lager habt. Genau. Dann If discrimination
Speaker1: not, oder?
Speaker0: Genau, wie bei den Drohnen, oder? If going to collight dot.
Speaker1: So war das ja richtig, genau.
Speaker0: Sehr gut, cool, cool, cool. Dann hätt ich an der Stelle noch 'n kleinen Ausblick. Und zwar wollt ich nur mal kurz unser ansprechen, nämlich am elften Mai, sozusagen in 1 Woche nach Release dieser Folge, wird 1 unserer Mitarbeiter, der Hendrik das Thema generative Advertial networks vorstellen. Und wer da jetzt keine Ahnung hat, was das ist und was das mit zu tun hat und ob überhaupt, das rauszufinden, am besten am Dienstag 16 Uhr einfach in das Meet-up mit reinkommen. Wir freuen uns
Speaker1: über alle qualifizierten Teilnehmer. Das ist, genau. Und es gibt mehr im Leben als. Spoiler.
Speaker0: Ach wirklich. Oh man. Okay, okay, okay. Ich freu mich aber trotzdem auf die auf das. Das wird das wird wieder ziemlich cool. Ich weiß schon so grob, worum's dann im Detail auch gehen wird. Das wird auf jeden Fall sehr, sehr nice. Alright. Dann denk ich, wir haben mit den Beispielen zumindest nach besten Vorsätzen illustriert, wie es einen heftigen Unterschied machen kann, ob ich mir darüber zumindest bewusst werde, wie die kausalen Richtungen und Wirkmechanismen in einem Use Case aussehen. Und wie gesagt, ich freu mich über alle, die am elften Mai ins Meet-up mit reinkommen. Und bis dahin, wir sind wieder fleißig auf der Suche nach ihrgeleiteten Statistiken. Auch da schickt's uns gerne was durch, wenn euch was unterkommt. Und in dem Sinne, bis zur nächsten Folge. Danke dir, Maxim. Danke dir.
Speaker2: Jeden Dienstag erscheint eine neue Folge von The Erium Podcast. Auf dem Laufenden zu bleiben, folgt uns auf Facebook, Instagram, Twitter und und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The Erium Podcast.