CAUSAL MACHINE LEARNING – mehr als nur Algorithmen

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
Overview
In this season finale of the fourth season, Theo Steininger and Maksim Greiner look beyond the pure algorithm and ask: what does it take, outside of technology, for Causal Machine Learning to truly work in practice? As an introduction, Maksim presents Gaussian process regression as the algorithm of the week, before the duo recaps the season's key concepts and then sheds light on the framework conditions, pitfalls, and limitations of Causal Inference in industry.
Summary
Algorithm of the Week: Gaussian Process Regression
Maksim Greiner introduces Gaussian process regression - also known as 'Kriging' in geostatistics. The method enables adaptive, smooth interpolation between measured support points by combining a stochastic process with Gaussian-distributed values and a correlation structure (kernel). A particular advantage: the model provides not only an estimate, but also a spatially adaptive uncertainty - high far away from data points, low close to them.
However, the method scales poorly into high-dimensional spaces: while it works well in one to four dimensions, the computational effort grows exponentially beyond that. Extrapolation beyond the support points is also barely feasible. For those who choose the kernel wisely, the method yields a convex, stable problem with a unique solution and virtually no overfitting.
Recap: What Is Causal Inference?
Causal Inference asks not just about correlation, but about causal direction: does B follow from A, A from B, or do both share a common cause C? Using the example of fire trucks and burning houses, the hosts illustrate the difference between pure observation and intervention.
Classical statistics deals exclusively with observed probability distributions. Causal Inference extends this perspective to the level of intervention: what happens when I actively intervene - regardless of what I have observed so far? Judea Pearl structures this idea into three levels: association (observation), intervention (do-calculus), and counterfactual reasoning (what would have happened if?). As practical tools, the hosts mention Pearl's do-calculus with directed acyclic graphs (DAGs) as well as the Rubin Causal Model with its 'potential outcomes' framework.
From Theory to Practice: Iterative Projects and the Validation Gap
A central practical challenge: many companies are accustomed to classic investment projects - buy a piece of equipment, have it delivered, done. Causal Machine Learning, by contrast, requires a strongly iterative project character that intervenes in ongoing business operations and also includes interventions in the real system.
Another distinctive feature is the validation gap: while classical predictive modeling allows the use of a test dataset, the interventional model lacks a direct point of comparison - the data were generated under different conditions. The result of the do-calculus rests on mathematics plus model assumptions. The randomized controlled trial (RCT) remains the gold standard for validation, but is often expensive, complex, or ethically infeasible. As an alternative, the hosts recommend running multiple model variants with different assumptions and examining the sensitivity of the results.
Collaboration, Company Culture, and Organizational Integration
Causal Machine Learning places higher demands on collaboration between data scientists and domain experts than many other use cases. Because interventions directly affect decision-making processes, management is automatically involved as well. Anyone working in this field must be willing to communicate with non-technical stakeholders and make results understandable.
Culturally, a tolerance for failure is indispensable: experiments can fail, and this is conceptually built in. Companies must accept that 'failing early' is not a setback but part of a scientific process. Financially, too, the organization must be prepared to fund iterations - similar to regular data science projects, but with the added element of real system interventions.
Counterfactuals: Possibilities and Limitations
Counterfactual analyses - that is, the question of what would have happened under different conditions - represent the most demanding level of Causal Inference. Here there are no test data and no experimental verifiability. Instead, one is entirely dependent on model assumptions.
In an industrial context, counterfactuals can be used meaningfully - for example, to analyze why a component failed and what should have been done differently in a previous process step. Once a measure can be derived from this, the circle closes back to intervention. Where that is not possible - such as in liability cases before a court - the only argumentation strategy is to demonstrate the robustness of results across many model variants. One hundred percent certainty is conceptually ruled out.
Cautious Experimentation: Gradual Interventions in Industry
For industrial applications, Maksim recommends a step-by-step approach: if a model recommends a significantly different plant parameter as optimal, one should not make the leap all at once, but proceed gradually and check at each step whether reality behaves as expected. This keeps one within the local optimum, but minimizes risk.
In areas with limited risk of harm - such as marketing or recommendation systems - direct experimentation without a formal RCT is entirely legitimate: distribute coupons or adjust recommendation algorithms and observe the effect. In safety-critical areas such as medicine or heavy industry, formal validation steps are unavoidable.
Key takeaways
- Causal Inference goes beyond classical statistics by modeling not just correlation, but causal direction and intervention effects.
- Judea Pearl's three levels - association, intervention, and counterfactual reasoning - form the conceptual framework for causal machine learning.
- The do-calculus with directed acyclic graphs (DAGs) allows intervention effects to be formally computed by removing incoming edges to the intervened node.
- Causal Machine Learning cannot determine the complete causal graph from data alone without additional model assumptions - expert knowledge is indispensable.
- The central validation gap: intervention results cannot be verified against historical observational data; the randomized controlled trial remains the gold standard.
- Robustness checks using multiple model variants with different assumptions increase confidence in causal conclusions when an RCT is not feasible.
- Gradual, step-by-step interventions are lower-risk in industry than making large leaps all at once.
- Gaussian process regression offers adaptive, uncertainty-aware interpolation, but does not scale beyond approximately four dimensions.
Conclusion
Causal Machine Learning is more than an algorithm - it is a conceptual framework that makes model assumptions explicit, integrates expert knowledge in a structured way, and renders the path from observation to decision transparent. In practice, this means iterative project work, close collaboration between data scientists and domain experts, a failure-tolerant company culture, and a realistic approach to the validation gap. Those who create these conditions can achieve genuine added value with Causal Inference compared to purely predictive machine learning.
For Data Scientists and ML Beginners
Causal Inference requires not only technical know-how, but also strong communication skills and a willingness to work with domain experts and management. Those who master the craft open themselves up to a field of high strategic relevance.
For Executives and Project Managers
Causal projects require iterative budget planning, tolerance for failure, and clear validation strategies. The technology can provide hypotheses and suggest experimental designs - but the ultimate responsibility for decisions remains with the human.
Show full transcript
Speaker0: Ich ich starte grad Discord, aber Discord sagt mir.
Speaker1: Kennst Du dieses das da war son, son Vater, so Selfie, Frau schläft. Selfie, Kinder schlafen. Und dann total grinsend mit dem Playstation Controller in der Hand, Selfie und dann, Downloading
Speaker0: Update, 4 Gänge weiter oder so.
Speaker2: Ihr hört, the irium Podcast, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.
Speaker0: Herzlich willkommen zu 1 neuen Folge von die E-Ream Podcast. Mein Name ist Theo Steininger und mir remote gegenüber sitzt wie immer mein Kollege der Maxim Rainer. Hi Maxim.
Speaker1: Hi Theo.
Speaker0: Schön, dass Du da bist. Was haben wir für heute vorbereitet? Wir haben uns ja jetzt in der aktuellen Staffel intensiv das Thema Callsal Machine Learning angeguckt. Und heute als Abschluss zu dieser Thematik vorbereitet, dass wir 'n bisschen über den reinen Algorithmus hinausblicken. Und da bin ich schon sehr gespannt, in welche Richtungen sich da das Gespräch entwickeln wird. Bevor wir da einsteigen, das Thema Algorithmus der Woche für die Kategorie, Du hast was noch mal Größeres, bissel was vorbereitet. Genau. Da bin ich sehr gespannt. Lass uns da mal zum Einstieg in die Tiefe gehen. Was ist am Tisch?
Speaker1: Ich hab mitgebracht die Gauß Prozessregression oder für die, die das aus der Geostatistik vielleicht kennen, da heißt es Creeking, benannt nach einem, wie hieß er, Creek? Ich weiß es nicht. Aber es geht darum, die kontinuierliche Interpolation zwischen Stützstellen, die sich je nach Menge der Daten an quasi beliebige Funktionen anpassen kann. Und da gibt's natürlich auch andere Ansätze, irgendwelche Splines oder sonst was, aber diese Gauß Prozessregion hat eigentlich schon viele charmante Aspekte. Wie muss man sich das vorstellen? Man ermittelt quasi, also Du hast irgendwie eine gewisse Menge an an an Stützstellen gemessen, also in dem Fall bei der Geologie war das. Der hat halt jetzt einen zweidimensionalen Raum quasi irgendwelche, ich glaub, es waren irgendwelche geologischen Parameter gemessen, vielleicht irgendwie mineralische Zusammensetzungen oder irgendwie so was. Und dann wollte er gern wissen, was ist jetzt die sinnvollste Interpolation zwischen den Stellen, an denen er gemessen hat? Mhm. Und können wir jetzt irgendwie anfangen, linear, quadratisch oder irgendwie zu interpolieren. Die Schnittstellen sind höchst inhomogen verteilt und man möchte aber vielleicht auch eine Unsicherheit haben. Und da ist der eben darauf gekommen, na ja, eigentlich ist es doch ganz spannend, wenn ich da so einen Gauß Prozess durchlege. Also was ist ein Gauß Prozess? Das heißt einfach, dass der die Verteilung an jedem Punkt ist erst mal Gaus verteilt und zwischen den ganzen Punkten, also in dem Fall bei ihm jetzt beim kein Creek nenne ich ihn jetzt mal, zwischen den Punkten herrscht halt eine Korrelations Matrix, die irgendwie abhängt von deren Abstand zueinander. Und dieses irgendwie ja, das ist dann natürlich das, was man da bisschen als Input liefern muss. Das ist dann der sogenannte Kernel. Also der der Kernel, mit dem die Korrelation hergestellt wird, sodass nicht jeder Punkt in deinem auf deinen 2D Raum in dem Fall oder 3D geht es auch ein komplett unabhängiger Gaus verteilter Punkt ist. Das war son Gauß Prozess, der der ist in gewisser Weise smooth. Also der der der zittert zwar hin und her, aber ist jetzt von A nach B nicht unkorreliert. Und wenn Du den durch die Stützstellen durchjagst, also denn das Du quasi als Zwangsbedingungen nimmst, dann kriegst Du eine, ja, eigentlich eine sehr adaptive Interpolationsmethode, die sozusagen so einfach wie möglich und so komplex wie nötig durch die Stützstellen geht, die Du die Du gefunden hast, die Du festgelegt hast oder auch kannst auch sagen, es muss nicht exakt durch die Stütz stellen, sondern Du machst noch räumst noch einen Messfehler ein. Und ja, da hast Du eine super adaptive Interpolation, die halt umso detaillierter wird und sich zumindest in der Theorie an jede beliebige Funktion anpassen kann.
Speaker0: Alright. Das heißt, also erstens, es ist 'n stochastischer Prozess, ganz wichtig. Mhm. Die die die der Verteilungscharakter ist der Regressionsmethode inhärent. Und wenn ich dich richtig verstanden hab, die Basis ist vollständig, oder? Also ist jetzt nicht so, dass ich 'n Subset hab, irgendwie 3 Wayfletzen, damit versuch ich, die Welt zu klären. Das Ding ist vollständig.
Speaker1: Das Ding ist ist vollständig. Natürlich irgendwann wird's, sag ich mal, gehst Du schon in die extrem unwahrscheinlichen Bereiche dann. Wenn dein Kernel zum Beispiel sagst, ich hab Sega, sehr, sehr starke Korrelation und dann versuchst Du son mega Sägezahn muss da wirklich von von Zentimeter zu Zentimeter finden, dann wird sich das System ein bisschen dagegen wehren, aber abseits der Numerik ist es trotzdem dann vollständig. Vielleicht erklär ich kurz, wie man das konstruieren würde. Wenn wenn ihr jetzt son Fit machen wollt, also sagt sagen wir mal, ihr wollt 'n ein d fit machen und wollt irgendwie dieses dieses Gaus Feld auf 100 Pixel, also ein d Pixel, jetzt 100 Stützstellen, fitten und ihr habt da drin sind irgendwie ganz krumm verteilt irgendwie sagen wir mal 15 mess gemessene Stützstellen. So also ihr nehmt diesen ihr konstruiert dann einen hundertdimensionalen Vektor, packt den in einen L2 Regularisierungsbeitrag, das heißt einfach, dass die quadratische Norm kommt in die Kostenfunktion. Dann wird dieser Vektor durch den Konvolutionskonel gejagt, also einfach eine Konvolution. Dadurch wird der smooth. Und den Kern sucht ihr euch aus. Kann irgendwas sein, was halt eine Korrelation erzeugt. Dadurch ist dieser total erst mal unkorreliert gedachte, hundertdimensionaler Vektor jetzt korreliert. Und dann entnehmt ihr diesen korrelierten Vektor an den 15 Stellen, wo gemessen wurde, den entsprechenden Wert und die Differenz zwischen dem Wert und dem Messwert kommt auch in die Kostenfunktion. Auch wieder idealerweise quadratisch. Und ja, dann wird minimiert nach diesen 100 Einträgen des hundertdimensionalen Vektors Und euer Ergebnis ist dann dieser also das Minimum des hundertdimensionalen Vektors gejagt durch den Kernel, also nach der Konvolution. Also eigentlich relativ einfach zu implementieren mit irgendwas, was euch Ableitungen abnimmt und einen Minimizer mitbringt.
Speaker0: Mhm. Wobei nachdem der Vektor, also das nachdem das Ergebnis des Algorithmus ja Vektor durchgejagt durch den Kernel ist, hab ich eine Entartung im ursprünglichen hundertdimensionalen Vektorraum, oder?
Speaker1: Entartung nur, wenn der Kernel irgendwelche Komponenten wirklich verschwinden lässt, ja? Mhm. Mhm. Also wenn der wenn der Körner ja, ich glaube in der linearen Algebra würde man sagen, wenn der irgendwie einen einen Kern hat, also gewisse Dinge auf 0 mappt. Ja, dann wird es auch vielleicht mit der Vollständigkeit schwierig, weil da natürlich gewisse Richtungen gar nicht den Kernel überleben können. Aber wenn der Kernel nichts komplett gegen 0 gehen lässt, sondern vielleicht nur einige Sachen sehr, sehr, sehr klein macht, dann ist es vollständig und dann ist auch die Lösung eindeutig dieses hundertdimensionalen Vektors. Ah, cool. Also e hoch minus x Quadrat for the Win. Ja, so was, ne. Und außerdem ist ja der ja hundertdimensionale Vektor ist ja der, der auch einen Regularisierungsbeitrag hat. Das heißt, eigentlich ist so oder so ist ist das 'n konvexes Problem mit 1 einzigen ausgezeichneten Lösung. Und die Lösung, die ihr finden, die man dann findet, die ist eben so so smooth wie möglich, so neu sie wie nötig. Und das ist eigentlich sehr schön und man kann eben auch die Unsicherheit konstruieren. Das erklär ich jetzt hier nicht mündlich, aber ihr könnt einfach bei Wikipedia nach Gauß Prozessregussionen suchen und dann wird das da erklärt. Und das Schöne ist, die reagiert auch auf darauf halt, wie viele Stützstellen, die sind jetzt hier in der Nachbarschaft. Das heißt, wenn man total weit weg ist von der nächsten Stützstelle, ist die Unsicherheit eher groß und direkt an der Stützstelle ist sie halt bis zu 0, je nach quasi eingeräumten Messfehler. Das heißt, es sind eigentlich sehr cooles, sehr adaptives Verfahren. Warum benutzt man das nicht immer? Also warum benutzt man dann überhaupt Nural Networks? Na ja, wenn ich in ein D 100 Stützstellen und dann hab ich in 2 d schon 10000, in 3 d schon 1000000. Also ihr seht, das skaliert jetzt nicht in hochdimensionale Dinge, ja? Also ja, bis 4 d vielleicht, wenn ich dann nicht so viele Stützstellen nehme, kann ich da gehen, Aber mehr wird dann schwierig. Dann muss ich schon wieder irgendwas tricksen, irgendwie die den Raum einschränken. Also zum Beispiel sagen, dass mein ND Gauß Prozess 'n Äußeres Produkt ist von NEIND Gaus Prozessen, aber dann kann ich schon wieder nicht alle möglichen Verläufe abbilden. Mhm, mhm. Ja, aber die Vorteile, wenn ich im im quasi niedrigdimensionalen Fall bin, die sind schon sehr so sehr signifikant, eben diese smoole smoole Interpolation. Disclaimer, wenn ich den Kernel sinnvoll wähle, dann also dann ist die smooth und hat fast kein Overfitting, fasst sich automatisch an die Menge der Daten an Ja, den Körner, da muss ich halt vielleicht 'n bisschen Erfahrung sammeln oder bisschen mal ausprobieren, bis ich einen guten gefunden hab. Aber das kriegt man dann schon hin. Und wie gesagt, das ist 'n lineares Gleichungssystem für den für für den Minimizer. Das heißt, die Lösung ist stabil und man kann sehr einfach die Unsicherheiten dazu nehmen, sodass man dann halt nicht nur quasi die Linie kriegt, sondern auch den ja den den Vertrauensbereich. Ja zum Nachteilen ja klar das mit der Skalierung der Dimension ja schon erwähnt also mehr als 4D wird eigentlich schwierig damit und Extrapolationen ist damit eigentlich nicht wirklich gegeben. Also quasi da, wo eure Stützstände aufführen, danach wird sich das dann quasi relativ trivial fortsetzen und die Unsicherheit wird halt steigen. Anders als jetzt zum Beispiel bei manchen Neuronetworks, die bestimmte, sag ich mal, so was wie logische Gatter lernen können und dann da da die auch vielleicht erfolgreich zur Extrapolation, also in Bereichen, die man bisher noch gar nicht gesehen hat, benutzen. Das wird hier nicht funktionieren. Also das ist wirklich für eine Interpolation gedacht. Ja, und eben der die Wahl des Körnels, die hat schon einen signifikanten Einfluss. Das heißt, da muss man den bisschen, ja, muss man sich bisschen mit beschäftigen. Man kann den aber auch mitfitten, dann ist das Ganze aber kein lineares System mehr und wird auch mal deutlich komplexer. Das ist dann ein hierarchisches basisches Modell, was ich jetzt hier nicht erklären kann. Ja.
Speaker0: Aber schauen Sie sich mal an. Ja, das wär tatsächlich meine Frage gewesen. Also eben auf die auf den auf den Konvolutionskonel noch mal zurückzukommen. Du steckst ja damit eine Korrelationsstruktur rein, Korrekt. Die Du annimmst Und wen das interessiert, vielleicht guckt man sich einfach die Variante des Ganzen an. Also da find ich das sehr instruktiv, über die die die Kovarianzstruktur zu gehen, weil ich da eine Interpretierbarkeit hab. Also auch wenn ich das reinstecke und das nicht inferiert wird, so kann ich's wenigstens, wenn's jetzt wie beim 'n physikalisches Modell ist, irgendwo mir her überlegen, ja, was eine sinnvolle Korrelationslänge ist oder nicht? Ja, und ich oder ich kann's auch einfach
Speaker1: sagen, wenn ich's nicht machen will, sondern einfach so experimentell, dann generiert euch einfach von diesen hundertdimensionalen ein D Vektoren Random Samples, also einfach aus 'ner Standard Normalverteilung und jagt die durch den Körner, den ihr euch grad anschaut. Macht mal 10 Samples, plottet die und schaut, sieht das für euch akzeptabel aus, dass es so theoretisch Also bei soner geologischen Fragestellung kann man dann wahrscheinlich relativ schnell sagen, ja, so könnt ich mir das vorstellen, dass so was ein echter Verlauf ist. Ja. Und wenn das gegeben ist, dann habt ihr wahrscheinlich 'n guten Körnern. Wenn das ganz anders aussieht, auf ganz anderen Skalen fluktuiert, als was ihr von eurem Use Case erwarten würdet, dann ist der Körner vielleicht noch nicht so gut. Dann kann man eben so an der funktionalen Form des Körners schrauben oder erst mal einfach nur an den Skalen, wie lang wie weit korreliert er und so weiter.
Speaker0: Voll gut. Finde ich spannend. Also wir hatten es ja damals, ich weiß nicht, warst Du da noch in der Gruppe beim Thorsten am Max Planck Institut, aber wir hatten es tatsächlich für so räumliche Rekonstruktion auch mal versucht. Und da bist Du halt dann 3D, wie Du sagst. Mhm. DreiD höchstens, wenn Du die Zeit noch mehr rein. Höchste macht. Genau, dann höchstens noch 4 d, aber das war's. Ja, sehr cooles Verfahren. Wunderbar. Damit haben wir den Algorithmus der Woche. Ich weiß nicht, schaffen wir's, da was in die Shownotes zu packen? Vielleicht eine kleine Referenz.
Speaker1: Also mindestens mal, zumindest den Wikipedia Link, den können wir natürlich reinpacken.
Speaker0: Genau, das machen wir, das machen wir. Oder wir spannen einen unserer Werkstudenten ein, dass sie 'n kleines Beispiel aufsetzen.
Speaker1: Wir haben 1 in der Haliriam Dokumentation. Ach stimmt. Ja, dann machen wir's so. Gut.
Speaker0: Cool. Okay. Also dann springen wir zum eigentlichen Thema der Folge. Und zwar der Titel soll sein, was muss über den reinen Algorithmus hinaus für Castle Machine Learning und Castle Inference gegeben sein? Und die Idee, da war ja im Sinne 1 Rap ups sich noch mal anzugucken über den Algorithmus hinaus. Was gibt's sonst für Rahmenbedingungen, für Constraints könnten wir sagen, die idealerweise gegeben sein müssen? Und wenn wir dazu kommen, ich fänd's auch spannend, wenn wir uns noch mal überlegen können, wo stößt das Ganze dann an der Grenze? Also wo wo hört's dann auch auf? Und ja, genau, vielleicht, weil es gab ja doch einige Folgen jetzt zu dem Thema und die Informationen waren 'n bisschen verteilt auch über die über die Story. Ja. Maxim, lass uns mal kurz durchgehen am besten, was so die wichtigsten Punkte waren, die wichtigsten Schlagwörter, damit wir die jetzt alle noch mal im Kurztag Gedächtnis haben. Und dabei, na ja, erst mal direkt noch mal die Frage, was ist eigentlich Corsal Inference?
Speaker1: Okay, ganz platt gesagt, Corsal Inference beschäftigt sich mit der Fragestellung, folgt aus a b oder folgt aus b a oder Folgen a und b aus einem c? Also das bisschen plakativer zu machen, nehmen wir mal, ich beobachte häufig, dass Feuerwehrautos und brennende Häuser irgendwie gemeinsam vorkommen. Zündet jetzt die Feuerwehr die Häuser an oder wird die Feuerwehr gerufen, weil das Haus brennt? Oder haben Sie beide nichts miteinander zu tun, weil vielleicht der, keine Ahnung, das immer, da fällt mir jetzt kein gutes Beispiel ein, aber dass irgendjemand immer gerne Feuerwehr, die Feuerwehr ruft und 'n Haus anzündet. Gleichzeitig. Und ja, genau der der hat, das ist einfach sein Spleen, der macht es, aber es hat ansonsten nichts miteinander zu tun. Diese diese 3 Szenarien quasi, dass man die überhaupt unterscheidet und sich damit beschäftigt mit dieser Richtung, das ist jetzt mal im im weitesten Sinn und da davon abgeleitet dann eben, na ja, okay, wenn ich also mich damit beschäftige was bedingt was dann möchte ich dann natürlich auch nachher andere Auswertungen machen die über das rein beobachtete hinausgehen denn in der Statistik der reine Statistik würde die Korrelation zwischen brennenden Häusern und Feuerwehr erscheinen erst mal genügen. Damit kann ich, wenn ich das als Wahrscheinlichkeitsverteilung aufschreibe, dann erst mal alle statistischen Fragen beantworten.
Speaker0: Genau. Und Du hast vorhin schon den Akteur mit ins Spiel gebracht, also diese fiktive Person, die Häuser anzündet und die Feuerwehr ruft gleichzeitig. Das wär aus a, Volk b und c. Ganz wichtiger Punkt. Du hast es grad schon angeteasert, aber lass es uns noch mal ganz klarmachen, Beobachtung versus Intervention. Genau.
Speaker1: Genau. Die Statistik beschäftigt sich ja quasi eigentlich nur mit Beobachtungen. Also wenn ihr eine also Statistik lässt sich ja immer die Wahrscheinlichkeitsverteilungen, also ja Wahrscheinlichkeitstheorie dann runter mappen. Und wenn ihr eine Wahrscheinlichkeitsverteilung habt für Feuerwehren, Feuerwehr erscheinen und brennendes Haus und dann möchte da irgend eine statistische Frage beantworten, dann ist das immer letztendlich die Frage auf Basis 1 Beobachtung. Also zum Beispiel, wie wahrscheinlich ist es, dass es dass ein Haus brennt, wenn ich ein Feuerwehrauto sehe? Oder wie wahrscheinlich ist es, dass ein Feuerwehrauto kommt, wenn ich ein brennendes Haus sehe? Das sind beides quasi Fragestellungen auf Basis 1 Beobachtung. Und damit beschäftigt sich die Statistik letztendlich. Und Corsal Inference möchte halt da dem hinzufügen die Intervention. Also wie hoch ist die Wahrscheinlichkeit, dass sein Haus brennt, wenn ich jetzt einfach ohne Grund die Feuerwehr rufe oder wie hoch ist die Wahrscheinlichkeit, dass die Feuerwehr kommt, wenn ich jetzt ohne Grund einfach so ein Haus anzünde? Und ich meine, jetzt ist sie mit gesunden Menschenverstand, denke ich hoffentlich klar, dass wenn ich jetzt hier einfach auf mein Handy die 1 1 2 wähle, fängt's nicht magisch irgendwo an zu brennen. Ja, die Wahrscheinlichkeit ist aber von 0 verschieden. Ja, ja, okay, ja, also irgendwo ein Kurzschluss sonst was, aber das ist nicht die kausale Richtung. Die kausale Richtung ist, wenn ich jetzt aber hier irgendwo ein Haus anzünde, dann wird die Feuerwehr höchstwahrscheinlich kommen. Wir hoffen es zumindest, ja. Genau und das ist halt die der Unterschied in der Intervention. In der Intervention macht's dann macht's dann halt einen einen Unterschied bei der Beobachtung. Wenn mich jemand beobachtet, wie ich die 1 1 2 wähle und jetzt mal präziser zu werden und dann auch da da rein sage, hier brennt's, dann wird der, wenn er beraten muss, wahrscheinlich davon ausgehen, dass es auch wirklich irgendwo brennt. Und umgekehrt, wenn ja, was also und wenn er irgendwo 'n Haus brennen sieht, dann wird er auch davon ausgehen, dass dann die Feuer gar kommt. Also das heißt, bei der Beobachtung ist da irgendwie mehr, wenn man so will, Symmetrie drin. Ja, genau. Und es kümmert sich weniger was ist denn die kausale Reihenfolge? Was passiert, warum?
Speaker0: Alright. Und mit dem Interventionsbegriff, lass uns raid Fire mäßig weitergehen, sind wir im Endeffekt ja schon bei den 3 Stufen von Pearl. Genau.
Speaker1: Also kurz zu Julia Pearl hat ja mit Kollegen, die die ganze son bisschen noch mal neu aufgerollt, das mit der Statistik besser zu verheiraten. Und er redet da letztendlich von 3 Stufen. Das eine ist eben ich, ich glaub, das nennt der Assoziierung. Aber es geht die Stufe 1 ist das auf Beobachtung Basis. Das heißt, ich sehe etwas und deswegen glaube ich etwas anderes. Das heißt, ich verarbeite die Information, meine sensorische Wahrnehmung und lerne daraus. Die 2. Stufe ist das mit der Intervention. Das heißt quasi, ich beobachte nicht nur, sondern ich kann auch planen, ah, wenn ich jetzt x oder y tue, passiert z. Ja, das ist sozusagen, was ja jedes Kind auch irgendwie lernt, wenn es zum hundertsten Mal die Gabel vom Tisch fallen lässt. Und die 3. Stufe ist, sagen dann das Counterfactual Reason Ding, was wäre denn passiert, hätte ich etwas anders gemacht? Also keine Ahnung, so was wie, auf mich jetzt zu beziehen, wo würde ich jetzt im Leben stehen, wenn ich nicht Physik, sondern BWL studiert hätte und sonst alles gleich. Also sonst quasi keine Entscheidungen anders getroffen, die nicht eine unmittelbare Konsequenz aus dem Studium sind. So was wären jetzt so Counterfactual. Das ist die 3. Stufe. Das heißt, Dinge zu beantworten, die ich gar nicht überprüfen kann, weil es nun mal genau anders passiert ist.
Speaker0: Und dann zur Praxis, was kann ich machen, tatsächlich ja, zu machen?
Speaker1: Mhm. Genau, da gibt's zum einen eben das von Pearl und Kollegen letztendlich ins Leben gerufene, das ist der Du Culous. Der basiert letztendlich auf Systemen von bedingten Wahrscheinlichkeiten, also im Prinzip basische Netze, in denen ich dann sage, ich bemesse, also ich kombiniere ein basisches Netz mit einem ar zyklischen gerichteten Grafen, der mir quasi sagt, was beeinflusst was beziehungsweise ich formulier mein basisches Netz gleich so, dass es dem folgt. Das heißt, dass die Bedingung immer der Grund ist und die verteilte Größe immer das der der der Effekt. Aber letztendlich, ich ich hab ein a zyklisches, eine a zyklischen gerichteten Graphen. Das heißt, ich male wie so Pfeile zwischen Parametern, was beeinflusst was? Sozusagen immer paarweise, wenn man so will. Whatur des Cause and Whaturess Effekt oder beeinflussen Sie sich direkt vielleicht auch gar nicht? Dann gibt's halt keinen Pfeil dazwischen. Und Ducalcilas sagt mir halt, wenn ich eine Intervention evaluieren möchte, dann muss ich halt, also wenn ich eine Intervention auf irgend einen Parameter x habe, dann ist eigentlich alles, was ich tun muss, alle eingehenden Pfeile nach x wegstreichen. Und die entsprechenden Terme aus den Gleichungen rausnehmen und dann mache ich meine Evaluation und und was es auch gibt so eher im Bereich, wie nennt man das Soziökonomie oder? Also in Ich denke ja. In in den Bereichen, die sich halt mit Studien viel beschäftigen. Das da gibt's schon seit Längerem so diesen Rubin cause Model Ansatz. Und mit dem muss ich zugeben kenne ich mich jetzt nicht so gut aus wie mit dem Du calkiles aber da ist letztendlich so ein bisschen der Spirit das ist irgendwie das nennt sich Framework of potenzial Outcoms das heißt so ein bisschen im Prinzip trägt jeder schon alle möglichen Events in sich. Also jeder ist sozusagen sein kleines Multiversum und und 1 davon wird halt realisiert und dann wird halt in diesem Framework dann halt immer so berechnet zwischen dem eingetretenen und dem virtuellen, was nicht passiert ist und dann wird es halt entsprechend statistisch gewichtet. Viel tiefer kann ich's jetzt gar nicht erklären. Da gibt's andere Leute, die das besser können. Aber wenn ihr das nachschauen wollt, das ist robin cause Model.
Speaker0: Alright. Und dann hätte ich als letzten Punkt eigentlich nur noch bei mir hier auf der Liste die die Arten der Fragestellungen, die man anpacken kann.
Speaker1: Genau grundsätzlich also eigentlich 2 Fragenstellungen. Also die eine Stellung, das sind letztendlich diese 3 Stufen von Pearl. Also ich möchte irgendwas auswerten auf einmal was ist eine Beobachtung oder ich möchte eine Vorhersage auf Basis 1 Intervention machen oder eben diese Counter Factsual. Das ist immer ich habe diesen a zyklischen gerichteten Grafen, der mir meine mein Abhängigkeitsmodell beschreibt und mach mit dem, sag ich mal salopp, Mathematik. Das heißt, ich möchte die Pfeile quantifizieren. Ich möchte wirklich also quasi die genaue Wahrscheinlichkeit, okay, wenn das Haus brennt oder wenn wie stark es brennt, wie hoch ist dann die Wahrscheinlichkeit, dass die Feuerwehr wann kommt, wenn ich diese Dinge quantifizieren möchte, aber den Pfeil, das von dem brennenden Haus, dass das Corses und Effekt ist, die Feuerwehr kommt, wenn ich das nicht mehr infrage stelle. Das ist sozusagen die Klasse 1 und da fallen diese 3 Stufen von Pearl drunter. Also und das ist eben, ich plane irgendeine Intervention oder sonst was. Und die andere Art ist, ich hab beobachtete Daten und ich weiß gar nicht so genau, wie da mein meine kausalen Effekte sind. Das ist so in diesem Social Science Bereich ja gar nicht unbedingt immer so selten, ne? Also wie ist jemand erfolgreich wegen des Elternhauses oder wegen der Schule oder wegen der den Freunden? Und das Problem ist an diesen Sachen, die sind ja alle häufig korreliert, ne? Also wer geht vielleicht auf eine bessere Schule, weil die Eltern reicher sind in 'ner besseren Gegend. Und da da laufen dann auch andere Peers rum, mit denen man vielleicht andere Freizeitaktivitäten macht. Und das ist alles höchst korreliert und schwierig zu trennen. Und aber einen interessiert halt schon, was ist 'n wirklich Corsa und Effekt? Also sind's vielleicht am Ende des Tages eigentlich nur die Freunde, die entscheidend sind. Aber die Freunde, die dich quasi eher zu Erfolg führen, findest Du vielleicht eher an 'ner bestimmten Art von Schulen, auch die eine bestimmte Art von Eltern ihre Kinder schicken Du hättest immer noch die Korrelation zwischen Eltern und Erfolg aber ja aber die wäre indirekt und das möchtest Du gerne ermitteln. Das heißt, Du möchtest deinen deinen zyklischen Graph finden. Das ist sozusagen die andere Art von Fragestellungen. Und nur kurz jetzt in da da gibt's dann dieses da gibt's dann so Methoden wie diese Deseparation und so was, Graph Klassen zu unterscheiden. Gehe ich jetzt nicht tiefer ein. Das ist sozusagen noch meine eigene Disziplin für sich und ist, würd ich sagen, die schwierigere der beiden Fragestellungen.
Speaker0: Und mit 'nem dicken Kaviert oder? Im Endeffekt die die Disaparation kann er auch nicht zaubern. Das heißt, wenn Du identifiziert hast, a und b hängen zusammen, die diese Separation kann nicht unterscheiden, folgt a aus b oder b aus a. Das geht Genau, genau. Und die kann das nur eingrenzen. Genau. Man kann das nur eingrenzen.
Speaker1: Am Ende des Tages steht schon dann noch der der Grundsatz da dass rein auf Datenbasis kannst Du nicht den Graph komplett definieren. Einfach stellt's euch so vor, Corsalinference ist 'n Add on zur Statistik und Statistik umfasst alles, was rein mit Daten zu tun hat. Das heißt, das ist sozusagen nur natürlich, dass jetzt rein aufs Daten, die ja mit der Statistik, sag ich mal, komplett abgefrühstückt sind, ich nicht den kausalen Graphen bis ins letzte Detail ausdefinieren kann. Es, man braucht für Callsal Inference Modellinformationen, Annahmen. Ich muss nachher zu unter zwischen dem Graphen, die statistisch dann noch möglich sind, das kann ich testen über so Sachen wie Deseparation, muss ich dann schon irgendwie entscheiden oder meinetwegen mehrere in Betracht ziehen, aber ich muss irgendwie entscheiden, was glaube ich denn ist plausibel. Das ist auch Teil der Wahrheit bei Corsal Interference. Es ist nicht sozusagen hundertprozentig objektiv in dem Sinne, dass es nicht auch von deinen anderen abhängt.
Speaker0: Ja, wobei also das gefällt mir in dem Bereich in dem Framework eigentlich so gut. Also genauso wie Base ganz explizit macht, was deine sind, gefällt mir bei Castle in Firance gut, dass deine Modell, was deine Modellannahmen sind. Und Du Du hast keine versteckten Annahmen oder zumindest nicht so einfach, über die Du stolperst, weil's dir gar nicht bewusst war, welche Annahmen Du getroffen hast. Also das find ich also im Sinne der Transparenz Das stimmt, ja. 'n dickes Plus. Ja. Ja, cool. Also ich denke, das dient auf jeden Fall als kurzer Rückblick über die letzten, ich weiß gar nicht, wie viele Folgen, waren ja doch einige. Das ist jetzt die 9. In der Staffel 4. Mhm. Und wie angekündigt, also ich würd jetzt gern bissel über die reine Technik hinausblicken und na ja, so an alle Compactity Masters, die vielleicht noch in der Uni sind und noch nicht so viel Prägerfahrung haben so. Tut mir leid, euch sagen zu müssen, in der echten Welt, also sprich, vor allem in der Industrie gehört halt zu Machine Learning und Data Science noch viel mehr dazu als jetzt nur die Technik, als nur der Algorithmus. Und ich hatte mal da auch 'n bissel was jetzt zusammen geschrieben, wo ich mir gedacht hab, na ja, wo eckst Du denn vielleicht auch an mit so 'nem Ansatz wie CML und würd da mal kurz durch meine Punkte durchgehen. Maximo, Du Du spiegelst vielleicht am besten einfach, wie Du das siehst aus deiner Projekterfahrung. Gerne. Das 1., wo ich sofort gesehen hab, da gibt's einfach 'n Unterschied. Also erstens muss man 3 Stufen unterscheiden, ja. Das eine ist quasi klassisches Projekt, was ist son Konzern zum Beispiel jetzt gewöhnt, wie son Projekt läuft, nämlich Projekt, wir kaufen eine Anlage, Büroklammern zu biegen, ja. Das ist son klassisches Projekt. Dann ist es sozusagen, gibt's gibt's gibt's die Erweiterungen, die Firmen, die die müssen jetzt auf einmal vielleicht sogar Software entwickeln, weil die Büroklammer, die ist jetzt nicht mehr nur eine Büroklammer, sondern die ist jetzt sogar smart. Ja, und dann geht's ja weiter, dann rollen sich da die die Zehenägel immer weiter auf. Jetzt ist die nicht nur smart, sondern die soll jetzt irgendwas mit Machine Learning können. Und dann jetzt höchste Stufe und dann ist es ja hier auch noch auf einmal kausal. Und was ich da gesehen hab, ist, dass einfach viele Firmen sich noch schwertun mit dem iterativen Projektscharakter, der sozusagen bei, ich kaufe eine Maschine, die wird geliefert, ich bezahl sie fertig, ja, so überhaupt nicht da ist. Und bei sonem
Speaker1: Projekt einfach krass gegeben ist. Das erscheint mit 'nem Softwareprojekt in der Regel eben. Richtig.
Speaker0: Genau, genau. Also bei bei der Software geht's los. Und und und und wenn ich aber jetzt quasi Richtung denke, es geht jetzt nicht nur darum, Daten irgendwie auszuwerten und macht darauf 'n Software- und und 'n Data Science Projekt, sondern wenn's jetzt sogar noch drum geht, jetzt muss ich noch Interventionen vielleicht ausprobieren, iterativ besser zu werden, ja, hollert die Wahl für ja. Und das ist ja das Krasseste da 'n iterativen Prozess, was denkbar ist, weil's auch noch in den Geschäftsbetrieb eingreift. Genau.
Speaker1: Ja, also ich denk mal, vieles von dem, was den Du von dem, was Du gesagt hast, ist ja sowieso für Data Science Projekte gültig. Dies ist das halt man vorher nicht wirklich oder es ist schwierig abzuschätzen, dass was wird später rauskommen. Deswegen heißt ja auch Data Science, darauf, dass man sich halt darauf einlassen muss und dass man eben ja im Vergleich zu Data Science da hast Du wenigstens noch dieses Du hast wenn es nur Prediction use Cases zum Beispiel geht dann kannst Du sagen na ja ich kann ja meine Daten in verschiedenen Strategien in in Trainings und Testset unterteilen und kann dann wenigstens am Testset ziemlich gut objektiv demonstrieren. Schaut mal, ich kann das Alter der Person oder so was bei irgend 'nem Fashion Recognition Sicht Geschichte kann ich immer plus minus ein Jahr korrekt bestimmen oder so was. Ja, dann hast Du ja irgendwie hier deine objektive Metrik. Und sofern sich die Rahmenbedingungen in dem im im Echtweltbetrieb dann nicht ändern, dann gilt die auch. Natürlich ändern sie sich im Echtweltbetrieb dann irgendwie immer schon, Ja, das sind dann die Zusatzkomplikationen, aber wenigstens, nämlich mal diesen Punkt. Wenn ich jetzt auf Basis zum Beispiel von rein beobachteten Daten sage, ich prognostiziere euch, also bei diesem Coupon Beispiel zum Beispiel zu bleiben ja ich prognostiziere euch wenn ihr die Coupons ab jetzt nach Intervention verteilt steigert ihr euren Umsatz 10 Prozent aber ich kann es anhand der Daten die wir haben nicht belegen, nicht überprüfen, weil die Daten eben nicht mal nicht in diesem Mechanismus generiert wurden. Ja, ihr ihr ändert ja quasi im Kopf dann durch die Intervention die Maschinerie, die die Daten generiert hat. Alles, was ihr dann quasi habt, ist die Mathematik kombiniert mit meinen Modellannahmen, gibt 10 Prozent. Und dann ist natürlich die Überzeugungsarbeit schwieriger. Eigentlich ist quasi im Sinne der Validierung, muss man dann sagen, immer wenn man über so Du Kalkyklus einen Effekt, einen Interventionseffekt gefunden hat, dann ist das eigentlich eher die Aufforderung, diesen dann über eine quasi randomized Control Trial zu überprüfen. Dass man halt randomisiert Coupons an manche Kunden verteilt hat, manche nicht und dann halt den Effekt noch mal validiert hat. Und ich glaub da könnte auch da ist dann auch großer Mehrwert ist, weil son randomized Control trial kannst Du auch in der Medizin und sowas, das ist halt aufwendig. Nur Beobachtungsstudie ist leichter und genauso ist ja auch für eine Firma leichter, erst mal einfach Daten zu sammeln, so wie es läuft. Und wenn man dann auf Basis dieser Daten die heißesten Kandidaten für eine konkrete Studie ermitteln kann, ja, zum Beispiel bei der Anlage, machen wir dies anders oder beim Business Development, also beim Marketing, mach mal dieses anders, schick die Coupons so raus oder eben bei 'ner medizinische Studie, hier ist unser Vorschlag für einen Studiendesign, dann ist natürlich viel gewonnen, weil dann hoffentlich die Studie das Experiment, was man macht, stärker zum Erfolg führt. Aber man hat quasi noch diese Validierungslücke im Vergleich zum selbst im Vergleich zum reinen Data Science, wo man wenigstens auf Testdaten validieren kann, dass es passt.
Speaker0: So wie Du das beschreibst, also das ist auch 'n Punkt, der mir da aufgefallen ist. Aufgrund dessen, dass Du ja sozusagen dann in entweder eine reingehst oder das noch mal ausprobierst an 'ner Maschine, ist es tatsächlich so? Verhält sich das System mit der mit der Intervention tatsächlich so wie erwartet? Genau. Das macht diese Zusammenarbeit zwischen Data Scientist und Domain Experten noch wichtiger als jetzt im Vergleich zu, ich implementier einen Standard, visuelle Inspektions Use Case, hier ist die Kamera, hier ist das vortrainierte Netz. Viel Spaß, servus, ich geh wieder, ja. Mhm. Ja. Und und was ich in dem Kontext auch sehe, das ist auch die Verzahnung hin zur Businessseite. Also gerade wenn's ums Thema Interventionen geht, bist Du im Bereich der Entscheidungen. Und ein Konzern funktioniert einfach so, ja, dass strategisch oder dass Entscheidungen auch in die globale Strategie passen müssen. Das heißt, Du bist automatisch auch in Kontakt mit Management, wenn's drum geht, eben Entscheidungsfindungsprozesse dann auch mal zu adaptieren. Also da, ich denke die Message ganz klar, wer sich in das Feld von begibt in vor allem Konzernen, da bist Du hochintegriert in die diversesten Fachbereiche, ja. Da darf man dann auch keine Angst haben davor, mit eben Nicht Data Scientists oder Nicht Informatiker zu sprechen.
Speaker1: Ich denke, in den allermeisten Fällen, ja.
Speaker0: Von der Firmenkultur, ich hab dann mal 'n bissel weiter gedacht, quasi Vogelperspektive noch 'n bisschen weiter hochgezogen. Was bedeutet Costal Machine Learning mit Blick auf die Firmenkultur? Da seh ich's. Also das Schlimmste, was einem eigentlich passieren könnte, wär, dass wenn es so Iterationszyklen gibt mit Interventionen, die ausprobiert werden, dass wenn mal nicht das rauskommt, was man erwartet hat, dass er nicht das eintritt son son Blaming Verhalten im Sinne von, haben wir ja gleich gesagt, dass es nicht funktioniert. Ja, weil das ist ja inhärent in der Science und im Experiment. Deswegen macht man das Experiment ja, weil es die Möglichkeit gibt, dass es nicht Deswegen macht man das Experiment ja, weil es die Möglichkeit gibt, dass es nicht das Ergebnis liefert, dass man sich ursprünglich vielleicht mit 'ner hohen Wahrscheinlichkeit erwartet hatte. Ansonsten ist es eigentlich 'n Punkt, der der sich mit klassischen Data Science Use Cases eher deckt. Also das das kann mir auch bei 'nem stinknormalen Projekt passieren, so was. Genau. Genau. Und na, ansonsten noch, was haben wir noch? Thema Geld. Also die Firma muss auch bereit sein, diese Iterationen zu finanzieren. Aber ich denke, da haben wir eine große Parallele auch wieder zu klassischen Data Science Projekten.
Speaker1: Genau, das ist das Gleiche. Man muss halt das das potenzielle Scheitern muss eingepreist sein. Man muss die Projektstrategie so machen, dass man möglichst früh scheitert, wenn man scheitert. Das ist alles wie bei Data Science.
Speaker0: Ja. Na, und dann haben wir eher Richtung Technik gedacht. Also wenn Du wenn Du vorhin von von so was wie 'ner Deseparation gesprochen hast, muss ich mich da als Firma aufn krassen Rechenbedarf auch einstellen? Also was kostet mich das rechenzeittechnisch? Ist das signifikant anders als NLP?
Speaker1: Also sagen wir mal so, es gibt viele Machine Learning Use Cases, die schon verdammt rechenteuer sind. Deswegen sage ich NLP. Ah, ich würd sagen, das ist vergleichbar. Also ich denk mal oder also, was heißt vergleichbar? Es ist auch schwer zu vergleichen vielleicht, aber aber ich denke nicht, dass wir da von ganz anderen Dimensionen reden. Also wenn eine Firma mit Machine Learning Erfahrung hat, dann wird, glaube ich, jetzt jetzt auch nicht umhauen. Es wird wahrscheinlich aber eher so sein, dass man sich da erst mal etwas kleinere Brötchen ran traut, einfach aufgrund dieser, dass man, dass es dieser experimentelle Validierungsschritt dann ja noch nötig ist und nicht gleich irgendwie quasi in ein Analogon zu einem wirklich tiefen neuronalen Netz geht, wie es in der Bilderkennung gern genommen wird oder so was. Sondern dass man erst mal mit überschaubaren Modellen, die vielleicht von der Komplexität eher mit so random Forest oder so was vergleichbar sind. Aber grad bei dem, wo ich dann den eigentlichen Graph ermitteln will, dann schon etwas rechnen, also deutlich rechen aufwendiger als jetzt son Random Forest sind, aber nicht rechenaufwendiger als die dickeren Machine Learning Lösungen, die ich vielleicht schon kenn.
Speaker0: Ja. Ja, mein Gott, uns der Not mietet man sich mal bisschen Rechenzeit in der Cloud, oder? Also damit kaufen sich damit nicht unmittelbar in fetten Cluster für 'n Keller. Nee. Alright. Und an der Stelle würd ich auch noch gerne eingehen. Wir beschäftigen uns mit dem Thema jetzt schon bissel bissel länger, ja. Also Start-up Zeitskallen, find schon eine Ewigkeit. Ist das so wie mit Hundertjahren und Menschenjahren oder? Ja, ja, schon, schon genau. Es gibt Start up Jahre und es gibt Konzernjahre und ich glaub, das sind Faktor 10 noch 6 dazwischen, aber anyways. Und dann gibt's noch die Forschungsjahre. Oh je, nee, das das was machen wir nicht auf. Wir wir sind ja viel im Gespräch und ich fand das echt spannend. Also zum Beispiel, wenn das Thema in den besprochen wurde. Und ich erinner mich noch gut, da gab's ja auch mal das Feedback so, so Counterfacturals, schönes Konzept, aber ich vertrau ja quasi den normalen Regressionen schon kaum.
Speaker1: Genau. Und
Speaker0: auf welchen Tönen in Füßen steht eigentlich so was wie eine Counterfactural Analyse?
Speaker1: Ja, das ist natürlich 'n valider Einwand. Wir haben halt bei den Counter Factsual erst recht nicht dieses Testdaten Set oder so was, womit wir da unser Vertrauen ein bisschen erhöhen können. Wir haben zusätzlich diese, man mag sagen, vielleicht hier einfach nur transparent gemacht, aber dadurch auch exponierte Modellabhängigkeit. Voll. Ja, ja. Und das lässt natürlich viele Alarmglocken angehen. Ja, okay, wie kann ich diesen Ergebnissen vertrauen? Wir haben ja schon vorhin angedeutet na ja eigentlich ist das immer so ein bisschen oder wenn man es dann dann fix machen will dann wäre das eigentlich immer meistens so eine Aufforderung macht einen randomized Control trial daraus, wenn Du wirklich sicher sein willst. Aber wenn man das jetzt nicht machen kann, ja, zum Beispiel vielleicht aus ethischen Gründen, ja, also ich meine keine Ahnung, Du hast irgendein Corsinn Defekt abgeleitet zu irgendwas, was zum Beispiel irgendeine irgend eine Nahrungsmittel und Schwangerschaft angeht oder so was. Also dann bekommt sie ja schnell in ethische Fragen, kann ich 'n randomized Control Trial mit Schwangeren machen, wenn ich glaube, dass der Hälfte davon, also also der Nichtkontrollgruppe dann ein Schaden entsteht?
Speaker0: Mhm. Mhm. Ja, stimmt, stimmt, stimmt, ja.
Speaker1: Das heißt, Du musst dann erst mal schauen, wie kann ich 'n abseits des randomized Control Trial meine Konfidenz in mein Ergebnis steigern? Dann sind das son bisschen die klassischen Sachen, ne? Also okay, was sind Alternativmodelle zu dem, was Du gemacht hast? Wie welche Annahmen stecken wirklich hinter deinem Modell und wie gesichert sind die? Spiel die verschiedenen Varianten durch, 'n bisschen mit vielleicht, wie man's auch beim bei bei bei Wetterbericht und Klimamodellen macht. Was machen die da? Die wissen, das sind chaotische Systeme, also haben Sie, keine Ahnung, 4 verschiedene Klassen von Modell Modellen mit 5 verschiedenen Implementierungen, mit jeweils 13 verschiedenen Random Seeds oder sowas. Und dann Ja, genau. Das dann rat da mal durch und schau, wie groß der Spread ist. Das ist ja hier 'n bisschen auch dann so, ne. Also Du musst dann halt wahrscheinlich mehr als ein Modell durch xen. Dann sind wir da schon wieder bisschen bei dem Thema auch Rechenzeit und Aufwand und so was. Das steigert das natürlich dann noch mal ein bisschen. Aber jetzt nicht so, dass es komplett out of scope für Data Science wär. Ja, aber da bleibt einem eigentlich nur das Verschiedene Modelle, verschiedene Annahmen durchgehen und schauen, ab wann
Speaker0: oder wie stark sich die Ergebnisse unterscheiden. Ja, ja, genau, genau, genau. Also im Endeffekt wieder mit 'nem Domänenxperten sagen, so, was sind denn die 5 bis 10 Modelle, könnten wir ja sagen, ja, dass man sone übersichtliche Anzahl sich zurechtlegt, die wir uns gut vorstellen könnten. Ja. Und wenn für die die Ergebnisse alle gleich sind, dann ist die Volatilität offensichtlich nicht so nicht so hart. Genau. Und dann würde ich dir natürlich schon mal mehr vertrauen, als
Speaker1: wenn ich jetzt nur ein Modell hab, was für mich jetzt schwer überprüfbar sagt, Du, wenn Du die Intervention machst, dann wird's klasse.
Speaker0: Wobei natürlich auch kritisch, oder? Also jetzt mal angenommen, ich hab in meinem Ensemble verschiedene Modellvarianten drin, Mhm. Die die die auch topologisch komplett unterschiedlich sind und die sind die performen alle gleich gut.
Speaker1: Das sind immer verdächtig, ne? Also das ist natürlich auch scheiße, ja. Ja, also am besten natürlich, Du lotest wirklich die Grenze aus. Du findest, ab wann mit welcher Annahme oder mit welcher Annahmeänderung wird das Ergebnis anders. Ja, genau. Und sagt, wenn diese Annahmenänderung, wenn dann jeder sagt, ja, aber komm, das ist doch Schwachsinn. Aber wenigstens hast Du dann gesagt, okay, hier ist sozusagen die Grenze. Die Grenze, genau, genau. Also das ist vielleicht, weiß nicht, bei den Klimamodell, wenn man wenn man dann plötzlich sagen würde irgendwie, ja, der der Treibhauseffekt, also die die Absorption von Infrarot und Ultraviolett in CO2 Molekülen ist umgekehrt, dann sollte hoffentlich was anderes rauskommen. Wenn nicht, dann wird's vielleicht etwas schwierig vom Vertrauen. Eine andere Strategie noch bezüglich der randomized Control Trides oder beziehungsweise bei Interventionen kannst Du auch statt randomized Control Trial einfach sagen, na ja, probieren wir's halt aus. Genau, genau stimmt das eigentlich naheliegendste, ne? Das ist das naheliegendste, das ist dann vielleicht nicht so wissenschaftlich, sondern Du sagst aber, ey, ich probier das jetzt aus bei den Coupons, ja? Ich probier das jetzt aus und schau mir den Umsatz an. Und da dadurch, dass es kein randomize Control Trial ist, kann ich danach vielleicht nicht mehr so klar sagen, ja, lag's am Wetter oder lag's an meinen Coupons? Aber es ist zumindest mal besser gelaufen, ja? Und dann ist son bisschen so die Hemdsärmelig. Jetzt machen wir einfach mal. Das geht natürlich nur in den Bereichen, in denen der Schaden begrenzt ist, ja? Also Medizinbereich eher nicht, aber so Marketing und solche Geschichten. Ja, ich meine, nicht ohne Grund nutzen irgendwie Netflix, Amazon und und und Konsorten haben die ja mit am frühesten so diese Systeme, ja, weil es stirbt ja keiner dran, wenn dir jetzt irgendwie die falsche Serie vorgeschlagen wird. Ist jetzt anders als falsches Medikament. Und da kann man das einfach mal ausprobieren. Und im Mittel lohnt sich's dann halt vielleicht öfter, als es sich nicht lohnt. In der Industrie schon 'n bisschen komplizierter, ja? Einfach so mal an der Anlage schrauben auf auf Verdacht. Also Taktik, auch wenn das jetzt wahrscheinlich 'n vielleicht kein guter Begriff ist, aber was meine ich damit? Sagen wir mal, Du hast irgendein Setting in deiner Maschine und es ist jetzt aktuell bei 4 und die und eine und laut Interventionssimulation würde es bei einem Setting von 6 viel besseren Output generieren. Dann wär mein Vorschlag, okay, von 4 auf 6, wenn das ein großer Sprung ist, der nicht innerhalb der üblichen Spreads ist, dann mal langsam, dann schau dir vielleicht erst mal die 4.5 an. Würde denn die 4.5 laut Modell schon besser sein als die 4.0? Wenn ja, dann probier doch erst mal die 4.5 aus. Und wenn die auch in der Realität besser ist, dann der nächste quasi Liebfrohr gegen Schritt, dann vielleicht auf die 5 und so weiter. Also einfach nicht so große Veränderungen auf einmal bei soner Industrieanlage. Da sind ja auch zum Glück die Gegebenheiten verändern sich ja in der Regel da auch eher nach Trends, wenn jetzt nicht grad was Katastrophales passiert. Und dass man dann auch in den Gegenmaßnahmen lieber nach Trends agiert und nicht nach großen Sprüngen.
Speaker0: Dabei bleibst Du halt eher in deinem lokalen Optimum. Das heißt, so multimodal, aber ist natürlich schwierig, ne, mit 1 Anlage die Frage ist. Und
Speaker1: dein dein Modell aber sozusagen möglich dir dann das empfiehlt, was auf 'ner anderen Mode ist, also auf 'nem dazwischen ist quasi 'n Tal der Tränen. Genau. Na ja, da ist das Deepfragging natürlich keine gute Taktik, sondern dann musst Du dann wahrscheinlich, also das würdest Du ja aber dann sehen in der Modellvaluation. Du packst die, also sagen wir mal 4 ergibt, mit 4 kriegst Du 'n Ergebnis von 10, mit 6 wird 'n Ergebnis von 12 prognostiziert und alles dazwischen ist eher so bei 8. Ja. Ja, ja, ja. Dann macht das LeadFraging ja natürlich wenig Sinn, sondern dann musst Du dann wirklich dann sagen, Leute, wir haben hier Potenzial, kann aber auch Schwachsinn sein. Wie können wir es ausprobieren mit möglichst geringen Schaden? Und dann muss man halt eine Taktik erarbeiten. Ja, okay, dann baut man halt vielleicht mal 3 Autos mit diesen Settings. Vorher wird die Nacharbeit alle aus der Pinkelpause geholt und so weiter. Das ist halt das klar. Also, ja, klar, dass man drauf reagieren kann. Ja, klar, genau. Genau. Und ja, bei Counter Factsul, da ist natürlich bisschen schwieriger, da gibt's nix auszuprobieren. Aber jetzt denken wir mal wieder in Industrie Setting. Was wofür würde ein Counter Factsual zum Beispiel verwendet werden? Da würde zum Beispiel gesagt werden, ja, dieses Bauteil wäre dieses Bauteil wäre nicht kaputt gegangen, wenn in Schritt 5 meiner Prozesskette etwas anders gemacht geworden wäre, ja? Und dann wenn son Case öfter auftritt, dann kann man dann kann man ja daraus eine Maßnahme ableiten. Und sobald ich die Maßnahme ableiten kann, bin ich ja wieder irgendwie beim Ausprobieren und beim eben vorsichtigen Ausprobieren. Wenn ich keine Maßnahme daraus ableiten kann, dann ist natürlich gleich auch im Industriekontext son bisschen dann der der der Mehrwert infrage gestellt, dann sind es eher so Haftungsgeschichten. Ja, oder dann, wenn wir bei Haftung sind, dann können wir auch gleich vor Gericht gehen, ja? Also wie Verhandlungen ist, hat der Mann jetzt Lungenkrebs, weil er sein Leben lang geraucht hat oder einfach so? Mhm. Also ja, da wird's echt schwer. Da glaube ich, ist man da bleibt einem wirklich nur noch das euer Ehren. Wir haben 30 verschiedene Modelle ausprobiert und 5 davon waren extra Banane von den von den von den Annahmen. Die haben 'n anderes Ergebnis geliefert, aber alle für anderen 25, die waren sehr robust in ihrer Aussage, dass es zu 90 Prozent am Rauchen liegt. Und dann schaut man halt, was daraus passiert. Also da wüsst ich jetzt nicht, wie man das irgendwie experimentell überprüfen könnte oder so.
Speaker0: Ja, also eine hundertprozentige Verbindlichkeit kriegst Du da nicht hin. Das geht konzeptionell nicht, aber als ja, Entscheidungslegitimation oder etwas, das jetzt nicht sonen endgültigen Charakter hat in der Konsequenz. Ja.
Speaker1: Also kein Account für die Todesstrafe.
Speaker0: Im Extremfall, ja. Ansonsten ist sie okay, ne? Also Ansonsten völlig in Ordnung, weil ja der normale Prozess in 'nem Gerichtsverfahren von Irrtümern befreit ist, ja? Genau. Ganz klar. Ja. Ja. Dann doch lieber die Industrieanlage,
Speaker1: die nicht explodiert, bitte. Die nicht explodiert, wenn man bissel an den an den Schräubchen dreht. Ja, genau. Und ich mein, da kann man ja, also wenn Discounter Effekt schon sagt, ja, es lag wahrscheinlich da und daran kann man ja diese Aussage wieder im Ingenieur geben und dann geht dann vielleicht an die Stelle hin und schaut sich das mal genauer an und dann sagt man, kann sein. Dann aber eben, ja, was machen wir jetzt daraus? Also dann sind wir immer gleich in der Maßnahme und da gibt's dann ja Taktiken, wie man Maßnahmen Maßnahmerisiken mitigiert, bei unserem neuen Lieblingswort zu bleiben. Und am mithigieren?
Speaker0: Wer weiß? Ja. Alright. Maxim, also ich hab hier keine weiteren Punkte mehr, die ich die ich durchgehen wollte. Wie sieht's von deiner Seite aus? Ich möcht mich an der Stelle sehr herzlich bedanken für die coolen Folgen, die wir jetzt aufgenommen haben. Aus meiner Sicht 'n sehr, sehr guter Überblick über das Thema. An der Stelle machen wir den Sack zu, was dieses Thema betrifft. Wir haben das Thema, denk ich, in 'ner ja, angemessenen Breite behandelt und kann nur sagen, wer noch mal was nachhören möchte. Wir haben versucht, sehr deskriptive Folgentitel zu wählen. Teilweise gibt's ja auch Referenzen, back in die 1. Staffel. Und kann ich sagen, ich guck mir immer wieder mal die Statistiken an. Und die 1. Staffel zu den Grundlagen wird auch heute noch immer regelmäßig gehört. Das ist sehr, sehr gut. Ja, schön. Ja, das heißt, wer jetzt hier von der einen Seite reingehört hat, also eben neueste Folgen zuerst, vielleicht auch mal die Sortierung umdrehen, Älteste Folgen zuerst, lohnt sich auf jeden Fall. Und ja, genau, damit ist die 4. Staffel. Und in der fünften werden wir wieder mehr externe Gäste einladen, den Fokus wieder bissel breiter zu ziehen. Seid gespannt. Wer nicht so lange warten möchte, bis die 5. Staffel losgeht, der ist herzlich eingeladen, in die E-Mail-ups zu kommen. Jeden Dienstag von 4 bis 5 wechselnde Themen erst gestern, also heute ist Mittwoch an dem Tag, an dem wir das aufnehmen. Gestern hatten wir erst einen Kollegen aus der Gründerszene in München bei uns, auch Data Science Firma waren sehr, sehr coole Praxisbeispiele. Mhm. Und ja, vielleicht ja, das Screening können für die auch interessant sein an der einen oder anderen Stelle. Anyways, wer da genauer eintauchen möchte, ist eine coole Community mittlerweile. Meet-up dot com, Data Science Meet-up suchen in München, auch wenn's 'n E-Mail-up ist, ist quasi an die Location München gebunden. Und ja, an der Stelle, wenn ihr Vorschläge habt für Gäste, die wir einladen können, so jemand wie Judia Pearl, ja oder einen Bernhard Trial Kopf, wir wir würden unser Bestes geben. Schickt uns einfach eine E-Mail. Und in diesem Sinne, noch mal danke an an an dich, Maxime für die coolen Diskussion. In diesem Sinne, macht's es gut. Bis zur nächsten Folge in Staffel 5. Meist Du die Komplexe nicht.
Speaker2: Jeden Dienstag erscheint eine neue Folge von The Erium Podcast. Auf dem Laufenden zu bleiben, folgt uns auf Facebook, Instagram, Twitter und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.