Data Misinterpretations

Season 1· 15. Januar 2020· 1479

Episode cover: Data Misinterpretations
0:001479
  • Dr. Theo SteiningerCo-Founder & CEO at Erium
  • Dr. Maksim GreinerCo-Founder & CTO at Erium

Overview

In this episode of the Erium Podcast, Dr. Theo Steininger and Dr. Maksim Greiner discuss the five most common mistakes in data interpretation. Using vivid examples - from seemingly absurd correlations to the disappearance of all Americans by 2050 - they make typical pitfalls in data analysis tangible and easy to understand. The episode is aimed at anyone who works with data or communicates analytical findings.

About the guest

Dr. Maksim Greiner is Co-Founder of Erium, where he works in areas including sales. As a co-founder of the company, he brings a deep understanding of machine learning, statistics, and the practical application of data science. In this episode, he joins Theo to explain the most common interpretation mistakes in data analysis.

Summary

Spurious Correlations and Reporting Bias

The first mistake discussed is so-called spurious correlations. The hosts illustrate this with humorous examples: per-capita cheese consumption correlates at 94 percent with the number of deaths caused by tangling in bed sheets. Behind such curiosities often lies simple data mining - when thousands of data curves are compared with one another, coincidental matches are inevitable.

Adding to this is the so-called reporting bias: only findings that appear interesting or significant tend to get published. The example of a professor with 20 doctoral students illustrates this clearly - if each student conducts a study, statistically at least one will produce a significant result by chance, and only that one makes it into publication.

A further mechanism is population mixing: when different groups are lumped together without reflection, apparent relationships emerge. The example of facial hair and height shows that a seemingly meaningful correlation only arises when men and women are mixed together - a correlation that does not exist within either group individually.

Confirmation Bias: Seeing the World the Way You Want to See It

The second mistake is confirmation bias - the tendency to actively seek out information that confirms one's own assumptions while ignoring contradictory evidence. A general example is the widespread perception that the world is getting worse and worse, even though objective metrics such as life expectancy or child mortality often show positive global trends. Bad news sells better and reinforces this bias.

In a scientific context, confirmation bias can cause studies that contradict a research hypothesis to disappear into a drawer, while coincidentally positive results get published. This connects directly to the previously mentioned reporting bias and amplifies its effect.

Overfitting: Too Close to the Data

As the third mistake, the two explain overfitting - the excessive fitting of a model to existing training data. Real-world data always contains noise, meaning it is overlaid with random influences. If one tries to explain every single data point perfectly, the resulting curve becomes so mathematically complex that it produces completely implausible predictions at unknown points.

The most striking example in the episode: when a polynomial is fitted as closely as possible to historical US population data, the resulting curve crosses zero in the year 2050 - meaning the model predicts the population will have died out by then. This obviously absurd finding has purely mathematical, not substantive, causes. The challenge is that such overfitting problems are far harder to detect with complex datasets.

Irrelevant Data and the Curse of Dimensionality

Mistake number four addresses the unreflective inclusion of irrelevant data. The intuitive thought that 'more data can't hurt' is deceptive: machine learning algorithms are based on distance measures in multi-dimensional space. The more (even irrelevant) features are added, the higher-dimensional the problem becomes - and the harder it is to compute meaningful distances.

In very high dimensions, data points are almost always far apart from one another, which means genuine structures can be buried in the noise of unnecessary variables. The example of a spiral structure in clustering data illustrates this: adding just a few noise dimensions can make originally clearly separated clusters indistinguishable.

Chinese Whispers in Communicating Analytical Results

The fifth and final mistake is less technical than it is human in nature: the flawed transmission of analytical results to non-experts. Data scientists frequently communicate their findings to clients or stakeholders who have no statistical training. In doing so, there is a risk that nuances are lost or results are misinterpreted - for example, correlation being confused with causation.

An effective countermeasure: ask the other person to repeat back what they heard in their own words, without creating a test-like atmosphere. This allows the dialogue to be shaped as a 'ping-pong' exchange until both sides reach a shared understanding.

A memorable example is a report about a champagne study in which news outlets failed to mention that the study had been conducted on rats. This 'Chinese whispers' effect - amplified by the incentive to make content sound as interesting as possible - is particularly dangerous in medicine and media reporting.

Key takeaways

  • Correlation does not mean causation: spurious correlations often arise from coincidental matches when comparing large amounts of data.
  • Reporting bias means that only seemingly significant results get published, even though they may have occurred purely by chance.
  • Confirmation bias leads people to collect and weight only the data that confirms their own hypothesis.
  • Overfitting occurs when a model is over-optimised to training data, causing it to make completely wrong predictions outside of that data.
  • Irrelevant features increase dimensionality and can completely obscure genuine patterns in a dataset.
  • Communicating analytical results is error-prone: through the 'Chinese whispers' effect and the incentive to simplify, important nuances are often lost.
  • Anyone analysing data should always be aware of the origin, collection method, and possible biases of the data.

Conclusion

The episode demonstrates impressively that mistakes in data interpretation are not always technical in nature - human cognitive errors such as confirmation bias or communication problems play just as large a role as methodological pitfalls like overfitting or irrelevant features. Anyone working with data should be familiar with these five sources of error and regularly ask themselves critically whether their own conclusions truly reflect what the data actually says.

For Data Scientists and Analysts

The technical pitfalls - spurious correlations, overfitting, and the curse of dimensionality - are central quality criteria for any analysis. A conscious awareness of these sources of error is what separates solid models from misleading results.

For Leaders and Decision-Makers

Anyone using analytical results as a basis for decisions should actively ask questions and have results summarised in the other person's own words - this surfaces misunderstandings early and helps avoid costly wrong decisions.

For Everyone Who Consumes Statistics

Whether in news, studies, or corporate reports: statistics should always be read with a critical eye on data origin, sample composition, and possible biases.

Show full transcript

Speaker0: Im Jahr neunzehnhundertfünfzig lag die US Bevölkerung bei circa einhundertfünfzig Millionen Menschen. 50 Jahre später ist diese Bevölkerungszahl auf 280000000 gestiegen. Und laut 1 Machine Learning Vorhersage sind im Jahr 2050 in den USA alle Menschen tot? Moment mal. Was, wieso eine Konklusion zustande kommen kann und auf was ihr beim Interpretieren von Daten achten müsst, erfahrt ihr jetzt. Herzlich willkommen zu 1 neuen auf Ausgabe von The Eriam Podcast. Bei mir ist heute der Maxim. Hallo. Und wir reden über die Top 5 gängigsten Fehler beim Interpretieren von Daten, die immer und immer wieder passieren Spiritius Correlations. Maxim, ich hab dir da so ein paar Statistiken rausgesucht und ich würd gern deine Meinung dazu wissen, weil für mich scheinen die sehr interessant und sehr erleuchtend auch. Also Punkt 1, der pro Kopf Käsekonsum korreliert zu 94 Prozent mit der Anzahl der Leute, die durch Verheddern in Bettwäsche sterben, ne. Das heißt, je mehr Käse ich esse, Wahnsinn. Ich bin quasi ein Mörder, wenn ich mehr Käse esse. Dann das Alter der Miss America korreliert zu 87 Prozent mit der Anzahl der Morde durch erhitzte Gegenstände, natürlich. Erhitzliches Gefecht bei den nächsten Monaten. Genau, exakt. Die prügeln sich da mit Heizungen. Und die Anzahl der Leute, die ertrinken, nachdem sie an einem aus einem Fischerboot gefallen sind, korreliert zu 95 Prozent mit der Heiratsrate in Kentucky. Die glaube ich. Ja, die wird Definitiv, ja. Wahrscheinlich wird erst geheiratet und dann kommt irgendwas raus und die Leute werden Nein, die heiraten wahrscheinlich auf 'nem Fischerboot und machen da drauf. Ach so, ja. Erklärung ist ziemlich klar, oder? Genau, also da läuft doch sicherlich irgendwas schief. Kannst Du uns erklären, wie so was zustande kommen kann? Oder was so die die, sag ich mal, der Grundfehler hinter Spirit Recallations ist. Also ist in manchen Einzelfällen vielleicht schwierig, aber so grundsätzlich,

Speaker2: was man häufig hat, ist, das ist so das Suchen nach dem Zufall, ja? Also wenn Du jetzt solche Sachen nimmst wie irgendwie das Alter der Misswahlen und da kannst Du ja da irgendwie sone Kurve auftragen für jedes Jahr, hast Du dann das Alter. Mhm. Also das Alter der Miss America und dann kannst Du und Du kannst eine Kurve machen für Anzahl der Morde in jedem Jahr oder Anzahl der gegessenen Steaks in jedem Jahr und so was. Und Du kannst dir einfach mal alle diese Kurven vergleichen und oder erst mal überhaupt sammeln. Und wenn Du da jetzt, sagen wir mal, Du hast 100000 Kurven, ja, von irgendwie Statistischem Bundesamt oder so was über verschiedenste Zahlen, kannst dir einfach mal ausrechnen, welche Kurven liegen denn am nächsten beieinander? Und das ist dann bei son bei soner großen Menge an an Kurven, die Du zur Verfügung hast, ja erst mal reiner Zufall. Ja. Und da kommen dann halt so geile Sachen raus. Das heißt, das ist einfach nur, Du hast wahrscheinlich 1000 oder 10000 Vergleiche gemacht und Du berichtest halt von den einem lustigen Komischen. Ja. Da gibt's also einfach 'n Namen für, das ist Reporting Bias. Und das ist tatsächlich 'n Problem, weil das zum Beispiel bei auch durchaus medizinischen Studien, ja? Also stell dir vor, Du bist 'n Professor und Du hast irgendwie 20 Doktoranden und jeder davon untersucht irgend einen Effekt. Und was gerne bei Medizinstudien als Signifikanz rangenommen wird, ist der sogenannte und wenn der dann unter 0.05 liegt, was heißt, der das, was Du beobachtest hast, hat eine geringere Wahrscheinlichkeit als 5 Prozent quasi ein Zufallsergebnis zu sein, dann kannst Du's reporten. Ja, ja? Wenn Du jetzt 20 Doktoranden machst und jeder macht eine Studie, die mit Münzwürfen vergleichbar ist, da wird schon 1 dabei sein, der diese Signifikanz erreicht hat. Nur der kriegt 'n Paper, ja? Die anderen nicht. Und dann hast Du schon diesen Reporting Bias, ja? Es wird nur das berichtet, was halt irgendwie interessant klingt. Mhm. Und dadurch kann's einfach sein, dass Du aus 'nem Riesensieb an Zufällen, also eine Riesenmengen an Zufällen, nur das raussiebst, was signifikant erscheint.

Speaker0: Definitiv, also so lächerlich diese Sachen jetzt auch scheinen, die wir da grade vorgelesen haben, kann es dennoch sein, dass einem das einfach entgeht, ja? Ja, klar. Dass einem diese, dass man sich denkt, okay gut, Spiriticulations, man bringt da immer gerne witzige Beispiele, weil sich's auch anbietet, aber es gibt tatsächliche problematische Sachen, wo man wo man Korrelation verwechselt mit Kausalität. Mhm. Und die Ja. Die Korrelationen können auch noch durch andere Sachen zustande kommen. Also Beispiel ist auch.

Speaker2: Das ist häufig zum Beispiel, wenn irgend eine Studie gemacht wird, wo sich die Leute freiwillig für melden, ja? Mhm. Du, keine Ahnung, Du suchst nach irgendwas, wo, sagen wir mal, die den Gesundheitseffekt von Leuten, die Lebensgewohnheit x y haben. Und dann machst Du dann 'n Public Outreach, bitte Leute, die Lebensgewohnheit x y haben, meldet euch, wir möchten gern eure Gesundheit untersuchen. Mhm. Ja, dann kannst Du dir vorstellen, dass wenn die Leute da vielleicht auch eine Gesinnung dahinter haben, dass dann halt die Leute, die besonders gesund sind, halt gerne sich zur für die Studie zur Verfügung stellen. Und dann vergleichst Du's mit den allgemeinen Statistik der Bevölkerung und sagst plötzlich, hey, die Lebensweise macht gesund. True, ja. Genau. Und das eine Sache, die ich noch kurz erwähnen möchte auch bei Spirits Korrelations, häufig tritt es einfach auf, wenn man Populationen mischt. Also Population Mixing nennt man das auch im im Statistik- oder Machine Learning Kontext. Machen wir 'n einfaches Beispiel, die Korrelation zwischen der Menge der Barthaare, der Du hast, und der Körpergröße, der Du hast, ja? Wenn Du das bei Männern machst, dann wirst Du wahrscheinlich, also nur Männer machst, wirst Du wahrscheinlich keine besondere Korrelation finden und wenn Du's nur bei Frauen machst, auch nicht. Wenn Du jetzt aber alle Menschen nimmst, dann wirst Du plötzlich sehen, je mehr Barthaare jemand hat, desto größer ist der. Und das einfach nur mehr

Speaker0: Barthaare jemand hat, desto größer ist der. Und das einfach nur, weil Du Männer und Frauen gemischt hast. Das heißt, man sollte sich auf jeden Fall bewusst sein, woher die Daten kommen, die man benutzt und vor allem auch, wie die erhoben wurden. Weil wenn ich jetzt quasi weiß, okay gut, diese meine ganzen Daten, die ich da hab, das sind alles nur Männer oder nur Frauen, dann also jetzt speziell bei dem Beispiel mit den mit den Barthaaren,

Speaker2: dann sollt ich mir das auf jeden Fall im Hinterkopf behalten. Genau oder umgekehrt, wenn Du halt glaubst, da gibt's einfach verschiedene, wir hatten ja auch schon mal Thema Cluster. Wenn's da einfach verschiedene Cluster gibt und Du wirfst die in einen Topf, Ja. Dann kann das halt Konsequenzen haben. Man muss sich halt immer dann Gedanken machen darüber, was erwarte ich denn für Effekte da oder was kann's denn da geben?

Speaker0: Das ist eigentlich eine schöne Überleitung zum direkt nächsten Fehler, der oft gemacht wird und der vermutlich bei unserer Liste jetzt hier der Menschlichste ist. Mhm. Und das ist der. Ja. Kurz zur Definition, was das sein soll. Oft hat man als Mensch vielleicht so den den Irrglauben, dass man strikt rational denkt. Und das ist oft nicht so. Man man hat eine Vermutung oder man hat eine Tendenz, in die man geht und die will man oft auch einfach bewiesen haben. Und Ja. Unterbewusst agiert man dann dementsprechend oft, genau seine Vermutung zu beweisen. Und das kann dementsprechend auch zu falschen Ergebnissen führen, weil man einfach komplett geblendet ist von seiner eigenen Idee.

Speaker2: Mhm. Also was was ja jeder von euch wahrscheinlich kennt, ist, die Welt wird immer schlechter. Ja. Ja, also wenn man sich den Nachrichten schaut, dann denkt man, es wird ja echt alles nur immer schlimmer. Ja. Ja, in Wahrheit, wenn man so die typischen Metriken sich anschaut, Lebenserwartung, durchschnittliche Gesundheit et cetera pp, relative Gebotensterblichkeit und so was, das wird eigentlich alles besser. Aber es sieht so aus, als würde es schlechter, ja? Ja? Das ist halt, da ist der Bias darin, dass halt sich schlechte News besser verkaufen und die Verfügbarkeit auf der der Nachrichten, die die wird halt höher. Mhm. Und da da hat man das Gefühl, es passieren mehr schlimme Dinge als als letztes Jahr oder vorletztes Jahr. Und das ist einfach auch Sinne, der ist, ich glaube, die Welt wird schlechter, also suche ich mir auch die Nachrichten raus, die die Welt für schlechter erklären. Plus diese Nachrichten verkaufen sich auch noch besser und verbreiten sich besser. Ja, ich hab auch das Gefühl, dass man quasi als als, dass die Menschheit schon lange da so konditioniert wird über die Nachrichten.

Speaker0: Ja. Da kann man jetzt ohne groß darüber zu Nachricht reden wollen. Vielleicht doch son Ayhoo Die Nachricht. Aber dass dass es schon oft lächerlich wirkt, wenn jetzt an einem Tag ausschließlich gute Nachrichten kommen würden und man sich denkt so, hä, was ist denn jetzt hier los? Genau. Aber ja, wie ist es denn im Bereich Data Science, ne? Also da kann so was ja dann genauso gut vorkommen. Also angenommen, ich kann mir gut vorstellen, ich arbeite jetzt für jemanden, ja, und diese Person möchte ein gewisses Ergebnis geben. Absolut. Die möchte seine Prozesse irgendwie optimieren. Da können wir auch wieder so das Beispiel von vorhin, wenn wir uns den Medizinprofessor vorstellen, ja. Der Professor, der hat halt

Speaker2: der hat ja sein Forschungs seine Forschungsannahme, ein Gebiet, an dem er forscht, sondern er forscht darüber über den positiven Effekt von, denk ich mir mal was aus, von Vitamin C auf Alzheimer oder so was. Ja. Ja, und seine Studenten, die wollen ja auch happy machen, ja? Die wollen ja zu dem gehen und nicht angeschrien werden oder? Exact, ja. Das heißt, die die probieren halt Sachen raus und die Ergebnisse, die dagegensprechen, ja, die

Speaker1: versinken dann in deren Schublade. Ja. Und das eine, was dann vielleicht zufällig, und das war dann immer dann die Frage, ja, also zufällig positiv in Richtung der These entstanden ist,

Speaker2: das wird dann weitergereicht. Also das ist dann halt auch wieder wie bei diesem Reporting Bise. Denn der ist natürlich in Verbindung mit dem

Speaker0: besonders mächtig. Ja. Also auf jeden Fall aufpassen und sich ständig hinterfragen, ob das, was man da macht, auch wirklich so Sinn macht. Dann gehen wir weiter zu Nummer 3, auch sehr gängiges Ding. Das ist das sogenannte Overfitting. Wir haben's schon in vergangenen Folgen ein-, zweimal angesprochen. Dort hatten wir das immer betitelt als, glaub auch in der Folge zur Regression, als wenn man sich zu sehr an den Daten der Vergangenheit orientiert. Kannst Du kurz da erklären, was damit gemeint

Speaker2: ist? Ja. Ich erklär's mal grundsätzlich, aber dann bin ich auch neugierig. Ich glaub nämlich, Du kannst mir erklären, was da genau bei dieser US Bevölkerungsansprinzip ist. Genau, exakt, ja. Aber erst mal grundsätzlich, es ist, Also Daten sind ja immer auch irgendwie rauschbehaftet. Was heißt das? Was heißt rauschen? Rauschen heißt das, sind irgendwelche Effekte drin, die ich mir jetzt noch, die halt dann Einfluss hatten und die ich nicht aufm Schirm hab, ums mal total zu sagen, ja. Wenn wir so was also nehmen wie irgendwie Körpergröße von Männern und Barthaaren oder so was, Ja. Haben wir ja, da sind ja lauter Effekte drin, die wir jetzt nicht in Betracht ziehen. Das heißt, die diese die die Anzahl der Barthaare und ja und die Größe der der Männer, die wird ja einfach aus der Sicht von mir jetzt als Data Scientist stark mit Zufallseinflüssen unterliegen. Mhm. Und wenn ich jetzt versuche, diese Zufallseinflüsse alle zu erklären, ja? Also ich versuch quasi eine 1 Kurve durch etwas zu legen, was verrauscht ist, ja? Dann könnt ihr euch ja vorstellen, diese Kurve macht die wildesten Zickzackbewegungen. Ja. Und die Konsequenz daraus ist, dass, dieses Zickzack überhaupt abbilden zu können, muss diese Kurve wahnsinnig mathematisch komplex sein. Ja. Und macht dann vielleicht in den Bereichen, wo die Daten eine Lücke haben, die wildesten Sachen. Genau. Und das ist dann das klassische Overfitting Problem, ja. Ich ich ich orientier mich zu sehr an jedem Datenpunkt

Speaker0: und dafür zahl ich einfach einen hohen Preis an den Stellen, wo ich grad zufällig keine Daten hab. Ja. Und das passiert irgendwie aus 'ner recht logischen Motivation. So, ich will das meiste aus den Daten rausholen, aber das kann dann eben, wenn man sich zu sehr daran orientiert, auch schiefgehen. Und wie man es eben das auch in dem Beispiel aus dem Intro gesehen hat, was es da ging, werdet ihr auch noch im Jupiter Notebook sehen, der dazu dann später mehr. Man kann quasi die Daten nehmen, also der der die statistischen Erhebungen der Bevölkerung in den USA zum Beispiel. Und die waren eben im Jahr neunzehnhundertfuffzig bei hundertfuffzig Millionen, fuffzig Jahre später bei 280000000 und dazwischen gab's eben immer mal, ist es immer so stetig gestiegen. Und wenn ich jetzt da quasi eine möglichst gute Kurve durchlegen möchte, die weiteren Bevölkerungszahlen in den nächsten Jahren vorherzubestimmen, land ich eben bei 1 Kurve, die halt plötzlich abbricht, ja. Das hat jetzt keine kausalen Gründe, dass keine Ahnung, die Gesundheit der Gesundheitsstatus der Amerikaner so schlecht ist, sondern das hat rein mathematische Gründe, dass halt einfach die Kurve, die da optimal dran liegt, die stürzt halt dann ab direkt danach. War's 'n Polynom dann oder? Genau, das ist 'n Polynom richtig, ich glaub von grad irgendwie x hoch 4 oder so, keine Ahnung. Und es stürzt dann eben ab und ist dann und erwischt dann eben die x-Achse im Jahr 2050. Sprich, die Bevölkerung ist dann da 0, ne. Okay. Und das kann ja irgendwie nicht sein. Es sei denn, es kommt jetzt der Super GAU und irgendwelche politischen Aber den haben wir dann bestimmt nicht vorhergesehen aus den Zahlen in der Bevölkerung bis heute. Definitiv werden wird da keine politische Vorhersage draus zu ziehen sein. Aber ja, so was kann eben passieren und so absurd dieses Beispiel auch sein mag, wenn jetzt eben mal etwas zu tun hat oder einen Datensatz hat, der komplizierter ist und generell der Prozess, den man hat, komplizierter ist, dann kann einem so was auch entgehen, ja. Und es kann nicht so offensichtlich sein, warum da jetzt overfüttert wurde, ne. Ja, es ist nicht leicht zu erkennen

Speaker2: oder es gibt da auch kein so perfektes Allgemeinrezept. Ja. Wann bin ich im Underfitting und wann bin ich im Overfitting? Und das ist immer die Krux des Ganzen.

Speaker0: Dann gehen wir weiter zu Nummer 4. Da ist auch ein kleiner Callback zur letzten Folge dabei. Und zwar geht's hier irrelevante Daten, ja. Ah ja. Was geht schief, wenn man irrelevante Daten in Betracht zieht, ja? Wie gesagt, kurz letzte Folge hatten wir über Features Selection gesprochen.

Speaker2: Maxim, kannst Du dazu vielleicht was sagen? Was geht da schief? Was passiert da? Ja, also wenn ich meinen Daten Also man hat ja manchmal so diesen Impuls, ach, ich nehm doch alle Daten rein, ja? In da steckt doch immer Information drin. Oder schlimmstenfalls hat's halt keinen Wert, keinen zusätzlichen Wert. Wie 'n natürlicher Gedanke. Ja, ey. Genau, aber es kann doch nicht schlechter werden, wenn ich mehr Daten nehme. Ja, jein. Also die Sache ist halt die, Machine Learning Algorithmen basieren eigentlich immer irgendwie auf Distanzen, also im im mathematischen Sinn halt, eine Metrik, ja? Das heißt, ich ich ich beurteile irgend eine Interpolation oder sonst was danach, wie wie stark liegt die interpolierte Kurve entfernt vom Datenpunkt zum Beispiel, ja? Das ist eine Distanz, eine geometrische Distanz. Mhm. Und wenn ich jetzt meine wenn ich jetzt viele, viele Daten reinnehme, also ich mein viele viele viele verschiedene Parameter, ja? Also zusätzliche Parameter. Ich nehm zum Beispiel statt der Anzahl der Barthaare und der Körpergröße nehm ich jetzt noch irgendwie die Augenfarbe mit rein oder so was. Mhm. Und dann nehm ich noch, keine Ahnung, Musikgeschmack mit rein und und Pipapo, also immer mehr Parameter. Dann mache ich mein Problem höherdimensional im mathematischen Sinn. Ich hab mehr Dimensionen. Mehr Features sozusagen. Ja, genau. Mehr Features heißt mehr Dimensionen. Und für Distanzen in hoch in hohen Dimensionen ist irgendwie alles weit voneinander entfernt. Das wird dann immer binärer. Mhm. Und es wird dann immer schwieriger, mathematisch quasi sauber zu trennen, was ist jetzt Oder ein Kriterium zu finden, was ist jetzt noch nah und was ist fern? Und dadurch passiert's mir dann nachher sehr schnell, dass Strukturen komplett untergehen im im Rauschen der vermeintlich oder der Rauschen der eigentlich irrelevanten Daten, wo man sich dachte, der hat Schaden können die ja nicht, ja, doch sie können den Rest quasi, ja, in ihrem Rauschen untergehen lassen. Und deswegen ist es nicht immer das richtige Rezept, einfach mehr hilft mehr.

Speaker0: Ganz genau, also passt auf ihn überhaupt. Wir hatten auch schon in den Folgen mit dir, Maxim zu Clustering und Regression drüber geredet. Was passieren kann speziell bei Clustering, wenn einfach wenn ich einfach zu viele Dimensionen in Betracht ziehe, die Also Du hattest, glaub ich, damals das Beispiel mit der Spirale gebracht. Ja, genau. Ja. Und da, wenn ich wenn Du da 3, 4 Rauschdimensionen dazu packst, dann haut's dir halt komplett, machst packt's alles in ein Cluster, was eigentlich sich so ziemlich gehört. Dann ist sone filigrane Spiralstruktur

Speaker2: einfach nicht mehr an den Distanzen zu erkennen.

Speaker0: Dann kommen wir zu Nummer 5. Last, but not least ist eher ein zwischenmenschliches Problem als ein Problem des Computers tatsächlich. Und zwar haben wir das jetzt mal getauft, Explplaination Ads Mhm. Genau, ich ich setz dich jetzt mal in die Situation, Du bist supersmart und Du hast jetzt einen Kunden. Nee. Und jetzt musst Du wirklich gefallen lassen, jetzt kommt die Welt. Du hast jetzt einen Kunden und der kommt jetzt nicht direkt aus dem MINT Bereich, ja. Vielleicht Beispiel von dem von von dem aus der Folge Optimal Choice, ein Bäcker, sagen wir jetzt mal. Der hat hier ein Handwerk gelernt Und Du möchtest dir jetzt unterbreiten, was Du für eine tolle Analyse gemacht hast mit seinen Daten und wie er denn jetzt auf jeden Fall am Ende handeln soll. Jetzt fällt es dir vielleicht etwas schwer, das in Worte zu fassen, was da tatsächlich passiert, weil ihr eben aus verschiedenen Bereichen kommt. Ja, ich könnt's jetzt mathematisch erklären und dann sagt er ja Dankeschön und Exakt. Genau. Was soll ich jetzt machen? Ja, also wie kann man da quasi aufpassen, wenn man jetzt einen Kunden hat und man möchte dem sagen, nicht nur sagen, mach das und das, sondern er soll ja auch irgendwie verstehen, woher das kommt und was da für Prozesse ablaufen, die dazu führen, dass er jetzt eigentlich so handeln sollte und nicht wie zuvor? Also Ist das ein Problem oder ist Ja. Ja. Also

Speaker2: das ist immer 'n Problem. Also als Data Scientist hast Du ja vermutlich als Kunden keinen anderen Data Scientist, weil Genau. Warum hättest Du dich sonst engagiert? Also Du hast jemanden, der nicht diese Sprache spricht und dem musst Du das jetzt irgendwie näherbringen. Und es kann total passieren, dass da eben, ja, etwas ganz anderes ankommt. Und das ist gefährlich, einfach zu erklären und immer zu fragen, verstanden? Na, dann sagt der andere, ja. Der sagt, ja. Ja. Der sagt einfach, ja. Was dann aber wirklich angekommen ist, ist So lächelnd und winken so. Ja, also was dann angekommen ist, ist häufig nicht unbedingt das Differenzierte, was man versucht, da zu vermitteln und dann wird halt irgendwie eine eben genau sone Korrelation mit 'ner Kausalität verwechselt oder sonstige Sachen, was da helfen kann. Na ja, man man erklärt's jetzt erst mal nach besten besten Wissen und Gewissen und dann bittet man dem Gegenüber, das in den eigenen Worten wiederzugeben.

Speaker0: Mhm. Und

Speaker2: Also knallhart zu testen, ob das jetzt so angekommen ist. Ja, das das muss man natürlich dann so verkaufen, dass man sich selbst damit testet und nicht dieses Verständnis des Gegenübers. Das soll ja dem nicht in eine unangenehme Prüfungssituation bringen, Ja. Sondern muss man vielleicht irgendwie so verpacken, dass man den irgendwie dazu hinleitet, das noch mal selber wiederzugeben. Also Leute, die also gute Manager oder so was, die würden das wahrscheinlich sowieso versuchen, erst mal selber noch mal wiederzugeben. Und dann hat man die dann hat man die Gelegenheit, das so bisschen zu pingpong und zu schauen, bis bis sozusagen das, was man erklärt und das, was zurückkommt, dass man das beides für für einen selbst, der ja die Arbeit gemacht hat, noch akzeptabel ist.

Speaker0: Das ist ja auch einfach 'n grundsätzliches Problem, was nicht nur 'n Data Science auftritt, ne. Natürlich ist immer, wenn Du was Spezialisiertes und Genau. Also sobald zwischen, sobald's zwischen mehreren Stationen irgendwie kommuniziert wird und dann einfach immer nur die halbe Wahrheit mitgegeben wird, dann wird's schwierig. Mir fällt dir das Beispiel ein, und zwar John Oliver, sehr bekannter Late Night Show Host mit seiner Show last Week Tonight. Da gab's mal ein Beispiel, dass eine Studie scheinbar herausgefunden hat, dass, wenn man einmal Champagner pro Woche trinkt, dass es dann wirklich hervorragende Vorteile für die Gesundheit gibt und man sollte es auf jeden Fall tun, wenn man dazu in der Lage ist. Und das hat quasi die Nachrichtencrew so wiedergegeben und stellt sich heraus, John Oliver hat dann eben aufgedeckt, dass diese Studie an Ratten gemacht wurde, ja. Und das ist etwas, was halt diese Nachrichtensender unterschlagen hat. Und jetzt nicht jetzt vielleicht bewusst, vielleicht unbewusst, damit sie recht heraus, also damit's besser ankommt, weil sobald man sagt, ja, Ratten, also wenn ich Ratten einmal die Woche mit Champagner fütter, dann dann haben die auf jeden Fall eine gesundheitliche gesundheitliche Vorteile. Vielleicht. Vielleicht.

Speaker2: Wir haben ja noch die Effekte von vorher, ne? Genau, wie gesagt, ja. Das ist alles schön kumuliert.

Speaker0: Und genau, also das passiert auf jeden Fall überall und natürlich auch im Bereich Data Science. Mhm. Ja, bei Medizinstudien

Speaker2: und und Nachrichten, da ist das natürlich immer wahnsinnig schlimm, diese Ja. Das ist eine, es ist wie stille Post. Aber nicht nicht random stille Post, sondern stille Post mit dem, Du möchtest, dass dass es sich, dass es möglichst interessant klingt. Ja. Da könnt ihr euch mir mal vorstellen, ihr spielt stille stille Post und jeder hat den Anspruch, dass der andere das besonders erstaunlich findet, was der sagt und dann spielt mal eine Runde. Was dann rauskommt, also will ich gar nicht wissen, ja nicht gesagt. Und das ist natürlich bei Nachrichten dann immer noch mal ganz gefährlich.

Speaker0: Gut, Maxim. Dann jetzt zum Schluss, damit wir's noch mal kondensiert zusammen haben, kannst Du noch mal die 5 Dinge noch mal zusammenfassen,

Speaker2: die wir jetzt Okay, schau mal, ob ich's noch zusammen Wir hatten angefangen mit Spirous Correlations. Ja, also gut. Kurz gesagt, nur weil etwas korreliert, hängt das noch lange nicht zusammen, ja. Kann kann verschiedene Gründe haben, warum man den Korrelationskoeffizienten sieht. Mhm. Glaub, da hatten wir, ja. Also grundsätzlich, wir suchen nach dem, was wir glauben Mhm. Und legen das, was dem widerspricht vielleicht mal ad acta, wenn's nicht unumstößlich ist. Und bei Statistik ist ja selten was unumstößlich und deswegen kommen wir schnell in die Versuchung Ja. Nur die Dinge zu sammeln, die für unsere These sprechen. Und und wenn wir dann nur die gruppieren, dann ist es plötzlich unumstößlicher Beweis. Mhm. Und unumstößlicher

Speaker1: Beweis. Mhm.

Speaker2: Overfitting hatten wir. In Overfitting, ja, wenn ich versuche, jeden Datenpunkt zu erklären, dann mache ich damit die Allgemeinheit meines Modells in der Regel kaputt. Das heißt, ich muss 'n bisschen, ich darf nicht zu gierig sein. Ja. Dann hat mir die irrelevanten Daten, genau, also mit den, wenn ich was hochdimensionaler mache durch zu Hinzufügen von Features und oder Parametern, dann mache ich mir mein Leben schwerer und vielleicht geht genau das der interessante Effekt dann unter. Genau, und am Schluss hatten wir ja die stille Post, ja, bei Statistik leider sehr extrem ausgeprägt, weil also statistische Sachen korrekt zu interpretieren und korrekt bietet zu geben, ist auch für die Leute, die sich damit beschäftigen, nicht immer selbstverständlich. So funktionieren leider unsere Hirne nicht. Und dann muss man dann einfach wahnsinnig aufpassen, was aus der ursprünglich differenzierten Aussage nach 2, 3 Schritten geworden ist.

Speaker0: Super. Vielen Dank. Also Du hast auf jeden Fall Licht ins Dunkel gebracht, da bin ich davon bin ich überzeugt. Hoff ich. Und wenn ihr das nächste Mal also was an einem Datensatz machen wollt oder ihr eine Analyse machen wollt, dann behaltet das auf jeden Fall im Kopf. In den Shownotes findet ihr wieder eine Jupiter Notebook Datei, diesmal mit ein paar falschen Interpretationen oder zumindest ein paar Ergebnissen, die auf jeden Fall falsch anmuten. Und eure Aufgabe ist es dann quasi herauszufinden, was ist schief gegangen beziehungsweise wo ist etwas schief gegangen? Das dürft ihr uns dann auf jeden Fall schreiben. Wir freuen uns auf eure Korrekturen sozusagen. Und genau, dann bleibt noch zu sagen. Vielen Dank Maxim, dass Du wieder dabei warst. Sehr gerne. Und bis zum nächsten Mal.

Speaker1: Damit wir weiterhin für euch

Speaker0: hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung.

Speaker1: Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen.

Speaker0: Bis zum nächsten Mal.

More episodes from season 1 →