Missing Values

Staffel 1· 18. Februar 2020· 1338

Episoden-Cover: Missing Values
0:001338
  • Dr. Theo SteiningerCo-Founder & CEO von Erium
  • Prof. Dr. Christian HeumannGast, Professor am Department für Statistik der LMU München

Überblick

In dieser Folge des Erium Podcasts dreht sich alles um das Thema Missing Values – fehlende Werte in Datensätzen. Host Dr. Theo Steininger spricht mit Prof. Dr. Christian Heumann von der LMU München darüber, wie häufig fehlende Daten in der Praxis vorkommen, welche Ursachen sie haben und welche statistischen Methoden – insbesondere die Multiple Imputation – zur intelligenten Behandlung eingesetzt werden können.

Über den Gast

Prof. Dr. Christian Heumann ist Professor am Department für Statistik der Ludwig-Maximilians-Universität München (LMU). Sein Forschungs- und Lehrschwerpunkt umfasst unter anderem den Bereich fehlender Daten sowie verwandte Themen wie grafische Modelle und Bayes-Statistik. Er forscht aktiv an modernen Imputationsverfahren und deren Kombination mit maschinellen Lernmethoden.

Zusammenfassung

Was sind Missing Values und warum kommen sie vor?

Fehlende Werte (Missing Values) sind Einträge, die innerhalb eines Datensatzes fehlen – typischerweise gekennzeichnet durch NaN, null oder andere Platzhalter. Die Ursachen sind vielfältig: Bei Personenbefragungen verweigern Teilnehmer häufig Antworten auf sensible Fragen (z.B. zum Vermögen), in der Industrie fallen Sensoren aus oder liefern fehlerhafte Daten, und beim Zusammenführen mehrerer Datenquellen fehlen oft Merkmale, die nur in Teilen der Daten vorhanden sind. Prof. Heumann betont, dass insbesondere bei Befragungsdaten fehlende Werte praktisch immer vorhanden sind – es gibt kaum einen realen Datensatz ohne Missing Values.

Warum fehlende Werte nicht einfach ignoriert werden sollten

Das schlichte Entfernen von Datensätzen mit fehlenden Werten – auch 'Complete Case Analysis' genannt – kann zu massiven Problemen führen. Zum einen geht dabei oft sehr viel Information verloren: Prof. Heumann nennt ein epidemiologisches Studienbeispiel, bei dem nach dem Löschen aller unvollständigen Fälle von ursprünglich 3.000 Datenpunkten nur noch 50 übrig blieben. Zum anderen können die Ergebnisse stark verzerrt werden, wenn Daten nicht zufällig fehlen – im schlimmsten Fall kehren sich identifizierte Zusammenhänge sogar um und die gesamte Analyse wird invalidiert. Auch die naive Ersetzung durch den Mittelwert ist problematisch: Sie verringert künstlich die Streuung im Feature und zerstört die Korrelationsstruktur zu anderen Variablen.

Multiple Imputation als statistischer Goldstandard

Der von Prof. Heumann empfohlene Ansatz ist die Multiple Imputation. Statt fehlende Werte einmalig durch einen einzelnen Schätzwert zu ersetzen, werden mehrere plausible Ersatzwerte generiert, um die durch die Fehlendaten entstehende Unsicherheit explizit abzubilden. Das Ziel ist dabei nicht, den exakten fehlenden Wert zu treffen, sondern die Verteilung der Daten möglichst gut zu erhalten. Es gibt zwei grobe Ansätze: die Modellierung der gemeinsamen Verteilung aller Features (die bei hoher Dimensionalität schnell an Grenzen stößt) und flexiblere sequenzielle Regressionsverfahren, die für jedes Feature bedingt auf alle anderen Features ein eigenes Regressionsmodell schätzen und iterativ durch alle Variablen durchgehen.

Technische Details: Reihenfolge, Markov-Ketten und Hochdimensionalität

Ein technisch interessanter Aspekt bei sequenziellen Imputationsverfahren ist die Frage, ob die Reihenfolge, in der die Variablen bearbeitet werden, das Ergebnis beeinflusst. Prof. Heumann erklärt, dass die erzeugten Sequenzen aus theoretischer Sicht Markov-Ketten entsprechen, die bei korrekter Spezifikation konvergieren – die Reihenfolge sollte also theoretisch keine Rolle spielen. In der Praxis empfiehlt es sich jedoch, die Reihenfolge in jedem Durchlauf zufällig zu permutieren. Ein weiteres offenes Forschungsfeld ist die Kombination von Multipler Imputation mit modernen maschinellen Lernverfahren sowie die Frage, wie sich verschiedene Imputationsstrategien konkret auf die Performance von ML-Modellen auswirken.

Anwendungsfelder: Von Medizin und Epidemiologie bis zu Industrie und Marketing

Missing-Value-Methoden sind in einer Vielzahl von Bereichen relevant. In der Medizin und Epidemiologie – etwa bei klinischen Studien mit Patient-Dropouts oder großen Kohortenstudien – sind Imputationsverfahren bereits etabliert. Im Marketing und in der Kundenanalyse (z.B. zur Identifikation von Kunden für Bank- oder Versicherungsprodukte) besteht ebenfalls großes Potenzial. In der Industrie und im IoT-Bereich, wo Sensoren ausfallen oder korreliert ausfallen können, ist der Umgang mit fehlenden Daten zwar präsent, die Methodik aber laut Prof. Heumann noch weniger ausgereift als im medizinischen Bereich. Insgesamt gilt: In der Industriepraxis wird das Problem noch zu häufig mit einfachen und problematischen Methoden wie der Mittelwertsimputation 'gelöst'.

Buchempfehlung: Judea Pearl und kausale Inferenz

Als Literaturempfehlung nennt Prof. Heumann ein Buch von Judea Pearl – einem bekannten Statistiker und Pionier auf dem Gebiet grafischer Modelle und Bayes-Netze. Das Buch behandelt neben fehlenden Daten auch Themen wie kausale Inferenz, etwa die Frage, inwiefern Extremwetterereignisse dem Klimawandel zugeschrieben werden können. Es ist laut Heumann zugänglich geschrieben und richtet sich an ein breiteres Publikum mit grundlegendem Statistikverständnis.

Kernaussagen

  • Fehlende Werte sind in realen Datensätzen nahezu allgegenwärtig – insbesondere bei Befragungsdaten ist kaum ein Datensatz ohne Missing Values.
  • Das Löschen unvollständiger Datensätze kann zu dramatischem Informationsverlust und stark verzerrten oder sogar komplett falschen Analyseergebnissen führen.
  • Die naive Mittelwertsimputation ist problematisch, weil sie die Streuung künstlich reduziert und die Korrelationsstruktur zwischen Features zerstört.
  • Multiple Imputation ist der statistische Goldstandard: Mehrfaches Ersetzen fehlender Werte bildet die durch die Fehlendaten entstehende Unsicherheit korrekt ab.
  • Sequenzielle Regressionsverfahren (MICE-Ansatz) sind besonders flexibel, weil sie sowohl metrische als auch kategoriale Merkmale gemeinsam behandeln können.
  • Die Kombination von Multipler Imputation mit modernen ML-Verfahren ist ein aktives Forschungsfeld mit noch vielen offenen Fragen.
  • In der Industriepraxis wird das Problem fehlender Werte noch zu oft mit ungeeigneten Methoden behandelt – im Gegensatz zur Medizin und Epidemiologie, wo Imputation bereits Standard ist.
  • Transparenz über verwendete Annahmen ist bei jeder Imputationsstrategie essenziell, um Analysen wissenschaftlich vertretbar zu machen.

Fazit

Fehlende Werte sind kein Randproblem der Datenanalyse, sondern eine allgegenwärtige Herausforderung, die ernstgenommen werden muss. Das einfache Weglassen oder der Ersatz durch den Mittelwert sind in den meisten Fällen keine guten Lösungen und können Analysen fundamental verfälschen. Prof. Dr. Christian Heumann zeigt, dass mit Multiple Imputation – insbesondere sequenziellen Regressionsverfahren – statistisch fundierte und praxistaugliche Alternativen existieren, die die Unsicherheit durch fehlende Daten explizit berücksichtigen.

Für Data Scientists und ML-Praktizierende

Wer Machine-Learning-Modelle auf realen Daten trainiert, sollte sich aktiv mit Imputationsstrategien auseinandersetzen. Der naive Umgang mit Missing Values kann die Modellperformance und die Validität von Ergebnissen stark beeinträchtigen – Multiple Imputation ist hier der empfohlene Ansatz.

Für Entscheidungsträger und Analysten in Unternehmen

In der Industriepraxis werden fehlende Werte häufig noch unterschätzt oder mit einfachen Methoden behandelt. Gerade bei Kundenanalysen, IoT-Daten und der Zusammenführung heterogener Datenquellen lohnt es sich, in robustere Imputationsverfahren zu investieren, um valide Ergebnisse zu erzielen.

Für Forschende und Studierende der Statistik

Die Verbindung von Multipler Imputation mit modernen ML-Methoden sowie Fragen der Inferenz unter fehlenden Daten sind aktive Forschungsfelder mit vielen offenen Fragestellungen – ein lohnenswerter Bereich für wissenschaftliche Arbeiten.

Volltranskript anzeigen

Speaker0: Herzlich willkommen zu 1 weiteren Ausgabe von The Irian Podcast, in der wir zusammen mit Professor Doktor Christian Heymann von der LMU über sprechen möchten. Doch zunächst einmal, was sind überhaupt? Sind fehlende Einträge innerhalb 1 Datenbestandes, ne. Also zum Beispiel hat man ein Feature und innerhalb dieser Spalte fehlen einfach ein paar Einträge. Das kann gekennzeichnet werden mit oder 1 0 oder für die Sie sich an die Folge erinnern, mit irgendeinem speziellen Flaut, wenn's ganz doof läuft. Und solche können verschiedene Entstehungsgründe haben. Zum Beispiel könnte ein Sensor ausfallen oder bei 1 Personenbefragung möchte zum Beispiel jemand sein, sagen wir mal, Vermögen nicht preisgeben. Oder wenn's ganz doof läuft, gibt es gar keinen Grund, warum diese Werte fehlen. Es ist wichtig, sich mit den innerhalb 1 Datenbestandes auseinanderzusetzen, damit die Analyse nicht verfälscht wird. Und dieses Problem anzugreifen, gibt es verschiedene Methoden. Zum Beispiel könnte man einfach die Daten mit den rausnehmen rausnehmen und das Risiko eingehen, so sehr viel Information zu verlieren. Oder was man auch machen könnte, ist, den Mittelwert dieser Spalte einzusetzen, was die Verteilung der Spalte verfälschen könnte. Oder man macht intelligentes Feature Engineering und nutzt die bereits vorhandenen Daten, sprich die Datenpunkte, wo es keine gibt, die klug zu füllen. Wie das vonstattengeht und was es da für Ansätze gibt, darüber sprechen wir jetzt zusammen mit Professor Doktor Christian

Speaker1: Holmer.

Speaker0: Und damit herzlich willkommen zum zweiten Teil dieser Ausgabe von Ihrem Podcast. Mir gegenüber sitzt jetzt zu meinem großen Glück der Herr Professor Doktor Heymann. Herzlich willkommen. Schön, dass Sie da sind. Könnten Sie sich vielleicht kurz vorstellen, damit

Speaker2: Hörer wissen, mit wem wir's zu tun haben? Ja, wie Sie gesagt haben, mein Name ist Christian Heumann. Ich bin hier an der LMU am Department für Statistik. Mhm. Und mach halt hier Vorlesungen und Vorschälen im Bereich

Speaker0: fehlender Daten, unter anderem auch. Genau. Und deswegen sind Sie der perfekte Gast für uns. Und vielleicht, mal ein Bild am Anfang zu bekommen über die Welt der Statistik vielleicht auch, ja. Wie gravierend ist denn das Problem? Ist das so, dass das hin und wieder mal vorkommt oder ist es wirklich eine sehr präsente Sache, dass es quasi keinen Datenbestand ohne gibt? Was würden Sie sagen? Ja, ich würde mal sagen, das hängt 'n bisschen von

Speaker2: dem von der substanzwissenschaftlichen Fragestellung ab. Wenn man zum Beispiel von Befragungsdaten ausgehen, also wo Personen befragt werden, Mhm. Sind eigentlich fehlende Werte immer vorhanden. Okay. Da kann man also davon ausgehen, dass man eigentlich gar keine Datensätze bekommt, in denen keine fehlenden Werte Okay. Vorkommen. Weil die Leute manche Sachen nicht preisgeben wollen oder? Genau. Das kann sein, dass die, wir sprechen dann meistens von 2 verschiedenen Sachen. Mhm. Eben, wenn ich eine befragte Person, wenn eine befragte Person überhaupt keine Auskunft gibt, also keine Frage beantwortet, dann sprechen wir von. Okay. Gesamte Einheit sozusagen, die Auskunft verweigert. Oder wenn einzelne Fragen nicht beantwortet werden von. Okay. Und im Endeffekt ist so, die Ursachen können verschiedene sein. Natürlich, es kann sein, dass die Person die Auskunft verweigert, weil die Frage sensibel ist. Mhm. Es kann aber auch sein, dass sie einfach keine Lust mehr gehabt hat, die Frage zu beantworten. Ja. Und dass da jetzt dastehen. Genau. Kann man im Grunde nicht wissen, Mhm. Genau, aus welchem Grund die Daten fehlen.

Speaker0: Okay. Und das ist quasi typisch für Personenbefragungen. Mhm. Jetzt gibt's ja natürlich noch weitaus andere Datenbestände. Wie können da vielleicht auftreten? Beispiel im Bereich Industrie.

Speaker2: Im Bereich Industrie, ja, hat man natürlich diese ganze Frage schon mit Sensoren. Mhm. Sensoren, die ja regelmäßig meistens Daten liefern. Und wenn man beispielsweise auf diese Daten angewiesen ist, Ja. Sie weiterzuverarbeiten, ist natürlich 'n Problem, wenn der Sensor plötzlich keine Daten mehr liefert Klar. Oder falsche Daten liefert, weil's ja auch möglich wäre. Ja. Und da gibt's ja sozusagen auch aktuell ja Beispiele dazu, wo es durchaus auch sozusagen

Speaker0: gefährlich werden kann. Genau. Also quasi wenn Sensoren ausfallen oder irgendwie falsch eingestellt sind,

Speaker2: dann kann so was auch auftreten. Wo so was auch sehr häufig vorkommt, ist natürlich wieder eine gewisse andere Art von Fehlendaten, wenn Sie Datenbestände zusammenführen. Okay. Wenn Sie zum Beispiel Daten pulen aus verschiedenen Datenquellen, dann ist es natürlich so, dass nicht alle Merkmale oder Features in allen Datenbeständen vorhanden sind. Das heißt, gewisse Features sind wir in Teilen von Datenbeständen vorhanden, in anderen Ebenen. Okay. Und auch da muss man sich dann oft was überlegen, wenn man eben die alle zusammen auswerten will. Wie geht man mit diesem Problem dass man da teilweise die Beobachtungen hat? Also angenommen, ich führ jetzt quasi zu einem Datenbestand einen anderen hinzu, aber der, den ich hinzuführ, hat ein gewisses Feature nicht. Dann bekommen diese Daten, der halt sone

Speaker0: oder halt irgend 'n So ist es. Missing Value. Ja. Alles klar. Also auf jeden Fall ein präsentes Problem. Und wie setzen Sie und Ihre Kollegen sich denn da jetzt mit mit auseinander in Ihrer Forschung? Wie wie sie das Problem? Wie gehen Sie das an?

Speaker2: Na gut, also wichtig wär vielleicht, dass man sich drüber im Klaren ist, was wir eigentlich erst mal, was wir nicht Okay. Machen wollen. Also oder was, wenn wir mal bisschen vermessen wäre, wäre, wenn wir tatsächlich exakt diese fehlenden Werte ersetzen Mhm. Würden oder wenn es die Absicherung, die exakt zu treffen. Mhm. Oder dass ich jetzt genau rausfinde oder genau den Wert treffe, den der Befragte da hätte antworten sollen. Mhm. Sondern es geht eigentlich darum, dass man im Grunde die Verteilung der Okay. Im Endeffekt erhält, ja. Und das macht man eben so im Prinzip, dass wir halt unter gewissen Annahme natürlich die fehlenden Werte ersetzen durch Ersatzwerte und am besten das Ganze nicht nur einmal machen, sondern in den letzten Jahren Mhm. Hat sich eben durchgesetzt, dass wir im Prinzip die Daten immer, die ersetzen. Das heißt durch Mehrfache, durch verschiedene Werte, dadurch sozusagen die Unsicherheit, die durch diese fehlenden Werte zusätzlich reinkommt, mit abzubilden.

Speaker0: Also sozusagen angenommen, ich würd jetzt da einen nur einen Wert reinsetzen, dann verlier ich diese Toleranz, die ja falsch liegen könnte. Genau. Und die wird durch das Multiple Wir würden dann so tun, als wär das einen tatsächlich beobachteter Wert. Und damit natürlich unterschätzen wir tatsächlich die Okay. Streuung, die da in den tatsächlich

Speaker2: die Okay. Streuung, die da in den Daten tatsächlich dann vorhanden wäre. Alles klar. Also es klingt schon mal besser als einfach rausnehmen.

Speaker0: Ja. Und quasi sagen, das bringt nix, da ist kein Datenpunkt. Das ist, ey, nein, kein Fehler. Das ist vielleicht sogar sehr problematisch manchmal oder sogar sehr oft. Also hängt natürlich davon ab,

Speaker2: sozusagen

Speaker0: welchen Mechanismus dahinter Alles sogar falsch spezifischer, ja. Ja.

Speaker2: Und wenn die Daten aber in 'ner bestimmten Art und Weise fehlen, kann es sogar so sein, dass die Ergebnisse stark verzerrt werden. Okay. Also es kann sogar sein, dass sie völlig invalige sind, dass sie Zusammenhänge sich Zusammenhänge umkehren, ja. Also sie können auch völlig falsche Ergebnisse bekommen. Und oft ist es natürlich so, dass die Datenbasis, die üblich bleibt, wenn sie sehr viele Features haben Mhm. Und die alle berücksichtigen wollen und sie löschen jeden Fall raus, indem irgendeines dieser Features fehlt, bleibt Ihnen am Ende ja nix mehr übrig. Die Tabelle wird dadurch quasi nur noch flacher. Genau. Nächstes Mal. Gibt 'n schönes Beispiel, hat mal eine epidemiuralische Studie. Mhm. Wo dann im Endeffekt hätt ich das so gemacht, dass ich alle Fälle rauslösche, während von 3000 noch 50

Speaker0: Okay. Von den Tisch warm. Okay. Also so viel dazu zu der ersten Frage, wo wie oft das wirklich vorkommt oder wie präsent das ist noch. Und Sie haben jetzt quasi gesagt, multiple oder multiple Imputation. Multipli. Genau. Das zu benutzen. Was hat sich da in den letzten Jahren getan? Also jetzt können Sie quasi bisschen von Ihrer Forschung erzählen. Was haben Sie da für Entwicklungen gemacht? Was haben Sie herausgefunden?

Speaker2: Genau, also bei der Multiple oder Multiple Imputation gibt's im Endeffekt 2 Ansätze. Mhm. Grob, ja. Die eine der eine Ansatz versucht sozusagen, die gemeinsame Verteilung aller Features Mhm. Zu modellieren, was natürlich bei sehr vielen Features 'n Problem darstellen. Wir kommen sofort in das Problem Ja. Der hohen Dimensionalität, und so weiter. Genau. Und die andere Art sozusagen, die jetzt 'n bisschen auch flexibler ist, weil sie verschiedene Merkmalstypen, sowohl, ist, weil sie verschiedene Merkmalstypen, sowohl Merkmale, die sozusagen nur Faktoren sind oder Kategorien sind, als auch metrische zusammen ganz gut abarbeiten kann, sind die Ansätze, die sozusagen, die nennen sich

Speaker1: Okay. Am Platz oder

Speaker2: wo im Endeffekt für jedes für jedes Feature oder für jede Variable ein Regressionsmodell Okay. Gebildet wird, bedingt auf alle anderen Variablen. Und dann geht man sozusagen sequenziell durch alle Merkmale durch, macht für jedes Merkmal quasi eine Regression auf die jeweils immer allen anderen Merkmale. Und das Ganze wiederholt man sozusagen in soner Art, ja, sone Art, bisschen sone Art Rationalität Okay. Hoffentlich erreicht. Und dann sieht man aus den Univayaten bedingten Verteilung.

Speaker0: Also sozusagen wird werden die Daten, wo es keine gibt, klug benutzt, daraus im Schlüssel zu den für die für die fehlenden Daten? So kann man's gut ausdrücken. Genau, wir versuchen so an die

Speaker2: Assoziationsstruktur oder Korrelationsstruktur, die in den Daten drin steckt, sozusagen auszunutzen,

Speaker0: die fehlenden Werte zu ersetzen. Dazu vielleicht noch eine Frage ganz kurz, vielleicht kann man da noch bisschen tiefer rangehen. Und zwar angenommen, ich mach jetzt quasi eine Regression für ein Feature und ich möchte das Gleiche danach noch machen für 3, 4 andere Features. Mhm. Inwiefern ist es beeinflusst denn die die, mit welchem Feature ich anfange? Hab ich da quasi, also sozusagen, wenn ich, komm ich das Gleiche raus, wenn ich jetzt mit Nummer 4 anfange, also mit dem mit dem ersten Anfang, wo das fehlt? Oder ist das

Speaker2: Also wenn wir natürlich tatsächlich stochastisch importieren, also durch Mhm. Tatsächlich Ziehen von Zufallszahlen aus diesen Verteilungen, Dann bekommen sie natürlich nicht exakt das Gleiche raus, aber im Endeffekt ist so von der Theorie her, sag ich jetzt mal, dürfte's nix ausmachen. Okay. Wenn die im Endeffekt sind das Markhofketten, die erzeugt werden. Wenn die nicht, sag mal, zyklisch in son zyklisches Verhalten kommen oder so, dann sollte eigentlich nix schiefgehen. Aber natürlich praktisch macht's oft Sinn, dass man sozusagen die Reihenfolge, weil man's ja öfters durch geht durch die Variante, dass man die Reihenfolge eventuell auch zufällig Okay. Jedes Mal sozusagen wieder eine Permutation quasi durchführt, mit welcher Variante man anfängt und mit welcher man dann immer

Speaker0: weitermacht.

Speaker1: Alles klar. Und vielleicht können Sie dann auch aus den letzten Jahren

Speaker0: vielleicht daraus erzählen, auf welche Herausforderungen Sie denn da gestoßen sind. Also welche Probleme, welche Steine haben sich waren Ihnen da in dem Weg, die Sie geschafft haben, aus Welt zu arbeiten?

Speaker2: Na ja, also eine Sache ist natürlich immer, wie gesagt, diese hohedimensionalität von den Sachen. Und was wir ja 'n bisschen gemacht haben, ist, dass wir versucht haben, auch die Inferenz 'n bisschen noch voranzubringen. Mhm. Denn die klassische, sag ich mal, diese klassischen Formeln, die der Donald Rubin Okay. Für parametrische Modelle eingeführt hat und die auch verwendet werden, zum Beispiel eine Varianz 1 Koeffizientenjetsers zu berechnen. Mhm. Diese Formen sind natürlich sehr nützlich und die kann man auch verwenden, zum Beispiel für Intervalle. Aber man würde halt heutzutage oft 'n bisschen flexibler sein, zum Beispiel Verfahren Okay. Anzuwenden. Und wir haben das zum Beispiel kombiniert, mit Multipler Imputation. Da muss natürlich erst mal rausfinden, wie macht man das überhaupt? Gibt's verschiedene Möglichkeiten? Und da haben wir, glaub ich, auch rausgefunden, was sozusagen die beste Möglichkeit wäre, Okay. Die man's tatsächlich dann auch durchführen kann praktisch. Und was natürlich auch immer noch eine, sagen wir mal, ganz aktuelle Fragestellungen sind, sind natürlich, dass man in diesem Bereich

Speaker0: -

Speaker2: Okay. Häufig geht jetzt, ja. Und da tun sie natürlich auch noch mal im im Verhältnis mit, gibt's auch natürlich noch sehr starke Zusammenhänge, die aber eigentlich noch noch erforschen brauchen. Okay. Also das ist quasi das, wo Sie grade dran sind. Ja, und wir auch 'n bisschen was machen dazu, ja. Super.

Speaker0: Alles klar. Dann ganz wichtig für unseren Podcast, unsere Hörer sind auch immer sehr interessiert an Anwendungen. Ja. Und in welchen, also vielleicht aus jetzt in der Vorlesung,

Speaker1: in welchen Bereichen, Berufszweigen vor allen Dingen, sehen Sie denn

Speaker0: vor allen Dingen, sehen Sie denn Anwendungspotenzial für Ihre Methoden von zur Behandlung von?

Speaker2: Also Berufszweige meinen Sie jetzt, wer sozusagen diese Methoden verwenden Genau. Das ist sag ich mal, ja, also im Endeffekt generell natürlich alle Leute, die mit mit sozialwissenschaftlichen Datensätzen arbeiten. Also alles, was Umfragedaten Mhm. Betrifft, müssen sich letztlich diesem Problem stellen. Dann natürlich Biostatistiker, die zum Beispiel in der klinischen Forschung arbeiten, also bei klinischen Studien haben wir oft das Problem eben mit Dropouts zum Beispiel, ja, also dass die Patienten nicht mehr in der an der Studie teilnehmen. Und dann natürlich ganz stark die epidemiologischen Studien. Okay. Denn da hat man in der Regel sehr hohe Fallzahlen, oft sehr hohe Fallzahlen, viele Merkmale. Und da macht's eben auch Sinn, eben diese Imputationssitzung zu verwenden. Wobei man sagen muss, dass die da auch schon sehr, diese Gemeinde sozusagen schon sehr aktiv in der Vergangenheit von diesem Verfahren ist. Genau, da hatt ich sogar was von Ihnen gesehen zu,

Speaker0: glaub ich, zum, vielleicht fällt jetzt auch nicht ganz so ganz völlig. Ich hab die gesehen

Speaker2: Ja, das war ein, wo man sozusagen versucht, einen bestimmten Ansatz Mhm. Sowohl für Messfehler Variablen, also für Fehlverhalten Messfehler anzuwenden, also für Fehlerdaten. Wenn man so will, 'n 'n fehlendes 'n fehlender Wert ist sozusagen ein 1 Variable, wo sozusagen der Messfehler quasi Okay. Ziemlich groß werden kann, ja. Und im anderen Fall sozusagen und das hier, genau, das war eine 1 Anwendung, die auch kombiniert wurde noch mit grafischen Modellen. Das war also schon relativ anspruchsvoll. Wobei man sagen muss, dass dass natürlich solche, sagen wir mal, bei solchen Analysen man einfach immer klar kommunizieren muss, welche Annahmen steckt man genau rein? Mhm. Und dann ist es auch okay. Denn es ist klar, dass man diese Analysen immer in irgend 'ner Weise angreifen kann, weil man sagt, okay, ja, hier wird die Varianz zu groß gewährt für den Messfehler oder zu klein. Oder die Annahme, Ja. Was ja meistens vorausgesetzt wird an diesen ganzen Imputationsverfahren, ist nicht ist hier nicht gegeben und so weiter. Aber ich denk mal, der Punkt ist, wir müssen's klar kommunizieren, welche Annahmen wir reinstecken. Das muss ja auch 'n Paper sein. Wenn die Daten, wenn der Code offen ist, dann der Analysecode, dann haben wir auch nicht das, können wir uns diesen, sag ich mal, Kritiken auch stellen, ja? Ja. Aber es ist auf jeden Fall besser, wie einfach die Daten wegzuschmeißen. Ja. Definitiv. Wo uns viel hinweg drin hat. Ah, okay. Dann haben wir im Prinzip natürlich auch in dem Ganzen alles, wo Kundenanalysen gemacht werden. Also werden ja heute überall Kundenanalysen gemacht, zu schauen, welche Kunden kann man ansprechen, die vielleicht 'n noch 'n weiteres Bankprodukt oder Versicherungsprodukt kaufen wollen oder? Und da hat man auch eben in der Regel Daten mit sehr, sehr vielen fehlenden Werten, wo man auch was machen kann. Also für cleveres Marketing Für cleveres Marketing, ja. Ja. Und in der Industrie haben wir ja schon diskutiert zum Beispiel diese ganzen Sensorfragestellung IOT, Da hat man natürlich auch, wobei man da ja auch wahrscheinlich eher, sag ich mal, von auswählen kann ja, dass also die Daten tatsächlich in 'ner gewissen Weise zufällig fehlen und nicht von dem irgendwas anderem abhängt. Aber auch das ist natürlich nicht sicher, genau. Und ich muss sagen, dass 'n Sensor auch die Wahrscheinlichkeit die Daten nicht liefert, wenn 'n anderer Sensor auch die Daten nicht liefert. Also dass solche Abhängigkeiten gibt.

Speaker0: Genau. Genau. Also mannigfaltige Anwendung Ausmickfaltige

Speaker2: Anwendungsmöglichkeiten, Ja. Und wichtig ist immer eben zu betonen, das Weglassen kann auch echt böse Konsequenzen haben, weil sich ganze Analyse wirklich eigentlich inmalidiert wird.

Speaker0: Vielleicht 'n Punkt, also oder eine Frage dazu. Würden Sie denn sagen, das passiert zu oft? Also würdest würden Sie sagen, dass das imputation von Missing Values, ja, ob das genug gemacht wird oder wird da noch zu oft gehandwaft? Dass man sagt, oh Gott, es sind Missing Values, Ich versteh nicht lieber weg damit. Oder wird schon clever genug mit

Speaker2: umgegangen? Was würden Sie da sagen? Ich würd sagen, in gewissen Bereichen eben in der Medizin, würd ich sagen oder bei medizinischen Daten oder epidemiologischen Daten wird schon viel gemacht. Aber ich denk mal, so in der Industriepraxis wird damit noch

Speaker0: Nicht weniger arbeiten. Okay. Oder es werden eben so sehr

Speaker2: fragwürdige Methoden wie Mittelwertsimputation oder natürlich dazu führen, dass sie die Streuung in diesem Feature völlig verringern, weil sie ja sozusagen immer den gleichen Wert versetzen. Und auch die Zusammenhangsstruktur mit anderen Features letztlich zerstören, wenn sie das, das dann Genau. So

Speaker0: wenn sich an unsere Folge zu erinnert, da hatten wir das auch irgendwie kurz gesagt, dass wenn man sich dann das Histogramm anschauen würde, dann hätte man bei Mittelwert auf einmal son son Son Tief. Sone riesige Säule. Mhm. Und der Rest ist relativ flach.

Speaker2: Da gibt's auch noch relativ wenig dazu, inwieweit sich das zum Beispiel auf die Performance Okay. Son Machine Learning Verfahren auswirkt. Wenn man a zum Beispiel die Fälle komplett weglässt oder wenn man b solche Einfernersetzungsmethoden macht. Oder c dann eben komplexere Imputationen, ob's sozusagen wie groß der Vorteil ist, der sich ergibt. Das müsste man eigentlich, wär auch noch 'n interessantes Thema, wo man eigentlich auch, wo's auch noch nicht so wahnsinnig viel, denk ich mal, gibt dazu. Okay. Dann kleine Interessensfrage, was finden Sie schlimmer? Mittelwert einsetzen oder komplett rausnehmen?

Speaker0: Schwierig zu sein. Beides schlimm, genau. Test oder Test oder Cola oder? Genau, jetzt zum Ende hin. Ja. Vielleicht noch eine kleine Bitte. Wir wollen immer noch unseren Hörern was mitgeben. Jetzt haben Sie quasi die Chance, haben Sie vielleicht irgendeine Form von Inspiration, irgendwas, was Sie unseren Hörern noch mitgeben wollen? Einen cleverenslogan Einen cleverenslogan Oder vielleicht ein 1 Produkt.

Speaker2: Na, ich hätt noch 'n 'n ganz gutes, 'n Literaturvorschlag. Sehr gut. Ja. Und zwar gibt's von einem relativ bekannten Statistik, der sehr viel im Bereich Mhm. Grafische Modelle auch gemacht hat und Base Mhm. Insolvenz auch. Julia Pearl hat das Buch geschrieben. Okay. Und das ist 'n sehr nettes Buch, das liest sich, also 'n bisschen Verständnis natürlich von Statistik als hilfreich. Aber er geht eben diesen ganzen Fragestellungen auch auch Themen wie fehlende Daten, kausale Inferenz. Also können wir zum Beispiel können wir zum Beispiel sagen, dass eine Extremwettersituation zu 'ner gewissen Wahrscheinlichkeit schon dem Klimawandel

Speaker0: zuzuschreiben ist oder nicht? Ja, sehr gut. Die Fragestellung werden da. Johannes, denk, ist auch ja von allgemeinem Interesse. Also nicht sehr so ganz speziell auf eine Fragestellung, sondern sehr nettes auch bisschen philosophisches Buch. Sehr schön. Ja super. Damit können unsere Hörer jeden Fall was anfangen. 'N Link dazu findet ihr dann auf jeden Fall in den Shownotes. Da findet ihr dann das Buch. Dort findet ihr auch noch eine weitere Jupiter Notebook Datei, wo wir mal verschiedene Methoden von ausprobieren und schauen, wie sich das auswirkt auf die Analyse beziehungsweise den Machine Learning Algorithmus, den man dann benutzen möchte, je nachdem, was man denn macht. Und ja, jetzt bleiben wir noch zu sagen, vielen Dank an Herrn Heumann. Toll, dass Sie dabei waren. Und dann würd ich sagen, Master the Complexity. Damit wir weiterhin für euch Complexitymasters hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.

Mehr Folgen aus Staffel 1 →