Dimensionality Reduction

Staffel 1· 7. Januar 2020· 1693

Episoden-Cover: Dimensionality Reduction
0:001693
  • Jago (Host)Moderator des Erium Podcasts
  • Dr. Theo SteiningerCo-Founder & CEO von Erium

Überblick

In dieser Folge des Erium Podcasts erklärt Dr. Theo Steininger gemeinsam mit Host Jago, was Dimensionality Reduction bedeutet und warum sie im Machine-Learning-Alltag unverzichtbar ist. Die Folge behandelt den 'Fluch der Dimensionalität', konkrete Methoden zur Dimensionsreduktion sowie das verwandte Thema Feature Engineering – angereichert mit anschaulichen Beispielen aus Medizin, Fertigung und E-Commerce.

Zusammenfassung

Was ist Dimensionality Reduction und warum brauchen wir sie?

Dimensionality Reduction bezeichnet die Reduktion der Anzahl betrachteter Parameter (Features/Spalten) in einem Datensatz. Intuitiv erscheint es vorteilhaft, möglichst viele Informationen zu nutzen – doch Theo erklärt den entscheidenden Unterschied zwischen Datenmenge (Zeilen) und Datenkomplexität (Spalten). Je mehr Features ein Datensatz enthält, desto komplexer muss der Algorithmus sein, der sie beschreibt, und desto mehr Trainingsbeispiele werden benötigt. Ein möglichst hohes Verhältnis von Zeilen zu Spalten ist daher erstrebenswert.

In der Praxis enthalten Datensätze häufig Features, die für das eigentliche Problem irrelevant sind – nicht aus Böswilligkeit, sondern weil sie für andere Zwecke erhoben wurden. In der industriellen Fertigung etwa enthält ein Datensatz oft boolesche Flags, die lediglich bestätigen, dass ein Prozessschritt stattgefunden hat – für eine Machine-Learning-Analyse aber wertlos sind, da ohne diesen Schritt der Datensatz gar nicht existieren würde.

Der Fluch der Dimensionalität

Theo illustriert das Problem hochdimensionaler Räume anhand eines mathematischen Gedankenexperiments: Vergleicht man das Volumen einer n-dimensionalen Kugel mit dem eines n-dimensionalen Würfels, geht das Verhältnis gegen null, wenn die Dimensionszahl wächst. Das bedeutet: Das Volumen eines hochdimensionalen Würfels steckt fast vollständig in den Ecken – nicht in der Mitte, wo man interessante Strukturen erwarten würde. Algorithmen, die den Raum gleichmäßig abtasten, halten sich daher fast ausschließlich in diesen wenig informativen Randbereichen auf.

Jede zusätzliche Dimension, auf die man verzichten kann, ist deshalb 'Gold wert'. Unnötige Features belasten nicht nur Rechenzeit und Arbeitsspeicher, sondern erhöhen auch das Risiko von Overfitting und verschlechtern die Qualität von Abstandsmaßen – etwa bei Clustering-Algorithmen, wo Rausch-Dimensionen das Distanzmaß verwässern und dazu führen können, dass echte Strukturen (wie eine Spirale im Swiss-Roll-Datensatz) nicht mehr erkannt werden.

Methoden der Dimensionsreduktion: Von Feature Selection bis Autoencoder

Theo unterscheidet zwei grundlegende Ansätze: Feature Selection (gezieltes Auswählen relevanter Features) und Feature Extraction (Zusammenführen von Features zu neuen, kompakteren Repräsentationen). Für die Feature Selection empfiehlt er zunächst den gesunden Menschenverstand – offensichtlich irrelevante Spalten (z.B. Autofarbe bei einer klinischen Studie) sollten direkt entfernt werden. Automatisierter lässt sich dies über Varianzschwellen oder 1-zu-1-Korrelationsanalysen mit der Zielgröße realisieren.

Jenseits dieser einfachen Methoden gibt es eine breite Palette algorithmischer Ansätze: Die Hauptkomponentenanalyse (PCA) identifiziert lineare Richtungen maximaler Varianz. Autoencoderr – neuronale Netze in Schmetterlingsstruktur mit Encoder- und Decoder-Teil – komprimieren den Input auf eine niedrig-dimensionale Repräsentation und lernen dabei, die wesentliche Information zu erhalten. Besonders mächtig sind sie etwa bei der Texterkennung. Daneben existieren manifold-basierte Methoden, die versuchen, die geometrische Unterstruktur (Untermannigfaltigkeit) eines hochdimensionalen Datensatzes zu finden – ergänzt durch wahrscheinlichkeitsbasierte Varianten wie Generative Topographic Maps (GTMs).

Feature Engineering: Dem Algorithmus Arbeit abnehmen

Feature Engineering geht über das bloße Weglassen von Features hinaus: Hier werden aus bestehenden Merkmalen neue, problemgerechtere Größen konstruiert. Ein eingängiges Beispiel ist der Zeitstempel: Erfasst ein Datensatz Start- und Endzeitpunkt eines Vorgangs, ist für viele Analysen nicht der absolute Zeitpunkt relevant, sondern die Dauer. Statt dem Algorithmus zu überlassen, diese Beziehung selbst zu lernen, kann man die Zeitdifferenz direkt als Feature einberechnen – und verhindert damit, dass das Modell stattdessen Tageszeit-Effekte als Hauptmuster entdeckt.

Theo betont, dass Feature Engineering das Kernthema ist, wenn Algorithmen mit möglichst wenig Daten auskommen müssen. Bei Erium wird dieser Ansatz systematisch eingesetzt: Prozesse werden in Teilschritte zerlegt, deren Input und Output mit Domänenwissen beschrieben werden, um die Blackbox-Komplexität zu minimieren. Wichtig dabei: Die Angst, durch zu starkes Eingreifen nur noch die eigenen Vorannahmen zu bestätigen, greift in der Praxis meist zu früh. Es geht darum, die schlechtesten Features zu eliminieren, die den größten Schaden anrichten.

Drei praktische Tipps für hochdimensionale Datensätze

Theo fasst seine Empfehlungen in drei Punkten zusammen: Erstens sollte man sich mit dem Use Case wirklich auseinandersetzen – 'die Hände schmutzig machen' – und den Datensatz inhaltlich verstehen, bevor man Algorithmen loslässt. Zweitens gilt es, eine smarte Feature Selection durchzuführen und sich zu fragen, welche Features überhaupt für das Problem relevant sein können. Drittens sollte auf Basis dieser Auswahl ein kluges Feature Engineering erfolgen, das Input und Output für eine Blackbox-Lösung geeignet aufbereitet.

Als praktische Ergänzung zur Folge steht ein Jupyter Notebook bereit, das den Unterschied zwischen einer Analyse mit und ohne Feature Selection und Engineering an einem hochdimensionalen Datensatz demonstriert.

Kernaussagen

  • Ein hohes Verhältnis von Datenpunkten (Zeilen) zu Features (Spalten) ist entscheidend für funktionierende ML-Modelle.
  • Der 'Fluch der Dimensionalität' macht hochdimensionale Räume mathematisch schwer beherrschbar: Das nutzbare Volumen konzentriert sich in den Ecken, nicht in der Mitte.
  • Irrelevante oder redundante Features verfälschen Abstandsmaße und können dazu führen, dass Clustering-Algorithmen reale Strukturen nicht mehr erkennen.
  • Feature Selection (Auswahl relevanter Merkmale) und Feature Extraction (Konstruktion neuer Merkmale, z.B. via PCA oder Autoencoder) sind die zwei grundlegenden Strategien zur Dimensionsreduktion.
  • Feature Engineering – das gezielte Aufbereiten von Features mit Domänenwissen – ist das Kernwerkzeug, wenn Algorithmen mit wenig Daten auskommen müssen.
  • Die Angst, durch Feature Engineering nur die eigenen Vorannahmen zu bestätigen, greift in der Praxis meist zu früh: Schon das Entfernen der offensichtlich schlechtesten Features bringt großen Mehrwert.
  • Jede vermeidbare Dimension spart Rechenzeit, Speicher und reduziert das Overfitting-Risiko.

Fazit

Dimensionality Reduction ist weit mehr als ein technisches Detail – sie ist eine grundlegende Disziplin des Machine Learnings, die über Erfolg oder Misserfolg eines Modells entscheiden kann. Die Kombination aus inhaltlichem Domänenwissen, durchdachter Feature Selection und gezieltem Feature Engineering ermöglicht es, auch mit begrenzten Daten leistungsfähige Algorithmen zu entwickeln. Der wichtigste Rat lautet: Den Datensatz verstehen, bevor man ihn einem Modell übergibt.

Für Data Scientists und ML-Praktiker

Die Folge liefert ein solides konzeptionelles Fundament für den Umgang mit hochdimensionalen Daten und stellt konkrete Methoden von der Varianzfilterung über PCA bis hin zu Autoencodern vor. Das begleitende Jupyter Notebook ermöglicht direktes Ausprobieren.

Für Fach- und Führungskräfte mit Datenprojekten

Wer Datenprojekte beauftragt oder begleitet, versteht nach dieser Folge, warum die Investition in Preprocessing und Feature Engineering kein Luxus ist, sondern eine Voraussetzung für belastbare Ergebnisse – besonders wenn Daten knapp sind.

Volltranskript anzeigen

Speaker0: In der Medizinforschung können Datensätze besonders viele Features, also Spalten in der Tabelle haben. Was ist die Blutgruppe des Patienten? Wie ist der Status des Immunsystems? Konsumiert die Person Drogen? Das geht teilweise hoch bis in den dreistelligen Bereich. Wie kann ein Computer hier den Überblick behalten und dennoch Automatisierung möglich machen? Das erfahrt ihr jetzt. Herzlich willkommen zur neuen Ausgabe vom Irian Podcast. Hallo Theo, schön, dass Du wieder dabei bist. Servus, Jaggo. Toll, dass Du da bist. Und heute soll's gehen Dimensionality Reduction, zu Deutsch Dimensionsreduktion. Was kann man darunter verstehen? Was ist hier im Kontext Data Science Machine Learning damit gemeint?

Speaker1: Beim Kontext des Machine Learnings ist mit Dimensionality Reduction gemeint, dass man schlicht und ergreifend die Anzahl der zu betrachten Parameter reduziert. Mhm. Und das kannst Du entweder dadurch erreichen, dass Du dir gezielt die Features rauspickst, die für das Problem relevant sind oder indem Du diese Features erst zusammenbaust. Mhm.

Speaker0: Mhm. Und warum ist das notwendig? Also intuitiv würde man doch denken, hey, ich nehm da doch Informationen weg. Es ist Ich soll mich doch freuen eigentlich, wenn ich superviel Daten zur Verfügung hab beziehungsweise Informationen zur Verfügung hab. Eigentlich sollte mich das doch froh fröhlich stimmen, ja? Warum warum muss ich da dann was rausnehmen?

Speaker1: Mhm. Also was viele eben verwechseln, das ist ja der Unterschied zwischen Menge und Komplexität von Daten. Mhm. Wenn Du dir's als Tabelle vorstellst, dann ist die Menge der Daten charakterisiert in in meinem Burding durch wie viele Zeilen habe ich zur Verfügung und die Features, das wären die Spalten. Ja. Und dabei ist immer 'n möglichst hohes Verhältnis, Zeilen zu spalten erstrebenswert. Denn umgekehrt, je mehr Features Du abbilden musst oder je komplexer dein System ist, desto komplexer muss auch der Machine Learning Algorithmus sein, das Ganze zu beschreiben. Okay. Was wiederum bedeutet, er hat viele Freiheitsgrade. Und die wiederum zu trainieren, brauch ich dann viele, viele Zeilen, also Samples von von von dem Datensatz. Und deswegen ist es eher mit Vorsicht zu genießen, zu sagen, okay, ich werfe jetzt mal, weil ich's kann, noch mal deutlich mehr Features ins Rennen, anstatt dass man sagt, okay, ich fokussier mich wirklich auf die wichtigen und mach mir da gezielt Gedanken, eben dieses Verhältnis, Zeilen zu spalten, optimal zu halten oder ja, was heißt optimal? Wirklich, ja, so so weit wie's geht, zu maximieren.

Speaker0: Ich kann mir auch gut vorstellen, dass wenn man jetzt diesen Datensatz bekommt, woher auch man auch immer ihn bekommt, dass wir dass der, als er konstruiert wurde, als er als er gemacht wurde, als es als es aufgezeichnet wurde, nicht mit der Intention gemacht wurde, damit grade Du deine Analyse gut machen kannst, sondern dass da auch einfach viele Info dabei ist, die halt damit erst mal nichts zu tun hast hat, was Du machen möchtest. Passiert das häufig in der Arbeitswelt, würdest Du sagen, dass quasi in Anführungszeichen unnötige Infos weitergegeben werden oder oder beziehungsweise anders formuliert, passiert es häufig, dass nur ein Bruchteil der Features, nicht der der Zeilen sozusagen oder der der Spalten relevant sind für die für das für das tatsächlich für das tatsächliche Problem, was man vor sich hat. Ja, auf jeden Fall. Und zwar

Speaker1: auch nicht aufgrund von Böswilligkeit oder Dummheit oder so, was viele ja. Unterstellen wollen. Nee, nee, aber die der der Impuls ist natürlich gegeben so, oh man, was sind das schon wieder für Idioten, die geben hier Zeug, das ich überhaupt nicht gebrauchen kann. Man muss verstehen, wo wo kommt 'n Datensatz her? Ja. Und wenn man jetzt mal im Kontext von 'ner industriellen Fertigung her denkt, dann kommen die Daten ja irgendwie aus 'ner Automatisierungstechnik raus. Ja. Und da ist kriegsentscheidend wirklich sich sicher zu sein, dass zum Beispiel Förderband a ein Objekt an Förderband b übergeben hat. Dann ist es 'n eigenes Pflegen in dem Datensatz. Für uns ist das dann aber total unnütze Information, weil wenn das nicht passiert wäre, dann wär dieser Datensatz erst gar nicht zustande gekommen. Mhm. Also das sind redundante Informationen, die die auf die wir eigentlich verzichten können und die erst mal im ersten Schritt aussortiert werden müssen. Weil's oftmals auch nur kategorische Variablen sind, die das Leben dann noch mal deutlich komplizierter machen. Das sind auch Dinge, auf die man verzichten will, explizit. Genau. Und die die auf die man verzichten will. Explizit. Und die die möchtest Du nicht in deiner Auswertung drin haben. Oder 'n zweites Thema, wenn entschieden wird, ob jetzt 'n Durchlauf gut oder schlecht war, dann gibt's einfach bei vielen Tests Maximal- oder Minimalwerte, die eingehalten werden müssen. Jetzt hast Du, wenn Du 'n umfangreichen Datensatz hast, beides als jeweils individuelle Spalte. Du hast einmal den des den numerischen Wert, ja, der irgendwie zwischen 0 und 1000 schwanken kann und zwischen 400 und 600 war okay. Und dann hast Du die daraus abgeleitete Größe, nämlich 'n. Ja. Der sich einfach nur daraus ergibt, wurde der Grenzwert eingehalten oder nicht. Und als jemand, der Struktur in Daten finden möchte, ignorierst Du im ersten Step erst mal natürlich dieses boalsche Flag Ja. Und konzentrierst dich auf den auf den kontinuierlichen Wert, weil darin ja auch die Gradienteninformation des Systems liegt. Und all das, das ist einfach Arbeit im Preprocessing, in der Feature Selection, die durch die man durchgehen sollte, ja, weil sonst kommst Du in die Teufelsküche.

Speaker0: Ich könnt's noch, glaube ich, an 'nem Beispiel aus der Mathematik vielleicht zusammenfassen. Stellt euch vor, ihr habt eine Kugel in der Hand Mhm. Und ihr wollt wissen, was der Radius von der Kugel ist. Ja, ja. Ja, und die hat jetzt die hat jetzt die schlechte Eigenschaft, dreidimensional zu sein. Und was könnte man denn da machen? Ich halt's ins Licht und schau mir quasi die Projektion an, und zwar schau auf den Schatten und mess am Schatten den Radius sozusagen. So hab ich quasi erst mal mein mein mein Problem ganz anschaulich in eine niedrigere Dimension gepackt, ne. Mhm. Und dort hab ich quasi tue ich mir leichter, diesen diesen Radius zu messen vielleicht, ja. Und jetzt das ist jetzt nur ein Beispiel, was das irgendwie illustrieren soll. Jetzt stellt euch mal vor, wie gesagt aus dem Intro, ihr habt 100 Dimensionen und eigentlich juckt euch nur, ob da jetzt eine Blutvergiftung vorliegt oder was auch immer, ja. Ja, oder was was auch immer ihr da machen, wo ihr möchtet. Und dann sind Sachen, dann sind gewisse Features einfach unnütz, ja.

Speaker1: Okay. Das ist auch 'n gutes Stichwort. Das das Punkt Kugel macht das nämlich auch sehr illustrativ, wenn man dann Richtung Lösungsalgorithmen denkt. Wenn Du Freiheitsgrade von einem Machine Learning Modell, sei es jetzt 'n neuronales Netz oder oder ein basisches Netz oder was auch immer. Wenn Du die trainieren möchtest, dann ist ja immer die das Problem, Du hast 'n hochdimensionalen Parameterraum und möchtest in diesem Parameterraum den Ort finden, der deine Daten möglichst gut erklärt. Mhm. Okay. Und der naive Ansatz wär ja, okay, man probiert einfach jeden Punkt im Parameterraum aus. Jeder von uns weiß, dass es nicht funktioniert. Das das hat 'n schönen Namen, nämlich Fluch der Dimensionalität, Curse of Dimensionalty. Und mir hat es mal 'n Kollege am Max Planck Institut vorgerechnet. Das war son Freitagsseminar und dann dann hat er die die die den kurzen Überschlag da an die Tafel geworfen. Und zwar das Gemeine ist, wenn Du mal das Volumen 1 n-dimensionalen Kugel mit dem Volumen 1 n-dimensionalen Würfels vergleichst, Mhm. Dann stellst Du fest, dass im Verhältnis das Volumen der Kugel, also Volumen der Kugel geteilt auf Volumen des Würfels, das geht gegen 0, wenn Du die Anzahl der Dimensionen gegen gegen unendlich gehen lässt. Ja. Also sprich oder anschaulich ausgedrückt, das Volumen 1 n-dimensionalen Würfels steckt vor allem in den Ecken. Ja. Und wenn Du dir aber irgendwie intuitiv vorstellst, okay, aber so die interessante Struktur sollte ja irgendwo in diesem Ja. Emotionalen Raum mittig oder zumindest gleich verteilt. Vor allen Dingen hast Du aber das Problem, dass wenn Du 'n Sampler jetzt auf das Problem loslässt, der jedes Stück Raumvolumen gleich behandelt, Mhm. Dann hält sich der quasi nur in den Ecken auf. Okay, alles klar. Ja, und das ist halt, das ist neben der kombinatorischen Vielfalt, die dir das Leben schwer macht, noch mal son Ding, das einfach superschwer zu handeln ist. Also von daher, jede Dimension, auf die man verzichten kann, ist ist Gold wert. Ist Gold wert, okay.

Speaker0: Alles klar. Jetzt hatten wir ja in vergangenen Folgen auch drüber geredet, wie man Distanzen zwischen Datenpunkten also beschreibt zumindest, ja. Also zum Beispiel wir hatten ja mal das Beispiel mit Körpergröße und Körpergewicht, ja. Mhm. Wenn ich jetzt da 'n Datenpunkt hab, wie weit ist der entfernt von 'nem anderen Datum sozusagen, ja? Ja, ja, ja, genau. Da steckt ja quasi auch schon eine gewisse Interpretation dahinter, was mit was zusammenhängt, ja, wie ich diese Abstandsfunktion wähle. Jetzt kann es, haben wir ja grad drüber gesprochen, wenn's manchmal redundante Features gibt, die erst mal mit der Analyse nichts zu tun haben, kann das ja auch meine Abstandsfunktion sozusagen verfälschen oder zumindest dahingehend verändern, dass sie schlecht ist für meine Analyse. Kannst Du dazu vielleicht was sagen? Also geht da Wie verändert sich denn dann die Abstandsfunktion? Also jetzt doof gesprochen, wenn ich jetzt meinen Clustering Algorithmus habe, der jetzt eben Abstandsfunktion sozusagen hat. Und und jetzt veränder ich quasi die Features oder Ja. Oder nehm oder veränder sie nicht grade, was was jetzt eben doof wär. Aber ich veränder dementsprechend auch nicht die Abstandsfunktion von meinem Clustering Algorithmus. Was kann da schiefgehen?

Speaker1: Mhm. Also im Endeffekt muss man sich dazu nur mal vergegenwärtigen, wie zum Beispiel eine euklidische Distanzfunktion aussieht, ja? Wurzel aus Delta x 1 Quadrat plus Delta x 2 Quadrat plus Delta x 3 Quadrat. Und wenn jetzt deine relevanten Features sich in den ersten 5 Dimensionen abspielen, also das sind diese ersten Delta x 1 bis Delta x 5, die relevanten. Und wenn Du jetzt noch mal Rauschdimensionen sozusagen damit in den Datensatz reinpackst, dann klettern die dir diesen Summand unter der Wurzel zu. Ja. Und das sorgt dafür, dass die dieses Sensitivitätsband Mhm. Ist dir eine Aussage drüber gibt, wie wie weit sind die Datenpunkte jetzt wirklich voneinander entfernt hinsichtlich der Dimensionen, die mich interessieren, Ja. Dass das einfach verwaschen wird. Okay. Ja, also Du fügst in die Metrik einfach nur Quatsch hinzu. Und das macht's immer evident, ja, dass dass Vor allem, wenn Du das vornehmening vornehmen musst, die Daten erst mal auf eine gleiche Skala zu kriegen, Mhm. Wie wichtig's da eigentlich ist, nicht aus Versehen einen Einfluss, der an sich erst mal auch kaum Varianz in sich beinhaltet und nichts mit dem Problem zu tun hat, durch Whitening so aufzublasen, dass er die anderen Distanz, also die die anderen Metrikbeitragsleiste überdeckt.

Speaker0: Da hatte der Maxime in 1 der vergangenen Folgen. Ich glaub, es war sogar zu Clustering mal 'n ganz schönes Beispiel gebracht. Und zwar hat er sich mal einen Datensatz genommen, zweidimensional, also also einfach ganz flach, hat eine Spirale gemacht. Die Swiss Road, ja genau. Die Swiss Road. Ja, ja. Okay. Und da kann man eben mit so Sachen wie DB Scan ganz gut durchlaufen und das als Cluster erkennen sozusagen, aber er hatte dann quasi noch 2, 3 Rausch Dimensionen hinzugefügt. Und das Ergebnis war dann am Ende eben, dass die ganzen Datenpunkte in einen großen Cluster gepackt wurden was natürlich de facto einfach falsch ist, wenn man weiß, dass da diese Spirale vorhanden ist und sagt, okay, gut, die hätte ich weglassen müssen, ne. Und ja, das kann eben auch passieren bei Die Vorstellung ist zwar dann irgendwann weg, ja, wenn man einfach einen Datensatz hat mit 100 Features, aber genau das ist das, was passieren kann, bei so Sachen wie Clustering.

Speaker1: Ja, so ist es. Genau. Und was man an dem Beispiel vor allem auch merkt, wenn wir jetzt auch Richtung denken, Mhm. Dass natürlich, also das ist ja quasi eine Tautologie, je mehr Komplexität ich in das Problem mit reinnehme, desto höher werden auch die Berechnungskosten. Und das kannst quasi jetzt stupide in jede Dimension denken, ja. Also sei es Rechendauer, sei es Arbeitsspeicher, sei es das Risiko für Overfitting. Mhm. Na, das kannst Du in in jede dieser Richtungen denken.

Speaker0: Ja. Und eben, also je, ich kann mich da nur noch mal wiederholen, je höher die Anzahl der Features, desto relevanter werden auch diese Sachen wie Speicher. Also wenn ihr jetzt 3 Features habt und ihr hattet vorher 4, dann okay, gut, macht das euer Speicher jetzt vielleicht jetzt nicht so so groß so viel aus. Aber wenn's dann eben in höherdimensionale Probleme geht, dann sollte man auf jeden Fall auf so was achten. Absolut, ja, genau. Was gibt's denn da für, uns mal 'n bissel konkreter zu werden, was gibt's denn da für Methoden? Wie gestaltet sich denn in der Praxis, ne? Also Aha. Ich mein, jetzt kann ich Wenn ich jetzt wirklich was Hochdimensionales habe, wie das Beispiel aus der Medizin und ich hab 100, muss ich mir da jetzt auf jeden Fall einen Experten holen, der mir sagt, das kann's rauslassen, das kann's rauslassen, das kann's rauslassen? Oder wie geht man da an die am besten an die Sache ran, würdest Du sagen? Na ja, also das Thema Experte ist 'n Stichwort, weil wenn ich natürlich Ahnung vor dem Problem hab, dann sollte ich zunächst mal mit mit 'nem gesunden Menschenverstand draufklicken und

Speaker1: erkennen, dass die Autofarbe des Probanden unter Umständen vielleicht in erster, zumindest in erster Erwartungen nichts mit dem Ergebnis der klinischen Studie zu tun hat. Ja. Das ist aber auch quasi offensichtlich, wobei es viele aufgrund von, na ja, vielleicht ist es Bequemlichkeit oder Faulheit nicht tun, ne. Es ist natürlich bequem, einen Datensatz erst mal stumpf irgendwo reinzuschieben, Ja. Ohne sich wirklich Spalte für Spalte anzugucken. Vor allem weil, und das ist immer so, da kann einem 1 versprechen, was er möchte, die Spaltenbezeichner oder generell die Featurebezeichner nie für einen externen aussagekräftig sind. Außer Du hast heftigste Dokumentation und das wiederum bedeutet wieder Einarbeitungsaufwand. Ja. So, das heißt, okay, ja, aber das ist natürlich mal die 1. Option. Und dann kannst Du dir, wenn Du eine Zielgröße hast, also wenn's ein supervice Problem ist, Mhm. Dann kannst Du dir natürlich erst mal 1 zu 1 die jeweiligen Features angucken. Und es ist aber sehr manuell geprägt das Ganze, dass Du einfach mal guckst Oder wenn Du merkst, in der Spalte stehen quasi nur Nullen drin oder immer der gleiche Zahlenwert, dann okay, vielleicht ist der für das Problem relevant. Aber wenn Du jetzt nur den Datensatz an sich zur Verfügung hast für die Analyse, was sollst Du denn machen, ne? Ja. Dann dann dann wurde in dem einfach nicht gearbeitet, dann ist da keine Varianz drin und dann bringt's auch nix dem mitzunehmen. Und damit, Stichwort Varianz, bist Du auch bei 'ner Methode, das quasi bissel zu automatisieren. Du kannst erst mal sagen, okay, Du machst sone Varianzschwelle, alles unter 'ner gewissen Varianz nimmst Du nicht mit. Ja. Was aber bedeutet natürlich, dass Du nicht das Weiten Ding drauf aufwenden kannst, dass dir ja den Mine auf 0 und die Varianz auf 1 schiebt. Ja. Ja, okay. Bingo. Damit nimmst Du ja direkt an, dass die Skalen der Spalten schon a priori vergleichbar sind. Okay, ja. Also da weiß ich, die Katze ist ja 'n bisschen in den Schwanz. Aber wenn Du jetzt, sagen wir mal, 100 Spalten hast und das sind alles geometrische Maße, dann sind die inhärent miteinander vergleichbar, wenn's ein einziges, also wenn die alle von der von der gleichen Problemklasse her sind, diese diese Messwerte. Dann sind die vergleichbar, dann kannst Du natürlich anwenden. Aber das Beispiel von dir vorhin mit Gewicht und Körpergröße, das sind unterschiedliche Einheiten. Ja. Die sind abriori erst mal nicht vergleichbar und dann fällt das raus. Und was Du aber natürlich auch machen kannst, ist, wenn Du wie gesagt eine Zielgröße hast, ist, dass Du die die 1 zu 1 Korrelation anguckst und erst mal all das wegschmeißt. Das sind erst mal 1 zu 1 keine unmittelbare Korrelation mit der Zielgröße aufweist. Und dann ist natürlich, wenn Du über das Stadium hinaus möchtest, das ist uferlos an Methoden, die Du anwenden kannst. Es gibt eine Myriade an Varianten von der PCA. Mhm. Also dass Du versuchst von 'ner, jetzt mal bei 'ner PCA, okay, Du Du Du rechnest dir die die Co Varianz aus und nimmst dann nur die Achsen mit den höchsten, mit den größten Eigenwerten mit. Du nimmst sozusagen die lineare Ernährung, kannst den Weg gehen bis hin zu Auto Encodern. Ist wahrscheinlich die meisten Zuhörer in Inbegriff, aber also neuronales Netz, das wie 'n wie 'n Schmetterling aufgebaut ist. Mhm. Du Du hast 'n Encorderlayer und komprimierst deinen Input runter auf wenige Ja. Auf auf wenige Größen und Und hast dann quasi butterfly mäßig den Decoder, der versucht, aus diesen wenigen Neuronen dann die ursprüngliche Information wiederherzustellen. Mhm. Und quasi dein Ziel ist, von eben dem Abstand Ja. Input minus Output gegeben den dem n- und den Decoder. Und das ist natürlich supermächtig. Und damit sind vor allem aber bei bei so Themen wie Texterkennung ziemlich krasse Dinge möglich. Also mit 'nem Auto Encorder kannst Du teilweise Also das ist auch 'n Komprimierungswerkzeug, eine supercool ist, kannst Du teilweise echt heftig

Speaker0: die relevante Information ausm Datensatz extrahieren. Ich mein, wenn man sich das mal vorstellt, ist es ja genau das, was dann Auto Encoder im Prinzip machen soll, irgendwie so allein von der Optik her. Ja, genau. Zu sagen, ich ich zieh's zusammen und wie weit kann ich's zusammenziehen, Ja. Dass ich's danach wieder auseinanderziehen kann? Richtig. Und das ist eigentlich genau das, was getan werden soll. Also

Speaker1: also ist 'n mächtiges Tool. Und weiteres sehr, sehr cooles Werkzeug oder eine 1 Werkzeugklasse, die vor allem von 'nem geometrischen Standpunkt her so sehr cool sind. Mir hat mal, genau, witzigerweise der gleiche Kollege, der damals diese diese Kugel versus Ein weiser Mann, ja. Ja, ja, wirklich. Der diese Kugel versus Würfelberechnung durchgeführt hat, der hat mir der hat's mir so schön aufn Punkt gebracht. Und zwar, wenn etwas in einem Datensatz zu finden ist an Struktur, an Informationen, dann bedeutet es, dass dieser Datensatz in 1 Hyperebene oder beziehungsweise in der Untermanigfaltigkeit dieses Datenraums ist. Weil angenommen, deine Datenpunkte sind total zufällig in dem Datenraum verteilt, Ja. Dann bedeutet es, dass es keine Struktur zu lernen gibt. Mhm. Natürlich immer die Frage, okay, sind die Achsen schon formformatiert? Da sind wir dann schon beim Feature Engineering, dass dass diese Struktur offenkundig wird. Aber angenommen, diese Struktur liegt im geometrischen Sinne vor, dann geht's eben darum, in diesem hochdimensionalen Raum diese Unter Hyperebene zu finden, auf der sich die Daten aufhalten. Ist auch das, was der Mensch eigentlich permanent macht. Ja. Und dieses geometrische Bild als Grundidee aufgegriffen, haben sich die Leute, die die geschaffen haben, eben als als als Grundidee gedacht. Und zwar bettest Du dort eine, ja, in den einfachsten Beispielen sind's zweidimensionale Untermaligfaltigkeiten in den n-dimensionalen Raum ein. Okay, also jetzt wird's grad mathematisch, aber ich bin noch dabei. Ja, was was was natürlich sehr cool ist, wenn Du wenn Du eine 1 relativ einfache Einbettung hast. Mhm. Es stößt natürlich an seine Grenzen, wenn wenn die Topologie von deinen Daten zum Beispiel auf 'ner Kugelschale verteilest. Wenn Du versuchst, 1 1 1 Blatt Papier eine Kugel zu wickeln, dann wirst Du feststellen, dass das Ding mindestens an 1 Stelle, nämlich im an an einem der Polregionen, wenn Du jetzt das entsprechend drehst, Ja. Nicht wirklich die die die nicht wirklich die die die Kugel ordentlich abdecken kann. Ja. Beziehungsweise die die denkt, dass 2 Punkte, die laut sehr weit entfernt sind, auf der Kugel total nah beieinander liegen. Mhm. Also da stößt das Ganze an seine Grenzen. Es gibt auch Erweiterungen, die nicht mit reinen Abständen, das Ganze an seine Grenzen. Es gibt auch Erweiterungen, die nicht mit reinen Abständen, sondern mit wahrscheinlichkeitsdichten Arbeiten, also die GTMs, die generativen, topografischen Karten. Und also das kann man dann auch wieder beliebig kompliziert, aber ich find's nur so so cool und sexy, ja. Ich bin 'n Freund von Manigfaltigkeiten Ja. Dass man das da so so geometrisch dann anpackt. Ja, also das vielleicht son bisschen zu verdeutlichen, wieder in in in die Intersprache von der Dimension, ja. Wenn man jetzt, also allein schon mal im Griff Untermannigfaltigkeit

Speaker0: so kurz zu klären, wenn wenn man sich eine Kugel anschaut, ja, die ist irgendwie im dreidimensionalen Raum und die Oberfläche von der ist ja trotzdem erst mal eine Fläche. Ja, genau. So, die ist trotzdem erst mal zweidimensional. Und das ist quasi diese Reduktion, die man dann macht, dass man sagt, schaff ich es, mich jetzt vielleicht nicht auf eine Ebene, die halt tatsächlich irgendwie zweidimensional ist, zu reduzieren, sondern etwas, was zwar im dreidimensionalen Raum lebt, aber dennoch eine Fläche ist, mich darauf zu reduzieren. Und das ist das das ist quasi eine Erweiterung sozusagen des Begriffs Dimensionsreduktion. Genau.

Speaker1: Jetzt gibt es ja noch den Begriff. Kannst Du dazu was da kurz sagen? Ist es, steht es

Speaker0: Gegensatz zu oder Du kannst mich ja gern korrigieren, so wie ich das verstanden hab. Bedeutet das eben, dass man seinen Datensatz so 'n bisschen, also könnte ich könnte man ja auch meinen, dass da Feature Selection auch drinsteckt an sich? Oder wie ist das, pack ich da neue Feature dazu? Was was passiert da genau?

Speaker1: Also ich bin mir nicht sicher, ob's eine Brockhaus Definitionen dazu gibt. Ja. Aber ob ich bin einfach mal ins im Mathestudio, da brauch ich immer ganz klar Definition. Aber gut, ja. Ja, also Feature Engineering ist für mich einfach okay, Du nimmst den Datensatz und und und machst eine Art des preprocessing, Du schaffst neue Features. Also echt sehr schönes Beispiel, das ist illustriert, ist das Thema Zeitstempel. Mhm. Wenn für deinen Prozess der entscheidende Punkt eine 1 Zeitdauer sind und deine Sensoren oder deine deine deine Daten, die erfassen einen Start- und einen Endzeitpunkt. Also das kann Fertigungsprozess sein, das kann aber genauso im E-Commerce sein, wie lange hält sich jemand auf 1 Seite auf? Ja. Oder wie lange schaut er den Warenkorb an, bevor er auf bestellen klickt? Mhm. Was Du erfasst, ist ja erst mal generisch 'n Timestamp. Und für für das Problem relevant ist aber diese Zeitspanne. Mhm. Und dann kannst Du natürlich deinen Datensatz so aufbauen, dass Start und Ende als eigene Spalte drin sind und dann erst mal sagen, lieber Algorithmus, finde mal bitte selber raus, dass die Distanz zwischen den beiden Zeitpunkten, also die Zeitdauer, nicht Distanz Ja. Da da das Relevante für das Problem sind, weil Du vielleicht aus 'ner Studie schon weißt, dass dass es sich darum geht, aber Du bist dir nicht ganz sicher, ist es welcher welcher Einfluss ist es jetzt? Ist es eine quadratische, eine kubische, eine logistische Wechselwirkung? Und und und natürlich kannst Du das dem neuronalen Netz zum Beispiel lernen lassen, aber erstens verbrauchst Du damit Informationstiefe, die in den Daten steckt und zweitens kann's sein, dass das neuronale Netz in eine andere Richtung geht. Weil es quasi eher herausfindet, dass sich die Leute 9 Uhr morgens anders verhalten als 6 Uhr abends. Ja. Und wenn Du das ausschließen möchtest, dann machst Du dieses Feature Engineering, indem Du sagst, okay, fuck it, ich mach gleich die Distanz, nehm die Start- und Endzeitpunkte aus den Daten raus und geborene eben nur noch die Differenz. Mhm. Das ist 'n supercooles Beispiel für Feature Engineering, weil's eben so schön eingängig ist. Und wieder aus 'ner geometrischen Perspektive betrachtet, das kann sich jetzt der Zuhörer, also der Education, ne, kann sich das mal vorstellen, wenn ich auf der, also in 'ner zweidimensionalen Ebene in der klassischen x-Achse quasi Start und auf der y, die den Endzeitpunkt habe, was die Ägvie Zeitspann Okay. Linien sind. Ja. Ah, ist gar nicht so schwierig. Mhm. Und und die nimmt man quasi dann als Okay. Als Feature in den Datensatz rein. Also man versucht quasi,

Speaker0: 2 Feature zu mergen und daraus quasi ein neues zu machen. Wir hatten, glaub ich, glaub ich, mal bei Clustering kurz drüber geredet, dass es dann auch hilfreich sein könnte, erst mal Clustering zu machen und dann den Cluster, den entsprechenden als neues Feature hinzuzufügen. Also da gibt's da gibt's vermutlich uferlose Möglichkeiten. Aber an sich ist es ganz schön zu sehen, dass man quasi, das noch mal klarzustellen, Mhm. Es ist nicht so, dass man ist, macht vielleicht bisschen Preprocessing, gibt dann alles deinem Network zum Trainieren, sondern man versucht dem tatsächlich auch Arbeit abzunehmen, damit es besser performen kann. Ja, genau, genau.

Speaker1: Und das ist ja im Wesentlichen, was wir bei Ihrem auf die Spitze getrieben haben, genau dieses Feature Engineering. Also wenn wir einen Prozess runterbrechen und seine Einzelschritte, Mhm. Dann ist es quasi immer dieser Wechsel zwischen, ich hab Ahnung vom Prozess Ja. Und ich hab wieder keine Ahnung von Prozess. Ja. Also immer immer dieses Hin und Her. Das, was in einem Prozessschritt stattfindet, das beschreibe ich teilweise komplett nur stochastisch, nur nur über über einen Regressor, den ich alle freihalten lasse. Aber ich hab Ahnung, was von diesem Subschritt im Prozess Input und Output sein sollen. Ja, das sind teilweise Observablen, die ich verstehe. Mhm. Und die, die kann ich engineieren, sozusagen das diese großen Blackboxen herunterzubrechen. Insofern ist eigentlich das Thema Feature Engineering das Kernthema, wenn's drum geht, wirklich Algorithmen aufzusetzen, die mit einem Mindestmaß an Daten auskommen müssen.

Speaker0: Gut. Dann zum Abschluss, Theo, könntest Du vielleicht noch mal kurz zusammenfassen, was sind deine 3 Tipps zum Umgang von hochdimensionalen Datensätzen? Also damit die Complexitymasters da draußen wissen, was sie tun müssen, wenn sie jetzt plötzlich einen Datensatz mit 200 Spalten vor sich haben, mit irgendwelchen Blutgruppen und sonst was. Mhm. Auf was müssen die da unbedingt achten? Okay. Also erstens,

Speaker1: ich glaub, das sag ich immer wieder, aber es ist einfach wichtig, macht euch die die Hände schmutzig. Ja. Also geht's in den Use Case rein, beschäftigt euch damit, worum geht's bei dem Datensatz. Ja. Und dann einfach beide Schritte durchzugehen, nämlich einerseits sich drauf zu konzentrieren, welche Features können überhaupt für das Problem relevant sein? Also dieses und dann ein kluges Engineering vorzunehmen. Ja. Zumindest in der Art, dass Input und Output für eine Blackbox Lösung geeignet sind. Und dabei auch keine Angst, dass man irgendwie durch zu viele Manipulationen des Datensatzes quasi dann nur noch das, ja, ermöglicht, was man reingesteckt hat. Also viele haben die Angst, wenn sie zu sehr in den Algorithmus eingreifen, dass der nur noch das finden kann, was man dem entkodiert hat. Ja, natürlich Mhm. Gibt's diese Gefahr. Aber meiner Erfahrung nach ist diese Angst, die greift bei vielen schon viel, viel, viel zu früh. Also es geht wirklich da darum, so die schlechtesten 10 Prozent irgendwie mal rauszuwerfen, die einem 90 Prozent der Show zerhageln. Ja. Und die geht's eigentlich. Mehr, mehr, für mehr hast Du eigentlich ja keine Zeit. Also von daher, macht's euch die Hände schmutzig, smarte Feature Selection und dann auf Basis dessen noch mal Engineering der wichtigsten Punkte.

Speaker0: Alles klar, super. Vielen Dank. Dann findet ihr in den Shownotes wieder eine Jupiter Notebook Datei. Ich greif's mir kurz her, und zwar zu einem hochdimensionalen Datensatz. Und da dürft ihr jetzt quasi, also einmal wird wird da eine Analyse gemacht ohne Feature Selection und Feature Engineering und einmal mit. Und dann seht ihr den Unterschied, was da tatsächlich schiefgehen kann oder was da häufig auch schiefgeht. Und genau, dann ansonsten schon mal ein kleiner Ausblick, denn bei all diesen Sachen, die wir grade angesprochen haben, kann natürlich auch einiges schiefgehen, ne. Und zwar speziell Du hast es kurz, glaub ich, grade eben angesprochen und zwar der ist da oft auch ganz groß. Ja, ja, genau. Wenn man einfach genau das machen will, was was man vermutet. Und das wird in der kommenden Folge auch passieren. Da werden wir viel dazu reden und zwar über die gängigsten Fehler beim Interpretieren von Daten oder generell bei Datenanalyse. Ansonsten vielen Dank Theo, dass Du wieder dabei warst. Danke dir, Jago. Und würd ich sagen, Master the Complexity. Damit wir weiterhin für euch, hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.

Mehr Folgen aus Staffel 1 →