Preprocessing

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Podcast-Host (Erium)Moderator des Erium Podcasts
Überblick
In dieser Folge des Erium Podcasts dreht sich alles um Data Preprocessing: Was bedeutet es, Rohdaten aufzubereiten, bevor ein Machine-Learning-Algorithmus eingesetzt werden kann? Dr. Theo Steininger erklaert anhand konkreter Praxisbeispiele, welche Fallstricke in echten Industrieprojekten lauern und was man in der Uni typischerweise nicht ueber dieses Thema lernt.
Über den Gast
Dr. Theo Steininger ist Co-Founder und CTO von Erium (ehemals bekannt unter dem Produktnamen Halerium). Als Experte fuer Machine Learning und Datenverarbeitung bringt er tiefes technisches Know-how aus zahlreichen Industrieprojekten mit und erlaeutert in dieser Folge praxisnah die Herausforderungen des Data Preprocessings.
Zusammenfassung
Daten vs. Informationen: Ein unterschaetzter Unterschied
Theo betont, dass Daten und Informationen keineswegs dasselbe sind. Anhand eines Kundenbeispiels aus Berlin wird deutlich, wie ein Unternehmen Terabytes an Daten gesammelt hatte, dabei aber kaum Variation in den Anlagenparametern aufwies. Im hochdimensionalen Parameterraum lagen alle Datenpunkte quasi auf demselben Punkt. Hinzu kam, dass das gesuchte Fehlermerkmal nur in etwa 2,5 Prozent der Faelle auftrat, was den vermeintlich riesigen Datensatz auf ein informationsarmes Minimum reduzierte. Die Analogie: Wer jeden Tag dasselbe erlebt, hat zwar gelebt, aber wenig erfahren.
Murphys Law im Preprocessing: Was schiefgehen kann, geht schief
In der Uni werden oft sauber aufbereitete, synthetische oder kuratierte Datensaetze verwendet, wie etwa der bekannte MNIST-Datensatz fuer Handschrifterkennung. In der Realitaet hingegen gilt Murphys Law: Sensoren fallen aus, Messwerte werden nicht kalibriert, und ETL-Prozesse (Extract, Transform, Load) sind eine eigene Wissenschaft. Ein Reviewer bei einem Kunden stellte nach fuenf Jahren Laufzeit fest, dass nur 32 Prozent der erfassten Daten tatsaechlich verwertbar waren.
Big Data: Viele Daten bedeuten nicht zwingend mehr Erkenntnis
Theo definiert Big Data pragmatisch: Sobald ein Datensatz nicht mehr in den Arbeitsspeicher eines handelsueblischen Rechners passt (grob ab 200 Gigabyte), bewegt man sich im Big-Data-Regime. Horizontal skalierte Systeme wie Hadoop-Cluster werden notwendig. Dabei koennen scheinbar triviale Aufgaben wie Medianbrechnung oder alphabetisches Sortieren auf verteilten Systemen extrem komplex werden. Die eigentliche Herausforderung liegt nicht in der Methodik, sondern in der schieren Datenmenge.
Umgang mit Rauschen und fehlenden Werten
Verrauschte Daten und Missing Values gehoeren zum Preprocessing-Alltag. Ein fehlender Datenpunkt kann dabei selbst eine Information sein, z.B. wenn ein Sensor genau dann ausfaellt, wenn ein Fehlerzustand eintritt. Das naive Ersetzen fehlender Werte durch den Spaltenmittelwert verzerrt die statistische Verteilung des Datensatzes erheblich: Es entsteht ein kuenstlicher Peak im Histogramm, der Algorithmen in die Irre fuehren kann. Besser ist eine multivariate Interpolation, die Korrelationen zwischen verschiedenen Features ausnutzt und im Idealfall ein Modell der Datenquelle selbst einbezieht.
Preprocessing und Algorithmuswahl: Ein iteratives Wechselspiel
Die Wahl des Machine-Learning-Algorithmus und das Preprocessing beeinflussen sich gegenseitig. Die Problemstellung schraenkt zwar die Algorithmusklasse ein, doch erst waehrend des Preprocessings zeigt sich oft, ob z.B. Labels korrumpiert sind und man statt eines Supervised- ein Unsupervised-Learning-Verfahren benoetigt. Bayes'sche Netze kommen ins Spiel, wenn die Datenqualitaet schlechter als erwartet ist und Hintergrundwissen eingebunden werden muss. Der Prozess ist daher kein linearer, sondern eine Iterationsschleife.
Machine Learning im Dienst des Preprocessings: Outlier Detection & Clustering
ML-Algorithmen koennen auch im Preprocessing selbst eingesetzt werden, etwa zur Ausreissererkennung (Outlier Detection) oder zur Feature-Gruppierung via Gauss'scher Mixturmodelle. Ein einziger extremer Ausreisser, z.B. ein fehlerhafter Temperaturwert von 400 Millionen Grad Celsius durch einen abreissenden 32-Bit-Sensor, kann aufgrund quadratischer Abstandsmetriken das gesamte Modell massiv verzerren. Clustering hilft, solche Ausreisser zu identifizieren und zu entfernen.
Das Saegezahnmuster: Eine Praxisgeschichte ueber Clock Drift
Als anschauliches Beispiel schildert Theo einen Fall, in dem Durchlaufzeiten von Bauteilen in einer Produktionskabine ein raeatselhaftes Saegezahnmuster zeigten: Die Zeiten stiegen kontinuierlich an und resettierten regelmaessig. Die Aufloesung: Eine speicherprogrammierbare Steuerung war nicht mit dem zentralen Zeitserver der Anlage synchronisiert und akkumulierte einen Clock Drift. Waehrend Betriebsferien wurde das System neu gestartet und der Zeitstempel korrigiert. Der Kunde selbst wusste davon nichts. Dieses Beispiel illustriert, wie wichtig Plausiblitaetschecks und das Gespraech mit denjenigen sind, die die Anlage kennen.
Kernaussagen
- Daten und Informationen sind nicht dasselbe: Viele Datenpunkte ohne Variation liefern kaum Mehrwert.
- Murphys Law gilt im Preprocessing: In echten Industrieprojekten kann fast alles schiefgehen, von Sensorausfaellen bis zu Kalibrationsfehlern.
- Big Data bedeutet primaer mehr Aufwand, nicht automatisch mehr Erkenntnis.
- Fehlende Datenpunkte sind selbst eine Information und sollten nicht vorschnell ignoriert oder durch den Mittelwert ersetzt werden, da dies die statistische Verteilung verzerrt.
- Preprocessing und Algorithmuswahl sind kein linearer Prozess, sondern ein iteratives Wechselspiel.
- Kommunikation ist entscheidend: Das Gespraech mit demjenigen, der die Daten erzeugt hat (z.B. der Techniker oder Maschineningenieur), spart erheblich Zeit und Aufwand.
- Plausibilitaetschecks sind Pflicht: Muster wie das Saegezahnmuster im Clock-Drift-Beispiel lassen sich nur durch genaues Hinsehen und Domainwissen aufdecken.
Fazit
Data Preprocessing ist weit mehr als ein notwendiges Uebel vor dem eigentlichen Machine Learning. Es erfordert Domainwissen, statistische Sensibilitaet, Kommunikationsbereitschaft und iteratives Denken. Wer glaubt, Rohdaten einfach in einen Algorithmus einzuspeisen und auf Ergebnisse zu warten, wird in der Praxis regelmaessig von Murphys Law eingeholt. Die drei zentralen Lektionen dieser Folge: Plausibilitaetschecks durchfuehren, Metainformation aktiv einholen und niemals davon ausgehen, dass mehr Daten automatisch besser sind.
Fuer Data Scientists und ML-Praktiker
Verlasst euch nicht auf die sauberen Datensaetze aus dem Studium. Prueft Rohdaten auf Plausibilitaet, baut Modellverstaendnis auf, bevor ihr mit dem Preprocessing beginnt, und setzt ML-Methoden auch zur Datenbereinigung selbst ein.
Fuer Entscheider und Fuehrungskraefte in der Industrie
Viel Datenmenge bedeutet nicht automatisch gute Datenbasis. Investitionen in Sensorik und Data Lakes muessen von Anfang an mit regelmaessigen Qualitaetspruefungen und einer engen Zusammenarbeit zwischen IT, Technik und Data-Science-Teams begleitet werden.
Volltranskript anzeigen
Speaker0: Was hat ein Sägezahnmuster mit Daten zu tun? Und was sollte man übers Preprocessing wissen, was man in der Uni nicht lernt, erfahrt es jetzt in der neuen Ausgabe vom Irian Podcast. Und damit herzlich willkommen zu 1 neuen Ausgabe vom irion Podcast. Bei mir sitzt heute der Theo. Hallo. In der heutigen Folge geht's die einzelnen Bestandteile in einem Machine Learning Prozess und was ihr unbedingt beachten müsst beim Data Preprocessing. Theo, vielleicht ganz kurz, was ist mit Data hier gemeint?
Speaker1: Aus meiner Sicht umfasst das Data preprocessing alles, was Du machst, bevor Du deine Daten in einen etwas fancy Algorithmus reinsteckst, der die eigentliche Aufgabe erledigt. Das heißt, Du hast ja immer eine konkrete Fragestellung, die Du beantworten möchtest. Du möchtest irgend einen Mehrwert aus Daten ziehen und ja, eigentlich genau. Bevor es richtig losgehen kann, sind einfach viele Schritte notwendig und all die würd ich jetzt mal unter Preprocessing zusammenfassen. Genau. Also Schritt 1 ist,
Speaker0: die Daten, die man hat, so aufzubereiten, dass man danach mit einem passenden Machine Learning Algorithmus damit etwas machen kann. Eine Analyse, irgendein Muster zu erkennen et cetera. Vielleicht kurz, damit alle auf dem gleichen Stand sind, Missverständnisse zu vermeiden, was sind denn überhaupt Daten versus, was sind Daten versus, was sind Informationen? Ist das das Gleiche? Gibt's da Unterschiede? Könntest Du das vielleicht kurz aufklären? Mhm. Das ist 'n Riesenunterschied erst mal. Also viele verwechseln Daten mit
Speaker1: Informationen Mhm. Und sehen den Unterschied nicht. Und ganz konkret, das war wirklich 'n krasses Beispiel, wir hatten das einmal bei 'nem Kunden in Berlin, dann schlagen wir bei dem auf und fragen so die Gretchenfrage, Ja. Wie ist denn die Datenlage? Der Prozess war, ja, ganz okay, die hatten schon 'n bissel Ahnung, was da passiert. Prozess war, ja, ganz okay. Die hatten schon 'n bissel Ahnung, was da passiert, auch was sie wollten. Das war sehr klar, das war gut. Und dann sagen die, ja, wir haben jede Menge Daten. Mhm. Und dann ging das aber relativ schnell wieder wieder mit 'ner Rolle rückwärts los, denn zum einen hatten die sehr viele Daten aus ihrer speicher programmierbaren Steuerung rausgezogen. Mhm. Aber es fing schon mal damit an, dass die immer die gleichen Anlagenparameter benutzt haben. Okay. Das ist 'n industrieller Prozess, den die da durchführen und die probieren fast nichts aus. Die die die variieren die Einstellungen nicht. Und jetzt kann's dir vorstellen, wenn einen Datensatz gebe und den einfach 10000000000 Mal kopiere, dann hast Du zwar die Festplatte voll, hast Du Ja. Nix davon. Aber keinen Mehrwert, ja. Ja, richtig. Und genau die Situation hatten wir dann, dass wir feststellen mussten, ja Leute, ihr habt's überhaupt keine keine Variation drin oder wenn ich jetzt in Form 1 hochdimensionalen Parameterraums denke, eure Datenpunkte liegen alle auf demselben Punkt. Ja. Damn.
Speaker0: Ist
Speaker1: wenn wir uns unser eigenes Leben vor Augen führen, dann ist es ja ähnlich. Egal, ob ich ein kurzes oder ein langes Leben geführt habe, das sagt erst mal noch nichts darüber aus, wie viel ich während dieses Lebens tatsächlich eher erlebt habe. Es gibt achtundzwanzigjährige Musiker, die auf mysteriöse sterben, aber wahrscheinlich deutlich mehr erlebt haben als so mancher Achtzigjähriger, der jeden Tag den gleichen Tagesablauf hatte. Und von daher muss man da sehr vorsichtig sein, wenn man gesagt kriegt, ja, ja, Daten sind kein Problem, wir haben 5 Terabyte Daten. Das sagt mir erst mal gar nix drüber aus. Und die die die die 2. Sache ist folgende, dass bei diesem Fertigungsprozess, der lief immer gut eigentlich oder der läuft immer gut, aber das Fehlermerkmal, das halt einfach einen großen finanziellen Impact auf die ganze Geschichte hat, Der tritt sehr selten auf, ist aber wenn er auftritt, sehr, sehr teuer. Mhm. Und das hat diese ganze Datenlage noch mal verschlimmert, weil aus diesen, ja, Daten, bei denen es sich eben rausgestellt hat, die probieren eigentlich nie was Neues aus, waren die Fälle, die wirklich interessant für uns waren. Das das das waren dann am Ende zweieinhalb Prozent, ja. Und dann bist Du sehr schnell in dem Bereich, da wird dann aus dem Terabyte Datensatz 'n Kilobyte Datensatz.
Speaker0: Okay, also die Informationen, die dann wirklich nutzbar sind, reduzieren sich dann tatsächlich auf ein Minimum. Richtig, genau. Gut, also dann haben wir das schon mal aufgeklärt, Daten versus Information, was ist Beim preprocessing, Du hast es ja schon angesprochen, es geht darum, die Daten so aufzubereiten, dass man danach mit etwas an etwas anfangen kann. Was heißt genau, aufbereiten? Also was was kann da überhaupt schiefgehen? Ich mein, wenn ihr noch Messungen macht, dann haut das doch meistens hin. Und ich sag jetzt mal ganz, ganz doof gesprochen, wie stell ich mir das richtig vor, wenn ich sag, ich hab die Daten, schmeiß die in meine Maschine rein, klick Ergebnis und bin fertig. Dann haut das so hin Beziehungsweise was kann denn da schiefgehen bei dem bei dem Datenbestand, den ich kriege?
Speaker1: Das ist der 1. Punkt der Dinge, die man an der Uni eher nicht beigebracht kriegt. Und zwar, die meisten oder es kennt jeder, das Murphy Law. Mhm. Das gilt genauso bei Daten Preprocessing. Das heißt, alles, was schiefgehen kann, wird in Zweifel schiefgehen. Okay.
Speaker0: Also die die Datensätze, die man in der Uni bekommt, die sind meistens so
Speaker1: schön, dass Entweder, genau, es sind synthetische Datensätze. Das heißt, für ein konkretes, für eine konkrete Aufgabe wurde anhand des Lösungsalgorithmus Daten erzeugt. Mhm. Dann sind die natürlich top. Oder wenn es sich ausnahmsweise echte Datensätze handelt, dann sind die. Okay. Nimm den Amnest Datensatz her mit der Handschrifterkennung. Ja. Der ist einfach super vor und aufbereitet. Die die die die die Ziffern, die sind alle gleich groß ausgerichtet. Es gibt keine kein Rauschen im Bild, das ist top, ja. Angenehm zum Einsteigen, oder? Richtig, angenehm zum Einsteigen. Und es gibt ja eine ganze Disziplin Ja. Des des Daten Einlesens alleine schon, nämlich, das kennen viele wahrscheinlich unter dem Begriff ETL Prozesse, ja. Das ist eine eigene Wissenschaft, da gibt's Produktsuits extra nur für diesen einen Bereich. Und dass es 'n komplexes Thema ist, das merkst Du auch daran, wenn wenn man ein weiteres Buzzword dann mit in die Diskussion mal mit aufnehmen, das Thema, was ist eigentlich Big Data? Mhm. Und Big Data hat erst mal nichts mit der Komplexität des im Anschluss zu lösenden Problems zu tun. Das beschreibt mir einfach nur, okay, ich hab sehr viele Daten. Mhm. Und das ist natürlich auch ein Punkt, der relevant wurde, dieses diese Herausforderung. Man muss mit vielen Daten arbeiten können.
Speaker0: Was heißt viel in dem Kontext vielleicht, dass man sone Größenordnung vor Augen hat?
Speaker1: Viel in in in meinen Maßstäben bedeutet, dass Du den Datensatz und wenn Du damit arbeiten möchtest, vielleicht Zwei- oder Dreifache des Datensatzes nicht mehr in den Arbeitsspeicher von 'nem normalen Computer reinkriegst und normal ist das, was ich mir so einfach zusammenbauen kann. Okay. Sprich irgendwie so die 200 Gigabyte. Das alles, was drüber geht, da bist Du in 'nem Clusterbereich und musst dir halt dann einerseits Hardware Architekturen angucken, die mächtiger sind, die horizontal skalieren, also vertikal skalieren. Mhm. Man muss eine Maschine immer fetter. Macht natürlich Spaß. Ja. Und was aber auch sehr viel Spaß macht, ist horizontal skalieren. Das heißt, Du nimmst einzelne Computing Notes und vernetzt die untereinander. Ja. Alle so Supercomputer der Welt sind einfach krass horizontal skaliert. Okay. Das sind das sind Arbeittausende von einzelnen Computing Notes. Und sobald Du, wie gesagt, die Daten nicht mehr in den Arbeitsspeicher 1 einzigen Rechners reinkriegst, dann bist Du allmählich im im im Big Data Regime. Und das mal zu illustrieren, wenn Du 'n haduop oder eine Cluster aufsetzt, dann kann es total valide sein, den Mittelwert von Daten ausrechnen zu wollen. Mittelwertberechnung easy, ja. Supergut parallelisierbar, wo's dann schon 'n bisschen kniffliger wird. Das ist die Medianberechnung. Ist mathematisch gesehen auch Trivialer eigentlich. Trivial, ja, genau, genau. Aber macht das mal auf 'nem verteilten System. Dann wird's knifflig. Und es gibt auch Wettbewerbe, richtige Wettbewerbe, wo's drum geht, wer schafft es, möglichst viele Daten pro Sekunde, also da bist Du da in dem Bereich Peterbite pro Second Okay. Zu sortieren. Beispiel, nimm dir mal die Liste aller Wikipedia Artikel her. Mhm. Und dann möchtest Du die Artikel alphabetisch sortieren. Da fängt's schon mal an. Oder bissel, Du machst eine Textanalyse und möchtest dir angucken, welche Wörter treten am häufigsten, zweithäufigsten, dritt häufigsten auf? Das heißt, dann hast Du wieder eigentlich einen in sich trivialen Genau. Task, nur die schiere Menge an Daten, die machen das Ganze schwer.
Speaker0: Also diese dass dass diese Methoden, die da benutzt werden, eigentlich trivial sind. Also Medienberechtigung ist irgendwie klar, wie man das macht. Oder alphabetisch sortieren ist auch irgendwie okay, das bleibt man in der Grundschule. Aber diese diese Mächtigkeit an Daten, sorgt die dann auch dafür, dass andere Methoden benutzt werden müssen?
Speaker1: Tatsächlich, vor allem wenn's dann drum geht, Minimierungsalgorithmen aufzusetzen, da gibt's eigene Optimierungsalgorithmen, die dafür gebaut wurden, auf parallelisierten Architekturen zu funktionieren. Mhm. Es gibt da zum Beispiel von Microsoft, vom RBF GS Minimal war das, glaub ich, eine Implementierung. Die haben die lineare Algebra so lang umgestellt und haben Okay. Und haben, die haben an dem Algorithmus funktional nichts verändert. Die haben nur die linearen Algebra Operation so umgeformt, dass Du damit in der Lage bist, die zum Beispiel Skalarprodukte Ja. Gebündelt auf den einzelnen Notes zu berechnen und nur die Ergebnisse dann übers Netzwerk kommunizieren zu müssen. Von daher hat das da 'n großen Impact. Und der Unterschied, das macht Faktoren von 1000 Millionen Milliarden aus Aha. Mit dem das System einfach schneller ist, weil natürlich alle Berechnungen auf 1 selbst ist deutlich schneller als die langsame Netzwerkverbindung zwischen den Node.
Speaker0: Alles klar, was was könnten noch für weitere Probleme oder Komplikationen auftreten im Preprocessing, außer jetzt die schiere
Speaker1: verrauscht sind beispielsweise, hast Du immer 'n Problem. Vor allem, wenn Du nicht genau weißt, welcher Prozess das Rauschen verursacht. Wenn Du das weißt, wenn Du weißt, das ist 'n Temperatursensor, der hat halt einfach eine Gaußsche Rauschstatistik, dann kannst Du die mit modellieren und dann im besten Falle statistisch korrekt mitnehmen, diese Unsicherheitsinformation. Das das das geht in alle Richtungen. Oder denken wir an Bilddaten, ja? Im Machine Learnings sind ja Bilddaten gern gesehenes Beispiel. Na, also irgendwie Facebook Location Genau, richtig. Und wenn Du jetzt aber Richtung sehr dunkle Use Cases gehst und auf einmal das Rauschen deines CCD Chips relevant wird, dann musst Du damit umgehen lernen, ja, weil sonst klassifizierst Du vielleicht Rauschen als 'n UFO oder Ja, klar. Außerdem, was mir da in dem Kontext auch noch natürlich auffällt oder einfällt, das ist das Thema Missing Values. Mhm. Und zwar ist es so, dass, wenn Du dir vor allem einen sehr komplexen Datensatz vorstellst, stellen wir uns mal 'n Datensatz als große, flache Tabelle vor. Also wir wir gehen mal jetzt weg von dem Bild 1 relationalen Datenbank, wo man verschiedene Tabellen miteinander verknüpft jetzt fürs Machine Learning machen wir's mal ganz einfach. Du Du hast eine Riesentabelle und in den Spalten stehen die Features deiner Objekte, die Du analysieren möchtest und in den Zeilen, das sind die einzelnen, also die einzelnen Exemplare. Mhm. Beispiel, Du hast Katzen, ja. In den Zeilen steht, Katze 1, 2, 3, 4 und in den Spalten stehen deren Eigenschaften. Ja. A, V, BH, Länge, Gewicht, Alter, ja. Und jetzt ist es so, dass wenn Du einen echten Prozess, also einen einen einen Echtweltprozess ist, der die Daten produziert, also nichts ausm E-Commerce oder so was, sondern nehmen wir eine Industrieanlage oder etwas, wo egal was echte Messgeräte im Spiel sind, dann hast Du immer den Fall, dass mindestens 1 oder mehrere dieser dieser Datenquellen eine Störung haben oder einen Ausfall haben. Welcher Aussetzer von der Maschine, die oder 'n Sensor, der das der das misst oder wie? Genau, richtig. Ja, oder dann hat man hinterher festgestellt, okay, da war Kalibrationsproblem. Das ist auch unser Klassiker, ja, Daten nicht kalibriert, dann dann wirst Du feststellen, ja, okay, Du musst irgendwie mit dieser Tatsache, dass Teile deiner Features beschädigt sind, dass dort Daten fehlen und damit Informationen fehlt, damit musst Du umgehen können?
Speaker0: Kurze Frage dazu. Jetzt mal angenommen, also beziehungsweise wie wie taggelt man denn dieses Problem, ist die Frage. Die wie taggelt man das Problem? Also angenommen, da fehlen mir jetzt einige einige Features oder beziehungsweise bei den Spalten sind, da fehlen einfach einige Einträge. Lass ich das dann weg oder füll ich das aus mit irgendwas? Also zum Beispiel vielleicht als als Idee, wenn man jetzt sagt, ich lass es weg, ja, was vielleicht man denkt, ja gut, ist nicht zu gebrauchen, ist Müll, ich schmeiß es weg. Kann das 'n kann das für 'n Schaden sorgen in der Modellierung am Ende? Also verliere ich dann also verliere ich Informationen, die eigentlich wichtig gewesen wäre? Weil an sich ist es ja interessant, wär es ja vielleicht interessant zu wissen, warum fehlen diese Daten?
Speaker1: Ja, ja. Da hast Du jetzt 2 2 Punkte angesprochen, nämlich, genau, was was total wichtig, ich glaube, als Erkenntnis ist, auch die Tatsache, dass ein Datensatz fehlt, ist in sich Information, ja. Vielleicht hast Du ja den Fall, dass ein bestimmtes Fehlermerkmal in einem Prozess dafür sorgt, dass ein Sensor ausfällt. Mhm. Ja? Das heißt, Du hast über diesen nicht korrekt oder nicht zur Gänze erfassten Wert die Information, da läuft was schief. Ja. Und der 2. Punkt, weglassen. Ja, okay. Also erster Test, erstes Experiment mit den Daten. Man man guckt die sich das 1. Mal an, dann mach ich mir das Leben leicht und schneide erst mal alles weg, was irgendwie fehlerbehaftet ist, weil das geht schnell. Mhm. Mhm. Nur das Problem ist, wenn dein Datensatz sehr viele Features beinhaltet, dann wirst Du natürlich, dann wird die Wahrscheinlichkeit dafür steigen, dass am Ende nichts mehr von deinem Datensatz übrig bleibt. Das heißt, Du entfernst ja, wenn Du eine Zeile entfernst aus deinem Datensatz, nicht nur dieses fehlende Datenfeld, sondern auch die Daten, die da waren. Und dann ist es eine Kunst für sich, die Daten richtig im Idealfall zu interpretieren. Und die einfache oder eine einfache Strategie diesbezüglich kann sein, dass Du den diesbezüglich kann sein, dass Du den Mittelwert aller anderen Werte aus dieser Spalte einfügst, wenn dir ein Wert in dieser Spalte fehlt. Aber was bedeutet es für den Datensatz? Jetzt stell dir mal vor, Du hast als Datensatz die Größenverteilung aller Menschen in Deutschland. Ich nehm mir die Männer nicht, dass man irgendwie mit Frauen und und Männern 2 2 Verteilungen mischen, nehmen wir mal die Männer her. Und die Folgen 1 Normalverteilung. Ja. Wenn Du jetzt einen Datensatz hast und bei manchen Männern fehlt die Größeninformation und Du ersetzt jetzt dieses diese diese Größe durch den Mittelwert aller Männer und dann schaust Du dir das Histogramm noch mal an. Was hast Du dann erzeugt? 'N Histogramm mit 'nem fetten Pik Ja. Beim Maximum der Gaus Verteilung, weil die ist symmetrisch, das heißt, der Mittelwert ist gleich die Maximum und dann hast Du da eine dicke Spitze drin. Ja. Und wenn Du diesen Datensatz weiterverarbeitest, dann würde ein Klassifikationsalgorithmus bei Mittelwert einen fetten Cluster zum Beispiel finden. Ja. Und damit, also long story short, Du Du modifizierst die die statistische Verteilung deines Datensatzes und das ist gefährlich, das ist richtig gefährlich. Deswegen sollte man sich immer überlegen, ob man es sich leisten kann. Es ist immer 'n Trade off zwischen Aufwand und Nutzen, Mhm. Ob man es sich leisten kann oder vielleicht muss, weil eben das Wegwerfen von Informationen nicht handhabbar ist, dass man diese fehlenden Datenpunkte interpoliert mit einem, ja, Ansatz beispielsweise, dass man die Korrelationsinformation nicht nur innerhalb von der Spalte ausnutzt, sondern über Spalten hinweg. Das heißt, dass man sagt, okay, hier fehlt zwar jetzt eine Information, aber typischerweise mit der mit den Daten in den anderen Spalten, bei in denen ich Daten habe, wie war denn da der Wert für die Höhe? Also die Größe der Männer, ja, jetzt in diesem in diesem Fall. Und damit hast Du zumindest, wenn Du jetzt rein über Korrelationen arbeitest, zumindest meine lineare Interpolation nicht nur über die eine Spalte, sondern über alle Features hinweg. Und noch cooler ist es natürlich, wenn Du ein noch genaueres Modell von deinen von deiner von deiner Datenquelle bauen kannst, also wenn Du noch mehr Information hast, was hat die Daten überhaupt erzeugt. Mhm. Und dieses Modell nutzt, aus aus aus deinem Modell heraus die Daten zu sampeln. Und witzigerweise, Du kannst dann diese interpolierten Daten wieder fürs Neutraining von deinem Modell nutzen und hast das sozusagen 1 1 1 1 Fixpunktgleichung,
Speaker0: die Du damit löst. Nice. Das heißt, man nutzt auch insbesondere die anderen Spalten, wo die Werte nicht fehlen, Genau. Quasi intelligent zu interpretieren und es nicht einfach nur zu sagen, Mittelwert passt oder ich hau alles raus und es passt, sondern man versucht sich klug anzustellen. Genau. Direkt eine Frage dazu, dieses Preprocessing, ich hatte mir das eine Zeit lang sehr, sehr stupide vorgestellt zu sagen, okay, gut, ich kenn irgendwie die Probleme, es fehlen Werte, wie setz ich das ein? Oder ich ich ich hab sehr viel random Noise, ich hab sehr große Daten. Ich, so wie Du das jetzt erzählst, klingt es weitaus weniger stupidy. Also wie viel tatsächlich Weitaus weniger? Stupide. Stupide. Mhm. Als ich's mir vorgestellt hatte, wie viel Analyse des Datenbestands, bevor ich überhaupt irgendwas mit einem Machine Learning Algorithmus mache, steckt da denn schon drin? Also wie viel weiß ich denn schon über diese Prozesse, die da drin Also dieses dieses fängt hier schon das Modellieren an, ist die Frage, die dahintersteckt. Fängt das Modellieren schon beim an?
Speaker1: Auf jeden Fall. Okay. Weil Du hier 2 Seiten betrachten musst. Nämlich einerseits, wenn Du einen Datensatz dir geben lasst, das ist so wie in der Schule, die Textaufgaben. Ja. Da kriegst Du doch immer Informationen mitgegeben, zumindest bei den spannenden Aufgaben, die für die Aufgabe völlig irrelevant sind. Ja. Und das geht dann so weit, im Physikstudium heißt's ja, also so die die die klischeehafte, theoretisch, Studium heißt's ja, also so die die die klischeehafte theoretische Physikaufgabe geht so, wie war der der der Joke? Stellen Sie sich vor, es ist nachts, der Mond ist grün, neben Ihnen liegt ein totes Kamel. Aufgaben berechnen Sie die gesamte Masse des Ozeans. Ja, gut. So, gern, danke. Und gern. Danke. Und so so ähnlich ist es, auch wenn dir ein Kunde einen Datensatz gibt, da ist das Meistern an an Daten und auch an Informationen, das da vielleicht versteckt ist, für dein Problem, das Du lösen möchtest, irrelevant. Und wenn Du dann nicht mit 'ner Ahnung deines Modells an die ganze Sache rangehst, dann machst Du Daten Preprocessing von Daten, die Du nie mehr brauchen wirst. Und das ist natürlich schade. Und vielleicht frustriert das auch einige Data Scientists, die dazu genötigt werden. Ja. Vielleicht 'n Chef, ja. Bereiten Sie doch mal den Datensatz auf. Ja, Dankeschön. Obwohl Sie eigentlich schon wissen oder wissen könnten, wenn Sie in den Dialog treten mit dem, der sich wirklich auskennt mit dem Datensatz, worauf Sie sich beschränken sollen.
Speaker0: Direkt noch eine Frage dazu, wie beeinflusst denn dann anschließend die Wahl des des oder beziehungsweise wie wird die Wahl des Machine Learning Prozesses oder Algorithmus durch das beeinflusst? Ja, also was passiert vor was? Also sag ich, wähle ich erst 'n Machine Learning Algorithmus und dann mach ich das dementsprechend, damit's hinhaut am Ende, weil ich sag, hey, ich hab das und das Problem, da wär jetzt zum Beispiel ein Clustering Algorithmus super. Für den brauch ich aber meinen mein Data Preprocessing auf diese Art und Weise oder analysiere ich erst den Datenbestand, krieg überhaupt erst mal eine Ahnung, was das Problem überhaupt ist und kann dann erst entscheiden, was der Machineing Algorithmus ist. Oder ist das son Hin und Her? Es ist son Hin und Her. Ja, ich seh das als Wechsel Wechselspiel, weil natürlich die Problemstellung
Speaker1: schon mal den Algorithmus oder die Algorithmusklasse vorher einschränkt. Ja. Jetzt ist es aber so, dass, sind wir wieder bei Murphy Law, es kann alles schiefgehen. Ja. Das heißt, angenommen, Du gehst ins Rennen mit einem Machine Learning Algorithmus Ja. Musst dann während des aber dann feststellen, dass deine ganzen Labels korrumpiert sind. Okay. Das heißt, einfach nutzlos. Und, das passiert uns in der Praxis einfach. Und ich hatte neulich erst den Case, da werden Millionenbeträge in in Datenerfassung Erfassung investieren, in Sensorik, die IT dahinter, dann werden Data Lakes gebaut. Okay. Data Mans, Gap ist auch gespannt.
Speaker0: Super, kostet nein Geld. Und am Ende konnten nix dran. Und am Ende, ja,
Speaker1: Ergebnis war jetzt von dem von dem Review nach, keine Ahnung, 5 Jahren Laufzeit von dem IT System, da hat sich tatsächlich mal jemand die Daten angeguckt mit mit unserer Zusammenarbeit. Was kommt raus? 32 Prozent der Daten sind verwertbar. Der Rest ist just gorbage. Ja. Und dann kann es gut sein, dass genau unter diesem Datenmüll auch deine Feature, deine Labels, deine deine Labels auch davon betroffen sind. Beispiel eben, in unserem Fall wären es die Qualitätsdaten der produzierten Bauteile. Ist Gott sei Dank nicht der Fall. Aber dann bist Du natürlich schnell so weit, dass Du sagst, okay, superwiseed Machine Learning Algorithmus. Auf Wiedersehen, ich versuch's mir mit 'nem superwiseed Machine Learning Algorithmus, weil ich mir die Labels selbst aus den Fingern ziehen muss. Und auch, wenn sich dann im Rahmen des Preprocessings rausstellt, okay, die Datenqualität ist supergut. Dann arbeitet man mit 'nem Algorithmus, der ohne zusätzliche Modellinformationen erst mal arbeitet. Nendicision Tree. Oder 'n mal arbeitet. Oder 'n tiefes neuronales Netz. Okay. Dann ist es fein, ne? Aber es kann sein, dass sich auch im rausstellt, sind wir wieder bei der Datenqualität. Die Datenqualität ist jetzt doch nicht so gut, also wie erwartet. Dann brauchen wir was mit mehr Hintergrundinformationen, basedé Netze und dann bist Du wie in 'ner größeren Iterationsschleife, wo Du noch mal Informationen einholen musst und hast dadurch aber automatisch auch einen anderen Algorithmus.
Speaker0: Okay. Abschließende Frage zu Wechselwirkung zwischen Preprocessing und Machine Learning Algorithmus. Wie kann es denn Also Du hattest ja grad erklärt, sie sie beeinflussen sich gegenseitig in der Art und Weise, was da getan werden muss beziehungsweise welche Wahl da getroffen wird. Kann ich denn auch einen Machine Learning Algorithmus benutzen, mir dies das Preprocessing Leben leichter zu machen? Das ist richtig cool, ja, genau. Also kann ich tatsächlich die irgendwie ineinander irgendwie verweben, dass es
Speaker1: dass ich 'n leichteren Job hab irgendwie? Wenn wir bei unserer Definition von ganz vorne noch mal bleiben, nämlich Preprocessing ist all das, was eigentlich nicht zur direkten Erfüllung meines Ziels da ist. Also die eigentliche Aufgabe ist, mal irgendwas zu regeln, Regelungstechnik, whatever. Ja. Ja, dann ist das primäre Ziel ja kein Clustering. Genau. Aber jetzt kann es sehr, sehr, sehr sinnvoll sein, einen Datensatz meinetwegen, weil zu hoch aufgelöst oder einfach die entsprechenden Gruppen zu finden, ein in Form 1 Algorithmuses zum Beispiel mit Gaußschen Mixtur Modellen durchzuführen. Okay. Total valide. Dann machen die Gaußschen Mixturkomponenten nicht die eigentliche Aufgabe, aber sie arbeiten dem eigentlichen Algorithmus zu, sodass der wirklich sauber for engineierte Features dann
Speaker0: zufressen kriegt. Genau. Gaußio Mixtore Modelle werden wir auch in 1 der kommenden Folgen noch mal drüber reden, zusammen mit dem Maxime dann. Das heißt, hier könnte man so was machen wie outlyer detection, also zum Beispiel im Clustering zu sagen, okay gut. Oh ja. Ja, ja, genau. Ich ich clustere beziehungsweise ich bilde Cluster und Cluster, die einfach viel zu klein sind, zum Beispiel ein Datum, soll 'n einzigen Cluster bilden, das hau ich raus. Das ist irgendwie zu weit draußen und dementsprechend stempel ich's als schlimmen random noise ab. Kann man sich das so vorstellen unter anderem? Mhm. Ja, also Outlaire Detection ist ist
Speaker1: extrem wichtig. Ich weiß nicht, ob da Maxime drauf eingehen wird, aber ein 1 heftiger Outlayer, weil, sagen wir mal, deine Temperaturwerte bewegen sich immer zwischen 10 und 25 Grad. Mhm. Dann hast Du da 'n dynamischen Umfang von 15 Grad. Ja. Jetzt, wenn aber dein Temperatursensor einen eine Auflösung von 32 Bit hat Okay. Und der abreißt und dir deswegen, keine Ahnung, ja, dann hier 400000000 Grad Celsius in die Datenbank reinschreibt, Oha. Dann würde dieser Datenpunkt natürlich aufgrund seines enormen Abstandes, auch wenn's nur 1 ist, in 1, ja, in in 1 quadratischen Abstandsgewichtungsmetrik
Speaker0: Ja.
Speaker1: Deinen Schetzer extrem verziehen. Und da ist natürlich so Preprocessing Gold wert. Genau.
Speaker0: Thema Clustering, jetzt hab ich grad schon 'n bissel angerissen. Eigene Folge, oder? Machen wir auch noch mal eine eigene Folge dazu, aber schon mal 'n schöner Ausblick. Jetzt vielleicht noch Du hattest jetzt schon viele Probleme angesprochen, die ihr schon hattet beim bei euren Erfahrungen mit Kunden. Wie tackelt ihr denn dieses Problem? Also was wie wie handelt ihr Preprocessing? Wie handelt ihr random noise? Wie was macht ihr mit Missing Values? Wie was ist eure was ist eure Methode, diesem Problem entgegenzuwirken?
Speaker1: Regel Nummer 1, sprich mit demjenigen, der die Daten verursacht, Schrägstrich, verbrochen hat.
Speaker0: Mhm.
Speaker1: Das muss nicht oder ist in häufigen Fällen nicht der IT Guy, sondern eher der Techniker, der mit der Anlage arbeitet, weil der verrät dir, was hinter den Daten steckt. Also zum Beispiel der Ingenieur, der die Maschine gebaut hat. Genau. Weil der dir auch solche Dinge sagen kann, wie beispielsweise, wir gehen erst mal naiv davon aus, wenn kein Datenpunkt erfasst wird, dann steht in der Datenbank now, also 0 oder NNNNNNNNPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPP da die speicher programmierbare Steuerung, aus welchem Grund auch immer, einen ganz bestimmten Float Wert abgespeichert. Und wir haben das nur gemerkt, weil wir uns den Datensatz halt per Hand angeguckt haben und festgestellt haben, hey, die 1.34, die kommt aber verdammt häufig vor. Und das kann irgendwie so nicht ganz richtig oder Ja. Realistisch sein. Und dann sprichst Du mit dem Kerl, der die Anlage halt mit aufgebaut hat, der hat vielleicht die den SPS Code, noch da haben wir selbst Programmierer und sagen, ja klar, der Wert war halt grad frei. Toll, danke. Oder der hat son schönes 8 Bit Muster, der Zahlenwert, weil das ist immer 1 0 1 0 1 0 1 0 oder whatever, ja. Also so kleine nerdige Gimmicks könntest einem dann verhauen am Ende. Ja und die könntest ihm dann die Ohren hauen. Ja, genau. So schaut's aus. Und und das erfährst Du halt einfach im direkten Gespräch. Und was wir dann außerdem festgestellt haben, ist, dass es viele Aufgaben gibt, die dann immer repetitiv sind. Das heißt, wenn Du für Tag 1 einen Datensatz hast, für Tag 2 einen Datensatz hast, dann möchtest Du die untereinander hängen können, wenn wir wieder beim Bild der flachen Tabelle sind. Und das ist erst mal trivial, aber jetzt kommt man auf die Idee, man möchte einen neuen, ein neues Feature hinzufügen oder ein altes Feature außer Betrieb nehmen. Ja. Und dann ist es, wenn Du, nimm dir Pandas her, Python Pandas, schon mal 'n bissel knifflig, das dann ordentlich untereinander zu hängen. Das geht alles nur, es ist mühsam. Ja. Und tatsächlich, was auch inhaltlich anspruchsvoller ist, das ist die Verknüpfung von Tabellen nicht in der vertikalen, sondern in der Horizontalen. Denn in der Praxis ist es so, dass wenn ein Objekt, sei es ein Auto, ein Joghurtbecher oder was auch immer, durch verschiedene Stationen hindurchläuft, die Wahrscheinlichkeit hoch ist, dass diese eigenen Stationen, die einzelnen Stationen eigene Datenbanken besitzen. Mhm. Und dann musst Du von dem einen Datensatz in der eine Datenbank die Verbindung hinkriegen zum zweiten Datensatz. Ein Auto hat beispielsweise insgesamt über 4 oder 5 Seriennummern. Mhm. Da gibt's die Fahrgestellnummer, es gibt die Nummer beim Lackieren, es gibt die IGEF Nummer, wofür immer dieses Akronym jetzt grade steht. Ich hab nur diese Abkürzung grade im Kopf. Und dann brauchst Du mindestens Look up Tables. Ja, genau, dann hat haben die Karosserie noch 'n RFID Tag, die haben eine eigene Nummer und Du brauchst immer Look up Tables, die Brücke schlagen zu können von 1 Datenbank zur nächsten. Mhm. Und auch dafür haben wir 'n Produkt aufgesetzt, das heißt Ethereum, das dir dabei hilft, in der Vertikalen und in der Horizontalen diese Verknüpfungen vorzunehmen. Einfach sehr kombinieren.
Speaker0: Also ihr habt euch quasi gesagt, hey, diese Tas treten immer öfter und öfter auf? Bei jedem. Genau. Und witzigerweise, ob das 'n Reisebüro ist oder ein Automobilhersteller. Ihr macht euch quasi da das Leben etwas leichter dadurch. Genau. Genau, vielleicht zum Abschluss Theo vom Thema Preprocessing. Was kannst Du den Hörern noch an die Hand geben? Was solltest welche Tipps in der, die man in der Praxis beachten sollte,
Speaker1: würdest Du mitgeben? Also der Titel der Folge ist ja irgendwo, welche Dinge man nicht an der Uni lernt, die 3 die 3 Tipps. Und da seh ich auf jeden Fall, Punkt 1, macht's Plausibilitätschecks. Mhm. Also alle Komplexity Masters da draußen, schaut euch die Daten auf auf Plausibilität an, denn Murphys Law wird euch einholen. Definitiv. Ja. Das ist mal das 1.. Der 2. Punkt, ich hab's durchklingen lassen, Metainformation ist extrem entscheidend. Ja. Sprich dieses Wissen, worum geht's bei meinen Daten eigentlich, ja? Die Information über die Daten. Holt euch die ins Boot, spart euch die Arbeit, einen Datensatz länger als eine halbe Stunde oder Stunde blind im Computer irgendwie rumzuladen Ja. Zu visualisieren. Das ist nicht zielgerichtet. Nehmt den Telefonhörer in die Hand. Ist vielleicht für jemanden wie uns aus mit 'nem MINT Hintergrund, das ist ungewohnt, aber Leute, nehmt den Telefonhörer in die Hand und ruft die entscheidende Person an. Communication ist key. Communication. Und der 3. Punkt, mehr Daten ist nicht immer besser. Mehr Daten bedeutet erst mal nur mehr Arbeit und keiner garantiert dir, dass Du dadurch auch einen Informationsgewinn erhalten wirst.
Speaker0: Alles klar, vielen Dank. In den kommenden Folgen werden wir dann auch so über verschiedene Machine Learning Algorithmen reden, was es denn da so alles gibt. Da geht's dann Clustering und Regression und vielleicht auch son bisschen Modellvalidierungen. Und genau. Jetzt vielleicht am Anfang, weil wir's son bisschen angeteast haben, Sägezahnmuster. Ich hatte das am Anfang 'n bisschen gesagt, hey, jetzt abgenommen, ihr habt einen Datenbestand, in dem ein Sägezahnmuster vorhanden ist. Wie kann denn bitte ein Sägezahnmuster in einem Datenbestand vorhanden sein? Was hat das denn zu bedeuten? Und wo ist das denn wieder aufgetaucht?
Speaker1: Das war der Teaser für eine echt geile Story, die uns passiert ist. Da wär mir beinahe von Herrn Stühlen gefallen. Nämlich wir hatten die Daten vor uns, Du hast 'n Prozess mit einem Verarbeitungsschritt, in dem es ein kleines, einen kleinen Pausebereich gibt für die Bauteile. Mhm. Und entweder gehen die Bauteile sofort durch, dann haben die eine minimale Durchlaufzeit durch die Kabine, also eine untere Grenze, oder sie werden noch mal geparkt, weil das Förderband noch kurz eine Verschnaufpause braucht. Mhm. Das heißt, wenn Du dir die Daten vorstellst, über die horizontale Achse gesehen die Zeit, ja, und die vertikale Achse ist die Durchfahrzeit, dann hat der Datensatz theoretisch eine harte untere Kante und dann wird es nach oben hin immer dünner, weil's umso unwahrscheinlicher wird, je je länger die Zeit wär. Ja. Ne. Und was wir dann aber in den Daten gesehen haben und das haben wir zuerst mal akzeptiert, weil wir selbst in die Fall getappt sind. Wir haben die Daten einfach mal importiert, verarbeitet, ohne groß drüber nachzudenken. Wir haben eine Sägezahnmuster in diesen Daten gesehen. Und dann ging die Suche los, das kann nicht sein, wo kommt das her? Also was was würde das denn übersetzt überhaupt heißen? Angenommen, dieses Sägezahnmuster würde stimmen. Welche physikalische
Speaker0: Ungegebenheit
Speaker1: würde denn dann auftreten? Das das würde bedeuten, dass die Bauteile immer länger in der Kabine bleiben müssen Obwohl die Kabine sich nicht verändert. Obwohl sich die Kabine nicht verändert, gar nix. Und dann gibt's so Resetpunkte, wo's dann wieder schneller geht. Und wir wir haben dann uns einmal die absoluten Daten, also das Datum der Zeitstempel angeguckt und haben dann festgestellt, hey, Moment mal, diese Resetpunkte, das ist Ostern, Pfingsten, Sommerferien, Herbstferien, Weihnachten. Okay. Und dann kam eben raus, ja, das war dann die Auflösung, eine dieser speicherprogrammierbaren Steuerungen am Die am Ende den den Austrittszeitpunkt erfasst hat. Und die Verweildauer, die machst Du über eine Differenzbildung.
Speaker0: Ja.
Speaker1: Die hatte einen Clock Drift. Die war nicht mit dem globalen Timingserver der der Anlage verbunden
Speaker0: und Heißt, das war alles nicht passend synchronisiert aufeinander, dass das dass das richtig misst. Genau, genau. Die Uhr, die lief einfach immer mehr nach und dadurch
Speaker1: ist diese Zeitgriff immer mehr angewachsen. Und während den Ferien wird die Anlage gewartet. Ja. Dieses System wird neu gestartet. Wieder einmalig den richtigen Zeitstempel, also den den richtigen
Speaker0: Zeit Referenzpunkt geholt. Wusstest das der Kunde selbst oder musste das auch erst von dem
Speaker1: herausgefunden werden? Das das musste erst herausgefunden werden, weil das ist das, was wir vorhin kurz kurz hatten, die allermeisten Kunden, die ersten die erfassen erst mehr Daten und erst wenn's dann tatsächlich die Auswertung geht, schauen die genauer drauf. Okay.
Speaker0: Ja, Wahnsinn, Story. In den Shownotes findet ihr noch einen Link zu 1 Jupiter Notebook Datei, also für die von euch, die besonders interessiert sind. Dort könnt ihr mal preprocessing üben anhand von einem Beispiel, was vielleicht nicht ganz so schön ist, und zwar den sogenannten Chocolate Bar Ratings Dataset. Das könnt ihr quasi aufbereiten und anschließend noch analysieren, herauszufinden, wo's denn die besten Kakaobohnen und Schokoladentafeln gibt und beziehungsweise wie man denn wie denn solche Schokoladentafeln überhaupt geratet werden. Und ansonsten danke fürs Zuhören. Danke Theo, dass Du wieder da warst.
Speaker1: Gerne.
Speaker0: Und dann würd ich sagen Master. Damit wir weiterhin für euch Complexity Masters hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.