Regression

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
Overview
In this episode of the Erium Podcast, Theo Steininger and Maksim Greiner explain the machine learning concept of regression: from linear regression through neural networks to decision trees. Using a concrete real-world example from automotive production, they show how Erium applies regression models to optimise manufacturing processes. The episode rounds off with practical tips for deploying regression algorithms.
About the guest
Dr. Maksim Greiner is Co-Founder and responsible for Sales at Erium. He brings deep expertise in machine learning and industrial applications, and is a regular guest on the Erium Podcast, where he explains complex AI concepts in an accessible way.
Summary
What is Regression? Fundamentals and Context
In the machine learning context, regression describes the task of predicting or deriving one set of output data from a set of input data. The best-known example is linear regression, where a straight line is fitted through a cloud of points to describe the relationship between two variables. As such, the concept is at the heart of many modern AI applications.
Neural Networks: Non-Linearity as the Key
A classic feedforward neural network can be understood as many linear regressions chained together. The crucial trick lies in so-called activation functions, which introduce small non-linearities between the layers. This allows neural networks, given sufficient width and depth, to model arbitrarily complex relationships, even though each individual building block is simple.
Convolutional Neural Networks and Image Recognition
For image processing and face recognition, Convolutional Neural Networks (CNNs) have proven particularly powerful. Their secret lies in so-called translation invariance: it does not matter whether an object (e.g. a dog) appears on the left or right side of an image - the network recognises it regardless. Mathematically, this is achieved through convolutions as linear operations, leading to impressive results in image classification and face recognition.
Decision Trees as an Interpretable Alternative
Alongside neural networks, Greiner also explains decision trees as a further regression approach. Here, the feature space is divided into blocks through a sequence of binary decisions (e.g. 'Is revenue above or below 500 euros?', 'Is age above or below 20?'). New data points are then assigned to a block by traversing this decision tree. The major advantage: the learned rules are comprehensible to humans, which makes them very attractive in certain use cases.
Practical Example - Door Assembly: Thinking Regression in Reverse
A key application area at Erium is automotive production, specifically door assembly. The task is to predict how a door will sit at the end of the manufacturing process given knowledge of how it was installed at the beginning. The challenge: the process is not perfectly repetitive (batch changes, adjustments), which means only a limited amount of meaningful training data is available. Moreover, it is not enough to determine that an installation position is poor - the optimal starting position must be calculated, effectively reversing the direction of regression.
Noise, Outliers and Common Sources of Error
Benign noise that follows a normal distribution can be handled well by regression algorithms. Problematic, however, are outliers that lie statistically far outside the typical range. Such values can significantly distort the regression, because the algorithm assigns them disproportionately high weight. In addition, overfitting and the choice of the right metric are mentioned as further important pitfalls.
Supervised vs. Unsupervised Learning
Regression is a classic example of supervised learning: labelled training data exist, meaning input data with known correct outputs. In contrast, unsupervised learning (e.g. clustering or anomaly detection with autoencoders) involves no target labels, and the algorithm must find structures in the data on its own.
Key takeaways
- Regression describes the prediction of output data from input data and forms the foundation of many modern AI applications.
- Neural networks extend linear regression through activation functions into a universal function approximator.
- Convolutional Neural Networks leverage translation invariance to achieve outstanding results in image and face recognition.
- Decision trees are less powerful than neural networks but offer the advantage of being comprehensible to humans.
- Erium reverses the classic direction of regression: instead of merely predicting what comes out, it calculates how inputs must be set to reach a desired target.
- Bayesian Networks allow the integration of expert knowledge, enabling reliable predictions even with limited training data.
- Outliers in the training dataset can strongly distort regression models and should be identified and removed before training.
- The metric governs everything: without an appropriate success metric and standardised data, regression results are difficult to interpret.
- A practical sanity check for regression: could a human in principle solve the task? If yes, an algorithm might be able to as well.
Conclusion
Regression is one of the fundamental methods in machine learning and forms the basis for many modern AI applications, from image recognition to process optimisation in industry. The episode shows that the greatest value lies not only in predicting outcomes, but in inverse thinking: how must inputs be configured to achieve a desired result? For practical use, data quality, outlier removal and the right metric are decisive for success.
For Machine Learning Beginners
The episode offers an accessible introduction to regression concepts, from linear regression to neural networks, and uses illustrative examples to show when each approach makes sense.
For Industry Practitioners
The door assembly example illustrates how regression models can be applied in real production processes with limited data and a goal of process optimisation - including the challenges posed by non-repetitive processes and inverse prediction.
For Data Scientists and ML Experts
The discussion of Bayesian Networks as an alternative to classical neural networks, along with the pointers on supervised vs. unsupervised learning and common pitfalls such as outliers and overfitting, provide valuable methodological guidance.
Show full transcript
Speaker0: In China wird an vielen Orten bereits Gesichtserkennung als Zahlungsmethode verwendet. Was für eine Technologie dahintersteckt und was in der Praxis noch damit gemacht werden kann, erfahrt ihr jetzt in dieser Folge vom Ihrem Podcast. Und damit herzlich willkommen zu 1 neuen Ausgabe vom EM Podcast. Und mir ist heute der Maxim. Hallo. Und wir reden heute über eine Analysemethode aus dem Bereich Machine Learning, der sogenannten Regression. Und sie sorgt hat in den letzten Jahren für viel Innovation gesorgt und unter anderem auch Gesichtserkennung, worüber wir später noch etwas reden werden. Und ja, Maxim, könntest Du uns vielleicht kurz aufklären, was unter dem Begriff zu verstehen ist, ganz kurz und knapp?
Speaker1: Ja, also Regression ist allgemein gemeint, ich hab irgendeine Menge an Input Daten und aus der möcht ich eine andere Menge an Output Daten vorhersagen oder berechnen. Das heißt, das ist eigentlich immer, ich hab irgendwas und daraus möchte ich etwas anderes ableiten. Also das ist eigentlich die über übergeordnete Aufgabenstellung.
Speaker0: Genau. Also vielleicht ein bekanntes Beispiel, was man noch aus der Uni kennt, ist so was wie lineare Regression, wo man quasi eine Punktwolke hat und man möchte ein 1 Gerade da durchlegen, die quasi das Verhalten dieser beiden Inputs am besten beschreibt. Könntest Du uns denn mal kurz aufklären, was es denn dann noch für andere Facetten von Regressionen gibt, jetzt neben linearer Regressionen?
Speaker1: Was gibt's was gibt's denn darüber hinaus noch? Ja, also was man auf jeden Fall natürlich erwähnen muss in heutigen Zeiten, sind die Neural Networks. Ja, also eigentlich sehr großes Buzzword quasi. Genau, was also die da gibt's jetzt nicht nur Regressionsvarianten, aber die die bekanntesten sind dann doch aus dem Bereich Regression. Also da hätten wir das klassische Feed forward nudel Network. Das kann man sich so vorstellen wie, als würde man viele lineare Regressionen hintereinander schalten. Okay. Das würde das an sich erst mal nix bringen, weil wenn ich 2 lineare Operationen hintereinander mache, hab ich ja immer noch eine lineare Operation, dann hätte ja nix gewonnen. Und da gab's einfach den simplen Trick, man hat ganz einfache sogenannte Aktivierungsfunktionen dazwischen geschaltet, die einfach son kleines bisschen Nichtlinearität da reinbringen. Und das Erstaunliche ist, wenn ich da genügend Schichten oder die genügend breitmache, kann ich durch dieses einfache Zusammenschließen von lauter linearen Funktionen mit diesen kleinen Aktivierungsfunktionen dazwischen eigentlich beliebige Funktionen emulieren. Das heißt, ich könnte was ganz Kompliziertes, beliebig komplizierten Verlauf emulieren, sofern ich die Parameter meines entsprechend einstelle.
Speaker0: Das heißt, wenn das jetzt, wenn ich jetzt einen Prozess habe, der hochgradig nichtlinear ist, kann ich das quasi irgendwie kompensieren durch kleine Nichtlinearitäten,
Speaker1: nenn ich's jetzt mal, und dann eben diese ganzen linearen Regressionen. Genau, durchs Hinterhinter hintereinanderschalten dieser vielen Bausteine kann ich auch sehr, sehr schwierige Verläufe nachbilden. Ein anderes, was fast noch wichtiger ist, sind die sogenannten Conversional Neural Networks. Mhm. Was ist da der Unterschied? Eigentlich sind das auch Fleet forward neural Networks, aber sie benutzen einen Spezialfall dazwischen als lineare Operation, nämlich sogenannte Konvolutionen. Das besondere an 1 Konvolution ist, die ist, das nennt man mathematisch Translationsendvariant. Was heißt das? Gutes Beispiel ist eben bei der Bilderkennung, es ist mir doch eigentlich, wenn ich jetzt möchte wissen möchte, ist auf dem Bild ein Hund, dann ist mir doch egal, ob der Hund rechts im Bild ist oder links im Bild oder oben oder unten. Aha. Also egal wo er ist, also ich kann ihn verschieben und ich möchte dasselbe Ergebnis. Deswegen Translationsentvariante. Und das Schöne ist, eine Konvolution ist ja eine mathematische Operation, die genau diese Eigenschaft eben aufweist. Und da hat man dann halt eben rausgefunden, dass wenn ich diese, wenn ich meine linearen Operationen aus diesen Konvolutionen baue, dann erfüll ich gleich diese Eigenschaft und man hat da einfach wahnsinnig tolle Performances damit erreicht bei der Bilderkennung, Bildklassifizierung und eben im Endeffekt auch bei der Gesichtserkennung.
Speaker0: Okay, jetzt hast Du's schon angesprochen, dass man speziell bei Bildern das benutzt. Gibt's denn noch andere, das benutzt. Gibt's denn noch andere Arten von Regressionen, die auch verwendet werden im Bereich Machine Learning?
Speaker1: Ja, also was vor allem früher 'n heißes Eisenwort, aber nach wie vor verwendet wird, sind. Mhm. Beispiel, wenn ich jetzt irgendwie Kundenklassifizierungen machen möchte. Wie funktioniert son? Also der würde sich jetzt zum Beispiel, ich möchte jetzt sagen, ist das 'n guter Kunde oder 'n schlechter Kunde? Machen wir's mal einfach nur 2 Klassen, in die ich meine Kunden aufteilen will. Okay. Und jetzt würd ich dann zum Beispiel anfangen, okay, was ist denn die durchschnittliche Menge des Geldes, die ein Kunde ausgegeben hat Mhm. Pro Jahr von mir. Und dann würd ich da irgendwo 'n Cut ziehen, ja? Keine Ahnung. Bei 500 Euro. Und dann würd ich sagen, drunter ist erst mal eine Kategorie und drüber ist eine Kategorie. Jetzt schau ich mir vielleicht als Nächstes dann in der nächsten Schicht das Alter des Kunden an und würde dann einfach die beiden aufsplitten in vielleicht unter 20, über 20. Und so würde ich das entsprechend lauter Eigenschaften machen und ich könnt auch mal wieder zu dem zu der Ausgabe zurückkommen. Also die da kann ich durchaus mehrfach an die gleiche Eigenschaft geben, weil ich splitte die immer nur in 2 Gruppen. Das heißt, ich segmentiere letztendlich danach an meinen Raum von von Kunden im Prinzip so wie in so Blöcke. Mhm. Und daher am Schluss, wenn ich dann irgendwie gewisse Kombinatorik an Blöcken habe dadurch, weil sich dann denen ein Block gut zu, der ist gut, der andere Block ist schlecht guter Kunde, schlechter Kunde und so weiter. Hab dann diese ganzen Blöcke. Und wenn jetzt 'n neuer Kunde kommt, dann kann ich halt einfach nur schauen, in welchem Block fällt dir entlang dieses Entscheidungsbaumes. Deswegen Decision Tree, also ich entscheide ja immer jeder Gabelung, bist Du links oder bist Du rechts? Und am Schluss bin ich durch die Kombinatorik dann in halt einem dieser vielen Blöcke. Und natürlich musst ich diese Grenzen so gewählt haben, dass die Blöcke möglichst gut meine Trainingsdaten repräsentieren.
Speaker0: Das heißt, ich bringe meinem Computer eine Art Entscheidungsstrategie bei Genau. Und lass ihn dann quasi anhand neu reinkommender Daten entscheiden, wie denn jetzt weiter verfahren werden soll. Genau. Und an sich sind zwar
Speaker1: in den meisten Anwendungsbeispielen von zum Beispiel neuronalen Netzen übertrumpft, Mhm. Aber sind halt schön nachvollziehbar, ne. Du kannst dir einfach nachher die Regeln anschauen. Und das ist manchmal recht attraktiv.
Speaker0: Kommen wir mal zu Erium und und eurem Verhältnis zu Regression. Wie wie steht ihr denn dazu? Benutzt ihr das? Kannst uns da vielleicht mal einen kleinen Schwank Ja. Aus der Arbeitswelt erzählen? Ja, klar. Grundsätzlich
Speaker1: ist unsere Aufgabenstellung der der Regression sehr verwandt. Und es ist eigentlich eine Regressions Aufgabenstellung auf den ersten Blick, denn wir betrachten ja meistens Produktionsprozesse. Und da hab ich ja irgendwas, was ich als eine Art Input sehen kann. Meine Prozesseinstellungen, mein Material, womit ich halt alles, was ich weiß, bevor ich mein Bauteil fertig produziert hab. Und der Output sind die Eigenschaften des fertig produzierten Bauteils. Und das ist natürlich etwas, was ich gerne vorhersagen möchte. Das heißt, ich hab bin ja nicht in diesem klassischen Machine Learning Szenario, da kommen wir ja später noch mal drauf. Mhm. Ich habe irgendeine Menge an Input und möchte daraus etwas vorhersagen. Was wir bei Erium aber dann eben darüber hinaus noch machen, ist, wir kehren diesen Pfeil und sagen, ich weiß ja, wo ich rauskommen möchte. Wie muss ich jetzt also meine Einstellungen anpassen? Und ein Beispiel ist da aus der Türmontage. Also das, was was was für uns 'n sehr wichtiger Use Case ist, woran wir viel Arbeit gearbeitet haben und auch nach wie vor dran sind, wenn man ein Fahrzeug produziert und die Türen einbaut, dann ist es nicht so klar, wie exakt ich jetzt in Zehntel Millimetern gesprochen die einbaue, ne? Vielleicht noch 'n Zehntelgrad schräger und so weiter. Warum? Weil in dem Moment, in dem ich sie einbaue, ist das Fahrzeug noch nackt, da ist noch keine Fensterscheibe drin, kein Soundsystem, das ist noch nicht lackiert, noch gar nix. Okay. Das heißt, das durchläuft noch einen ganzen Prozess. Da kommen zusätzliche Gewichte ran, das wird 'n paarmal erhitzt beim Lackieren et cetera und ganz am Schluss muss ja die Position der Tür passen.
Speaker0: Okay. Das heißt, was was wir dann machen, ist Kurz kurze Frage. Ja. Was für groß Größeneinheiten handelt es sich da?
Speaker1: Also Die Abweichungen? Genau, ja. Ja, so einige Zehntel Millimeter bis maximal 'n Millimeter. Aber wenn ich 'n Millimeter vom Soll abweiche, ist schon sehr schlecht. Okay. Also
Speaker0: das kann ich mir auch noch gut vorstellen. Also dass sobald eine Millimeterabweichung da ist, dass es dann auch schon sehr gravierend sein kann. Man kann's vielleicht schon in dein Fahrzeug reinregnen, ne. Ja, okay, ja. Und unpraktisch.
Speaker1: Ja und deswegen ist halt immer die Frage, ja, wie baue ich's am Anfang ein, damit's am Schluss passt? Weil am Anfang kann ich diese Position noch Das heißt, der 1. Schritt ist erst mal klassische Regressionsaufgabenstellung. Ich versuch jetzt, diese Eingangsposition als Informationsbasis zu nutzen, die Ausgangsposition der Tür vorherzusagen. Okay. Ne, eine Ne, vorhersagen, wenn ich so einbau, kommt das und das raus. Ist ja eigentlich einfach eine Regressionsaufgabenstellung. Ja. Jetzt gibt's da aber 2 Herausforderungen für uns. Zum einen, die Anzahl der Trainingsdaten, mit denen wir da diese Prognosen zuverlässig machen müssen, ist geringer, als wir für eine Regression gebraucht hätten.
Speaker0: Woran liegt das? Also liegt das daran, dass einfach oft nicht so viel vorhanden ist, oder?
Speaker1: Das liegt daran, dass dieser dass Also eine Regression sinnvoll einzusetzen, brauch ich irgendwie ein System, was repetativ ist. Mhm. Also irgendwas, was immer wieder die meine Inputsachen auf die gleiche Art und Weise Mhm. Verändert. Jetzt ist es aber so, son Produktionsprozess, der ist ja halt halt leider nicht perfekt starr, weil da gibt's irgendwelche Chargenwechsel, da wird irgendwo mal was umgestellt und das hab ich nicht alles immer in meinem Datenscope. Das heißt, ich lebe eigentlich mit einem nicht ganz repetativen System, zumindest ändert es sich auf gewissen Zeitskalen. Das heißt, wenn ich jetzt sich auf gewissen Zeitskalen. Das heißt, wenn ich jetzt einen langen Horizont an Fahrzeugen, gebauten Fahrzeugen nehme, dann vergleiche ich unter Umständen ein bisschen Äpfel mit Birnen. Okay. Und deswegen muss ich mit 'nem kleineren Horizont auskommen und brauch's also mit, das bedeutet, mit wenig Trainingsdaten. Mhm. Und das andere ist, es ist ja einem Automobilbauer noch nicht geholfen, wenn ich ihm sag, ja, so wie Du's jetzt einbaust, ist schlecht. Ja. Dann sagt er, ja, vielen Dank auch. Ich muss denen ja sagen, wie sollst Du's einbauen, damit's gut wirst? Ich muss also die Richtung der Regression umdrehen. Ja. Und das ist sone zusätzliche Herausforderung. Und diese beiden, also wenig Daten und dieses Umkehren der Vorhersäuberrichtung erfüllen zu können, haben wir uns bei Erium für Netian Networks entschieden.
Speaker0: Okay. Also neue Art von Network quasi. Was hat's damit auf sich? Na ja, beim Netian Networpfe
Speaker1: ich konditional, also bedingte Wahrscheinlichkeiten. Das kann im Grenzfall das Gleiche machen wie 'n URL Network oder auch wie eine lineare Regression. Also das kann man in diesem Kontext auch abbilden. Mhm. Das Schöne ist aber, ich kann auch Modellwissen abbilden. Und genau darüber erreichen wir diese beiden Fähigkeiten. Wenn ich 'n Produktionsprozess mir anschaue, ja, der läuft ja schon, ja? Der läuft jetzt nicht optimal, aber die die also die die fackeln ja ihre Fabrik nicht jeden Tag ab. Ja, sind ja auch Profis, also. Genau. Da gibt's also eine wahnsinnig viel Know how. Wenn ich das modelliere, dann kann ich das in Network gießen. Mhm. Und dann habe ich einen wundervollen Startpunkt für mein Machine Learning. Ich hab sozusagen schon ein 1 Modell, was, bevor es auch nur einen Datenpunkt gesehen hat, vielleicht schon die Realität zur Hälfte beschreibt. Und das ist so diese schöne Stärke und damit, weil es ja die Realität schon zur Hälfte beschreibt, erreichen wir, dass wir mit weniger Daten halt das Training vervollständigen. Ja. Und haben gleichzeitig immer son bisschen diese diesen strengen Rahmen, indem ich auch dann meine Umkehrprognose, also mein, was muss ich machen, das zu erreichen, was ich gerne erreichen will, berechnen kann, ohne in total abstruse Bereiche zu kommen, was bei 'ner normalen Regression immer das Risiko wär. Ich kann mir ja gut vorstellen, dass sich diese Methode auch sehr gut abstrahieren lässt, ne. Also es gibt irgendwie einen gewissen
Speaker0: Zustand b, den man haben möchte. Wie muss ich dann meinen Zustand oder meinen Anfang a setzen, damit ich zu b hinkomme? Ja, genau. Also sicherlich nur ein Beispiel. Genau. Und und kurz eine kleine Seitenbemerkung. Der der aufmerksame
Speaker1: Zuhörer, der sich schon 'n bisschen auskennt wird, sagen, hey, ist das nicht Learning? Ja, ganz kurz nur, es wäre Learning, wenn wir einfach mal dem Automobilisten sagen dürfen, produzier mal bitte 10000 Autos
Speaker0: nach unseren Vorstellungen. Das machen wir aber nicht, deswegen müssen wir das anders machen. Zu machen wollen. Zur Reanforcement Learning kommt sicherlich auch noch eine Folge, aber das ist schon ein guter Ausblick. Jetzt vielleicht als kleiner Hinweis für die Zuhörer, wie könnte ich denn erkennen, wann ein Regressionsalgorithmus sinnvoll ist, ja? Wir hatten ja auch was in der letzten Folge zu Clustering erzählt. Wie kann ich da denn gut unterscheiden, Ja. Wann Regression sinnvoll ist?
Speaker1: Ja, wer aufmerksam zugehört hat, der hat schon 'n paar Stichworte gehört. Dieses Inputdaten und Outputdaten, repetativer Prozess. Das ist letztendlich das, worauf's ankommt. Okay. Also hab ich etwas, was eigentlich immer wieder die gleiche Aufgabe, sag ich jetzt mal, abstrakt erfüllt. Also das wär zum Beispiel bei der Bilderkennung, ich möchte immer wieder aus einem aus einem Bilddaten erkennen, das ist Person a bis z oder das ist Hund, das ist Katze. Also das ist ja immer wieder die gleiche Aufgabe. Mhm. Das also das ist repetativ, ja? Dann hab ich etwas wie Input und Output. Na ja, ich hab zuerst mein Bild, das ist diese Information ist vollständig da. Dann fang ich mit der Aufgabe an, schau mir das Bild an und leite daraus dann ab, einen Output. Ist es Jaguar oder ist es Maximum oder ist es ein Hund oder ist es eine Katze? Okay. Das heißt, ich habe Inputs und Outputs. Und wenn ich diese beiden Voraussetzungen hab, also ich hab eine repetative Aufgabe und ich hab Inputs und Outputs und natürlich sollten
Speaker0: die sollte sich aus den Inputs die Outputs auch irgendwie ableiten lassen. Der Sanity Check ist da eigentlich immer, könnte ein Mensch es tun? Na ja, also gibt's da überhaupt einen Zusammenhang, weil ich meine? Ja, genau. Es sind ja nicht immer nur Bilder und Hunde. Ich mein, wenn der wenn ein Prozess jetzt komplizierter wird, dann ist es vielleicht auch komplizierter, der irgend einen Zusammenhang überhaupt feststellen,
Speaker1: sich Genau. Und dann nehmen wir einfach alle Bilder, die ich sehe, sind weißes Rauschen. Ja, wunderbar. Dann soll ich jetzt sagen, seh ich dadrauf Jaguar oder seh ich darauf? Maxi? Kann ich auch nicht. Dann ist zumindest mal die Chance, dass es 'n Machine Learning Algorithmus kann, auch nicht so hoch. Aber gut, unter Umständen ist ja in den Rauschen was versteckt, was ich als Mensch nicht sehen kann. Lass lass uns doch da gleich die Brücke schlagen zu
Speaker0: Sachen, die auch Es sei nur drüber, dass es auch noch kurz was dazu sagen. Nee, wir können gern mal hin. Alles klar. Lass uns auch die Brücke schlagen zu dem Schlagwort random Noise. Wir hatten auch kurz in der Folge zu drüber geredet, wie wie man damit umgeht im Preprocessing. Wie kann sich denn random Noise auswirken auf seinen Regressionsalgorithmus?
Speaker1: Ja. Also nehmen wir mal erst mal, sagen wir mal, gutartiger Neues und bösartiger Neues. Also das gutartiger Neues ist einfach Neues, der, wie man ihn typischerweise aus dem Bereich Rauschen kennt, einfach 'ner normalen Statistik folgt, meistens eben 1 Normalverteilung. Mhm. Wenn das so ist, dann können all diese Machine Learning Algorithmen wunderbar damit umgehen. In der Realität gibt's aber häufig eben, dass man dann vielleicht Outlier nennt, also Dinge, die aus dieser Statistik stark ausreißen. Also nehmen wir mal an, ich möchte irgendwas vorhersagen und so die die das typische Rauschen, da drum rum wären wir so irgendwie plus minus ein, was vom Ampere von wie aus, wenn's eine Stromstärke geht. Und dann gibt's plötzlich mal einen Wert in meinem Datensatz, der weicht 100 Amper ab. Okay. Das sprengt mir ja total diese Statistik Ja. Der Normalverteilung. Und wenn dieser Outleiher mit dem Trainingsdatensatz drin ist, dann kann mir das meine Regression total zerschießen, weil dieser eine Ausreißer plötzlich wahnsinnig viel Einfluss gewinnt.
Speaker0: Das heißt, der Computer denkt sich nicht, ja, das ist offensichtlich 'n random Noise, den lass ich jetzt mal außer 8. Sondern der nimmt den auch noch mit rein. Ja, er er denkt schon, das ist,
Speaker1: da da steckt 'n neues Anteil drin, aber es kann nicht nur Neues sein, weil er könnte nicht 100 Standardabweichungen weit entfernt sein. Okay. Das verbietet die Statistik, die der Regregionsalgorithmus zugrunde annimmt.
Speaker0: Jetzt gibt's da ja auch einige andere Sachen, die schieflaufen können. Auch was dazugehört ist auch Overfitting. Mhm. Da gibt's auch noch mal eine eigene Folge dazu zu Datenfehlinterpretation oder generell der Analyse von Daten, auf was man da achten sollte. Jetzt vielleicht kurz noch mal, das worüber wir noch reden könnten, Regressionsalgorithmen sind ja ein sehr gutes Beispiel für Learning. Genau. Wir hatten in der letzten Folge über, also ein 1 über Clustering Algorithmen geredet, was ja auch sehr gute Beispiele sind für Learning. Könntest Du da vielleicht kurz den Unterschied erklären? Genau. Was wird da supervist?
Speaker1: Supervist heißt, ich habe Input und Output. Mhm. Und ich hab beim Output, also bei meinen, ich kenne für eine Klasse von Trainingsdaten die echte Antwort. Also es gibt sozusagen die Möglichkeit, ich habe einen Trainingsdatensatz und da kenn ich die echte Antwort. Also im Sinne von, ich hab 1 1 1 zum Beispiel bei der Bilderkennung, ich hab jetzt hier ein Foto Album mit, da stehen Labels dran, ja? Neben jedem Foto steht JagGO, Maxim oder Hund oder Katze. Okay. So was brauch ich für. Wenn ich das nicht habe, also keine Ziellabels, keine keine Beispiele, so ist's richtig, dann bin ich im Bereich Learning. Und bedeutet, ich muss einfach nur aus den Daten, und dann hab ich halt in der Regel keinen Input und, Output, sondern einfach nur Daten an sich, irgendwie, soll ich zum Beispiel Cluster finden oder typisches Verhalten oder untypisches Verhalten. Also das wär so was wie Anomaliedetektion. Das sind dann so die Use Cases für Unsupervice Learning. Gibt's auch 'n URL Network Beispiel für? Das sind die sogenannten Auto Encorder, die zum Beispiel für Anomaliedetektion ganz gut geeignet sind. Aber der grundsätzliche Unterschied ist, habe ich einen Trainingsdatensatz, in dem ich die echte Antwort kenne oder nicht?
Speaker0: Alles klar. Okay, Maxim, jetzt gegen Ende hast Du vielleicht noch mal 3 Tipps für die Zuhörer da draußen, die sie auf jeden Fall mitnehmen sollten, wenn sie sich mit einem Regressionsalgorithmus befassen oder benutzen wollen. Mhm.
Speaker1: Also wir haben ja haben Sachen schon angesprochen. Outleihe, immer mal schauen Mhm. Scheinen Outleihe in meinem Datensatz zu sein, weil die können mir mein Verhalten, auch wenn's wenige sind, grundsätzlich zerschießen, also die lieber rausnehmen, wenn möglich. Okay. Hast Du vorhin angesprochen. Ist immer eine ist immer eine Gefahr. Das heißt, da muss ich einfach checken, dass ich nicht im Bereich bin. Da gibt's da verschiedene Methoden, über die wir von zu 'nem anderen Zeitpunkt vielleicht mal sprechen. Mhm. Und das Letzte ist, die Metrik regiert alles. Ist vielleicht ein Satz, der euch noch mal, den ihr noch mal hören werdet. Sehr, sehr gut. Ist dein Catchhrase mittlerweile. Genau. Das musst Du vorsichtig sein. Und wenn ich die Metrik nicht kenne, dann sollte ich meine Daten standardisieren. Das heißt, alle meine Parameter auf Mittelwert 0 und Standardabweichung 1 transformieren.
Speaker0: Alles klar. Na, ich bin schon gespannt, weil ich werd's so bald mit 'nem T-Shirt rum, wo auch dieser Satz draufsteht. Die Mischung geht immer noch
Speaker1: alles. Okay, alles klar.
Speaker0: Jetzt zum Schluss vielleicht noch mal kurz zu der Gesichtserkennung in China. Was würdest Du denn sagen, wird auch auf uns zukommen als Zahlungsmethode? Gibt's dann irgendwann eine Kamera, in der ich in die ich mein Gesicht reinhalte und dann werden mir fuffzig Euro abgebucht oder? Ja, ja, technologisch
Speaker1: vorstellbar. Ist ja eine politische Frage, würd ich sagen, ob's jetzt mit dir kommt. Ob das so
Speaker0: datenschutzrechtlich Genau, aber technologisch, ich meine, Chinesen haben's ja vorgemacht Ja, genau. Scheint zu gehen. Also schreibt uns gerne, was ihr davon haltet. Ansonsten findet ihr in den Shownotes wieder einen Link zu 1 Jupiter Notebook Datei. Diesmal dürft ihr ein Neural Network drauf trainieren, anhand von Frequenzen inner in 1 Stimme herauszufinden, ob es sich eine männliche oder eine weibliche Stimme handelt. Ohne groß Akustikprofis zu sein, ihr trainiert da ein Neural Network. Und ansonsten dank ich dir, dass Du wieder dabei warst, Maxim. Sehr gerne. Und dann würd ich sagen, Master the Complexity. Damit wir weiterhin für euch, hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.