Regression

Staffel 1· 26. November 2019· 1368

Episoden-Cover: Regression
0:001368
  • Dr. Theo SteiningerCo-Founder & CEO von Erium
  • Dr. Maksim GreinerCo-Founder & CTO von Erium

Überblick

In dieser Folge des Erium Podcasts erklaeren Theo Steininger und Maksim Greiner das Machine-Learning-Konzept der Regression: von linearer Regression ueber neuronale Netze bis hin zu Decision Trees. Anhand eines konkreten Praxisbeispiels aus der Automobilproduktion zeigen sie, wie Erium Regressionsmodelle einsetzt, um Produktionsprozesse zu optimieren. Abgerundet wird die Folge mit praktischen Tipps fuer den Einsatz von Regressionsalgorithmen.

Über den Gast

Dr. Maksim Greiner ist Co-Founder und verantwortlich fuer Sales bei Erium. Er bringt tiefes Fachwissen im Bereich Machine Learning und industrielle Anwendungen mit und ist regelmaessiger Gast im Erium Podcast, wo er komplexe KI-Konzepte verstaendlich erklaert.

Zusammenfassung

Was ist Regression? Grundlagen und Einordnung

Regression beschreibt im Machine-Learning-Kontext die Aufgabe, aus einer Menge von Inputdaten eine andere Menge von Outputdaten vorherzusagen oder abzuleiten. Das bekannteste Beispiel ist die lineare Regression, bei der eine Gerade durch eine Punktwolke gelegt wird, um den Zusammenhang zwischen zwei Variablen zu beschreiben. Das Konzept ist damit der Kern vieler moderner KI-Anwendungen.

Neuronale Netze: Nichtlinearitaet als Schluessel

Ein klassisches Feedforward Neural Network laesst sich als viele hintereinandergeschaltete lineare Regressionen verstehen. Der entscheidende Trick sind sogenannte Aktivierungsfunktionen, die zwischen den Schichten kleine Nichtlinearitaeten einfuehren. Dadurch koennen neuronale Netze bei ausreichender Breite und Tiefe beliebig komplizierte Zusammenhaenge abbilden, auch wenn jeder einzelne Baustein simpel ist.

Convolutional Neural Networks und Bilderkennung

Fuer Bildverarbeitung und Gesichtserkennung haben sich Convolutional Neural Networks (CNNs) als besonders leistungsfaehig erwiesen. Ihr Geheimnis liegt in der sogenannten Translationsinvarianz: Es ist egal, ob ein Objekt (z.B. ein Hund) links oder rechts im Bild erscheint - das Netz erkennt es trotzdem. Mathematisch wird das durch Konvolutionen als lineare Operationen erreicht, was zu beeindruckenden Ergebnissen bei Bildklassifizierung und Gesichtserkennung fuehrt.

Decision Trees als interpretierbare Alternative

Neben neuronalen Netzen erklaert Greiner auch Decision Trees als weiteren Regressionsansatz. Dabei wird der Merkmalsraum durch eine Abfolge von binaeren Entscheidungen (z.B. 'Umsatz ueber oder unter 500 Euro?', 'Alter ueber oder unter 20?') in Bloecke aufgeteilt. Neue Datenpunkte werden dann entlang dieses Entscheidungsbaums einem Block zugeordnet. Der grosse Vorteil: Die gelernten Regeln sind fuer Menschen nachvollziehbar, was in bestimmten Anwendungsfaellen sehr attraktiv ist.

Praxisbeispiel Tuerenmontage: Regression rueckwaerts denken

Ein zentrales Einsatzfeld bei Erium ist die Automobilproduktion, konkret die Tuerenmontage. Hier gilt es vorherzusagen, wie eine Tuer am Ende des Fertigungsprozesses sitzt, wenn bekannt ist, wie sie zu Beginn eingebaut wurde. Die Herausforderung: Der Prozess ist nicht perfekt repetitiv (Chargenwechsel, Umstellungen), weshalb nur wenige aussagekraeftige Trainingsdaten zur Verfuegung stehen. Zudem genuegt es nicht, festzustellen, dass eine Einbauposition schlecht ist - man muss die optimale Startposition berechnen, also den Regressionspfeil umkehren.

Rauschen, Outlier und haeufige Fehlerquellen

Gutartiges Rauschen, das einer Normalverteilung folgt, koennen Regressionsalgorithmen gut handhaben. Problematisch sind dagegen Ausreisser (Outlier), die statistisch weit ausserhalb des typischen Bereichs liegen. Solche Werte koennen die Regression erheblich verfaelschen, weil der Algorithmus ihnen unverhaeeltnismaessig viel Gewicht beimisst. Daneben werden Overfitting und die Wahl der richtigen Metrik als weitere wichtige Stolpersteine erwaehnt.

Supervised vs. Unsupervised Learning

Regression ist ein klassisches Beispiel fuer Supervised Learning: Es existieren beschriftete Trainingsdaten, also Inputdaten mit bekannten korrekten Outputs. Im Gegensatz dazu steht Unsupervised Learning (z.B. Clustering oder Anomalieerkennung mit Autoencodern), bei dem keine Ziel-Labels vorhanden sind und der Algorithmus selbst Strukturen in den Daten finden muss.

Kernaussagen

  • Regression beschreibt die Vorhersage von Outputdaten aus Inputdaten und bildet die Grundlage vieler moderner KI-Anwendungen.
  • Neuronale Netze erweitern die lineare Regression durch Aktivierungsfunktionen zu einem universellen Funktionsapproximator.
  • Convolutional Neural Networks nutzen Translationsinvarianz und erzielen dadurch herausragende Ergebnisse bei Bild- und Gesichtserkennung.
  • Decision Trees sind weniger leistungsfaehig als neuronale Netze, bieten aber den Vorteil der menschlichen Nachvollziehbarkeit.
  • Erium kehrt den klassischen Regressionspfeil um: Statt nur vorherzusagen, was herauskommt, wird berechnet, wie eingestellt werden muss, um ein Ziel zu erreichen.
  • Bayesian Networks erlauben die Integration von Expertenwissen und ermoeglichten so zuverlaessige Prognosen auch bei wenigen Trainingsdaten.
  • Outlier im Trainingsdatensatz koennen Regressionsmodelle stark verfaelschen und sollten vor dem Training identifiziert und entfernt werden.
  • Die Metrik regiert alles: Ohne passende Erfolgsmetrik und standardisierte Daten sind Regressionsergebnisse schwer interpretierbar.
  • Ein praktikabler Sanity-Check fuer Regression: Koennte ein Mensch die Aufgabe prinzipiell loesen? Wenn ja, koennte ein Algorithmus es auch.

Fazit

Regression ist eine der fundamentalen Methoden im Machine Learning und bildet die Basis fuer viele moderne KI-Anwendungen von der Bilderkennung bis zur Prozessoptimierung in der Industrie. Die Folge zeigt, dass der groesste Mehrwert nicht nur im Vorhersagen von Ergebnissen liegt, sondern im inversen Denken: Wie muessen Eingaben gestaltet sein, um ein gewuenschtes Ergebnis zu erzielen? Fuer den Praxiseinsatz gilt: Datenqualitaet, Outlier-Bereinigung und die richtige Metrik sind entscheidend fuer den Erfolg.

Fuer Einsteiger in Machine Learning

Die Folge bietet einen gut verstaendlichen Einstieg in Regressionskonzepte, von linearer Regression bis zu neuronalen Netzen, und zeigt anhand anschaulicher Beispiele, wann welcher Ansatz sinnvoll ist.

Fuer Praktiker in der Industrie

Das Beispiel der Tuerenmontage verdeutlicht, wie Regressionsmodelle in realen Produktionsprozessen mit begrenzten Daten und dem Ziel der Prozessoptimierung eingesetzt werden koennen - inklusive der Herausforderungen durch nicht-repetitive Prozesse und inverser Vorhersage.

Fuer Datenwissenschaftler und ML-Experten

Die Diskussion ueber Bayesian Networks als Alternative zu klassischen neuronalen Netzen sowie der Hinweis auf Supervised vs. Unsupervised Learning und haeufige Fehlerquellen wie Outlier und Overfitting liefern wertvolle methodische Orientierung.

Volltranskript anzeigen

Speaker0: In China wird an vielen Orten bereits Gesichtserkennung als Zahlungsmethode verwendet. Was für eine Technologie dahintersteckt und was in der Praxis noch damit gemacht werden kann, erfahrt ihr jetzt in dieser Folge vom Ihrem Podcast. Und damit herzlich willkommen zu 1 neuen Ausgabe vom EM Podcast. Und mir ist heute der Maxim. Hallo. Und wir reden heute über eine Analysemethode aus dem Bereich Machine Learning, der sogenannten Regression. Und sie sorgt hat in den letzten Jahren für viel Innovation gesorgt und unter anderem auch Gesichtserkennung, worüber wir später noch etwas reden werden. Und ja, Maxim, könntest Du uns vielleicht kurz aufklären, was unter dem Begriff zu verstehen ist, ganz kurz und knapp?

Speaker1: Ja, also Regression ist allgemein gemeint, ich hab irgendeine Menge an Input Daten und aus der möcht ich eine andere Menge an Output Daten vorhersagen oder berechnen. Das heißt, das ist eigentlich immer, ich hab irgendwas und daraus möchte ich etwas anderes ableiten. Also das ist eigentlich die über übergeordnete Aufgabenstellung.

Speaker0: Genau. Also vielleicht ein bekanntes Beispiel, was man noch aus der Uni kennt, ist so was wie lineare Regression, wo man quasi eine Punktwolke hat und man möchte ein 1 Gerade da durchlegen, die quasi das Verhalten dieser beiden Inputs am besten beschreibt. Könntest Du uns denn mal kurz aufklären, was es denn dann noch für andere Facetten von Regressionen gibt, jetzt neben linearer Regressionen?

Speaker1: Was gibt's was gibt's denn darüber hinaus noch? Ja, also was man auf jeden Fall natürlich erwähnen muss in heutigen Zeiten, sind die Neural Networks. Ja, also eigentlich sehr großes Buzzword quasi. Genau, was also die da gibt's jetzt nicht nur Regressionsvarianten, aber die die bekanntesten sind dann doch aus dem Bereich Regression. Also da hätten wir das klassische Feed forward nudel Network. Das kann man sich so vorstellen wie, als würde man viele lineare Regressionen hintereinander schalten. Okay. Das würde das an sich erst mal nix bringen, weil wenn ich 2 lineare Operationen hintereinander mache, hab ich ja immer noch eine lineare Operation, dann hätte ja nix gewonnen. Und da gab's einfach den simplen Trick, man hat ganz einfache sogenannte Aktivierungsfunktionen dazwischen geschaltet, die einfach son kleines bisschen Nichtlinearität da reinbringen. Und das Erstaunliche ist, wenn ich da genügend Schichten oder die genügend breitmache, kann ich durch dieses einfache Zusammenschließen von lauter linearen Funktionen mit diesen kleinen Aktivierungsfunktionen dazwischen eigentlich beliebige Funktionen emulieren. Das heißt, ich könnte was ganz Kompliziertes, beliebig komplizierten Verlauf emulieren, sofern ich die Parameter meines entsprechend einstelle.

Speaker0: Das heißt, wenn das jetzt, wenn ich jetzt einen Prozess habe, der hochgradig nichtlinear ist, kann ich das quasi irgendwie kompensieren durch kleine Nichtlinearitäten,

Speaker1: nenn ich's jetzt mal, und dann eben diese ganzen linearen Regressionen. Genau, durchs Hinterhinter hintereinanderschalten dieser vielen Bausteine kann ich auch sehr, sehr schwierige Verläufe nachbilden. Ein anderes, was fast noch wichtiger ist, sind die sogenannten Conversional Neural Networks. Mhm. Was ist da der Unterschied? Eigentlich sind das auch Fleet forward neural Networks, aber sie benutzen einen Spezialfall dazwischen als lineare Operation, nämlich sogenannte Konvolutionen. Das besondere an 1 Konvolution ist, die ist, das nennt man mathematisch Translationsendvariant. Was heißt das? Gutes Beispiel ist eben bei der Bilderkennung, es ist mir doch eigentlich, wenn ich jetzt möchte wissen möchte, ist auf dem Bild ein Hund, dann ist mir doch egal, ob der Hund rechts im Bild ist oder links im Bild oder oben oder unten. Aha. Also egal wo er ist, also ich kann ihn verschieben und ich möchte dasselbe Ergebnis. Deswegen Translationsentvariante. Und das Schöne ist, eine Konvolution ist ja eine mathematische Operation, die genau diese Eigenschaft eben aufweist. Und da hat man dann halt eben rausgefunden, dass wenn ich diese, wenn ich meine linearen Operationen aus diesen Konvolutionen baue, dann erfüll ich gleich diese Eigenschaft und man hat da einfach wahnsinnig tolle Performances damit erreicht bei der Bilderkennung, Bildklassifizierung und eben im Endeffekt auch bei der Gesichtserkennung.

Speaker0: Okay, jetzt hast Du's schon angesprochen, dass man speziell bei Bildern das benutzt. Gibt's denn noch andere, das benutzt. Gibt's denn noch andere Arten von Regressionen, die auch verwendet werden im Bereich Machine Learning?

Speaker1: Ja, also was vor allem früher 'n heißes Eisenwort, aber nach wie vor verwendet wird, sind. Mhm. Beispiel, wenn ich jetzt irgendwie Kundenklassifizierungen machen möchte. Wie funktioniert son? Also der würde sich jetzt zum Beispiel, ich möchte jetzt sagen, ist das 'n guter Kunde oder 'n schlechter Kunde? Machen wir's mal einfach nur 2 Klassen, in die ich meine Kunden aufteilen will. Okay. Und jetzt würd ich dann zum Beispiel anfangen, okay, was ist denn die durchschnittliche Menge des Geldes, die ein Kunde ausgegeben hat Mhm. Pro Jahr von mir. Und dann würd ich da irgendwo 'n Cut ziehen, ja? Keine Ahnung. Bei 500 Euro. Und dann würd ich sagen, drunter ist erst mal eine Kategorie und drüber ist eine Kategorie. Jetzt schau ich mir vielleicht als Nächstes dann in der nächsten Schicht das Alter des Kunden an und würde dann einfach die beiden aufsplitten in vielleicht unter 20, über 20. Und so würde ich das entsprechend lauter Eigenschaften machen und ich könnt auch mal wieder zu dem zu der Ausgabe zurückkommen. Also die da kann ich durchaus mehrfach an die gleiche Eigenschaft geben, weil ich splitte die immer nur in 2 Gruppen. Das heißt, ich segmentiere letztendlich danach an meinen Raum von von Kunden im Prinzip so wie in so Blöcke. Mhm. Und daher am Schluss, wenn ich dann irgendwie gewisse Kombinatorik an Blöcken habe dadurch, weil sich dann denen ein Block gut zu, der ist gut, der andere Block ist schlecht guter Kunde, schlechter Kunde und so weiter. Hab dann diese ganzen Blöcke. Und wenn jetzt 'n neuer Kunde kommt, dann kann ich halt einfach nur schauen, in welchem Block fällt dir entlang dieses Entscheidungsbaumes. Deswegen Decision Tree, also ich entscheide ja immer jeder Gabelung, bist Du links oder bist Du rechts? Und am Schluss bin ich durch die Kombinatorik dann in halt einem dieser vielen Blöcke. Und natürlich musst ich diese Grenzen so gewählt haben, dass die Blöcke möglichst gut meine Trainingsdaten repräsentieren.

Speaker0: Das heißt, ich bringe meinem Computer eine Art Entscheidungsstrategie bei Genau. Und lass ihn dann quasi anhand neu reinkommender Daten entscheiden, wie denn jetzt weiter verfahren werden soll. Genau. Und an sich sind zwar

Speaker1: in den meisten Anwendungsbeispielen von zum Beispiel neuronalen Netzen übertrumpft, Mhm. Aber sind halt schön nachvollziehbar, ne. Du kannst dir einfach nachher die Regeln anschauen. Und das ist manchmal recht attraktiv.

Speaker0: Kommen wir mal zu Erium und und eurem Verhältnis zu Regression. Wie wie steht ihr denn dazu? Benutzt ihr das? Kannst uns da vielleicht mal einen kleinen Schwank Ja. Aus der Arbeitswelt erzählen? Ja, klar. Grundsätzlich

Speaker1: ist unsere Aufgabenstellung der der Regression sehr verwandt. Und es ist eigentlich eine Regressions Aufgabenstellung auf den ersten Blick, denn wir betrachten ja meistens Produktionsprozesse. Und da hab ich ja irgendwas, was ich als eine Art Input sehen kann. Meine Prozesseinstellungen, mein Material, womit ich halt alles, was ich weiß, bevor ich mein Bauteil fertig produziert hab. Und der Output sind die Eigenschaften des fertig produzierten Bauteils. Und das ist natürlich etwas, was ich gerne vorhersagen möchte. Das heißt, ich hab bin ja nicht in diesem klassischen Machine Learning Szenario, da kommen wir ja später noch mal drauf. Mhm. Ich habe irgendeine Menge an Input und möchte daraus etwas vorhersagen. Was wir bei Erium aber dann eben darüber hinaus noch machen, ist, wir kehren diesen Pfeil und sagen, ich weiß ja, wo ich rauskommen möchte. Wie muss ich jetzt also meine Einstellungen anpassen? Und ein Beispiel ist da aus der Türmontage. Also das, was was was für uns 'n sehr wichtiger Use Case ist, woran wir viel Arbeit gearbeitet haben und auch nach wie vor dran sind, wenn man ein Fahrzeug produziert und die Türen einbaut, dann ist es nicht so klar, wie exakt ich jetzt in Zehntel Millimetern gesprochen die einbaue, ne? Vielleicht noch 'n Zehntelgrad schräger und so weiter. Warum? Weil in dem Moment, in dem ich sie einbaue, ist das Fahrzeug noch nackt, da ist noch keine Fensterscheibe drin, kein Soundsystem, das ist noch nicht lackiert, noch gar nix. Okay. Das heißt, das durchläuft noch einen ganzen Prozess. Da kommen zusätzliche Gewichte ran, das wird 'n paarmal erhitzt beim Lackieren et cetera und ganz am Schluss muss ja die Position der Tür passen.

Speaker0: Okay. Das heißt, was was wir dann machen, ist Kurz kurze Frage. Ja. Was für groß Größeneinheiten handelt es sich da?

Speaker1: Also Die Abweichungen? Genau, ja. Ja, so einige Zehntel Millimeter bis maximal 'n Millimeter. Aber wenn ich 'n Millimeter vom Soll abweiche, ist schon sehr schlecht. Okay. Also

Speaker0: das kann ich mir auch noch gut vorstellen. Also dass sobald eine Millimeterabweichung da ist, dass es dann auch schon sehr gravierend sein kann. Man kann's vielleicht schon in dein Fahrzeug reinregnen, ne. Ja, okay, ja. Und unpraktisch.

Speaker1: Ja und deswegen ist halt immer die Frage, ja, wie baue ich's am Anfang ein, damit's am Schluss passt? Weil am Anfang kann ich diese Position noch Das heißt, der 1. Schritt ist erst mal klassische Regressionsaufgabenstellung. Ich versuch jetzt, diese Eingangsposition als Informationsbasis zu nutzen, die Ausgangsposition der Tür vorherzusagen. Okay. Ne, eine Ne, vorhersagen, wenn ich so einbau, kommt das und das raus. Ist ja eigentlich einfach eine Regressionsaufgabenstellung. Ja. Jetzt gibt's da aber 2 Herausforderungen für uns. Zum einen, die Anzahl der Trainingsdaten, mit denen wir da diese Prognosen zuverlässig machen müssen, ist geringer, als wir für eine Regression gebraucht hätten.

Speaker0: Woran liegt das? Also liegt das daran, dass einfach oft nicht so viel vorhanden ist, oder?

Speaker1: Das liegt daran, dass dieser dass Also eine Regression sinnvoll einzusetzen, brauch ich irgendwie ein System, was repetativ ist. Mhm. Also irgendwas, was immer wieder die meine Inputsachen auf die gleiche Art und Weise Mhm. Verändert. Jetzt ist es aber so, son Produktionsprozess, der ist ja halt halt leider nicht perfekt starr, weil da gibt's irgendwelche Chargenwechsel, da wird irgendwo mal was umgestellt und das hab ich nicht alles immer in meinem Datenscope. Das heißt, ich lebe eigentlich mit einem nicht ganz repetativen System, zumindest ändert es sich auf gewissen Zeitskalen. Das heißt, wenn ich jetzt sich auf gewissen Zeitskalen. Das heißt, wenn ich jetzt einen langen Horizont an Fahrzeugen, gebauten Fahrzeugen nehme, dann vergleiche ich unter Umständen ein bisschen Äpfel mit Birnen. Okay. Und deswegen muss ich mit 'nem kleineren Horizont auskommen und brauch's also mit, das bedeutet, mit wenig Trainingsdaten. Mhm. Und das andere ist, es ist ja einem Automobilbauer noch nicht geholfen, wenn ich ihm sag, ja, so wie Du's jetzt einbaust, ist schlecht. Ja. Dann sagt er, ja, vielen Dank auch. Ich muss denen ja sagen, wie sollst Du's einbauen, damit's gut wirst? Ich muss also die Richtung der Regression umdrehen. Ja. Und das ist sone zusätzliche Herausforderung. Und diese beiden, also wenig Daten und dieses Umkehren der Vorhersäuberrichtung erfüllen zu können, haben wir uns bei Erium für Netian Networks entschieden.

Speaker0: Okay. Also neue Art von Network quasi. Was hat's damit auf sich? Na ja, beim Netian Networpfe

Speaker1: ich konditional, also bedingte Wahrscheinlichkeiten. Das kann im Grenzfall das Gleiche machen wie 'n URL Network oder auch wie eine lineare Regression. Also das kann man in diesem Kontext auch abbilden. Mhm. Das Schöne ist aber, ich kann auch Modellwissen abbilden. Und genau darüber erreichen wir diese beiden Fähigkeiten. Wenn ich 'n Produktionsprozess mir anschaue, ja, der läuft ja schon, ja? Der läuft jetzt nicht optimal, aber die die also die die fackeln ja ihre Fabrik nicht jeden Tag ab. Ja, sind ja auch Profis, also. Genau. Da gibt's also eine wahnsinnig viel Know how. Wenn ich das modelliere, dann kann ich das in Network gießen. Mhm. Und dann habe ich einen wundervollen Startpunkt für mein Machine Learning. Ich hab sozusagen schon ein 1 Modell, was, bevor es auch nur einen Datenpunkt gesehen hat, vielleicht schon die Realität zur Hälfte beschreibt. Und das ist so diese schöne Stärke und damit, weil es ja die Realität schon zur Hälfte beschreibt, erreichen wir, dass wir mit weniger Daten halt das Training vervollständigen. Ja. Und haben gleichzeitig immer son bisschen diese diesen strengen Rahmen, indem ich auch dann meine Umkehrprognose, also mein, was muss ich machen, das zu erreichen, was ich gerne erreichen will, berechnen kann, ohne in total abstruse Bereiche zu kommen, was bei 'ner normalen Regression immer das Risiko wär. Ich kann mir ja gut vorstellen, dass sich diese Methode auch sehr gut abstrahieren lässt, ne. Also es gibt irgendwie einen gewissen

Speaker0: Zustand b, den man haben möchte. Wie muss ich dann meinen Zustand oder meinen Anfang a setzen, damit ich zu b hinkomme? Ja, genau. Also sicherlich nur ein Beispiel. Genau. Und und kurz eine kleine Seitenbemerkung. Der der aufmerksame

Speaker1: Zuhörer, der sich schon 'n bisschen auskennt wird, sagen, hey, ist das nicht Learning? Ja, ganz kurz nur, es wäre Learning, wenn wir einfach mal dem Automobilisten sagen dürfen, produzier mal bitte 10000 Autos

Speaker0: nach unseren Vorstellungen. Das machen wir aber nicht, deswegen müssen wir das anders machen. Zu machen wollen. Zur Reanforcement Learning kommt sicherlich auch noch eine Folge, aber das ist schon ein guter Ausblick. Jetzt vielleicht als kleiner Hinweis für die Zuhörer, wie könnte ich denn erkennen, wann ein Regressionsalgorithmus sinnvoll ist, ja? Wir hatten ja auch was in der letzten Folge zu Clustering erzählt. Wie kann ich da denn gut unterscheiden, Ja. Wann Regression sinnvoll ist?

Speaker1: Ja, wer aufmerksam zugehört hat, der hat schon 'n paar Stichworte gehört. Dieses Inputdaten und Outputdaten, repetativer Prozess. Das ist letztendlich das, worauf's ankommt. Okay. Also hab ich etwas, was eigentlich immer wieder die gleiche Aufgabe, sag ich jetzt mal, abstrakt erfüllt. Also das wär zum Beispiel bei der Bilderkennung, ich möchte immer wieder aus einem aus einem Bilddaten erkennen, das ist Person a bis z oder das ist Hund, das ist Katze. Also das ist ja immer wieder die gleiche Aufgabe. Mhm. Das also das ist repetativ, ja? Dann hab ich etwas wie Input und Output. Na ja, ich hab zuerst mein Bild, das ist diese Information ist vollständig da. Dann fang ich mit der Aufgabe an, schau mir das Bild an und leite daraus dann ab, einen Output. Ist es Jaguar oder ist es Maximum oder ist es ein Hund oder ist es eine Katze? Okay. Das heißt, ich habe Inputs und Outputs. Und wenn ich diese beiden Voraussetzungen hab, also ich hab eine repetative Aufgabe und ich hab Inputs und Outputs und natürlich sollten

Speaker0: die sollte sich aus den Inputs die Outputs auch irgendwie ableiten lassen. Der Sanity Check ist da eigentlich immer, könnte ein Mensch es tun? Na ja, also gibt's da überhaupt einen Zusammenhang, weil ich meine? Ja, genau. Es sind ja nicht immer nur Bilder und Hunde. Ich mein, wenn der wenn ein Prozess jetzt komplizierter wird, dann ist es vielleicht auch komplizierter, der irgend einen Zusammenhang überhaupt feststellen,

Speaker1: sich Genau. Und dann nehmen wir einfach alle Bilder, die ich sehe, sind weißes Rauschen. Ja, wunderbar. Dann soll ich jetzt sagen, seh ich dadrauf Jaguar oder seh ich darauf? Maxi? Kann ich auch nicht. Dann ist zumindest mal die Chance, dass es 'n Machine Learning Algorithmus kann, auch nicht so hoch. Aber gut, unter Umständen ist ja in den Rauschen was versteckt, was ich als Mensch nicht sehen kann. Lass lass uns doch da gleich die Brücke schlagen zu

Speaker0: Sachen, die auch Es sei nur drüber, dass es auch noch kurz was dazu sagen. Nee, wir können gern mal hin. Alles klar. Lass uns auch die Brücke schlagen zu dem Schlagwort random Noise. Wir hatten auch kurz in der Folge zu drüber geredet, wie wie man damit umgeht im Preprocessing. Wie kann sich denn random Noise auswirken auf seinen Regressionsalgorithmus?

Speaker1: Ja. Also nehmen wir mal erst mal, sagen wir mal, gutartiger Neues und bösartiger Neues. Also das gutartiger Neues ist einfach Neues, der, wie man ihn typischerweise aus dem Bereich Rauschen kennt, einfach 'ner normalen Statistik folgt, meistens eben 1 Normalverteilung. Mhm. Wenn das so ist, dann können all diese Machine Learning Algorithmen wunderbar damit umgehen. In der Realität gibt's aber häufig eben, dass man dann vielleicht Outlier nennt, also Dinge, die aus dieser Statistik stark ausreißen. Also nehmen wir mal an, ich möchte irgendwas vorhersagen und so die die das typische Rauschen, da drum rum wären wir so irgendwie plus minus ein, was vom Ampere von wie aus, wenn's eine Stromstärke geht. Und dann gibt's plötzlich mal einen Wert in meinem Datensatz, der weicht 100 Amper ab. Okay. Das sprengt mir ja total diese Statistik Ja. Der Normalverteilung. Und wenn dieser Outleiher mit dem Trainingsdatensatz drin ist, dann kann mir das meine Regression total zerschießen, weil dieser eine Ausreißer plötzlich wahnsinnig viel Einfluss gewinnt.

Speaker0: Das heißt, der Computer denkt sich nicht, ja, das ist offensichtlich 'n random Noise, den lass ich jetzt mal außer 8. Sondern der nimmt den auch noch mit rein. Ja, er er denkt schon, das ist,

Speaker1: da da steckt 'n neues Anteil drin, aber es kann nicht nur Neues sein, weil er könnte nicht 100 Standardabweichungen weit entfernt sein. Okay. Das verbietet die Statistik, die der Regregionsalgorithmus zugrunde annimmt.

Speaker0: Jetzt gibt's da ja auch einige andere Sachen, die schieflaufen können. Auch was dazugehört ist auch Overfitting. Mhm. Da gibt's auch noch mal eine eigene Folge dazu zu Datenfehlinterpretation oder generell der Analyse von Daten, auf was man da achten sollte. Jetzt vielleicht kurz noch mal, das worüber wir noch reden könnten, Regressionsalgorithmen sind ja ein sehr gutes Beispiel für Learning. Genau. Wir hatten in der letzten Folge über, also ein 1 über Clustering Algorithmen geredet, was ja auch sehr gute Beispiele sind für Learning. Könntest Du da vielleicht kurz den Unterschied erklären? Genau. Was wird da supervist?

Speaker1: Supervist heißt, ich habe Input und Output. Mhm. Und ich hab beim Output, also bei meinen, ich kenne für eine Klasse von Trainingsdaten die echte Antwort. Also es gibt sozusagen die Möglichkeit, ich habe einen Trainingsdatensatz und da kenn ich die echte Antwort. Also im Sinne von, ich hab 1 1 1 zum Beispiel bei der Bilderkennung, ich hab jetzt hier ein Foto Album mit, da stehen Labels dran, ja? Neben jedem Foto steht JagGO, Maxim oder Hund oder Katze. Okay. So was brauch ich für. Wenn ich das nicht habe, also keine Ziellabels, keine keine Beispiele, so ist's richtig, dann bin ich im Bereich Learning. Und bedeutet, ich muss einfach nur aus den Daten, und dann hab ich halt in der Regel keinen Input und, Output, sondern einfach nur Daten an sich, irgendwie, soll ich zum Beispiel Cluster finden oder typisches Verhalten oder untypisches Verhalten. Also das wär so was wie Anomaliedetektion. Das sind dann so die Use Cases für Unsupervice Learning. Gibt's auch 'n URL Network Beispiel für? Das sind die sogenannten Auto Encorder, die zum Beispiel für Anomaliedetektion ganz gut geeignet sind. Aber der grundsätzliche Unterschied ist, habe ich einen Trainingsdatensatz, in dem ich die echte Antwort kenne oder nicht?

Speaker0: Alles klar. Okay, Maxim, jetzt gegen Ende hast Du vielleicht noch mal 3 Tipps für die Zuhörer da draußen, die sie auf jeden Fall mitnehmen sollten, wenn sie sich mit einem Regressionsalgorithmus befassen oder benutzen wollen. Mhm.

Speaker1: Also wir haben ja haben Sachen schon angesprochen. Outleihe, immer mal schauen Mhm. Scheinen Outleihe in meinem Datensatz zu sein, weil die können mir mein Verhalten, auch wenn's wenige sind, grundsätzlich zerschießen, also die lieber rausnehmen, wenn möglich. Okay. Hast Du vorhin angesprochen. Ist immer eine ist immer eine Gefahr. Das heißt, da muss ich einfach checken, dass ich nicht im Bereich bin. Da gibt's da verschiedene Methoden, über die wir von zu 'nem anderen Zeitpunkt vielleicht mal sprechen. Mhm. Und das Letzte ist, die Metrik regiert alles. Ist vielleicht ein Satz, der euch noch mal, den ihr noch mal hören werdet. Sehr, sehr gut. Ist dein Catchhrase mittlerweile. Genau. Das musst Du vorsichtig sein. Und wenn ich die Metrik nicht kenne, dann sollte ich meine Daten standardisieren. Das heißt, alle meine Parameter auf Mittelwert 0 und Standardabweichung 1 transformieren.

Speaker0: Alles klar. Na, ich bin schon gespannt, weil ich werd's so bald mit 'nem T-Shirt rum, wo auch dieser Satz draufsteht. Die Mischung geht immer noch

Speaker1: alles. Okay, alles klar.

Speaker0: Jetzt zum Schluss vielleicht noch mal kurz zu der Gesichtserkennung in China. Was würdest Du denn sagen, wird auch auf uns zukommen als Zahlungsmethode? Gibt's dann irgendwann eine Kamera, in der ich in die ich mein Gesicht reinhalte und dann werden mir fuffzig Euro abgebucht oder? Ja, ja, technologisch

Speaker1: vorstellbar. Ist ja eine politische Frage, würd ich sagen, ob's jetzt mit dir kommt. Ob das so

Speaker0: datenschutzrechtlich Genau, aber technologisch, ich meine, Chinesen haben's ja vorgemacht Ja, genau. Scheint zu gehen. Also schreibt uns gerne, was ihr davon haltet. Ansonsten findet ihr in den Shownotes wieder einen Link zu 1 Jupiter Notebook Datei. Diesmal dürft ihr ein Neural Network drauf trainieren, anhand von Frequenzen inner in 1 Stimme herauszufinden, ob es sich eine männliche oder eine weibliche Stimme handelt. Ohne groß Akustikprofis zu sein, ihr trainiert da ein Neural Network. Und ansonsten dank ich dir, dass Du wieder dabei warst, Maxim. Sehr gerne. Und dann würd ich sagen, Master the Complexity. Damit wir weiterhin für euch, hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.

Mehr Folgen aus Staffel 1 →