REVIEW DATA SCIENCE MEETUPS 1

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Dr. Maksim GreinerCo-Founder & CTO von Erium
Überblick
In dieser Review-Folge blicken Theo Steininger und Maksim Greiner auf die zurückliegenden Data-Science-Meetups der Erium-Community zurück. Sie fassen die wichtigsten Erkenntnisse aus den Meetup-Themen Process Mining, Bayesische Inferenz mit GANs, NLP, Distributed Computing und RESTful APIs zusammen und ergänzen den Rückblick mit einem 'Algorithmus der Woche' zu Gaußschen Mixturmodellen sowie einem neuen Segment 'Blick in den Werkzeugkasten' rund um die einsum-Funktion.
Zusammenfassung
Irrgeleitete Statistik der Woche: Intensivbetten und Todesfälle
Als humorvoller Einstieg analysieren Theo und Maksim eine Aussage eines österreichischen Parlamentariers, der argumentierte, mehr Intensivbetten würden zu mehr Toten führen. Die Hosts dekonstruieren den statistischen Fehler: Die Sterblichkeitsrate auf Intensivstationen ist unabhängig von der Bettenzahl – im Gegenteil, fehlende Kapazitäten erhöhen die Sterblichkeit. Einzig ein zeitlich verzögerter Feedback-Loop (mehr Betten führen zu Lockerungen, Lockerungen zu mehr Infektionen, mehr Infektionen zu mehr Toten) könnte die Aussage konstruiert rechtfertigen – aber genau das wurde nicht kommuniziert. Das zentrale Learning: Das explizite Offenlegen des Kausalgraphen hätte das Gelächter im Parlament verhindert.
Meetup-Rückblick: Process Mining
Process Mining beschäftigt sich damit, Strukturen und Anomalien in prozedural geordneten Datensätzen zu finden – etwa wann welches Objekt welche Station in einem Prozess durchlaufen hat. Ein typisches Anwendungsbeispiel ist der 'Order-to-Cash'-Prozess im E-Commerce: Wo weicht der Bestellprozess vom gewünschten linearen Ablauf ab, etwa durch Reklamationen oder technische Fehler? Besonders betont wird, dass Process Mining stark explorativ ist und daher mit der User Experience der eingesetzten Tools steht und fällt. Als Open-Source-Einstieg wird PM4Py (vom Fraunhofer FIT gehostet) empfohlen, als kommerzielle Alternative Celonis.
Meetup-Rückblick: Bayesische Inferenz mit trainierten neuronalen Netzen
In diesem Meetup präsentierte Jakob Knollmüller einen kreativen Ansatz: Ein vortrainiertes Generative Adversarial Network (GAN), das realistische Gesichtsfotos erzeugen kann, wird als Prior für ein Bayesisches Netzwerk verwendet. Dadurch lassen sich komplexe Aufgaben lösen, ohne dafür eigens ein Modell trainieren zu müssen – zum Beispiel die fehlende Hälfte eines Fotos ergänzen oder auf Basis bekannter Merkmale (Alter, Haarfarbe) das wahrscheinlichste Aussehen einer Person rekonstruieren. Für Maksim war das zentrale Learning die elegante Antwort auf die klassische Bayesische Frage: 'Woher nehme ich meinen Prior?' – ein gut trainiertes GAN liefert einen problemspezifischen, informativen Prior.
Algorithmus der Woche: Gaußsche Mixturmodelle
Gaußsche Mixturmodelle gelten Theo und Maksim als unterschätzter Ansatz in der Praxis: Durch die Superposition mehrerer Gauß-Glocken lässt sich nahezu jede beliebige Wahrscheinlichkeitsdichte approximieren. Das Ergebnis ist ein Density Fit, mit dem sich das volle Arsenal der Statistik nutzen lässt – von der Ausreißererkennung über das Ergänzen fehlender Werte bis hin zu Clustering. Der kritische Tuning-Parameter ist die Anzahl der Komponenten. In hohen Dimensionen stößt der Ansatz an Grenzen, da alle Punkte weit voneinander entfernt liegen (Fluch der Dimensionalität). Das Swiss-Roll-Experiment illustrierte: Ab etwa 10 Rausch-Dimensionen verliert das Modell die eigentliche Datenstruktur. Take-home Message: Im Zweifel lieber weniger Features als mehr. Als Trainingsalgorithmus wird der Expectation-Maximization-Algorithmus vorgestellt, der ein verschachteltes Optimierungsproblem in zwei abwechselnde, jeweils lösbare Teilschritte zerlegt.
Meetup-Rückblick: NLP und Word Embeddings
Adrian Schagel, ehemaliger Chief Data Scientist des Start-ups Reference, gab einen Überblick über Natural Language Processing und Methoden zur Einbettung von Wörtern in Vektorräume. Word2Vec nutzt Nachbarschaftsbeziehungen im Text, um Wörter in dichte Vektoren zu übersetzen, mit denen anschließend klassisches Machine Learning möglich ist. Als nicht-lineare Erweiterung wurde BERT vorgestellt, der denselben Kerngedanken über ein neuronales Netz umsetzt. Besonders überraschend: Frühe naive Ansätze arbeiteten mit hunderttausend-dimensionalen One-Hot-Vektoren – und funktionierten trotzdem. Für Übersetzungssysteme wie DeepL gilt laut Schagel, dass rein frequenz- und nachbarschaftsbasiertes Lernen ohne explizite Grammatikregeln deutlich bessere Ergebnisse liefert.
Meetup-Rückblick: Bringing the Code to the Data
Dominik Koch von Teradata beleuchtete die Herausforderung, Machine Learning auf extrem großen, verteilten Datensätzen zu betreiben. Da ein vollständiger Download der Daten auf lokale Rechner oft unmöglich ist, lautet das Prinzip: den Code zur Datenbank bringen, nicht umgekehrt. Spannend ist dabei, dass Teile von Machine-Learning-Algorithmen auf SQL-Queries heruntergebrochen werden können. In der Praxis bleibt aber auch heute noch ein gewisses Kopieren der Daten nötig – die beste verfügbare Lösung ist eine enge Netzwerkkopplung zwischen Rechen-Cluster und Datenbankinfrastruktur.
Blick in den Werkzeugkasten: einsum & RESTful APIs
In einem neuen Segment stellen die Hosts praktische Tools vor, die im Studium oft zu kurz kommen. Die einsum-Funktion (Einstein-Summenkonvention, verfügbar in NumPy, PyTorch, TensorFlow u.a.) erlaubt es, komplexe Tensor-Operationen präzise und lesbar mit Index-Notation zu formulieren – ohne umständliches Transponieren oder Nachdenken über Achsenreihenfolgen. Meta-Pakete wie opt_einsum optimieren die Ausführungsreihenfolge zusätzlich für CPU und GPU.
Abschließend fassten die Hosts das RESTful-API-Meetup mit Andreas Scharf zusammen. Überraschende Erkenntnis: REST ist kein formaler Standard, sondern ein Designprinzip mit sechs Leitlinien (Client-Server, Stateless, Cachable, Uniform Interface, Layered System, Code on Demand). In der Praxis werden nicht alle konsequent eingehalten – was laut Hosts wenig überrascht.
Kernaussagen
- Kausale Zusammenhänge müssen explizit kommuniziert werden – implizite Annahmen führen zu Missverständnissen, wie das Parlamentsbeispiel zeigt.
- Process Mining ist ein stark exploratives Verfahren und steht und fällt mit der Qualität der Visualisierungs- und Analyse-Tools.
- Vortrainierte GANs lassen sich als informative Prioren in Bayesischen Netzwerken einsetzen und lösen damit ein klassisches Problem der Bayesischen Statistik.
- Gaußsche Mixturmodelle sind ein unterschätzter, vielseitiger Ansatz für Density Estimation, Clustering und Anomalie-Erkennung.
- In hohen Dimensionen kann mehr Rauschen (mehr Features) die Modellqualität drastisch verschlechtern – weniger kann mehr sein.
- Rein datengetriebene NLP-Modelle ohne explizite Grammatikregeln übertreffen regelbasierte Ansätze bei Übersetzungsaufgaben deutlich.
- Die einsum-Funktion vereinfacht komplexe lineare Algebra in Code erheblich und macht den Code gleichzeitig selbsterklärender.
- REST ist kein verbindlicher Standard, sondern ein Satz von Designprinzipien, von denen in der Praxis regelmäßig abgewichen wird.
Fazit
Diese Review-Folge zeigt eindrücklich, wie vielfältig das Feld der Data Science ist: von statistischer Grundkompetenz über spezialisierte Algorithmen wie Gaußsche Mixturmodelle bis hin zu Softwarearchitektur-Prinzipien. Die Meetup-Retrospektive macht deutlich, dass praktische Anwendbarkeit, gute Werkzeugkenntnis und ein solides Verständnis von Kausalität zentrale Kompetenzen für Data Scientists sind.
Für Studienabsolventen und Berufseinsteiger
Die vorgestellten Themen – von einsum über Gaußsche Mixturmodelle bis zu RESTful APIs – sind praxisrelevante Grundlagen, die im Studium oft zu kurz kommen und den Einstieg ins Berufsleben erheblich erleichtern können.
Für Data Scientists mit Berufserfahrung
Die Diskussion über Bayesische Prioren mit GANs, den Fluch der Dimensionalität und verteilte Dateninfrastrukturen bietet auch für erfahrene Praktikerinnen und Praktiker wertvolle Denkanstöße und neue Perspektiven auf bekannte Probleme.
Volltranskript anzeigen
Speaker0: So, ich brauch nur ich brauch nur Adjektiv.
Speaker1: Wofür? Für mich? Ja. Ihr hört, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.
Speaker0: Herzlich willkommen zu 1 neuen Folge von The Eriam Podcast. Mein Name ist Theo Steininger und mir remote gegenüber sitzt mein gewöhnlicher Kollege Maxim Greiner. Hi Maxim.
Speaker1: Ich hatte schon Angst, welches Adjektiv diesmal kommt. Hi Theo.
Speaker0: Nee, wir bleiben gewöhnlich. In dieser Folge, was haben wir vor, werden wir uns die letzten von uns bei die Ihrem Podcast angucken und dort die letzten Folgen Revue passieren lassen. Wir gucken uns an, worum es jeweils ging und ja, vor allem quasi so als Service an die Hörerschaft, welche Erkenntnisse man daraus ziehen konnte. Genau, ihr bekommt den Digest. Ja, für die ganzen Zuhörer, die sowieso sich schon im Alltag optimieren, Podcasts reinziehen, während sie kochen und zur Arbeit fahren, die müssen sich jetzt noch nicht mal mehr ins E-Mail-Upgeben. Ja, also vor allem, ich dachte mir, wir machen das mal, weil er wirklich sehr, sehr coole Insights mit dabei waren, die es zu teilen gilt. Bevor wir da aber einsteigen, lass uns mal in die Kategorie noch mal einsteigen der irrgeleiteten Statistik der Woche. Au ja. Bei. Und zwar hat uns da was aus Österreich erreicht. Vielen Dank für die Einsendung. Sehr cool. Und zwar wieder mal was aus der Politik. Und ich les da einfach mal was vor, okay? Nämlich ich zitiere einen Artikel Nachrichten Punkt a t. Ich les mir kurz vor, eine 1 Aussage des oberösterreichischen Schmiedemeisters und VP Nationalratsabgeordneten Laurenz Pöttinger hat bei der Sitzung am Donnerstag sehr lauten Gelächter in den Reihen der Parlamentarier geführt. Laurenz Pöttinger, Zitat, ihre Partei fordert immer wieder, dass man die Intensivbetten aufrüsten soll, also Coronadiskussion. Mit diesen Worten startete Pöttinger einen Angriff in Richtung des FPÖ Abgeordneten Volk Reifenberger, Hayver und holte dabei weiter aus, ein Drittel aller Intensivpatienten Patienten würde die Krankheit nicht überleben. Das heißt, ihre Aufstockung wäre dann in Wirklichkeit eine wesentliche Erhöhung der Toten in diesem Land. Okay. Crazy. Diese abstruse Schlussfolgerung wurde im Sitzungssaal mit Lachen und spöttischen Kommentaren quittiert. Oida.
Speaker1: Ja, kann ich mir vorstellen. Absolut, absolut.
Speaker0: So, long story short, was ist passiert? Er ist dann noch mal ans Rednerpult und hat sich 'n bissel erklärt, Aber lass uns das mal dekonstruieren,
Speaker1: ja. Ja und auch mal überlegen, also weil Genau. Wenn Du als Abgeordneter was sagst, wirst Du ja auch gerne mal aus Versehen missverstanden. Mhm. Genau. Es würde mich interessieren, okay, wie kriegt man das jetzt, wie können wir das reparieren?
Speaker0: Soll ich soll ich direkt erklären, wie wie er sich dann erklärt hat? Also wie er's versucht hat zu retten. Meinetwegen, ja. Und zwar die Rechtfertigung dieser Aussage bestand darin, dass er gesagt hat oder zumindest würde ich's ihm dann so auslegen, dass er dass er gesagt hat, okay, nicht das Aufstocken der Intensivbetten sollte Strategie sein, quasi mit der Implikation, dass die dann auch ausgelastet werden sollen oder dürfen und und oder werden. Mhm. Sondern man sollte verhindern, überhaupt Intensivbetten zu brauchen.
Speaker1: Ja, da steckt jetzt da der solotodigest, wie man so sagen würde. Ja. Also wenn wir jetzt mal seiner Argumentation folgen, warum macht er daraus ein entweder oder, ne? Also warum entweder Betten oder reduzieren also bei formell jetzt überlegen wir mal also formell was er gesagt hatte bevor ist ist ja irgendwie statistisch doch irgendwie Unsinn ne also wenn man die im Prinzip hat er ja gesagt die Wahrscheinlichkeit also gegeben, Du bist mit Corona auf der Intensivstation, dann ist deine Chance zu sterben 33 Prozent. So und dann quasi auch gegeben, Anzahl der Intensivbetten hat man quasi, jetzt mal salopp gesagt, proportional viel oder gleich viele Corona Intensivpatienten. Und dementsprechend würde dann quasi mit der Anzahl der Betten die Anzahl der Toten steigen. Was natürlich jetzt erst mal ziemlich komisch ist, weil eigentlich, da fehlt ja quasi die Anzahl der Erkrankten in dem Ganzen. Das heißt, ja, ich meine, es fängt ja an mit den Erkrankten quasi. Eigentlich müsste man ja so sagen, Du bist erkrankt dann oder gegeben, Du bist erkrankt. Da hast Du eine Chance, auf die Intensivstation zu kommen. Okay, Volumen, also Intensivkapazität im Sinne, wenn kein Bett frei ist, dann kommst Du nicht auf die Intensivstation, sondern stirbst vielleicht woanders, wenn Du Pech hast. Mhm. Mhm. Aber gehen wir mal davon aus, die Kapazität ist noch da, weil sonst sind ja deine Überlebenschancen noch schlechter. So. Also gegeben, Du bist krank, hast eine Chance auf die Intensivstation zu bekommen. Gegeben, Du kommst auf die Intensivstation, hättest Du ein Drittel die Chance, nicht zu überleben, so was, oder? Das ist ja dann erst mal vollkommen unabhängig von der Anzahl der Intensivbetten außer mit dieser Grenze das heißt geben wir sagen mal gegeben Du kommst müsstest auf die Intensivstation kannst aber nicht wegen Kapazität dann sollte er deine Todes Wahrscheinlichkeit steigen das heißt das genau konträr zu seiner aussage jetzt wie könnt man 'n schuh drausdrehen was hat er vielleicht gemeint vielleicht auch nicht ich kenn den mann nicht Wenn wir die Kette länger spinnen, wenn wir sagen, die wir also wir wir halten fest, wir sagen quasi Anzahl der Erkrankten bedingt Anzahl derer, die ein Intensivbett brauchen. Anzahl derer, die ein Intensivbett brauchen plus Kapazität bedingt Anzahl der belegten Intensivbetten und Anzahl der derer, die 'n Intensivbett bräuchten, aber keins bekommen haben. Und aus beiden kommen dann 2 verschiedene Todesraten und damit quasi die die Kette der Toten. Die Kette, die zu den Toten entführt. Wenn man jetzt sagen würde, die Anzahl derer, die überhaupt sich infizieren, die hängt wiederum von der aktuellen Lockdown Situation oder sonst was ab. Und wenn man sagt, die wiederum hängt von der Anzahl der Intensivbetten ab. Sozusagen 'n bisschen so jetzt wie go full Circle. Mhm. Genau. Also sie Das ist aber kausal, okay, hier full Circle zu gehen, weil dazwischen ist ein Zeitschritt. Quasi Fälle der Zukunft versus hängen ab von den Lockdown Maßnahmen der Gegenwart, die abhängen von der Auslastung der Gegenwart. Und so kann man dann den den den Kreis spinnen. Aber dann könnte dann wäre es zumindest statistisch möglich dass das eher recht hat in dem Sinne dass wenn Du mehr Kapazitäten hast dann wird man unvorsichtiger oder lässt lässt die nicht pharmazeutischen Maßnahmen locker und dann hast Du vielleicht mehr Fälle und dadurch vielleicht tatsächlich auch mehr Tote aber das hat er jetzt ja nicht wirklich so gesagt das ist jetzt sehr konstruiert von mir
Speaker0: Wobei ich mir gut vorstellen kann, dass das gemeint wurde. Und genau deswegen finde ich das Beispiel so spannend, weil der Unterschied und das ist 'n himmelweiter Unterschied darin liegt, welche Prämisse der Wechselwirkungen zugrunde legst. Ja, also wenn Du wenn Du diese diesen Circle, wie Du ihn grade beschrieben hast, wenn Du den annimmst als gegeben, also das ist jetzt mal mal meine Arbeitshypothese, dann macht das erst mal grundsätzlich Sinn, so zu denken. Zumindest möglich. Ja, genau, genau. Also ich kann mir gut vorstellen, dass auch einfach real, ja hier, komm on, hier 60 Prozent Intensivbetten sind doch frei. Können wir doch lockern, ja? Dass es dann diesen diesen Feedback Loop gibt, total plausibel aus meiner Sicht, aber es wurde nicht explizit kommuniziert. Und was kommt dabei raus? Gelächter. Gelächter, ja. Das ist das ist crazy und das hat mir wieder gezeigt so hoppla, so erst mal klären, was ist denn so das Hypothesenkonstrukt, auf dem wir jetzt grade unterwegs sind? Genau, er hat ja einfach den Grafen aufzeichnen sollen. Genau. Also hier Call to Action an alle Parlamentarier. Wenn ihr euch in egal welchem Parlament, sei es Deutschland oder Österreich oder wo auch immer versucht zu erklären, zeichnet doch einen Grafen auf. Es ist Hey, das wär was Warum ist kein Whiteboard oder Blackboard im Parlament? Das ist ja schon mal Ich ich glaub, ich würd sogar so weit gehen. Mitten im kausalen Graf kriegst Du sogar da Andi Scheuer hin, die Mautaffäre zu erklären.
Speaker1: Okay. Nein.
Speaker0: Nein? Nein? Ich weiß nicht, wer weiß. Ich kenn wer weiß, wie der Graf auch sähe. Ja, ja, ja. Du, Funfact an der Stelle. Und zwar, ich hab natürlich bei den beim beim beim Hausaufgaben erledigen für jetzt die Aufnahme, die nächsten, auch geguckt nach Stichwort skandalös in den Nachrichten. Und Du findest so 3 Themen, nämlich einmal, wie war das? Genau, Impflogistik, Sportartikel, ja genau, also Artikel Presseartikel über Sport, da ist dann war dann wieder irgend eine Leistung von dem Trainer skandalös und Andi Scheuer. Das ist so geil.
Speaker1: Nicht schlecht. Ja.
Speaker0: Gut, also echt vielen Dank für die Einsendungen aus Österreich, für diese irreitete Statistik der Woche. Wir brauchen nur noch irgendeinen Jingle oder so. Müssen wir was was produzieren, was Aber die Quintessenzes
Speaker1: nimmst Du eine, sag ich mal, lineare oder eine über die Zeit zyklische Wirkungskette an. Und so oder so kann man dann die Aussage als ganz falsch oder als möglich bewerten. Ja.
Speaker0: Insofern genau das, ich bin mir sicher, genauso hat's der Herr Pöttinger gemeint.
Speaker1: Gut, wie gesagt.
Speaker0: Ja, ich auch nicht. Gut, steigen wir mal ein. Und zwar retrospektiv, wir haben ja Meetups gemacht als Kompliment zur Staffel 3. Ihr erinnert's euch bestimmt, also alle Komplexity Masters an die Staffel mit der Erica, der Data Scientistin haben wir ja immer die Gäste ausm Podcast mit in den Meetups gehabt. Und wir haben dann das Meet-up weitergeführt mit externen Gästen. Und weil wir so von uns selbst überzeugt sind, haben die ersten beiden Meetups, Maxime, Du und nicht erledigt. Genau. Ähnlich. Das 1. War. Ich denke, da steigen wir jetzt noch mal besonders tief ein. Das haben wir nämlich noch gar nicht abgefrühstückt das Thema.
Speaker1: Ja, ganz neu in diesem in dieser Staffel.
Speaker0: Springen wir weiter zum nächsten Meet-up. Das war zum Thema Process Mining. Nämlich wurd das Thema nachgefragt, ob wir da nicht 'n paar Worte dazu verlieren könnten. Und es ist 'n altes Thema, das mich begeistert, Process Mining. Damals sind wir darauf eingegangen. Und jo, vielleicht erklär ich ganz kurz noch mal, was ist Process Mining? Was ist die Idee dahinter? Und zwar geht es darum, Strukturen in Daten zu finden beziehungsweise Anomalien in sehr großen, mitunter großen Datensätzen auch zu finden, die und das bezieht sich jetzt auch 'n Datensatz, die die die prozedural sortiert sind. Also im Endeffekt, man könnt sagen in der einfachsten Form, Du hast 'n Datensatz und der ist so gruppiert, dass Du sagst, Du hast eine Tabelle mit einem Zeitstempel und eine Station ID und 1 Objekt ID, dann kannst Du durchtracken, wann war welches Objekt, an welcher Station im Prozess? Mhm. Und über diese verschiedenen Wege, also üblicherweise ist es dann interessant, wenn der Prozess verschiedene Abzweigungen nehmen kann und wenn die Zeiten sehr unterschiedlich sein können zwischen Station a und Station b.
Speaker1: Und dann kannst Du dir mit guten Process Mining Tools angucken, wo gibt's vielleicht einen Schlenker in dem Prozess, den ich gar nicht haben möchte. Oder Bremse, Weil sogar Anomalie gesagt, dass das Wichtige ist, eine Anomalie im Ablauf. Im Ablauf. Also nicht mehr vielleicht aus dem Machine Learning Kontext denkt, in irgendwelchen Parameterwerten, sondern wo ist etwas vom gewünschten oder vom Standardablauf abgewichen? Und das, was ich was mich überrascht hat, ist daran oder weiß nicht, ob das überraschend ist, aber frappierend fand ich, es ist eigentlich extrem explorativ, noch noch fast explorativer als Machine Learning und steht und fällt dementsprechend mit der UX also der User Experience wie interaktiv kannst Du dich da drin durchgraben und ja das das war so für mich so der Haupt das Haupt learning neben dem das ist halt da das wie hieß es? PM for Pi
Speaker0: Process Mining for Python, ja genau PM for Pi. Package gab,
Speaker1: das dann auch mal direkt auszuprobieren.
Speaker0: Ja, genau, genau, genau. Ja, richtig. Das war eine der Lösungen. PM for Pi wird zumindest vom FIT Institut Fraunhofer gehostet. Das ist so, ich würd mal sagen, die die Open Source Variante, wenn man komplett frei in das Thema einsteigen möchte. Ansonsten hatten wir uns da angeguckt, Celonis. Die bieten einem ja da auch recht viel, auch kostenlos. Und wie Du sagst, ja, also UX ist total wichtig, da reingraben zu können. Vielleicht ein Beispiel könnten wir noch bringen, wie son Aussehen könnte. Wir haben durchgespielt oder to cash, nämlich wie kommst Du als Onlinehändler von der Bestellung zu deiner Kohle am Ende? Und ich glaub, jeder von uns weiß aus eigener Erfahrung, dass son Onlinebestellprozess die diversesten Umwege nehmen kann. Mhm. Und das ist dann sozusagen aus Sicht des Shopbetreibers die Analyse durchzuziehen, na ja, wo bricht vielleicht der Prozess aus dem gewünschten linearen Verlauf aus? Weil's eine Reklamation gibt, weil der Shop abgeschmiert ist, weil der Warenkorb sich resettet hat. So was zu identifizieren, am Ende den Euro to Cash Prozess zu optimieren. Ja, gehen wir zur nächsten. Gehen wir gehen wir zur nächsten, genau. Das waren Baseche, Baseche Inferenz oder das Thema war basische Inferenz mit trainierten neuronalen Netzen vom Jakob Knollmüller, einem alten Kollegen von uns. Magst Du da mal kurz erklären, worum ging's da? Ja, das das fand ich ziemlich cool. Also es das ein Beispiel, was er davor geführt hat, war
Speaker1: und das war also der Dreh- und Angelpunkt waren sogenannte generative advertial networks kurz gan und er hatte einen so Netzwerk und trainiert das Netzwerk hergenommen was quasi darauf trainiert ist Bilder zu erzeugen die Gesichtern entsprechen das heißt so ein generative advacario network das erzeugt quasi aus bei einem seed rauschen wenn man so will ein also in dem Fall ein Foto was eine für ein Foto 1 Person solche Netzwerke kann man verschiedenste finden und so weiter und das Coole ist was er jetzt gemacht hat ist er hat so ein Netzwerk als Priorer für ein basisches Netz letztendlich genommen. Und dann konnte der zum Beispiel so Dinge machen wie, mal angenommen, man sieht von einem Foto nur die eine Hälfte, bitte ergänze mir die andere Hälfte. Wofür man, wenn man das herkömmig macht, eigentlich ein ganz eigenes Netz aufwendig hätte trainieren müssen. Irgend son Kompliter, wie auch immer ihr den nennen wollt. Oder ich weiß die Person ist so und so alt und so und hat zum Beispiel die und die Haarfarbe also das wieder über einen 'n klassifier, also quasi einen trainierten Classifier mit dem trainierten Gang über basic zusammengesteckt, dann das rückwärts zu benutzen, zu sagen, okay, mal angenommen, die beobachtet ist braune Haare und was war das andere, was ich gesagt hab, das Alter? Dann okay, wie würde dieser Mensch am wahrscheinlichsten aussehen? Oder das und noch 'nem Ausschnitt aus dem Bild. Wie würde der Mensch am wahrscheinlichsten aussehen? Und total cool, dass wenn man dass man so also man kann hinten raus quasi Richtung Ende des Basion Netzes eigentlich beliebige Classifier verwenden. Quasi im im basion Sprech als likelyhood aber der Dreh- und Angelpunkt war ein generative advacerial Network kann man als Priorer benutzen und das ist finde ich schon ziemlich cool für die, die sich mit Basischer Statistik beschäftigt haben oder sonst was oder ich immer, wenn ich das jemand erkläre, aber wo kriege ich denn den Priorer her? Ja, ja, das ist ja genau. Eine sehr berechtigte Frage. Meistens ist die Antwort, na ja, Du nimmst halt etwas, was sinnvoll ist irgendwie sinnvoll ist oder wenn Du nichts weißt dann wenigstens irgendwie die die Größenordnung richtig einschränkt ja aber wenn Du son Gun benutzt dann kannst Du einen richtig problemspezifischen gut informierten Priorer hernehmen und damit dann echt coole Sachen machen. Jo, so viel kann ich zu dem
Speaker0: Mieter erzählen. Ja, ich denke, dem ist nichts hinzuzufügen für alles Weitere hätte man dabei sein müssen. Machen wir an der Stelle mal 'n kleinen Break zwischen den Beat ups. Und zwar, was wir noch gar nicht besprochen haben, das ist der Machine Learning Algorithmus der Woche. Ah ja. Dort hab ich heute mir rausgesucht, die Gaußschen Mixturmodelle. Aus meiner Sicht underrated, ein underrated Ansatz Gaußschen Mixturmodelle. Wir haben da in der Vergangenheit sehr viel damit gemacht. Also in der Anfangszeit der Gründung Ja. War das 1 der Hauptzugpferde, auf der wir gesetzt haben. Wir haben da sogar mit Werkstudenten, also mit wir meine ich, Du Max, Erde dem Erde gebührt, Paper auch aufgesetzt, die dann auch veröffentlicht wurden. Also wir waren da wirklich stark unterwegs und mich hat's dann immer überrascht eigentlich, wie wenig dieser Ansatz bekannt ist, als ich mir dann Bewerber angeguckt für die Data Scientisten Stellen, die wir in der Firma ausgeschrieben haben. Die dieser Ansatz, der war gar nicht so bekannt. Mhm. Eben und dementsprechend ganz kurz noch mal die Erklärung, worum geht's bei Mixturmodellen allgemein und insbesondere bei Gaußschen Mixturmodellen?
Speaker1: Ja gern. Also was ist ein Mixturmodell allgemein? Die Idee ist, ich konstruiere eine komplizierte Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsdichte über die Superposition von einfachen. Also nehmen wir mal den Gauß her. Mein wenn ich den Gauß als Basis benutze Gauß ist ja eine Glocke. Ja kennt jeder wahrscheinlich von den Zuhörern, wie die ungefähr aussieht. Na ja, wenn ich mehrere Glocken kombiniere und zwar additiv, dann kann ich ja irgendeine praktisch beliebig komplizierte Landschaft aufspannen. Ja, also ich kann ja quasi aus lauter Gaußglocken, wenn ich die superpositionsmäßig mach, könnte ich ja die Alpen nachmodellieren.
Speaker0: Ja, das ist eine vollständige Basis am Ende. Ja, genau.
Speaker1: Und vor allem, wenn ich von diesen Gaußglocken nicht nur den Ort sondern auch noch die Breite ja dann kann ich ja wirklich alles damit quasi auszeichnen und das ist so die Idee man nehme eine wo auch hier immer man weiß wie viele Anzahl an Gausglocken und trainiere die insofern an die Datenpunkte dass die die Datenpunkte möglichst gut abdecken und das Schöne daran ist dann hat man nachher einen sogenannten dennsity fit das heißt man hat die Datenpunkte, die man in den Trainingsdaten hat, durch eine möglichst gut passende Dichte eingehüllt. Und mit dieser Dichte kann man dann das volle Arsenal der Statistik benutzen. Konditionale Mittelwert, egal in welche Richtung, fehlende fehlende Werte ergänzen. Man kann Outlyer Detection machen, über einfach die Wahrscheinlichkeit, die neue Datenbank hätte. Also da hat man nun wirklich sozusagen die volle Toolbox der Statistik damit oder man kann klassifizieren, weil wenn man man kann zum Beispiel sagen, jeder jede der Gausglocken entspricht 1 Klasse. Das ist sozusagen auch 'n Clustering Algorithmus in gewisser Weise dadurch, wenn man die Komponenten Anzahl entsprechend geschickt wählt oder oder nicht so groß, dass die sich gegenseitig die Cluster kannibalisieren. Aber ihr habt schon gehört, die Anzahl der Komponenten ist 'n sehr, sehr wichtiger Tuedingparameter. Ja, also ob ich jetzt versuche, etwas mit 3 Gausglocken oder mit 300 nachzubilden, das da kommt unter Umständen mal sehr Verschiedenes raus. Und ein großes Problem oder oder ein großer Knackpunkt ist auch die Metrik also im Sinne von wir hatten hochdimensionalen Parameterraum also ich meine jetzt zum Beispiel sowas wie 20 Dimensionen also jetzt nicht mega hoch und wenn es auch noch verschiedene Größen beschreibt dann kann es halt unter Umständen schwierig sein wie übersetze ich einen Abstand in Achse A in den Abstand in Achse B das ist die Metrik und die hat einen sehr sehr hohen Einfluss auf sone auf eigentlich alle glaube ich dennsity fits und beim Gaußschen mix2 Modell also merkt man das sehr stark das hat einen hohen Einfluss diese Metrik und parallel dazu wenn das Problem sehr hochdimensional wird die kennt vielleicht so diesen Spruch so irgendwie in hohen Dimensionen ist alles weit voneinander entfernt oder der der Raum meistens leer und das macht dann das Training von Gaußschen Mixst Du Modellen wirklich hohen Dimensionen wiederum sehr sehr schwierig aber wenn man das hinkriegt und also wenn man das mit der Metrik aus zum Beispiel über die einfach die Regularisierung die Standardisierung der Daten irgendwie meine ich Standardisierung nicht Regularisierung hinkriegt oder informierte Entscheidungen über die Metrik treffen kann und das mit den hohen Dimensionen dann halt er nicht jetzt gerade gilt das ist jetzt keine irgendwie 10000 dimensionaler Raum ist dann kann man damit dann echt coole Sachen machen.
Speaker0: Mir sind da jetzt grade noch 2 Dinge eingefallen. Und zwar, wenn wenn das ein bissel wundert, grade diese Aussagen mit in hohen Dimensionen, ist die Luft immer dünn. Es gibt 'n Beispiel, dass ich gerne auch immer durchdenke beziehungsweise da als Startpunkt gern mitgebe, nämlich, stell dir mal vor, einen n-dimensionalen Würfel der Kantenlänge 1 in allen Dimensionen, Mhm. Dann hat er der, egal in welcher Dimension, immer das Volumen 1 per Definition. Ja, das ist ja 1 mal 1 mal 1, also n mal die 1. Das heißt, das Volumen des Würfels bleibt bei 1, nur die Einheit ändert sich. Also es sind quasi Meter, dann Quadratmeter, dann Kubikmeter, Meter hoch 4, wenn wir sagen, der hat Kantenlänge einen Meter. Und jetzt nehmen wir die Kugel, die ndimensionale Kugel, die diesem Würfel eingeschrieben ist. Das wär bei einem die den von innen anschmiegt oder Von innen. Von innen, von innen, genau. Und zwar wär das bei 1 Dimension wär Würfel und Kugel identisch. Bei 2 Dimensionen ist es 'n Quadrat und 'n Kreis, bei 3 Dimensionen Würfel und Kugel und das verallgemeinert auf n-Dimensionen. Und jetzt lass mal n gegen unendlich gehen und gucken uns das Volumen an der Kugel. Und es gibt eine Formel, wer zu faul ist, das selbst sich herzuleiten, der kann's nachgucken auf Wikipedia und long story short, das Volumen der Kugel geht gegen 0 für Dimensionen gegen unendlich. Das Volumen des Würfels bleibt, wie vorhin besprochen, bei 1. Das heißt, man kann's runterbrechen auf die populärwissenschaftliche Aussage, das Volumen 1 n-dimensionalen Würfels mit n sehr hoch steckt in den Ecken. Genau. Finde ich total cool, was auch nebenbei dazu erwähnt, dazu führt, dass sich Sampler in sehr hohen Dimensionen sauschwertun, weil eben, wie gesagt, das Gros der Volumina in den Ecken steckt. Und jetzt findet man den Algorithmus, 'n Sampler, der der dir das Volumen gleichmäßig absamplet. Mhm. Also das das kleiner kleine Brain Twist, da kann man sich mal reindenken, find ich total spannend.
Speaker1: In dem den größeren Mindfac hatte ich da aber mal, wenn Du den die äußeren Einhüllenden Kreis nimmst, also ein Quadrat, ja mit der Kantenlänge 1 hat ja dann quasi diagonal Wurzel 2 und wenn Du jetzt drum rum einen Kreis malst mit Wurzel 2 Radius dann ist er ja quasi tangential zu den Ecken aber schon in dreidimension 3 Dimension schauen dann die Ecken raus, wenn die Kugel nach wie vor Wurzel 2 hat als Radius, weil ja dann die Ecken schon Wurzel 3 haben. Richtig. Und das sozusagen der der der Kubus irgendwann ausbricht aus dem einhüllenden Kreis. Das find ich auch ziemlich cool.
Speaker0: Für mich ist das die ideale Wochenendbeschäftigung.
Speaker1: Aus Kreisen auszubrechen oder hochn bisschen Dinge vorzustellen,
Speaker0: Ja, ich hab 2 Schwestern, eine davon ist Mathelehrerin, die findet sowas auch immer cool, die andere ist Goldschmiedin, die lacht uns dann immer aus. Okay, gut, aber ich wollte noch was sagen, und zwar, ich hatte da auch eine coole Erkenntnis mal, nämlich es gibt ja diese diese weitverbreitete Annahme, dass mehr Daten auch immer besser bedeutet. Also je mehr Daten, desto gut. Und mit mit diesen Gaußschen Mixturmodellen hattest Du doch mal dieses Swiss Roll Beispiel aufgesetzt. Mhm. Also kurz, worum ging's da? Das Swiss Roll Beispiel, das ist 'n Datensatz, da da liegen die Punkte auf 'ner Spirale, richtig? Genau. Und ich, wenn ich mich richtig erinnere, hattest Du dann sozusagen orthogonale Dimensionen hinzugefügt und die mit Rauschschameter, genau. Ja. Und und war das nicht so, dass ab, ich weiß die Zahl nicht mehr, aber ab 'ner gewissen Anzahl von zusätzlichen Rauschdimensionen
Speaker1: war das Mixturmodell nicht mehr imstande, die eigentliche Struktur zu finden. Korrekt. Also die Zahl hängt natürlich von Dingen ab wie der Metrik. Aber ja, so ab 10 Dimensionen oder sowas waren einfach die Rauschabstände, also durchs Rauschen halt immer irgendwie so hoch, dass ein Rausch, dass so dass der Abstand zwischen 2 Spirallayern, sag ich mal. Also wenn man die euch vorstellt zwischen quasi einem 1 weiteren folgenden Umrundung, verschwindend klein war irgendwann gegen den normalen Rauschabstand in hohen Dimensionen und dadurch natürlich für den Algorithmus vollkommen uninteressant. Und dementsprechend wurde dann diese Struktur sofort verschwommen, während sie niedrigen Dimensionen super gefunden wurde. Mhm, genau. Einfach, weil alles in hohen Dimensionen weit voneinander entfernt ist.
Speaker0: Und am Ende, das ist für mich wirklich eine total starke take home Message auch gewesen so, nope, lassen wir eher die Daten, wenn Du dir nicht sicher bist und vor allem das Rauschverhalten der der Daten nicht kennst, dann eher weniger als mehr.
Speaker1: Mhm. Ja.
Speaker0: Und jetzt, das ist ein bissel gemein. Ich ich hab dir keine Gelegenheit zur Vorbereitung gegeben. Hefte weg, Klassenarbeit. Was ist der expectation Maximization Algorithmus?
Speaker1: Ja, okay. Das ist halt also Das ist ein Algorithmus, der quasi zwischen Also ist 'n Optimierungsalgorithmus. Man könnte auch stattdessen versuchen dann Gladiientenverfahren zu benutzen irgendein Maximum zu finden und im expectation maximization Algorithmus wird das Schritt in wird das in 2 Schritte geteilt das für bei Problemen bestimmter bestimmter Struktur benutzt man das wenn Du sagst okay gegeben sagen wir mal ich würde also ich versuche kann ich's am besten erklären sagen wir Du hast irgendeine Verteilung von A und B ja und zusammen ist die mega kompliziert aber A gegeben B wäre vielleicht relativ einfach dann splittet der expectation Maximization Algorithmus das Optimierungsproblemen quasi die einfachen Schritte a gegeben b und dann die nicht so einfacheren in in der b auch quasi verändert wird und erreicht dadurch ein quasi son ja wie nennt man das wenn dies der Iterator zwischen 2 quasi Arten hin- und herspringt und für bestimmte Probleme und son Mixturmodell ist auch 'n guter Klassiker dafür, weil das Mixturmodell wird dadurch schwierig durch die Superposition. Das heißt, wenn Du sagst, ich halte fest, welcher Datenbank zu welchem Cluster quasi gehört, dann wird's megaeinfach. Und dann aber der nächste Schritt ist quasi dann, okay, jetzt updaten, aber wie wie wie wieder die Zugehörigkeit, der ist dann sozusagen der Schwierige, aber die wechseln sich dann ab. Und dann hast Du quasi einen praktisch analytisch lösbaren Optimierungsschritt und einen bisschen schwierigeren. Und das ist so das Prinzip von.
Speaker0: Kriegst 'n 1 mit Stern.
Speaker1: Das überlassen wir mal den Zuhörern. Ich müsste jetzt noch mal 'n Wikipedia nachlesen.
Speaker0: Ja, das find ich cool. Also ich find das immer schön, wenn son Algorithmus nicht nur von der konzeptionellen Seite eine neue Idee mit drin hat, sondern auch die Numerik dahinteran einen besonderen Kniff hat. Deswegen die Rückfrage. Ja, jetzt haben wir uns da ziemlich auf die Gaußschen Mixtur Modelle eingeschossen. Ich glaube, wir müssen eine ordentliche Rolle rückwärts machen.
Speaker1: Worum? Gehen wir mal 'n E-Mail-Up. Was ist das? Ja, E-Mail-Up.
Speaker0: Machine Learning und NLP war das nächste Meet-Up in der Reihe. Und zwar hatten wir da den Adrian Schagel, 'n Experten und ehemaligen Chief Data Scientist von Reference, 'nem sehr, sehr coolen, leider ehemaligen Start-up aus, ich glaub, Berlin bei uns. Und ja, genau, dabei ging's NLP. Was war 'n für dich da das ja, Interessante, das neueste NLP kurz Ja, war vielleicht müssen wir ich hab immer leider schöne Erklärung, wie Word to weg funktioniert.
Speaker1: Aber die gehe ich jetzt nicht in auf 3 Sätze zusammen aber letztendlich wie kann man ja wie kann man Sätze Wörter und so weiter dann in irgendwie etwas numerisches einbetten und wie also letztendlich das Invektoren übersetzen und da hat er verschiedene Ansätze aufgezeigt und Work to weck ist was was viele vielleicht schon mal gehört haben was eben auch ein guter Standard ist eben auf Basis der nachbarschaftsbeziehungen ein ja Wörter in Vektoren zu übersetzen also wenn wenn ich's richtig verstanden habe ist es so man schaut halt man versucht ein in einem gewissen Range sagen wir mal 7 Wörter du versuchst aus den linken 3 und den rechten 3 das 7. In der Mitte vorherzusagen über bei Word to back glaube ich einfach Nachbarschaftsbeziehung also über die Metrik letztendlich und oder versuchst halt da den Abstand zu minimieren zwischen dem was es wirklich war und dem was der Mittelwert zwischen links und rechts wär und dadurch kriegst Du dann eine embedding von Wörtern in einen Vektorraum und das Gute daran ist dann kannst Du quasi jedes Wort in Vektorraum übersetzen und dann hast Du 'n Feature Vektor mit dem Du oder 'n Satz kannst dann zusammenklatschen dann hast dann mehrere Featurevektoren damit kannst Du dann machine learning machen klassifizieren von irgendwas einem Dokument oder sowas und der hat dann und was es auch noch gibt ist dann Erweiterungen also world to weg ist ja schon ein paar Jahre alt jetzt nicht mega alt 2013 glaube ich und dann gab's zum unter anderem eine nicht lineare Erweiterung die quasi aus dieser Ergänzung die ich gerade beschrieben habe über die Metrik die dann ja quasi linear wenn man so will funktioniert ein nullal Network Ansatz macht quasi benutze nullal Network den mittleren vorherzusagen was dann auch wieder ein implizites embedding bedeutet der heißt bird wie der aus Erney und bird aus der Sesamstraße dieser Algorithmus und ja was ich noch interessant fand ist dass die die Vektorräume in die man diese embeddings macht die sind doch durchaus schon hochdimensional und da scheut man sich dann auch nicht vor also gerade mit dem was war das 1. Embedding das ganz naive das war glaube ich jedes Wort einfach eine Dimension oder hast Du ja auch 'n hunderttausenddimensionalen Vektor gehabt wenn Du 'n Wortschatz von 100000 Wörtern hast und just do it also da scheißt man sich nichts
Speaker0: das das fand ich echt auch ziemlich krass dass diese hohe Dimensionalität dann am Ende noch handlebar ist Und das hat funktioniert. Also nicht so gut wie dann später Word to Werk und sowas.
Speaker1: Aber ja.
Speaker0: Außerdem, was ich noch krass fand, der Adrian hat auch ein bissel was erzählt, wie so Übersetzung engines wie DeepL funktionieren. Und da auch wieder krass, dass im Endeffekt alle Versuche, Semantik hart reinzukommen, also dass man so Grammatikregeln irgendwie versucht mit ins Modell reinzubringen, dass es alles viel schlechter ist, als einfach total grammatikagnostisch das System
Speaker1: frequenzbasiert lernen zu lassen. Ja, vielleicht auch so nachbarschaftsbasiert schon ziemlich schade, aber Ja. So. Scheinbar einfach nicht so gut geregelt.
Speaker0: Ja. Okay, was hatten wir dann? Das nächste
Speaker1: war bringing the Code to the Data oder mit Dominik Koch. Ja, genau. Mit den riesigen Datenbanken, die sich kein Mensch jemals runterladen kann.
Speaker0: Wenn das stimmt, muss man das irgendwie anders regeln. Also ich fand das Thema ja sehr spannend. Das liegt mir 'n bissel, hat mich auch an die Zeit während der Doktorarbeit erinnert, aufm Cluster zu rechnen.
Speaker1: Du bist son alter Supercomputerverseuchte.
Speaker0: Ja, schon, schon, doch, absolut. Also worum ging's da bei dem Meet-up? Die Frage war die, nämlich angenommen, Du hast 'n Datensatz, der so fettgroß ist, dass Du ihn dir nicht lokal runterladen kannst, damit in Firance aufn Computer zu betreiben, also im besten Fall vielleicht sogar aufn Laptop. Weil schon die Datenbank verteilt war, ne? Ja, richtig, genau. Wenn Du eine 1 verteilte Datenbankinfrastruktur hast, dann hast Du allein da schon verloren. Und der, na ja, zunächst mal schlüssige Ansatz, der ist dann halt die, wenn der Prophet nicht zum Berg kommt, kommt der Berg zum Propheten oder so. Drum sagt man das. Yes.
Speaker1: Eigentlich umgekehrt. Was? Nein. Oh man. Aber in diesem Fall fand ich's eigentlich richtig rum. Da muss Schon, oder? Oder? Genau. Und dementsprechend
Speaker0: versucht man den Algorithmus so nah an die Daten und dem also und genau, so somit in die Datenbank reinzukriegen, wie halt irgendwie möglich. Und ich fand da faszinierend. Also erstens, der Dominik, der arbeitet bei Terra Data und die beschäftigen sich da faszinierend. Also erstens, der Dominik, der arbeitet bei Terra Data und die beschäftigen sich ja seit Jahr Jahren oder wenn nicht sogar Jahrzehnten mit der Thematik. Also insbesondere bevor dieser ganze Big Data Hype losging. Und dass es da Ansätze gibt, einerseits Algorithmen, so weit es halt irgendwie geht, auf zum Beispiel SQL Querys dann runterzubrechen.
Speaker1: Das fand ich ziemlich crazy, ja. Das ist schon ziemlich cool.
Speaker0: Und was mich aber auch gewundert hat, und zwar, weil der der Professor Kemper heißt der, glaub ich, von der TU München. Mhm. Der der beschäftigt sich auch so mit Datenbanken und ist dementsprechend dem sehr nahe, dass man halt auch in dann quasi unmittelbar in der Datenbank betreibt. Und ich hatte da vorher vor vor Jahren schon Kontakt. Aber nach wie vor, was der Dominik erzählt hat, letztendlich musst Du auch heute noch für für Teilschritte mindestens Daten kopieren. Und die beste Lösung, die halt dann einem übrig bleibt, ist, dass Du den Computcluster halt dann in die Datenbankinfrastruktur mit einbindest, aber quasi auf Netzwerktebene immer noch kopierst. Also Du hast dann vielleicht 'n 40 Gigabit Infiniband, aber es sind 2 Computer.
Speaker1: Und das ja, ist irgendwie Ja, das ist halt wieder bissel traurig. Wer speichert, ist nicht der, der rechnet. Das ist halt wahrscheinlich einfach. Aber ich find's nach wie vor so lustig, dass man dann die Machine Learning Code in SQL übersetzt. Ich stell mir das so vor so als einen der Höllenkreise von Dante. Hier musst Du Deep Learning Code in SQL lesen und schreiben oder so was.
Speaker0: Ja, ja, was mir nicht alles tut, oder? Mhm. Genau, aber aber auch sehr spannend muss ich sagen, die Layout of Abstraction, die da eingebaut wurden, diesen Prozess halt möglichst zu machen. Nicht, dass Du dir dann so vorkommst wie jemand, der 'n Spiel in der Sampler programmiert. Also insofern, ja, fand ich fand ich auch von der Seite ja sehr spannend. Machen wir hier wieder 'n Cut. Das waren jetzt wieder 2 Meetups. Zeit für 'n Einschub. Und ich möcht mal eine neue Kategorie mit ins Spiel bringen, nämlich den Blick in den Werkzeugkasten.
Speaker1: Also musst Du jetzt eine Werkzeugkiste aufmachen, 'n bisschen kramen.
Speaker0: Ja, ja. Und rauskommt das die Funktion einsam. Die hatt ich mir als Einstieg überlegt. Maxim, also grundsätzlich zur Kategorie, auch noch mal kurz für die Complexity Masters. Was ist die Idee dahinter? Wir haben ja festgestellt, es gibt viele Funktionen oder so Kniffe, die man in der Praxis benutzt, die aber irgendwie entweder so nebenbei einem beigebracht werden oder an der Uni vielleicht gar nicht. Und da war einfach der Gedanke oder die Idee, mal sonen kleinen Finger zeigt zu zu starten. So, was gibt's denn für Tricks, die sich lohnen, sich anzugucken? Und heute eben 'n kleiner Einstieg, 'n leichtes Beispiel, einsam, ein sehr mächtiges Werkzeug, meines Erachtens total. Was steckt 'n dahinter? Vielleicht holen wir da die Leute erst ab. Wofür steht dieses einsam? Wird da ein Ding summiert?
Speaker1: Also das steht für Einstein Summenkonvention also die Leute die irgendwie mit Physik im Studium gequält wurden die haben das vielleicht mal gesehen worum geht's es geht letztendlich eigentlich lineare Algebra also zum Beispiel Matrix Multiplikation Matrix Vektorgeschichten und so weiter und man kommt einfach häufig gerade wenn man dann mit Zensoren arbeitet die ja 3 oder mehrdimensional noch sein kann kommt man schnell an den Punkt dass es bisschen schwierig wird die Dinge so über die üblichen Skalarproduktpunkte oder sonst was so darzustellen, wie man sie gerne hat. Und dann muss man beginnen, die Dinge mit Indizes zu versehen und dann die die Summen zu schreiben, ja, also okay, wir haben ja 17 Indizes und über die 3 wird summiert, über die anderen nicht oder irgendwie so. Und mathematisch gehört ja da dieses Summenzeichen dazu und da hat dann irgendwann ein Mann, vielleicht kennt ihr ihn, Albert Einstein, Falls ihr mal von ihm gehört habt, seine wichtigster Beitrag zur Wissenschaft war
Speaker0: Laut eigener Aussage.
Speaker1: Echt? Ja, ja, gut, laut Wie ist das eigentlich die Staaten von Einstein, sie sind per Default doch gefälscht, oder?
Speaker0: Gibt's ja theoretisch, ja.
Speaker1: Der hat dann irgendwann gesagt, ach Leute, lasst uns doch einfach die Summenzeichen weglassen. Wenn ein Index mehr als einmal vorkommt, also in der klassischen Version, wenn er doppelt vorkommt, dann soll bitte darüber summiert werden. Und das macht das Schreiben von komplexen Linear Algebra Kontraktionen, also Vektor, Matrix, Tensor, Tänzer, Multiplikation sehr einfach, wenn man die dann aufm Papier so aufschreiben kann. Und das hat dann Einzug in die Programmierwelt bekommen. Also ich weiß noch, als ich zuerst angefangen hatte mit numerical Python Numpi zu arbeiten, da kannte ich die Funktion noch nicht. Vielleicht war sie auch damals noch recht neu und noch nicht so quasi. Aber da hat man dann immer überlegt, okay, wie muss ich jetzt irgendwie transponieren? Welche, wie sorge ich dafür, dass das Tensor dot oder das Matrix Vektor dot oder was auch immer die Achsen so komprimiert, wie ich's mir gern wünsche? Ja nicht, das ist ja Pfeifen auf keinen Fall ein Vorlauf zu schreiben. Wer das macht, hat er gleich verloren. Und dann hat mir irgendjemand mal gesagt, ey, da gibt's einsam diese Funktionen. Die macht das so, wie Du das kennst vom Blatt Papier. Okay. Und dann war ich, wie man's immer so ist, am Anfang erst mal so kurz skeptisch, aber dann irgendwann gemerkt, okay, das ist total perfekt. Es ist die einzige lineare Algebrafunktion, die man in Zukunft sozusagen noch braucht bis auf vielleicht speziellere Sachen wie irgendwie Matrixinvasion oder Cholesky Zerlegung oder so. Aber wann immer Du irgendwas, irgendwelche Produkte auswerten willst oder auch eine Diagundehade dir holen oder eine Trace oder was auch immer Trace. Alles mit einsam beschreiben. Und das gibt's in, das gibt's in Tensor Flow, das gibt's in Torch, in wen können wir noch nehmen? Also in, ich glaub, in Fiano gab's das auch. Ja gut, das ist jetzt nicht mehr so relevant. Aber es gibt's praktisch in allen Numerik Packages, die was von auf sich halten. Und es gibt sogar Meta Packages mittlerweile, Opt einsam und so weiter, die dann die Operationen, die Du eingibst mit deinen, indem Du die Indizes spezifizierst, dann so quasi umsortieren, dass die auch für eine CPU oder eine GPU, je nachdem, in der effizienten Reihenfolge ausgeführt werden. Also Ach krass, das wusste ich nicht. Ja, ist meistens dann eine diependency Opt einsam. Mhm.
Speaker0: Das ist, je nachdem, wie war das? CPU und GPU, der die eine will den zu summierenden Index vorne, die andere hinten, oder? Wie war das? Ja, ja, ja, also
Speaker1: so ähnlich ohne dass ich das besser erklären könnte aber ja wie da irgendwie diese point Operation wie die parallel angeordnet werden wie die Vektorisierung stattfindet ich weiß nicht ob ob 1 haben das dann direkt schon unterscheidet, aber auf jeden Fall macht's erst mal so basic Rearrangement, damit das nachher effizient ist. Und das ist halt echt gut, weil Du halt wirklich genau das hinschreiben kannst, was Du willst und nicht irgendwie, also ich weiß auch, das 1. Neural Network, was ich mal programmiert hab, da musst Du dann auch aus irgendeinem Grund alles transponiert nehmen. Warum? Damit quasi die Datenachse bei den Matrix Matrixmultiplikationen die unbehelligte Achse blieb, ne, ja, was doch nervig kommt. Mhm. Und mit so was wie einsam kümmerst Du dich da einfach nicht drum. Also vielleicht buchstabier ich's mal kurz. EINSUM heißt die eigentlich immer so, wie das ein von Einstein und für von der Summe. Ja, ja.
Speaker0: Ja, also und aus meiner Perspektive, das auch 'n bissel bissel noch mal noch mal zusammenzufassen. Das Coole bei der Funktion ist, dass Du nicht nur die Berechnungen alle gebündelt spezifizieren kannst und das dadurch sehr, sehr effizient ist von der von der Reegendurchführung, sondern es halt auch super übersichtlich ist, was Du damit meinst. Genau. Weil weil und das wär auch mein Rat, wer die Funktion als Erstes mal ausprobiert, man kann die auf unterschiedliche Arten ja parametrieren. Du kannst ja explizit die Achsen angeben, die Du bearbeiten möchtest oder Du vergibst denen wie in der Physik Namen mit quasi ijk l m. Das ist der Standardfall, genau. Und und und und auf jeden Fall damit zu arbeiten, auch wenn's einem im ersten Moment komisch vorkommt für son Lambda Funktionselement sozusagen intern da die die die Namen zu vergeben. Aber damit wird quasi auch die Dokumentation, wenn sie überhaupt noch nötig ist, fast schon schon hinfällig oder eben sehr, sehr minimal, weil das Ding dann krass selbsterklärend ist und so soll Code sein.
Speaker1: War das nicht son Python Dogma explicite is better the implicite oder? Ja, ja, ja klar. Ja, genau. Genau. Und das hast Du mit einsam auf jeden Fall, weil wenn da irgendeinen Matrix Vektor Produkte, da musst immer kurz denken, okay, welche Achse wird da jetzt was machen?
Speaker0: Sehr cool auf jeden Fall. Möchtest Du auch einen einsam Sticker fürs Auto haben? Ich glaube, ich drück mal einen aus. Einen einsam Sticker? Ja, unbedingt. Wir sind ja totale Fans. Na klar doch. Ja. Einsam, was ist dann der Vizepräsident oder Du gibst doch immer diese
Speaker1: Ach so. Präsident Vizepräsidentsticker
Speaker0: oder? Das überlegen wir uns das nächste Mal. Cool. Okay, ich glaube, wir müssen hier 'n Cut machen, sonst glauben die Leute, wir wir baden uns den ganzen Tag in einsam im einsamen Dock String. Wir haben noch ein Meet-up auf der Liste. Stimmt. Bevor wir den Sack für heute zumachen wollen. Und zwar war das Thema Restful APIs mit einem unserer Software Full Stack Engineers, dem Andreas, Andreas Scharf. Der Andreas hat uns da ziemlich die Illusionen genommen, würd ich würd ich mal sagen, zumindest mir. Wie ging's 'n dir damit?
Speaker1: Ja, also ich war auch, ich fand's dann auch überraschend, das noch mal so zu hören. Vorher dachte ich nur, ich hätt's noch nicht richtig durchblickt, das Rest ist nicht wirklich ein Standard. Das ist ein, wie wird man das nennen das ist ein Prinzip und wie war das ist beeindruckt braucht muss das nicht mit HTTP machen sondern mit Brieftauben wird auch gehen Also sehr, ja, sehr interessant, dass das eigentlich mehr son Designprinzip ist als ein als ein wirklicher Standard.
Speaker0: Ich ich ich hab mir das noch mal rausgeschrieben, was die die Prinzipien waren. Und zwar im Endeffekt 6 Stück und noch nicht mal daran halten sich alle. Das ist das setzt dem Ganzen ja die Krone auf.
Speaker1: Sonst wär's sonst hätte es nichts mit Web Development zu tun, würde ich jetzt Richtig. Ich wär's sagen, wenn sich alle auf die Scheibe ziehen.
Speaker0: Ja. Na, aber im Endeffekt also echt total basic prinzipiell, ja. Also das 1. War kleinen Serverarchitektur
Speaker1: muss es sein, das heißt, der Ganz kurz ausholen, weil wir jetzt grad voraussetzen, dass jeder von Rest einmal gehört hat. Also Rest oder eine Rest full API ist also eine Schnittstelle Application programming Interface, mit der einfach Applikationen miteinander sprechen können, die in diesem Fall jetzt in 1 kleinen Server Architektur zueinander stehen. Also beispielsweise habt ihr euren Machine Learning Algorithmus, euer Modell trainiert und das soll jetzt irgendwo in einem Service laufen und für andere Stellen, die das Anfragen können, zum Beispiel Vorhersagen berechnen. Dann braucht ihr ja irgendeine Schnittstelle und Rest ist da eben 1 der größten, eben nicht ganz Standards dann. So, bitte jetzt. Okay.
Speaker0: Also das 1. Hast Du ja grad noch mal erklärt, genau, Client Server, das heißt da eine strikte Trennung zwischen den beiden Parteien. Das 2., was ich mir rausgeschrieben hatte, das war, dass das Ganze Stateless sein muss. Also der Server kennt den Zustand des Clients nicht oder der Clients nicht. Drittens, Cachable muss es sein. Der Andreas hat ja die Aussage formuliert, eine Anfrage, die nicht gestellt werden muss, ist die schnellste aller Anfragen. Ja, total cool. Dann muss es ein 1 uniformes Interface dazu geben. Das geht in dem Fall, wie man's kennt, dann immer über eine URI, also keine URL, sondern eine URI, eine einen, wie heißt es dann? Unique resource Identifier?
Speaker1: Ich glaub schon, ne. Also könnt ihr euch einfach der wie den Deep Link im Web vorstellen. Genau, genau, genau.
Speaker0: Und dann fünftes Prinzip, es muss ein gelayertes System sein. Das heißt, der Client, der sieht nur die vorderste Schnittstelle und alles im Hintergrund ist komplett obfuskiert. Also ob da jetzt einen ein Datenbankserver dahinter ist oder ob überhaupt oder
Speaker1: kompletter Cluster ist komplett versteckt. Genau, gemein wäre bei so, also auf dem Machine Learning Algorithmus Beispiel zurückzukommen, vielleicht habt ihr ja 17000000 Runner, die also damit ihr 17000000 Vorhersagen gleichzeitig berechnen könnt aber dann soll trotzdem nur eine Adresse quasi nötig sein eine Vorhersage abzufragen und das ganze Load balancing und wo das genau hingeht hat den Client nicht zu interessieren. Mhm. Mhm.
Speaker0: Und dann gibt's noch den sechsten Punkt, an Hinsicht aber wahrscheinlich die wenigsten enthalten. Das wär ein Code und demand Paradigma, nämlich dass der Server dem Client sogar Code zur lokalen Ausführung übergeben kann. Und der Das ist aber optional, ne? Hat er Ja, ja, eben, deswegen macht's was keiner.
Speaker1: Ja, ziemlich krass. Und was war so die Toleranz, meint er so in der Praxis? Also quasi okay, 6 6 Prinzipien, 1 davon sowieso optional. Und wenn noch mal 1 verletzt ist, dann drückt man noch 'n Auge zu, oder? Wahrscheinlich. So ungefähr hab ich's. Also vielleicht je nachdem, welches Prinzip, aber
Speaker0: Du, bei Webtechnologie kommst Du sowieso so vor, solang's halbwegs das tut, was es soll, stellt keiner mehr Fragen. Ja. Alright. Sehr gut. Total spannend. Also ich fand's echt interessant, dann noch mal durch die Meetups durchzugehen. Ja, ich auch. Und noch mal zu zu gucken, was da jeweils die Learnings waren. Wir machen hier den Sack erst mal zu und gucken uns in der nächsten Folge die nächsten 5 Meetups an. Und bis dahin, wir suchen wieder eine eher geleitete Statistik raus. Wenn ihr was habt, schickt sie es uns durch. Genauso wenn ihr Interesse an einem ganz bestimmten Algorithmus der Woche habt, dann schickt sie's uns durch, dann bereiten wir uns vor. Mhm. Und genau, 1 wollt ich noch sagen, wer sich zu den Meetups noch mal genauer einlesen möchte oder sich die Materialien der Referenten angucken möchte, der sollte schleunigst auf unseren Discord Server kommen. Den Link dazu, den findet ihr auch in der Meetup dot com Gruppe, quasi im Beschreibungstext der Gruppe. Und in der Discord Gruppe wird ja genau jeweils das Material des Referenten veröffentlicht. Wir haben einen diskussionschannel in dem er fragen austauschen kann wir moderieren das ganze ein bisschen dass auch wirklich jede frage zu 'ner antwort kommt und ansonsten würden wir uns freuen wenn ihr uns auf spotify oder der podcast plattform eurer wahl abonniert uns 5 Sterne gibt's. Es hilft uns weiter. Gebt uns auch das Feedback, bei welchen Folgen wir auf dem richtigen Weg sind. Und in diesem Sinne, Maxime hat Spaß gemacht. Mir auch. Wir sehen uns nächste Woche.
Speaker1: Und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The Erium Podcast.