REVIEW DATA SCIENCE MEETUPS 2

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
Overview
In this episode, Theo Steininger and Maksim Greiner review five more data science meetups from their community series. They cover topics such as evolutionary algorithms, the analytics translator role, data preparation, Generative Adversarial Networks, and CAD-based augmented reality. The discussion is framed by a 'crazy statistic of the week' about lightning strike probabilities and an 'algorithm of the week' on the method of least squares.
Summary
Crazy Statistic of the Week: How Unlikely Is a Lightning Strike Really?
Maksim takes a closer look at the popular saying that something is 'more likely than being struck by lightning.' In the US, there are roughly 20 to 25 lightning fatalities per year, and the lifetime probability of being struck by lightning is approximately 1 in 5,000 to 1 in 7,000 - considerably higher than most people intuitively assume.
The risk is also highly unevenly distributed: Florida leads the statistics as the 'Lightning Capital of the US,' and around one third of all incidents occur on farms or construction sites. 85 percent of lightning fatalities are male, which is attributable less to biological factors than to behavioral ones. The takeaway: the comparison 'more likely than a lightning strike' is often misleading, because it conflates population-wide averages with the individual, much lower risk faced by, say, an office worker.
Meetup Review: Evolutionary Algorithms for Discrete Optimization Problems
Marcus Gieringer presented evolutionary algorithms as a practical tool for discrete optimization problems - such as finding the optimal architecture of a neural network or the structure of a causal graph. The approach simulates biological evolution: a population of candidate solutions is evaluated using a fitness function, the best ones survive, recombine, and mutate into the next generation.
The Python library DEAP (Distributed Evolutionary Algorithms in Python) was introduced and demonstrated via a Streamlit app. Key challenges include the appropriate parameterization of the search space (e.g., as a binary string) and fine-tuning generation size, selection strategy, and mutation rate. The cost of the fitness function is crucial for efficiency: if a complete model must be trained for each evaluation, the process quickly becomes very computationally intensive.
Meetup Review: The Analytics Translator Role as a Profession in Its Own Right
Afke Schouten introduced the role of the analytics translator - a position that translates business problems into data science problems and, conversely, converts technical solutions into understandable business impact. Theo emphasizes that this goes far beyond soft skills and questioning techniques: like a simultaneous interpreter, one must truly be at home in both worlds of thinking.
A particularly practice-relevant approach from the meetup: instead of promising the client a guarantee of success, one should first calculate the 'business case of the best possible data science scenario.' Concretely, this means first clarifying what model quality (e.g., hit rate for an image recognition problem) would actually be needed for the use case to become economically viable - and whether there is any scientific evidence that this is achievable. If there is none, the project can be stopped early.
Algorithm of the Week: Least Squares and Its Deep Connection to the Expected Value
Maksim explains why the method of least squares appears in so many machine learning algorithms. The core insight: if you choose a quadratic loss function (L2 norm), the optimal estimator from a decision-theory perspective is always the expected value (mean) of the underlying probability distribution. Since the mean is often exactly what one wants to predict, least squares is the natural choice.
By contrast: an L1 loss function (least absolute deviations) yields the median, and a binary 'all-or-nothing' loss function yields the mode (the most probable point). This connection also explains the well-known quote that 'machine learning is at its core nothing more than fancy interpolation.'
Meetup Review: Preparing Production Data with Barbara Brettner
Data scientist Barbara Brettner provided practical insights into three key aspects of data preparation. For missing values (imputation), a rule of thumb applies: if fewer than 20 percent of values are missing, the feature should be kept and imputed; with very high proportions of missing values, removal is more sensible. The choice of imputation strategy (mean, most frequent value, zero value) remains context-dependent.
On the encoding of categorical features, the meetup revealed that almost all participants reflexively use one-hot encoding, even though alternatives such as target encoding (replacing the category with the mean target value) can be more appropriate. For nearly identical features, the question remains whether the relevant information might be hiding in precisely that small difference.
Meetup Review: Counterfactual Explainability with Cycle-GANs
Hendrik Wachowitz, an employee at Erium, presented an approach to explainable AI: using Cycle Generative Adversarial Networks (Cycle-GANs) to generate 'counterfactual' images. Concretely: an X-ray image that a model classifies as 'pneumonia: yes' is altered as minimally as possible so that the model outputs 'pneumonia: no' - and the resulting image must still look realistic.
The interplay of generator, discriminator (which detects fakes), and classifier ensures that the change remains 'human comprehensible.' The discriminator prevents the simple addition of adversarial noise. A referenced paper extended the approach to multi-dimensional categories (e.g., age, hair color, and gender in facial photos).
Meetup Review: 3D CAD Data for Augmented Reality at Visiometry
Harald Wüst from Visiometry presented how known CAD models can be used to precisely localize physical objects in real time within a camera image - for example, for industrial assembly instructions on a tablet. The approach differs fundamentally from purely image-based methods (such as the IKEA app): since the 3D model is already known, optimization only needs to cover six degrees of freedom (position and orientation) by comparing projected edges with the real image.
The result is impressively performant: under favorable conditions, a single frame is sufficient for stable localization, enabling AR applications capable of running at 60 fps. Theo and Maksim draw a broader conclusion from this: domain knowledge (the model) combined with data leads to significantly better and more efficient solutions than purely data-driven approaches.
Key takeaways
- The lifetime probability of being struck by lightning is roughly 1 in 5,000 to 7,000 - not nearly as rare as the saying suggests.
- Evolutionary algorithms are a powerful tool for discrete optimization problems when the fitness function can be evaluated quickly.
- The analytics translator role is a profession in its own right, requiring genuine understanding of both worlds - business and data science.
- Before any data science project, the business case of the best possible scenario should be calculated in order to rule out unsolvable use cases early on.
- Least squares is the natural loss function when one wants to estimate the expected value of a distribution - and this explains its ubiquity in ML algorithms.
- Cycle-GANs enable counterfactual explanations for deep learning models by generating minimally altered yet still realistic counter-examples.
- The combination of a known CAD model and camera data enables extremely fast and precise object localization for industrial AR applications.
- The concept of the 'data axis' - the dimension that scales with sample size - is a frequently underestimated stumbling block when implementing ML models independently.
Conclusion
This review episode impressively demonstrates the breadth of modern data science practice: from algorithmic foundations such as least squares and evolutionary optimizers, to communicative competencies in the analytics translator profile, through to cutting-edge applications in explainable AI and augmented reality. A common thread runs through all the topics: those who combine domain knowledge, mathematical foundations, and practical implementation skills achieve significantly better results than purely data-driven black-box approaches.
For Data Science Students
The episode provides concrete learning impulses: the concept of the data axis, encoding strategies, and evolutionary algorithms are topics relevant to exams and job applications, where theoretical knowledge alone is not enough.
For Data Science Practitioners
The discussion of counterfactual explainability with Cycle-GANs, target encoding, and CAD-supported AR offers concrete inspiration for their own projects and shows which tools and approaches have proven themselves in practice.
For Executives and Project Managers
The approach of calculating the business case of the best possible data science scenario before a project begins, and the awareness of the analytics translator role as a function in its own right, are directly actionable insights for project management.
Show full transcript
Speaker0: Er gab's doch da die Geschichte von Trump, dass er mit seiner Tochter durch New York ging. Und da war dann son Obdachloser. Und Trump meinte, siehst Du diesen Mann, der besitzt 400000000 Dollar mehr als ich. Genau. Und hat ihnen dann quasi noch gesagt, Du solltest eigentlich mir jetzt 'n Dollar geben. Genau.
Speaker2: Ihr hört, The IRIUM Podcast, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.
Speaker1: Herzlich willkommen zu 1 neuen Folge von The Erian Podcast. Mein Name ist Theo Steininger und mir remote. Gegenüber sitzt mein wunderbarer Kollege Maxim Greiner. Hi Maxim.
Speaker0: Hi, tatsächlich habe ich gegen das Adjektiv nichts einzuwenden.
Speaker1: Dacht ich mir. So, worum geht's heute? In der Folge hier werden wir uns weiter mit den letzten E-Mail-ups beschäftigen. Wir hatten ja in der letzten Folge schon mal die ersten, ich glaub 5 Stück waren's, ne, durch exerziert noch mal und Revue passieren lassen und heute schauen wir uns noch mal 5 Stück davon an. Und wir werden's wieder so machen. Wir gucken uns an zuerst, worum ging's und was waren die interessantesten Learnings? Bevor wir da aber einsteigen, lass uns doch die irreitete Statistik der Woche angucken. Mhm. Was ist Du dabei?
Speaker0: Ich hab diesmal mitgebracht, keine ganz konkrete Statistik, aber ihr kennt doch sicher alle diesen Satz, ach, mach dir doch Insert Risiko x hier. Keine Sorgen da ist doch die Wahrscheinlichkeit höher von dem Blitz getroffen zu werden bestimmt jeder von euch schon mal in verschiedenen Kontexten gehört und dachte mir okay was steckt da jetzt eigentlich dahinter weil so so a priori hätte ich auch irgendwas gar erst mal gar nicht gewusst, wie oft passiert so was und schauen wir so mal schauen wir uns das auch mal ein bisschen an, wenn Du Lust hast, Theo.
Speaker1: Ja, tatsächlich. Also weil ich hätte jetzt erst mal überhaupt keine Einschätzung, ob man in der Realität
Speaker0: häufig oder selten, also keine Ahnung, wie wie wie oft passiert ist, dass man vom Blitz getroffen wird. Ja, mir ging's darum vor allem, es wird ja immer so, also emotional und auch so von der Message, soll man's ja immer so verstehen, ach, das ist so unwahrscheinlich. Ja so quasi ja das ist das klingt ja so wie als ob gibt's auch irgendwie so diese Beispiele in der Physik na ja die Tasse könnte die runtergefallen ist vom Tisch und zersprungen ist sie könnte theoretisch auch wieder hochgestoßen werden und sich zusammensetzen Es ist halt nur sehr, sehr, sehr unwahrscheinlich.
Speaker1: Na ja, Entropie ist as no.
Speaker0: Genau. Ja, wie ist das jetzt bei sonem Blitz? Also ich hab da mal 'n bisschen gegoogelt, viel Daten zu den USA gefunden, weil halt ein großes Land und nicht wie in der EU son bisschen zersplittet. Und ja also zum Beispiel so es gibt so on average roundabout 20 25 je nachdem welche Jahre bezogen werden und welche Quelle man nimmt Tote pro Jahr in den USA durch Blitzschlag und die das das da ging's darum so die Chance in einem Jahr getroffen zu werden ist also damit nicht daran zu sterben sondern von Blitz getroffen zu werden ist so für pro Jahr pro Einwohner quasi sowas so 1 zu 700001 zu 500000 so round about das klingt jetzt relativ selten aber Theo Du stutzt schon und findest jetzt seltener gedacht wahrscheinlich ich hätte so 2 3 Größenordnungen seltener gedacht ja so wie es dargestellt wird ja es stimmt ne vor allem wenn man's auf die Lebenszeit umrechnet jetzt je nachdem wie Du's rechnest aber nicht mal ganz stupide sage 70 Jahre lang und dann einfach quasi 1 minus ein siebenhunderttausendstel hoch 70 und dann schaue was dann quasi wie viel dann von der 1 fehlt dann ist es ein siebentausendstel round about das heißt auf dein Gesamtleben nach der einfachen Rechnung hättest Du dann eine Chance von 1 zu 7000 vom Blitz getroffen zu werden und an einigen Quellen steht sogar sowas von 1 zu 5000 ja also es ist ja nicht unbedingt total lifetime homogen deswegen ist meine einfache Rechnung da auch unter Umständen nicht ganz richtig aber 1 zu 5000 oder 1 zu 7000 ist ja auch mal egal das ist gar nicht so wenig ne also wenn jetzt also jemand sagt, ach, mach dir doch keine Sorgen, die Chancen sind höher, dass Du vom Sitz getroffen würdest, wär jetzt erst mal meine 1. Rückfrage, Moment, pro Jahr, pro Tag, jetzt in diesem Moment oder im ganzen Leben? Und beim im ganzen Leben, das ist gar nicht so unwahrscheinlich.
Speaker1: Ja, ja. Also da hat man mit Prozessen zu tun, die deutlich seltener auftreten in der Realität und wo man sich vielleicht sogar dagegen versichert. Genau. Oder nimm nimm eine Reise mit der Deutschen Bahn mit 4 Umstiegen. Die Wahrscheinlichkeit, dass die ohne Komplikationen verläuft.
Speaker0: Ja und die Message ist ja immer dieses das ist wahrscheinlich ja vom Blitz getroffen zu werden ja das stimmt ja dann vielleicht auch nur die subjektive Wahrscheinlichkeit die Du denkst dass es möglich ist vom Blitz getroffen zu werden die stimmt vielleicht gar nicht und da kommt nämlich noch ein weiterer Aspekt mit hinein Die Wahrscheinlichkeit, also dieses 1 zu 5000 für sozusagen über gemittelt jetzt in dem Fall über die US Bevölkerung im Leben, die ist aber sehr inhomogen verteilt. Also erst mal, wo treten mehr Blitze auf und so weiter und wo dementsprechend noch mehr Blitztote und surprise surprise surprise Florida ist Number one. Also in Florida, Florida ist Lightning Capital of the US und Geil. Da gibt's auch die meisten Blitztoten. Also bevor man sich dabei jetzt vorstellt, dass da der Florida Man in He-Man Pose mit dem Schwert in der Hand und 'nem Drachensteigen in der linken Hand auf einem Kai steht bei Gewitter. Es ist da einfach mehr, auch Blitz und Donner, ne, mit den ganzen Wettereffekten von vom Gold von Mexiko und der Karibik und so. Da hast natürlich mehr Energie, sag ich mal, im System. Deswegen auch in Texas sind auch viele. Mhm. Mhm. Das heißt, es ist erst mal regional sehr unterschiedlich. Und dann, was auch noch sehr wichtig ist, dein persönliches Risiko, wo hältst Du dich denn auf? Also ein Drittel aller Blitztreffer, sag ich jetzt mal, wo eine Person 'n Blitz vom Blitz getroffen wird. Es sind irgendwie auch Farmen oder dann auch häufig auf irgendwie also industriellen also auf Englisch oder das dann vielleicht auch im urbanen Raum möglich, Construction Sites, also son Baugerüst. Da könnt ihr ja vorstellen, schön großes Metallding, ja. Wenn die wenn jemand unglücklich genug ist, bei Gewitter auf 'nem Baugerüst zu sein, ne. Und dementsprechend sind zum Beispiel auch 85 Prozent der Blitzschlag Todesopfer Männer, also eine starke Dispannance die meisten sind auch eher jung so also da war zum Beispiel die Statistik für die 40 Prozent der Blitzschlagopfer sind irgendwie 15 bis 34 Jahre alt Aber bevor ihr jetzt denkt, ach, ich sitz zu Hause, mir passiert nix. Ein Drittel der zumindest Verletzungen, ich denk mal nicht der Tote, sind Indoor. Aber so wie ich das verstanden hab, das sind dann auch wieder eher so Farmhäuser, die keinen Blitzableiter haben und so weiter. Das, wenn Du dann halt grad irgendwie am Heizungsrohr hockst oder Telefonhörer in der Hand hast, schön mit Schnurtelefon und allem, kannst dich dann halt mal erwischen, wenn dein Haus keinen Blitzableiter hat. Aber ihr seht, das ist also sehr inhomogen verteilt, sehr viel auf ländlichen Raum und dann auch noch wo gibt's viele Gewitter und so weiter. Das heißt, unter Umständen ist es tatsächlich so, dass wenn Du jetzt deine, zum Beispiel Du Theo, deine persönliche als, sag ich mal, Mensch, der im Office und zurzeit sogar im Homeoffice arbeitet und der nicht gerne rausgeht, unterstell ich dir jetzt mal. Deine Wahrscheinlichkeit, vom Blitz getroffen zu werden, ist wahrscheinlich tatsächlich sehr gering. Mhm. Erwischt, ja. Und dann da stimmt vielleicht dein subjektiver stimmt vielleicht auch deine subjektive Einschätzung, ach, Blitzschlagrisiko ist doch sehr, sehr, sehr gering. Aber die Statistik, die der andere quasi als Vergleich hernimmt, wenn er sagt, die Chancen sind doch höher vom Blitz getroffen zu werden, als das x eintritt, dann wird er wahrscheinlich eher diese bevölkerungsweiten Zahlen nehmen. Das heißt, wir haben hier quasi 2 Effekte, die die Message ja vielleicht fälschlicherweise legitimieren, nämlich das eine ist, es ist gar nicht so selten, dass Leute vom Blitz getroffen werden und es derjenige, mit dem Du sprichst, der hat vielleicht persönlich viel geringeres Risiko als als sozusagen der Gesamtvölkerungsdurchschnitt. Und deswegen sind diese Vergleiche da meine gut, das ist ja immer nur qualitativ gemeint, aber die Chance ist höher vom Blitz getroffen zu werden als das x oder y passiert, das sagt erst mal nicht allzu viel aus. Und im Zweifel eher denken, okay, so selten ist es, wenn man auf die ganze Gesamtbevölkerung mittelt, gar nicht und nicht von dem Subjektiven täuschen lassen. Na ja, ich kenn keinen, der jemanden kennt, der jemand kennt, der vom Blitz getroffen wurde. Na ja. Mhm. Ist sone Bubble. Ja. Es ist ist 'n ist auch 'n Bubble Effekt, genau, weil die Ja, ja. Weil es gibt Leute, die haben einfach 'n höheres Risiko wie der Es gibt tatsächlich 'n Typen, jetzt hab ich mir den Namen nicht aufgeschrieben, der siebenmal in seinem Leben vom Blitz getroffen wurde in den
Speaker1: USA. Also Ja, das hatt ich auch schon mal gelesen. Total krass. Ja. Also das ist
Speaker0: ja, das ist Storytelling mit Zahlen oder mit implizierten Zahlen ist es aber Storytelling. Mhm. Mhm. Mhm. Total schönes Beispiel.
Speaker1: Und so wie Du das erzählst, auch mit der Unterscheidung Mann Frau, das wär son Klassiker auch für, erinnerst Du dich, ihr geleitete Statistik, paar Folgen zurück mit dieser Verwechslung von Korrelation und Kausalität. Ja, klar. Ja, und zwar so, weil Du sagst, dass wie viel Prozent sind männlich der Toten, der Blitztoten? 70? 85. 85. Wow, okay. Da kann ich mir so die Bild Schlagzeile vorstellen. So 85 Prozent aller Blitzschlagtoten sind männlich. Donnergott, wer ist es, Tor ist 'n alter Sexist.
Speaker0: Sicher. Ja.
Speaker1: Voll gut, voll gut. Ja, Wahnsinn. Mehr davon. Also ich freu mich schon auf nächste Woche. Da auch die Ermunterung noch mal an die Complexity Masters, so wie letzte Woche. Wenn ihr da was parat habt, schickt sie sonst durch. Ansonsten halten wir die Augen offen. Mhm. Nutzen wir doch die Gelegenheit und steigen wir in die E-Mail-ups ein. Und zwar, wo hatten wir aufgehört? Das nächste in der Reihe war das mit Marcus Gieringer. Genau. Ohne jetzt das in den Kontext stellen zu wollen, aber dieses Mieter war schon verdammt cool. Und zwar hatte der Markus einen Demonstrator tatsächlich mitgebracht in, wie ist die Plattform, wo er das implementiert hat? Stream Lit, meinst Du das? Stream Lit, ja genau, genau. Total cool. Also das sind nur am Rande. Stream Lit, total coole Plattformen, Demonstrationen zu bauen. Es gibt keine hinten States wie bei 'nem Notebooks, sondern Du hast quasi immer eine in sich konsistente Webapplikation. Ich hab noch nicht damit mitgearbeitet, aber als Zuschauer war ich total geflasht davon. War schon cool. Ja. Und und worum ging's inhaltlich? Evolutionäre Algorithmen als nützliches Tool für die Praxis und genau, jetzt hab ich schon 'n bissel was dazu erzählt, aber Maxim, vielleicht magst Du kurz umreißen
Speaker0: worum ging's konkret inhaltlich beim Ja also was ist 'n evolutionärer oder was ist damit gemeint mit der evolutionären Algorithmen das sind Optimierer für diskrete Optimierungsprobleme oder solver für diskrete Optimierungsprobleme also nehmen wir mal als Beispiel ihr wollt irgendwie die Architektur 1 neural networks bestimmen also welche funktioniert am besten das ist ja diskret ja also wie tief wie breit das sind ja Integers oder vielleicht welche aktivierungsfunktionskategorie sind alles Dinge über die ihr keine Gradienten jetzt erstmal bilden könnt ohne weiteres und da helfen evolutionäre Algorithmen wie funktionieren die die erstellen quasi eine Population werten für die Fitnessfunktionen aus kommen wir dann vielleicht gleich dazu und dann machen Sie eine gewisse Art von Rekombination und quasi aus 1 Generation eine nächste zu erstellen und dann wieder Fitnessfunktionen survival of the fittest oder je nach Strategie also es gibt dann immer so eine Survival oder Du hast eine Population die hat jedes Individuum hat eine Fitness und mit Individuum meine ich einen Kandidat für die Lösung also zum Beispiel eine Architektur 1 nullal net Oder was Markus schön dargestellt hätte, eine kausale, ein kausaler Graph. Ist ja auch 'n diskretes Problem. Willst Du 'n Pfeil umdrehen oder willst Du 2 Dinge gar nicht verbinden? Ja. Und dann wird quasi für jedes Individuum in der Population muss ausgewertet werden, wie gut es ist. Also zum Beispiel der Fit der a2 Score, was auch immer. Und ja, dann wird eben nach bestimmten Strategien rausgeschmissen und neu gebildet Individuen in der Bevölkerung so ein bisschen oder nicht nur ein bisschen sondern eben inspiriert von so 1 natürlichen Bevölkerung und das Werkzeug was man an Python dafür benutzen kann ist das package deap d eap distributed evolutionary algorithms sind Python gibt aber sicher auch noch jede Menge andere aber das wurde vorgestellt und das funktioniert dann sehr eindrucksvoll ja aber woran hängt's was sind so die Insights also man muss eine parametrisierung finden mit der man auch rekombinieren kann. Also ihr müsst im Prinzip könnt ihr ja vorstellen, wie so einen binary String finden aus Nullen und Einsen, wo jede Kombination von Nullen und Einsen zumindest einen validen oder idealerweise einen validen Kandidaten beschreibt. Und das ist natürlich nicht unbedingt immer die trivialste Aufgabe, diese Parametrisierung zu finden.
Speaker1: Aber das Beispiel? Beispiel bei dem kausalen Graph, das war sone obere Dreiecksmatrix, oder? Ja, ja. Der verzeichnet es, welche Verbindungen gibt's, welche nicht mit Nullen und Einsen oder wie war's? Dann gab's noch was für die Richtungen, glaube ich. Genau. Genau. Genau, das war also sone Nullen und Einsen Matrix.
Speaker0: Also da da ist ein bisschen Kreativität gefragt aber da scheint's viele Strategien zu geben an die man sich abgucken kann so dass das jetzt dann auch nicht ein Ding der Unmöglichkeit ist so eine Parametrisierung zu finden dann ist ja wie häufig bei allen Optimierungs- und Machine Learning Problemen und so weiter viel Feintuning dabei. Also wie wie groß ist eine Generation? Wie viele lasse ich quasi, wie viele lasse ich Hopps gehen und wie viele dürfen in die nächste Generation übernommen werden? Behalt ich immer nur die Fittesten oder lass ich mir auch son paar lahme Enden mitnehmen? Vielleicht tragen die ja wertvolle Gene quasi. Da gibt's einfach viel auszuprobieren und zu tunen. Und wenn es ums Tuning geht also für die Geschwindigkeit entscheidend ist natürlich wie schnell kann ich diese Fitnessfunktion evaluieren im Beispiel was der Markus gebracht hat hat er halt ein halt eine hallerium gebaut und trainiert jedes Mal wenn die Fitnessfunktion ausgewertet ausgewertet werden soll das dauert dann natürlich einen Moment oder noch schlimmer wäre es was ich vorhin angerissen hab wenn ihr 'nural Network trainieren müsstet und dann den Hardcore Score als Fitnessfunktion nimmt ja dann ist quasi jedes Auswerten 1 Fitnessfunktion was dann Jahrhunderte Male, tausende Male gemacht werden muss, bis so einen Evolution irgendwie wo hingegangen ist, ist dann halt 'n kompletter Trainingsprozess. Also das muss man sich einfach bewusst sein, dass das dann sehr teuer werden kann, wenn die Fitnessfunktion teuer ist. Aber wenn man ein Problem hat, was Diskretes, komplex, aber die Fitnessfunktion kann man vielleicht relativ schnell auswerten, dann ist es 'n geniales Tool.
Speaker1: Ja, so viel von mir zu der E-Mail-Folge. Hast Du noch was, Theo? Ich bin da grad nur bissel gedanklich abgetaucht. Und zwar vor allem, wenn Du so Grafstrukturen hast, auf denen dann das Training basiert, würd ich mal total reizen, das anzugucken, inwiefern man die Ergebnisse des vorherigen Evaluierungslaufs recyceln kann. Also angenommen, Du variierst bloß in deinem gerichteten Grafen relativ am Ende etwas, dass Du sozusagen alles, was nicht verändert wurde, rüber schleppst in den neuen Durchgang quasi so aus aus Richtung der Numerical
Speaker0: Performance. Transfer Learning nur nur 'n bisschen andersrum gedacht, ne. Genau, genau. Statt für anderen, jetzt für eine andere Architektur.
Speaker1: Exakt, richtig. Und damit, aber da da kommen wir irgendwie ins Rabbit Hole.
Speaker0: Ja, schreib 'n Paper, kein Ding.
Speaker1: Hey, ja genau, richtig. Wie schwer kann das sein? Wie wie schwer kann das sein? Und weißt Du, was ich glaub? Es gab bestimmt schon irgendjemanden, son Studenten, der hatte die Idee schon mal und das funktioniert unter pro. Mhm. Gut, gut. Na ja, aber also ich unterschreiben nur noch mal ganz kurz das mit dem Feintuning und dass da wieder viel Handarbeit drin steckt. Also wenn ich alleine an die vielen Varianten denke, alleine wie man die Gene, also diese Strings kreuzen kann und was man da tun sollte, was sich bewährt, da gibt's da jede Menge Rule of Thumb Ansätze, wo man sich einfach gezeigt hat, okay, ja mach mach ich 80 Prozent, ja, dann funktioniert's. Ja, warum? Keine Ahnung, es funktioniert. Okay. Genau. Aber aber ich hab den Eindruck, wenn man sich erst mal eingearbeitet hat, dann ist es extrem geil. Also vor allem bei so stark stark Optimierungsproblemensproblemen wie wie muss ich 'n Lastwagen beladen? Das ist einfach der Wahnsinn, ja. Mhm. Ja, cool, dann dann dann dann darf ich gleich weitermachen, ne. Das nächste E-Mail-Up war nämlich mit der Afke Scrauten zu Translaation.
Speaker0: Ja, da bin ich gespannt. Das hab ich nämlich leider verpasst. Ja, das hast Du geschwänzt. Ich habe gearbeitet.
Speaker1: Zu deiner Ehrenrettung. Du hattest 'n Meeting. Ja, das stimmt. Ich erklär mal ganz kurz auch für den Maxim, worum's ging. Und zwar dieses Mal war das 'n eher weniger technisches Thema als eher in Richtung Kommunikation und Projektmanagement gehen. Die AFK, die hört uns was erzählt zu ihrer Aufgabe, auch als Consultant Unternehmen dabei zu helfen, diese Analytics Translator Rolle entweder, dass sie die einem oder dass sie das richtig besetzen. Was ist die Analytics Translator Rolle? Das ist eine Rolle in 'nem Team, die zur Aufgabe hat, ein erst mal Business Problem in ein Data Science Problem umzuformulieren und dann, nachdem sozusagen, ist ja hier alles trivial, was die Data Scientists machen, wenn die Lösung dann da ist, diese Lösung zu übersetzen auf einen Business Impact, also genau diese Brücke zu schlagen. Und das ist tatsächlich mehr als nur Fragetechnik und wie soll ich sagen, Soft Skills, dass mir die Leute am Golfplatz da drin Nee, also wirklich, das das ist 'n eine eigene Profession für sich, weil im Endeffekt wie bei 'nem simultan Übersetzer Du als Translator total fit sein musst in beiden Denkweisen. Und das finde ich sehr, sehr faszinierend. Genau und was waren da die die daneben die großen Insights? Also was ich schon gesagt hab, noch mal wirklich unterstrichen, Data Science ist halt einfach mehr als Algorithmik und Mathe- und Softwareentwicklung. Da gehört noch mal eben diese zusätzliche Portion mit dazu. Man kann sich vieles beim Projektmanagement tatsächlich abschauen und ganz konkret und deshalb wieder was mit Zahlen und Simulation zu tun, fand ich den Ansatz, dass man sagt, also nehmen wir mal her, Maxime, wenn wir bei 'nem Kunden pitchen und dem ein Angebot machen, dann fragt er natürlich, na ja, können Sie mir beweisen, dass das Ganze funktioniert? Ja, und dann ist es natürlich immer schwierig, weil vor allem, wenn man noch kein Referenz Use Case da in der Tasche hat, wo man zumindest so oder so ähnlich das zeigen kann, dann wird's, na ja, okay, versprechen kann man's nicht. Ja. Und was aber echt cool ist, war dann einfach der Ansatz zu sagen, wir können keine 100 Prozent Sicherheit bieten, aber wir machen auch nicht die dümmsten Anfängerfehler, indem wir etwas versuchen, das von vornherein zum Scheitern verurteilt war. Und das ist 'n total cooler Gedanke, der aus meiner Beobachtung heraus nicht Teil des Standardrepertoire ist, nämlich dass man sich anguckt. Angenommen, damit dieser Use Case funktioniert, ja, angenommen der Use Case soll funktionieren, dann, was bräuchten wir für eine Präzision? Nehmen wir einen Bilderkennungs Use Case, ja, welche welche Trefferquote müssten wir erreichen, damit der Use Case profitabel wird? Und dann kann man sich angucken, gibt's denn überhaupt einen Ansatz in zum Beispiel auch der wissenschaftlichen Community, der unter Laborbedingungen diesen diese Trefferquote erreicht? Und wenn's da dann schon nichts gibt, dann kann man gleich 'n Haken dahinter machen. Also okay, dann dann lass einfach die Finger davon. Also quasi den Business Case für den best best best Data Science Case mal durchrechnen. Richtig. Und wenn selbst der nicht funktioniert, ja, dann aber aber hey, Du musst es durchrechnen und oft, also wie gesagt, ich spreche nur von meiner Erfahrung, sehe ich halt, dass, weil es einfach schwierig ist, das Business Case mäßig zu quantifizieren, das häufig halt unter den Tisch fällt. Und das ist schade und da bin ich jetzt umso froher, dass das bei uns einfach Teil des Standardprozesses ist, eigenwerbung vorbei. Gut. Jo, also so viel zu dem sehr, sehr coolen Meet-up mit Afghke, dass der Maxim leider verpasst und eigentlich, sorry. Und
Speaker0: Mea culpa.
Speaker1: Nee, nee, alles gut. Und an der Stelle lass es uns so machen wie das letzte Mal. Kleiner Break und lasst es uns mal schwenken auf den Algorithmus der Woche. Ah ja, hab ich was mitgebracht. Darf ich wieder an dich übergeben? Genau, was ist dabei? Und Trommelwirbel,
Speaker0: den vollkommen unbekannten, noch nie dagewesenen. Okay. Na ja, mein ich ernst. Also Hört sich so an, wie wenn jemand die Hausaufgaben nicht erledigt hätte, aber ich ich ich lass dich mal loslegen. Der der genau, der Hund hat meinen eigentlichen Algorithmus gefressen. Nein, ich wollt da noch mal kurz drauf kommen, also lies Squares einfach, dass man das dann mal noch mal durchdenkt, was das ist und wo das überall immer noch drinsteckt, die die Denke. Und ist ja eigentlich sozusagen eine der oder ist der oder der trivialste oder der Standard fitting Algorithmus also wo der wo ihr den her kennt sicher ihr habt sicher schon, das hat ja noch lange nichts mit machine learning zu tun, aber da sieht man dann schon Übergänge irgendwie Curve Fitting. Also man hat irgendwie eine Funktion und die passt man dann 3 Datenpunkte an oder sowas. Ist eigentlich immer irgendwie leased Squares, mittleren quadratischen Fehler minimieren also deswegen liest square mean error liest mean square wäre es vielleicht wenn man es voll ausformuliert und was ist machine learning am Ende des Tages meistens ist es ein sehr komplizierter liest squares der mit einem gradientenverfahren minimiert wird weil wenn ihr euch die Kostenfunktionen anschaut in den aller allermeisten machine learning aller aller war vielleicht ein aller zu viel, aber in den meisten Machine Learning Algorithmen, das ist eine quadratische Kostenfunktion. Das heißt, es ist eigentlich nur ein komplizierter. Und dann wär ja auch unser unser Zitat, wir immer so gerne wiedergeben, dieses machine learning is nothing more and fancy interpolation. Da kommt das auch, würde ich mal vermuten, her. Da steckt das Körnchen weit drin, weil's meistens wie in least squarers ist, nur halt mit ganz viel Magic drumherum. Und warum dieser liest squares warum kommt der immer überall vor das das ist das was ich euch mitgeben möchte und zwar das kann man verstehen aus der Decision Theory also aus der Entscheidungstheorie denn stellt euch vor ihr müsst irgendetwas raten im Vorfeld also beispielsweise was ist der Aktienkurs von 1 gewissen Aktie in 1 Woche ja jemand will eine Zahl von euch der will keine Wahrscheinlichkeitsverteilung oder sonst was der will eine Zahl so die Zahl die ihr nehmen nennen werdet die ist ja fast schon per Definition falsch, ja? Also weil das jetzt auf die, ich weiß nicht, ist wie viel Centkommastellen bei soner Aktienkurse relevant ist, aber dass ihr die alle trefft, ist ja fast ausgeschlossen. Aber sicherlich wird doch wahrscheinlich der böse Banker, die mir die Zahl sagen soll, glücklicher sein, wenn ihr nur irgendwie ein Cent daneben liegt, als wenn ihr 10 Cent daneben liegt oder so was. Und eine mögliche Kostenfunktion wäre, dass man sagt, na ja, je weiter also der die Abweichung zwischen meinem, was ich geraten hab und dem, was ich wirklich dem, was ich und dem, was es wirklich war, die wird quadratisch bestraft quasi. Also wenn ich 10 Cent daneben liege, kriege ich keine Ahnung oder wenn ich ein Cent daneben liege, kriege ich irgendwie 1 1 Mal on the rest. Und bei 10 Punkt ich 100 Slaps on the rest wäre dann sozusagen die die Kostenfunktion. Und das Interessante ist, wenn ihr jetzt das Decision Theory Problem mit dieser Kostenfunktion löst und dann, okay, was soll ich dem jetzt also für eine Zahl geben? Und nehmt nehmen wir mal an, ihr hättet die volle Wahrscheinlichkeitsverteilung für den Aktienkurs nächste Woche. Dann kommt dabei raus, dass die Zahl, die ihr geben sollt, ist der Mittelwert. Also zwischen dem lease Squares und dem Erwartungswert, dem Mittelwert 1 Wahrscheinlichkeitsverteilung, da steckt eine tiefe Verbindung hin. Und deswegen, also zumindest das da meine Verständnis davon deswegen kommt immer wieder dieser leeed Squares Ansatz vor weil der einen Optimierungsalgorithmus letztendlich dazu bringt den Erwartungswert zu finden. Und das ist das Schöne daran. Also das ist sozusagen die Deep Endzeit. Und kurz an dem Rande, also wenn ihr nicht den Erwartungswert wollt, sondern zum Beispiel den Median, dann ist es nicht liest square, sondern liest absolut quasi also statt quadratische Kostenfunktion L1 Kostenfunktion dann kriegt ihr dann kriegt ihr quasi den den Median ist dann ist dann die die die beste Größe aus der Verteilung oder noch was wenn ihr sagt alles oder nichts egal wie weit ich daneben liege das zählt alles nicht ich muss genau treffen quasi die military loss function wenn man so will ja die dann ist es der das Maximum der Verteilung Also der wahrscheinlichste Punkt. Mhm. Mhm. Und nachdem der Mittelwert häufig eben das ist, was man will, ist dann umgekehrt, liest Squares die Kostenfunktion, die man will.
Speaker1: Ja. Ich find's total geil, weil irgendwo ist es auch intuitiv. Ne, also wenn Du dir die Exponenten in der Kostenfunktion hernimmst, dass das auch zu 'ner PDF dann so dazu passt. Mhm. Geil. Wo kann man das nachlesen? Ich denke für für die L2, da rechnen jetzt der Bischof in seinem Buch noch, oder?
Speaker0: Ja, also ich muss grad überlegen, hab ich das Bischof Buch kann ich ja nicht mehr auswendig, aber nicht er stellt auf jeden Fall glaube ich die Beziehung her zwischen der Normalverteilung und der L2 Norm aber was ich ja meinte gilt ja für alle Verteilungen. Also der Mittelwert ist immer, wenn die LOSF function L2 ist, dann ist immer der Mittelwert deiner echten Verteilung das, was Du als Gas quasi rausspucken willst. Und das gilt ja eigentlich für alle Verteilungen. Ich weiß nicht,
Speaker1: dass Wir setzen den Link in die Shownotes.
Speaker0: Zur Not, das ist 'n Fünfzeiler oder so. Zur Not rechnen wir's kurz einmal durch und backen's in die Shownotes. Stimmt.
Speaker1: Sehr gut. Okay, also Maxim, Du Du hast mich überzeugt.
Speaker0: Geht geht durch als Algorithmus der Woche. Ja? Ja, genau. Dann muss ich meinen Hund nicht einschläfern oder was?
Speaker1: Nee, voll gut. Jo, dann zum nächsten Meet-up. An der Reihe war die Barbara Bretner mit dem Thema Datenvorbereitung von Produktionsdaten. Da damit Du einmal kurz durchschnaufen kannst. Ich sag mal ganz kurz, worum's ging. Und zwar hat uns die Barbara bissel was aus ihrer beruflichen Praxis erzählt. Die Barbara ist Data Scientistin und ist sehr, sehr, sehr stark in der Praxis unterwegs, hat by the way jetzt übrigens auch noch mal ihr Buch ein zweites Mal aufgelegt. Und sie hat die Themen behandelt, wie geht man mit fehlenden Werten Also Stichwort Imputation. Wie encoatet man Features, vor allem wenn's kategoriale Daten geht? Und wie geht man damit wenn 2 Features so fast gleich sind, aber nicht ganz? Also ist ja dann auch immer die Frage, nehm ich jetzt nur eine Spalte mit oder behalte ich beide, weil vielleicht genau im Unterschied, in dem kleinen, winzigen Unterschied die Information steckt. Da ist die Barbara tiefer reingegangen und jo, Maxim, was war für dich da das Interessanteste?
Speaker0: Genau also bei der Imputation das ist ja son bisschen natürlich immer so eine der Kruxgeschichten und die Antwort ist immer so ein bisschen es kommt drauf an wie bei allem aber so mal als Faustregel wenn weniger als 20 Prozent der Werte fehlen dann behaltet auf jeden Fall den Parameter und wendet eine imputation Technik an also vielleicht erst mal quasi die die 1. Entscheidung die man treffen muss ist ja behalte ich die Spalte also das Feature oder schmeiß ich's raus also wenn da jetzt 90 Prozent fehlen tue ich mir wahrscheinlich einen größeren Gefallen dass ich rausschmeiße als anstatt dass ich da versuche über Imputation das noch zu retten aber so aber wenn unter 20 Prozent sind dann dann dann klappt das in der Regel schon sehr gut und dazwischen sind dann halt so die schöne schönen Grauzonen und dann gibt's natürlich noch die Frage womit mache ich die imputation mit einem Mittelwert mit dem häufigsten Wert gibt's irgend 'ner neutralen Wert wie die 0. Aber da gibt's halt keine one fits all Antwort. Auch leider von der Barbara nicht. Genau, dann hatten wir das Encoding. Mhm. Da hatten wir dann im im Meet-up mal so kleine Breakout Sessions und haben sich 'n kleinen Grüppchen alle überlegt, welche Encoding Technik benutzt Du, Kategorien nachher in Zahlen umzuwandeln? Und surprise surprise, surprise
Speaker1: Wenn's not hat?
Speaker0: 95 Prozent oder was von der Teilnehmer sagen, na ja, one hot Encoding. Also für die Zuhörer, die's nicht kennen, one hot Entcoding, also sagen wir mal, wir haben 5 Kategorien ABCDE, die vorkommen können, dann führe ich 5 Dimensionen ein und schreib immer eine 1 in die Spalte also wenn die 2 wenn die in die quasi b Spalte schreibe ich eine 1 wenn's b war und die anderen lasse ich bei Nullen und umgekehrt das ist one hot encoding und damit kann man halt das ganz einfach und Kategorien dann in ja in in numerische Features umzusetzen die ich dann jeden beliebigen Algorithmus füttern kann aber das ist nicht die einzige Möglichkeit und zwar hatten wir noch die schöne Möglichkeit dass die Kategorie mit dem Target zu identifizieren, richtig? Mhm. Mhm. Kannst Du das grad noch mal erklären? Oder wie oder kriegen wir's gemeinsam zusammen? Kriegen wir's gemeinsam hin, ja. Ich überleg grad, wie wird das funktioniert. Also das wurde geschaut, mit welchem finalen Feature die Kategorie, mit welchen Target die Kategorie am häufigsten coinsidiert, oder?
Speaker1: Und auf das wurde's reduziert.
Speaker0: Das heißt Kategorie C kommt am häufigsten vor oder was ist der der der mittlere Feature Target Wert für Kategorie C und dann wurde für Kategorie C dieser Wert eingesetzt, korrekt? Genau, genau, genau. Wie hieß das noch gleich? Target Encoding. Okay, Target Encoding. Für alle, die's nachlesen wollen und sich jetzt nicht von unserer gebutscherten Erklärung
Speaker1: ablenken lassen wollen. So wie ich, da hat mein Hund die Hausaufgaben gefressen. Moibian. Du, dann springen wir weiter zum nächsten Meet-up. Das war mit dem Hendrik, Hendrik Wachowitz, einem unserer Mitarbeiter. Der hat uns was über ganz, also sprich generative Adressarioal Networks erzählt. Und zwar hattet ihr ja 'n Anwendungsfall dabei. Ich kann mich nur noch an Pferde und Zebras erinnern.
Speaker0: Okay, My turn. Theo erklärst Du uns das? Nein, nein, Spaß. Gerne. Also ich kann's gern noch mal erklären, was was Hendrik da vorgestellt hat. Also es ging generell die Idee, Counter Facts zu erzeugen und zwar für in dem Fall Röntgenbilder mit oder ohne Lungenentzündung. Und die Idee war, okay, sagen wir mal, Du hast irgendeinen Classic eigene Nullonett, das sagt, ja, der Mensch hat eine Lungenentzündung. Dann stehst Du als Radiologe oder wie auch immer davor und sagst, ja, okay, schön. Warum sagst Du das? Ja, und ihr wisst ja, son son Deep Learning Netzwerk sagt einem gern alles, aber nicht, warum es was macht. Und die Idee ist, jetzt versuchen wir mal, das Bild so zu verändern, dass oder sagen wir mal das Bild hat gesagt, der hat Lungenentzündung. Jetzt versuchen wir das mal so zu verändern, dass das Bild gesagt hätte, der hat keine Lungenentzündung. Und zwar mit dem Ziel, dass das Bild immer noch echt aussieht, Nummer 1 und möglichst gering verändert wurde, Nummer 2 und und eben Voraussetzungen andere Kategorie beim Glaify erreicht. Mhm. Und was da eingesetzt wurde, sind General Adversaryal Networks, von denen hatten wir ja schon auch in dem Meetups mit der Basian Inference mit networks was. Und diesmal aber sogenannte, also Cycle generative Adversaryal Networks, die auch noch den, also die müssen quasi einen aus einem Startbild zum Beispiel müssen sie ein anderes Bild erzeugen, was dann gewiss also was dann in gewissen Test bestehen muss und dann aus diesem anderen Bild wieder das Originalbild reproduzieren können. Dadurch wird quasi sichergestellt, dass die nicht einfach quasi, keine Ahnung, aus dem Foto ein schwarzes Quadrat machen, weil sie aus dem schwarzen Quadrat kommst Du ja Du ja nicht zurück zu dem Foto. Die Information ist dann ja weg, sondern dass die möglichst wenig verändern. Und das heißt, es gibt 1, das verändert das Bild. Das ist jetzt ein Netzwerk. Dann wird das Bild beurteilt auch von einem von einem Classifier der quasi zwischen Fake Bildern und Echtbildern zu unterscheiden hat das heißt das Bild soll echt aussehen Nummer 1 und Nummer 2 noch wird aufgelassen ein dann der der der der die Kategorie feststellt der Klassifier also ein anderer Klassifier der dann
Speaker1: sagt Der ist der ist Diskriminator
Speaker0: oder? Das 1. War der Diskriminator genau das war das richtige Wort. Der Diskriminator der sagt ist das Bild echt oder unecht? Also der Diskriminator, der soll von diesem künstlich erzeugten Bild getäuscht werden. Und dann soll der Classifyer auch noch sagen, ja, das ist jetzt in der Zielkategorie. Und das ganze Bild muss rückumwandelbar sein von einem anderen quasi Decoder in das ursprüngliche Bild. Das ist sozusagen die ganze Bild. Die ganze Gemengelage zwischen den Netzwerken.
Speaker1: Ja, am Ende hat immer 4 Komponenten, oder, die gegeneinander spielen.
Speaker0: Ja, genau, genau. Mhm. Und genau, jetzt also noch mal, wenn man den, wenn man jetzt nur sagen würde, Du hast 'n Bild, was zum Beispiel Lungenentzündung ja hat und jetzt und der da sagt der Classifier und jetzt möchtest Du das Bild so verändern, dass der Classifier sagt, Lungenentzündung nein, dann wärst Du 'n Szenario, Du das Bild so verändern, dass der Classifier sagt, Lungenentzündung nein, dann wärst Du im Szenario. Das heißt, dann würde da vielleicht irgendein gar 'n subtiles Rauschen draufkommen, was als was man als Mensch gar nicht sieht, was aber den Classifier bereits triggern würde. Jetzt kommt aber der Diskriminator dazu, der würde dann sagen, Moment, dieses Rauschen, das ist ein Fake Bild, ganz klar. Das heißt, der sorgt dann wieder darum, dass der, sag ich mal, advertarian Noise noch human conprehensibel aussieht also wie ein echtes Bild und da hatten wir doch auch das nette Zitat in dem Satz in dem in dem
Speaker1: im Meet-up wie war der wie war der Satz ich ich habe das hier hier noch mal rauskopiert Der Classifier alleine würde etwas generieren, der Diskriminator macht daraus human conprrenzable realistische Bilder. Oh je.
Speaker0: Genau. Na genau, oder? Also wenn ich nur das vorlesen müssen, dann wär dieses auch schon abgefrühstückt. Richtig. Nach 3 Minuten zu Ende. Aber dadurch konnte dann halt im Endeffekt dann erstellt werden, okay, Du hast da, weil was kriegt was kriegst Du dann als Radiologe oder als Arzt oder wer auch immer? Du kriegst halt, ja, hier ist meine Diagnose Und so müsste das Bild aussehen, damit ich einen die andere Schlussfolgerung getroffen hätte. Also Du siehst dann idealerweise, aha, an dieser Stelle ist der kleine als Tumor erkannte Fleck, weil in dem Counter Factsual fehlt genau der. Und der Rest ist idealerweise genau gleich. Ja, das sind die Cycle Gun mit 'nem Klassifier erweitert.
Speaker1: Auch sehr cool. Der Hendrik, der hatte ja dann noch referenziert aufm Paper, das auch erst neulich rausgekommen ist, wo die Forschungsgruppe das aufgebaut hat, nicht nur sozusagen in Kategorie A, die entweder das eine oder das andere sein kann, also Lungenentzündung ja, nein, sondern die hatten so mehrdimensional aufgespannt. Das müssen wir auch unbedingt in die Shownotes mit reinsetzen, das Paper. Die hatten das Ganze nämlich mit Gesichtern, also Fotos von Gesichtern gemacht und dann die Dimensionen verändert männlich weiblich, Haarfarbe und das Alter. Und dann konntest Du die volle Kombinatorik an- und ausschalten, nämlich Du machst aus 'ner Person eine alte, also Du switcht quasi völlig beliebig jede jede Kategorie, wie Du möchtest. Und Und damit wird dich wissen, wie Du in 20 Jahren aussiehst, Theo? Na ja, die Ergebnisse, die waren dann eher so. Also 1 war echt lustig, da wurd das das das Bild, also das Foto von 'nem Mann geändert in alt, weiblich und haarfarben Change. Und dann sah das so aus wie wie son Dude, dem man eine Perücke aufsetzt. Aber fair enough, es sah verdammt echt aus. Also hat mich jetzt hat mich jetzt nicht irgendwie überzeugt, dass es dann jetzt eine Frau gewesen wär, aber
Speaker0: krass. Kennst Du, hast Du der Prinz von Valair früher geschaut? Ja, ja, sicher, sicher. Da gab's noch die Schwester oder Cousine von dem Jazz. Mhm. Und wo sich dann alle nur vorgestellt haben, die die noch nicht kannten und der Jazz meint, ich bring meine Cousine mit. Da war dann immer son mentales Image Jazz mit Perücke, mit Schnauzer noch. Aber nachher war die dann irgendwie superhübscher oder so. Ich weiß nicht mehr genau. Ja, definitiv. Und so was kriegt man dann ja, also es soll hin. Ganz genau, ganz genau.
Speaker1: Aber Alter, also ich fand das echt krass. Natürlich, die haben auch verschiedene Ansätze noch mal verglichen und 'n paar waren dabei, sichtbare Artefakte und so drin. Aber dann wieder so, also zumindest für so so schnelle Fakes war das wieder mal verdammt gut. Mhm. Ziemlich crazy. Jo, nächster Break, Blick in den Werkzeugkasten.
Speaker0: Was hab ich mitgebracht? Genau, das Du heute heute liegt alles bei dir, Maxim. Ja, ich nehm dir die Worte aus dem Mund, ne. Also was hab ich mitgebracht? Die die Samples Achse oder die Achse der Samples, die Datenachse was meine ich damit machine Learning funktioniert ja in aller Regel so dass ihr sowas wie eine tabellarische Datenstruktur habt mit sagen wir mal 1 gewissen festen Anzahl an Spalten in 1 Tabelle das sind eure Features und oder targets und dann habt ihr Zeilen das sind die Samples und das Modell und alles was ihr nicht programmiert ist soll ja in der Regel relativ unabhängig davon sein ob der Trainings und der Testdatensatz und so weiter ob die nachher 10 Zeilen 1000 Zeilen 10100000 haben ja also kann natürlich sein dass sie mit 10 Zeilen nicht wirklich das Training nicht mehr macht außer zu overfinden aber grundsätzlich ist eigentlich diese Zahl erst mal egal ja also die Größenordnung könnt ihr vielleicht durch überlegen die ihr einfach braucht aber ob ihr nachher 100000 oder 100005 habt das soll ja egal sein und deswegen aber auch wie viele Features ihr habt das ist ja durchaus eine sehr inhärente Eigenschaft des Modells das heißt diese die wenn man sein Modell coodet dann möchte man eigentlich diese Zahl wie viele Daten also wie viele Daten tut man durch oder wie groß ist das Badge was man gleichzeitig behandelt das möchte man nicht irgendwie hart coden weil da da kommt man den Kraut und Rüben Das heißt, man möchte diese weder hart coden noch unbedingt aktiv irgendwie tracken müssen. Ja, man könnte ja irgendeine Factory schreiben oder so was, wo das als Input kommt, aber das in der Regel relativ unelegant und mühsam und deswegen bieten viele Packages da Unterstützung an mit dieser speziellen Achse umzugehen ja nachher sind ja alles irgendwelche Zensoren und die meisten Dimensionen dieser Zensoren haben also sind so wie sie sind weil sie so sind wie sie sind weil das Modell so ist wie es ist aber dann gibt's diese eine extra Dimension die mit den Daten skaliert und ja da gibt's halt in verschiedenen packages dann einfach die Möglichkeiten damit umzugehen und wichtig ist einfach dass man sich dieses Konzepts bewusst ist weil wir haben das auch gemerkt bei Bewerbungen und sowas die wir gekriegt haben häufig ist da Verwirrung zwischen was wird einfach entlang der Datenachse dupliziert und was nicht also was sind sozusagen die inhärenten Parameter des Modells also quasi die Modellparameter und was sind irgendwelche Parameter die mit den Daten skalieren weil es zum Beispiel tatsächlich die Features sind oder sowas also da kommt dann häufig so der für für Leute die bisher dann nur theoretisch mit machine learning gearbeitet haben oder nur theoretisch und nur mit quasi blackbox out of the box shooting forget Algorithmen sage ich mal die merken dann plötzlich da fehlt mir eine kleine Brücke und das ist häufig diese Datenachse und kann man ein paar von ein paar packages erzählen wie das da gehandelt wird also fangen wir mal an mit mit Piro dem ja so sehr mächtigen basion Inference oder probilistical language programming wenn man so will Paket mit dem man Wahrscheinlichkeitsmodelle bauen kann und die haben da ein sehr interessantes Konzept sogenannte plates mit denen Du solche sogar mehr als solche so eine Achse anlegen kannst die Idee ist okay du gibst dann zwar einmal schon explizit unter Umständen rein dem Plate wie groß bist Du denn liebes Plate aber das ist dein Single Point of Truth du stellst das einmal und später benutzt Du dieses Plate und dann weiß Pyro, alles, was Du in, das wird über son Python with Kontext gemacht, also über son with Doppelpunkt und dann beginnt der Kontext. Dann wird alles, was Du dadrin anlegst an Parametern, also zum Beispiel Wahrscheinlichkeitsverteilungen, wird dann entsprechend dieses Plates dupliziert. Also zum Beispiel, dass Du dann sagst, aha, ich hab für jeden einzelnen Datenpunkt eigentlich eine Normalverteilung zwischen Mittelwert und beobachtetem Punkt. Dann kümmert sich das für dich darum. Du kannst sie sogar nästen, also wenn Du 2 Plate hast, kannst Du 1 und da drinnen witte 2, dann würden werden, glaub ich, 2 Achsen erzeugt für dich und dass das managt das dann für dich dass diese Dinge automatisch dupliziert werden und zwar entsprechend dessen wie viele Daten Du hast oder wenn Du Display für was anderes legst dann dann noch für das andere Und die helfen dem Pyro Solvern, dass entlang dieser Achsen gewisse konditionale Unabhängigkeit bestehen. Was meine ich damit? Nimmt dir mal an, alle Modellparameter sind fix oder werden jetzt mal auf dem Wert festgehalten, dann sind die einzelnen Samples ja unabhängig. Das ist ja auch so eine der impliziten Annahmen häufig beim Machine Learning, independent and identicaly distributed, dass das für die Zeilen meiner Tabelle gilt. Das ist auch so was, was diese Achse auszeichnet.
Speaker1: Dann in Tensorflow, da müssen wir 'n bisschen unterscheiden zwischen Tensorflow 1 und Tensorflow 2. Warten wir kurz, Maxime. Noch mal kurz zu Pirow. Ja. Ich ich hab 2 Fragen und zwar, weil Du gesagt hast, die Plades sind bei der Single Point of Truth. Kann ich trotzdem zur Runtime erst entscheiden, wie viele Daten ich reinstecken möchte. Geht es mit dem Just in Time Compiler? Ich glaub, Du kannst das Plate auch ohne explizite
Speaker0: Zahl initialisieren. Cool. Aber ich bin kein Lumpirro oder Pyro Profi. Also
Speaker1: Und und 2. Frage, wozu brauch ich mehr als eine Achse?
Speaker0: Also, Manuel, Du möchtest irgendeine globale Eigenschaft von, sagen wir mal, Menschen lernen. Das sind dein dein dein Modellmodellparameter, das ist zum Beispiel der Zusammenhang zwischen Größe und Körpergewicht, okay? Mhm. Also die die Regression dazwischen, die möchtest Du global lernen. Und jetzt sagst Du, Du hast einhundert Menschen, die von denen es halt Größe und Gewicht in echt gibt und diese einhundert Menschen werden aber dann jeweils sagen wir mal fünfmal gewogen und gemessen mit total verrauschten Wagen und schlechten Pi mal Daumen Maßstäben, okay? Das heißt, jetzt hast Du 100 Menschen und 5 und für jeden davon 5 Messungen. Und jetzt, wenn Du dein Modell jetzt dann schön so modular, dass Du weder die 100 Menschen noch die 5 Messungen hard cotest, sondern auch für 75 Menschen mit 8 Messungen funktionieren soll, dann helfen dir halt diese mehrere Plades, das zu managen.
Speaker1: Sehr cool
Speaker0: ja genau bei Tansorflow oder hattest Du noch eine Frage zu deinem Partner nee das waren die beiden danke ja genau bei Tansorflow gab's wenn wir jetzt mal von Tansorflow 1 ausgehen wo man ja den Graph gebaut hat der Graph ist ja eine relativ statisches Subjekt und das heißt man muss da irgendwie diese Shapes oder man muss das da wurde über die Shapes darüber so gegangen dass das zum Beispiel ein playsolder oder bestimmte Zensoren durften eine ich glaube nur eine einzelne Achse haben deren Shape nun ist. Also dass zum Beispiel wenn Du einen Tensor hast, der hat die Shape nun 0.3 0.5 0.7 meinetwegen. Mhm. Und sozusagen kommenly war dann dieses nun eben die Datenachse aber das und das wird dann quasi zur Run time dann automatisch ergänzt sobald dann irgendwo das festgelegt wird durch durch einen Feed von Daten oder sowas oder Badge oder was auch immer wird dann plötzlich dieses Non quasi zur Run time zu 'nem Integer und muss dann matchen. Wovor es dich aber nicht schützt, ist, dass Du als User, weil die Achse existiert trotzdem. Also Du könntest dann trotzdem irgendwelche Operationen bauen, die entlang der NAN Achse mischen. Also Du könntest zum Beispiel eine über alles machen. Und dann wieder aufblähen und weiter geht's. Und dann hättest Du quasi diese Independent Geschichte dann verletzt vielleicht sehr bewusst und sehr mit guten Gründen aber vielleicht auch unbewusst da musste man dann ein bisschen aufpassen in Tensor Flow 2 und auch in py torge oder Torch generell macht man ja eher so funktionales Programmieren Du definierst da jetzt Funktionen na ja da ist natürlich das Schöne du musst ja dann quasi dadurch dass eine Funktion ist Code der also erst später ausgeführt und musst Du dich ja quasi noch nicht festlegen Du musst nur die virtuelle Achse bei allen Operationen mitschleppen und die halt so so bauen, dass sie halt nicht von der genauen Länge dieser Achse abhängen. Aber Du solltest sie, Du musst sie immer noch explizit betrachten. Also wenn Du irgend eine mal sagen oder Du machst irgend eine Transponierung, dann musst Du halt wissen, ah, ich hab aber noch diese Datenachse dabei, die möcht ich bitte vielleicht doch immer als Access haben. Das musst Du sowohl bei Tensorflow 1 als auch bei Tensorflow 2 dann einfach mitdenken. Aber durch die funktionale Programmierung musst Du ja die Zahl quasi, die kann ja dann einfach 'n Funktionsinput sein und wird dann ja wirklich erst zur runtime festgelegt. Und ja, bei uns in Halerium haben wir das so gelöst, dass wir sagen, wir unterscheiden tatsächlich, wir haben ja extra 2 Klassen für Variable. Das wäre eine Variable, die mit den Daten skaliert und static Variable, die wäre eine Variable, die für sonen Modellparameter steht. Die skaliert also nicht. Und die Variable, die wird quasi dann immer erst zur, das nennen wir, aber das könnt ihr für die vorstellen. Das ist immer dann, wenn ich einen einen einen Graphen mit Daten verbinde, erst dann werden von den variables die eigentlichen Shapes oder dann wird an die variables, sagen wir mal, diese zusätzliche Achse angebaut und davor existiert sie gar nicht. Ich hab also als Nutzer gar keine Chance, sie aus Versehen zu verballhornen, zu mischen. Also wir versuchen da da oder wir haben's halt so gemacht, dass egal, was Du für numerische Operationen dadrin machst, diese Achse bleibt per Konstruktion unabhängig, weil sie erst später abgebaut wird. Quasi wie sone Parallelisierung. Ja. Weil jetzt gibt's eben auch viele mehr Packages, aber ich denke, das hat schon mal dargestellt, was es da für Strategien gibt und für Ideen zwischen den verschiedenen Packages damit umzugehen. Aber wichtig ist einfach, dass man sich dessen bewusst ist, welche meiner Parameter haben denn eigentlich noch diese Achse und welche nicht?
Speaker1: Sollten wir's sich angucken. Also das ist, also Du hast es vorhin erwähnt bei den bei den Bewerbungsgesprächen, die bei uns im Haus geführt werden, das ist tatsächlich häufig son Genickbrecher. Also vor allem, wenn man noch im Studium ist, ist das definitiv 1 der Themen, die man sich angucken sollte, da wirklich sattelfest zu sein und sich nicht auf die Blackbox Genau. Packages zu verlassen. Weil natürlich die Blackboxen,
Speaker0: die managen das für dich, ja? Also auch wenn Du innerhalb von, Nudeln Network machst, da gibt's auch eine Klasse, von der Du erben kannst Du, die kümmert sich darum. Oder wenn Du Kiras nimmst sowieso oder. Und wenn Du's aber mal von machst, dann sei's auch nur was, wenn Du eine ganz einfache lineare Regression in machst, dann wirst Du schon merken, oh je, da ist ja diese Datenachse, wie wie wie wie möcht ich das managen?
Speaker1: Ganz genau. Apropos managen, boah, ich hau jetzt eine total geile Brücke raus. Nee, vor vorher vorher wollte ich dich noch öffentlich unter Druck setzen, da da da. Und zwar, ich verrate jetzt keine Details, aber der Maxim und 1 unserer anderen Kollegen der Stefan, die arbeiten an 'nem interessanten Feature, das die 1. Achse betrifft. Das werden wir die nächsten Wochen, je nachdem, wie viel Energie da reinfließen kann, werden wir das mal noch mal separat
Speaker0: durchkauen, ne? Ja, wir arbeiten daran, das, was ich Sehr sehr sehr lange und breit erklärt hab, dass die so schön unabhängig sind, das einfach wieder zunichte zu machen, indem wir Zeit rein darüber aus. Oh, ja,
Speaker1: genau, genau. Also das ist der Teaser, Stichwort Zeit rein. Aber ich denke, dass das Thema behandeln wir separat noch mal. Also das ist total cool. Ja, nee, die die schlechte Brücke, die ich bauen wollte, das ist die hin zum zum Zeitmanagement. Nee, schauen wir, dass wir noch das letzte Meet-up unter die die die Brücke kriegen. Jo. Nämlich ganz konkret zum Zeitpunkt der Aufnahme gestern gestern mit Harald Wüst, einem der von visometry, visometry. Genau, visiometry, nur mit Viso. Und das Thema war, ich les kurz ab, drei-d-CAD Daten als Verbindungsglied zwischen virtuellen und physischen Objekten. Und ich kann Sie mal ganz kurz einordnen. Worum ging's? Es ging darum, Objekte zu erkennen, quasi Use Case der Augmented Reality, dann beispielsweise an Notationen hinzuzufügen. Das heißt, ich filme mit meinem Tablet, Smartphone etwas ab und sehe am Bildschirm erstens das Videobild und zweitens dann zum Beispiel dieses Teil umrahmt mit, Stichwort industrielle Montage, mit dem Hinweis, okay, die Schraube bitte in der und der, also die Schrauben in der und der Reihenfolge anbringen. Mhm. Ja, nämlich zum Beispiel, wenn's eine runde Verschraubung geht, immer gegenüberliegend verschrauben und nicht im Kreis herum, sonst verzieht's den Deckel. So so zum Beispiel. Und ja, sehr, sehr spannendes Thema, weil der Ansatz vom Harald und Kollegen derjenige ist, nicht jetzt so wie's eine IKEA App beispielsweise macht, sich nur rein auf das Kamerabild zu verlassen, sondern CAD Daten mit reinzunehmen. Mhm. Und also für mich der absolut beeindruckendste Teil dann war, wie krass performant dieser Ansatz ist, ja. Denn dadurch, dass die App auf dem Tablet bereits weiß, wonach es sucht, theoretisch, also außer die Geometrie ist krass degeneriert, so wie eine Tasse irgendwie von hinten, ja. Aber in in allen realistischen Cases, ein einziger Frame reicht tatsächlich, die Lokalisation von dem Objekt in diesem Bild zu finden. Das ist total krass, da bist Du dann sofort bei 60 Frames 'ner total guten Responsiveess insbesondere wenn Du, Stichwort Information Fusion, noch so was wie die die die Beschleunigungsmesse mit reinnimmst. Also wirklich, wirklich krass. Das war also aus meiner Sicht Idee dahinter.
Speaker0: Du hast das drei-d-CAD Modell und Du kannst ja, das hat ja quasi 6 Freiheitsgrade. Wo befindet es sich und welche Drehung Orientierung hat es daraus kannst Du immer ein 1 perspektivisches Kantenbild erzeugen also wo müssten jetzt Kanten liegen wenn es im Bild wäre und das kannst Du mit dem echten Bild vergleichen und dann über diese 6 Freiheitsgrade, ist ja gar nicht so hochdimensional, halt relativ schnell Minimierungsproblem jagen, dann sozusagen die Position des Objekts, wie es im Bild sein müsste, also wie es wie es im Bild am besten matcht zu finden. Und das funktioniert tatsächlich, wenn Du eben keine degenerierte Geometrie hast wie 'n Ball. Mhm. Dann funktioniert es halt tatsächlich mit einfach einem Frame sehr schnell und sehr gut und und halt auch vor allem sehr, sehr stabil. Also die eben Stichwort Schraube und so was, also so einige Millimeter Präzision oder Pixel Präzision, also bei bei wenn die Kamera weiter entfernt ist, dass das funktioniert dann damit. Und und ist halt ja, scheint sehr robust zu sein und und und halt sehr cool. Also da sieht man wieder Modellinformation plus Daten
Speaker1: machen mir das Leben leichter, ne. Oh, der ist das ist eine schöne Brücke. Ja. Für mich auch noch eine technische Erkenntnis war oder also einfach schön zu sehen, wie die Standardisierung da mittlerweile schon echt 'n guten Schritt vorwärts gekommen ist. Also die SDKs, jetzt zum Beispiel eben vom Harald, die sind so, ja, wie gesagt, standardisiert, dass Du als Student dir das quasi runterladen kannst mit 'ner Testlicens und sogar im Rahmen von 'nem studentischen Projekt so 'n kleinen Prototypen bauen könntest. Und das finde ich halt schon echt crazy, wie wenig oder wie wie wie tief da die Einstiegshürde mittlerweile ist. Mhm. Ja, echt schön zu sehen. Und vielleicht noch die Abgrenzung.
Speaker0: Wenn ihr so an so Ikea App denkt oder ich glaub, Pokémon Go hat auch irgendwie funktioniert, dass ein virtuelles Objekt in den Raum gesetzt werden soll. Ist dann natürlich das echte Objekt nicht im Raum. Und da muss ja dann quasi die über die Kamera erst mal trianguliert werden, was ist denn der Boden und wie weiter ist er entfernt? Und deswegen muss da erst mal die Kamera bisschen hin- und herbewegt werden. Wie hat er das genannt? Da gab's son lustigen Begriff für.
Speaker1: Slam Dance, oder?
Speaker0: Slam Dance, war das? Genau. Genau, das ist der Ansatz. Genau, das. Genau. Und der Dance ist quasi das, also weil die Kamera darf halt nicht ganz still stehen, zumindest nicht am Anfang, damit halt die Triangulation passieren kann. Und beim Modellansatz, wie gesagt, eben unter guten Bedingungen reicht einfach ein Frame.
Speaker1: Also wenn das keine guten Beispiele waren, wer sich da jetzt denkt, dass die Themen interessant waren und interessant sind. Also die Einladung steht wie immer, wir haben noch ein, 2 Plätze jeweils frei im Meet-up. Schaut sie sich an, Meet-up dot com. Und ja, vielleicht an der Stelle auch erwähnt, eigentlich wär das ja 'n physisches Meet-up gewesen. Aber dadurch, dass man sich ja momentan sowieso nicht zumindest eine praktikabel treffen kann, ist das Ganze online über Zoom. Das heißt, wir haben Gäste aus aller, ja, nicht Herrenländer, aber Ecken Deutschlands und teilweise auch aus dem Ausland mit dabei. Sehr, sehr cool. Schaut drauf, Meetup dot com. Und ganz konkret jetzt nächsten nächsten Dienstag, das ist zum Ausstrahlzeitpunkt dieser Folge. Ja, genau. Also wer jetzt diese Podcastfolge direkt dienstags hört, heute Abend sozusagen, ist Thomas Nahtschläger zu Gast von Dinertrace und er ist auch der Gast unserer nächsten Podcastfolge. Er ist von Dinertrace und mit ihm werden wir drüber sprechen, wie Dinertrace Castle in Firance einsetzt und zwar, und das finde ich super, super spannend und deswegen freue ich mich schon auf die beiden die beiden Ven news, nämlich nicht nur als theoretischen Algorithmus im Labor, sondern wie kriege ich Castle in Firance wirklich krass skaliert, ja? Also über die komplette Kundenbasis von von deiner Das ist ja auch drauf. Ja, das wird sehr, sehr stark. Wer das spannend findet, seid gespannt auf die nächste Folge. Wir sehen uns im Meet-up, abonniert uns auf Spotify und Maxim.
Speaker0: Bis zum nächsten Mal. Bis zum nächsten Mal.
Speaker1: Merste die Compraxity.
Speaker2: Jeden Dienstag erscheint eine neue Folge von veriom Podcast. Auf dem Laufenden zu bleiben, folgt uns auf Facebook, Instagram, Twitter und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.