Paul Rupprecht – Team Lead Machine Learning Projects & MLOps bei Merantix Momentum

Season 5· 12. Mai 2022· 3501

Episode cover: Paul Rupprecht – Team Lead Machine Learning Projects & MLOps bei Merantix Momentum
0:003501
  • Dr. Theo SteiningerCo-Founder & CEO at Erium
  • Paul RupprechtSenior Project Manager & Team Lead Machine Learning Projects and MLOps at Merantix Momentum (formerly Merantix Labs GmbH)

Overview

In this episode, Dr. Theo Steininger speaks with Paul Rupprecht, Senior Project Manager and Team Lead Machine Learning Projects & MLOps at Merantix Momentum in Berlin. The two explore the unique construct of the AI venture builder Merantix, concrete ML project examples from the retail sector, and best practices around project management, technology stack, and team composition in AI projects.

About the guest

Paul Rupprecht leads the Machine Learning Projects and MLOps team as Senior Project Manager at Merantix Momentum (formerly Merantix Labs GmbH), a machine learning service provider based at the AI Campus in Berlin. He works on strategic as well as implementation projects with clients from a wide range of industries - from mechanical engineering to the insurance sector. Before moving into his current interface role between technology and business, he implemented data science pipelines himself, including at Freudenberg FST GmbH, with a focus on predictive maintenance, predictive quality, and computer vision. His background in production technology gave him an early understanding that cross-functional teams are the decisive success factor for data science projects.

Summary

Merantix as an AI Venture Builder: The Entrepreneur in Residence Concept

Merantix is an AI-first venture builder based in Berlin whose goal is to build AI-focused product companies. What makes the model distinctive is the role of the 'Entrepreneur in Residence': individuals can apply - with or without a concrete founding idea - and receive financial resources from Merantix as well as access to the ecosystem surrounding the AI Campus in Berlin. Companies that emerge can take different paths: Merantix Labs, for example, is an independent GmbH and subsidiary, while other spin-offs such as Sea Search were acquired by Scale AI. Merantix Labs itself is the only service-based company in the portfolio and operates as an ML service provider in an industry-agnostic but technology-focused manner.

A Look Inside Day-to-Day Work at Merantix Labs: Structure and Team Setup

At the time of recording, Merantix Labs has around 40 employees and is growing rapidly. The company is divided into three teams: a research team (active in consortia and its own research), an engineering team (responsible for internal tooling and project implementation on smaller projects), and a business team (project management, sales, and business development). Paul Rupprecht leads the Machine Learning Projects area within the business team. A typical workday barely exists - alongside regular stand-ups, he works in parallel on internal and external client projects. The core philosophy is to translate the latest research findings into industrial applications and create genuine added value.

A Practical Example: Recommendation System for an Eyewear Retailer with Online and Offline Channels

A central project example in this episode is a recommender system for a retailer selling eyewear through around 100 brick-and-mortar shops as well as an online store. The goal is to aggregate customer interactions from both channels in Google Cloud and use them to generate personalized product recommendations delivered via the website, newsletter, and in-store. In the online channel, clicks, virtual try-ons, shopping cart actions, and reservations are used as interaction signals. In the offline channel, purchases and consultation interactions are captured by shop staff via tablets and uploaded to the cloud - a step that was only recognized as necessary during the course of the project, since 95 percent of revenue is generated in-store, yet 99 percent of interaction data originates online.

Collaborative filtering is used as the algorithm: from a sparse matrix of customer-product interactions, embeddings are learned that, after inference, yield a fully populated matrix - enabling recommendations even for customer-product combinations with no prior interaction. Domain knowledge is incorporated in the form of heuristics for weighting the different types of interactions. For validation, a simple internal frontend was built through which the client can compare model versions and assess the quality of the recommendations themselves.

Project Management and Expectation Management as a Critical Success Factor

One of the biggest challenges in the described project was the ongoing expectation management with the client's IT department and domain experts, who had little experience with the possibilities and limitations of machine learning. Weekly alignment meetings and shared project management platforms - where all stakeholders can create tickets, add comments, and track progress - proved to be effective methodological tools. At the start of the project, two structured workshops were also conducted to define user stories and develop a shared understanding of the problem.

The AI Canvas: A Proprietary Framework for Structured Use Case Development

Merantix Labs has developed its own framework in collaboration with the University of St. Gallen: the 'AI Canvas', modeled after the Business Model Canvas but specifically tailored to AI projects. It is organized around four pillars: Business, Organization, Data & Technology, and Lifecycle. The tool helps structure use cases, assess complexity and business value, and document the project journey from idea to deployment. The framework is publicly available - as a white paper on the Merantix website and as a Medium article - and is also shared with clients so they can learn to structure use cases independently.

Technology Stack: Open Source, Standardization, and Cloud

Merantix Labs deliberately relies on a combination of lean open-source components rather than proprietary all-in-one solutions. The stack includes MLflow, DVC, Kubernetes, and Seldon, all deployed on Google Cloud Platform. Terraform is used for infrastructure as code. Projects are set up using a proprietary template mechanism that automatically provisions project structure and configuration in just a few commands - ensuring every project starts reproducibly and with the same tooling. The philosophy: those with the necessary engineering expertise can extract more value from standardized open-source building blocks than from fixed managed-service stacks.

Cross-Functional Teams and the Key to Successful ML Projects

In Paul's experience, cross-functional teams are the decisive success factor for data science projects. A minimum team at Merantix Labs consists of two full-time engineers (including a lead engineer for quality assurance and code reviews) plus a project management role. Crucially, the team should not consist exclusively of data science experts: domain experts and process owners on the client side are equally important, so that the end result is not an unused Docker container but a machine learning system genuinely integrated into the workflow. As personal advice to his younger self, Paul Rupprecht names curiosity and enthusiasm as the most important qualities - both for success and for finding joy in one's work.

Key takeaways

  • Merantix is an AI-first venture builder that builds AI companies through the 'Entrepreneur in Residence' model, providing financial resources and an AI ecosystem - an alternative to traditional founding with a stronger safety net.
  • Merantix Labs operates in an industry-agnostic but technology-focused manner, translating current ML research into industrial applications - from strategic projects through to implementation and operations.
  • Collaborative filtering enables personalized product recommendations without extensive feature engineering at the product level, learning embeddings solely from customer-product interactions.
  • Connecting online and offline data is critical in many retail use cases: revenue is often generated in-store, while interaction data is collected online - a gap that must be actively closed.
  • Expectation management with client IT departments and domain experts is an underestimated but critical challenge in ML projects.
  • The AI Canvas (developed with the University of St. Gallen) structures AI projects along the pillars of Business, Organization, Data & Technology, and Lifecycle, and is publicly available.
  • Standardized open-source toolchains and project templates significantly reduce setup effort for new projects and ensure reproducibility.
  • Cross-functional teams - comprising domain experts, process owners, and ML engineers - are the most important success factor for data science projects.
  • According to Paul Rupprecht, enthusiasm and curiosity are the most important personal qualities for sustained success in professional life.

Conclusion

This episode illustrates compellingly that successful ML projects require far more than technical excellence: structured project management, targeted expectation management, cross-functional teams, and a willingness to actively connect offline and online data sources. Merantix Labs stands as an example of how a service provider systematically builds bridges between research and industrial application - with standardized processes, open-source tooling, and a proprietary framework for structuring use cases.

For Data Scientists & ML Engineers

Collaborative filtering as an approach that eliminates the need for feature engineering at the product level, along with the importance of MLOps standards and project templates, are practically relevant takeaways for day-to-day technical work.

For Project Managers & Leaders in AI Projects

According to Paul Rupprecht, weekly alignment meetings, early stakeholder alignment, and cross-functional team structures are the methodological levers that determine whether an ML project succeeds or fails.

For Career Starters & Those Interested in Career Development

The 'Entrepreneur in Residence' model at Merantix offers a little-known alternative to traditional founding - with financial backing and an AI ecosystem from day one. It is also worth exploring the publicly available AI Canvas as an entry point into structured AI project management.

Show full transcript

Speaker0: Ihr hört die Ihrem Podcast, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.

Speaker1: Heute zu Gast bei The Erium Podcast ist Paul Rupprecht. Er leitet als Senior Projektmanager das Team Machine Learning Projects and MLOps bei Merantix Momentum, einem Machine Learning Service Provider mit Sitz am AI Campus in Berlin, ehemals Merantix Labs GmbH. Paul Ruprecht arbeitet sowohl an strategischen sowie Implementierungsprojekten mit Kunden verschiedenster Industrien, vom Maschinenbau bis hin zum Versicherer. Bevor er begann, in der Schnittstellenfunktion zwischen Technologie und Business zu arbeiten, implementierte er selbst Data Science Pipelines mit dem Fokus auf das verarbeitende Gewerbe. Bei der Freudenberg FSt GmbH beschäftigte sich Paul Rupprecht mit den Themen Predictive Mantas, Predictive Quality und Computervision. Mit seinem produktionstechnischen Hintergrund stellte er schnell fest, dass crossfunktionale Teams den entscheidenden Erfolgsfaktor für Data Science Projekte bilden. Privat ist Paul Ruckbrecht begeisterter Taucher und Wanderer. Sowohl das Meer wie auch die Berge geben ihm privat Rückzug und bieten kreativen Schaffensraum.

Speaker2: Herzlich willkommen zu 1 neuen Folge von The Eriam Podcast. Mein Name ist Theo Steining und heute zu Gast Paul Druckrecht. Hi Paul, schön, dass Du da bist. Hallo Theo. Hi. Schön und danke, dass ich da sein darf. Wunderbar. Wir haben grad schon in der Vita einiges über dich erfahren. Möchtest Du da was hinzufügen oder war da alles dabei?

Speaker0: Ich bin eigentlich happy damit. Danke. Möchte nichts hinzufügen. Vielen Dank.

Speaker2: Wunderbar, wunderbar. Sehr, sehr cool. Ich muss gestehen, als wir uns angeguckt hatten, ob wir 'n Gespräch einfädeln wollen, war ich 'n bisschen ja erst mal beeindruckt von Merantix, Merantix Labs und was dieses Konstrukt genau ist. Vielleicht magst Du uns noch mal alle gemeinsam abholen und genau erklären, was einerseits Merantix als sozusagen Dachorganisation ist, wenn ich das richtig verstanden hab. Und auf der anderen Seite, was Merantix Labs genau macht, weil ich fand es sehr, sehr spannend, einfach zu sehen, dass es so was überhaupt gibt und denke, dass viele Zuhörer gar nicht dieses Konstrukt kennen von Merantix. Von daher bitte hol uns da mal direkt ab. Ja, super gerne.

Speaker0: Du es eigentlich schon ganz, ganz richtig analysiert. Merantix ist son bisschen die Dachorganisation von Merantix Labs. Merantix ist ein AI First Venture Builder mit dem Sitz in Berlin und hat das Ziel, KI fokussierte, KI basierte mehrheitlich Produktunternehmen wirklich nach und nach zu bauen. Immer mit Fokus auf KI, wie ich's grad schon sagte. Und Merantix Labs ist eben aus dieser Idee entstanden, ist allerdings zumindest, Stand heute, das einzige dienstleistungsbasierte Unternehmen mit dem KI Fokus, was aus Merantix entstanden ist. Sprich, wir bei Merantix Lab sind KI- oder Machine Learning Dienstleister für, ich sag eigentlich mal, alle Industrien. Wir arbeiten sehr industrieagnostisch, hingegen allerdings sehr technologiefokussiert, sprich unsere unser Leistungsspektrum klappert im Endeffekt alles ab, was mit KI zu tun hat, von strategischen Projekten bis hin zu den klassischen Implementierungsprojekten und dem Betrieb von Machine Learning. Cool.

Speaker2: Und wie kann ich mir das genau vorstellen? Ist Merantics eine Firma, die Firmen hochzieht, wenn Du sagst, wenn Du sagst, wenn Du sagst, wenn Du sagst, wenn Du sagst, wenn Du sagst, oder geh ich zu Merantics und sag, ich hab eine Idee, hier ist Geld, bitte baut für mich eine Firma. Wie läuft das?

Speaker0: Mhm. Mhm. Gute Frage. Also es ist weniger so, dass da Firmen hochgezogen werden, sondern bei Marantix gibt es die die sogenannte Rolle Entrepreneeur in Residence. Das bedeutet, man kann sich bewerben. Viele Leute haben schon eine Idee, die sich bewerben. Viele Leute haben noch gar keine konkrete Idee, wollen aber in diese in diese Rolle schlüpfen, sag ich jetzt mal. Und Marantix als Studio gibt dann quasi den ja, notwendigen Schaffensraum, auch finanzielle Mittel. Und das Wichtigste aber ist eigentlich das Ökosystem drumherum, sprich der AI Campus bei uns, dazu komm ich vielleicht gleich noch mal, wo eben dann ein ja, Entrepreneeur in Residence auch einfach davon profitiert, dass eben von Tag 1 an wirklich KI Expertise ihn oder sie herum ist.

Speaker2: Mhm. Und am Ende verbleibt dann die Firma sozusagen in Merantix oder gibt's dann so was wie eine, ja, Also sind das dann eigenständige zum Beispiel GMBHs, die dort rausgehen oder ist es dann letztlich doch wie eine Abteilung von Merantix?

Speaker0: Auch das wieder eine gute Frage. Das ist kommt immer son bisschen drauf an. Also wir bei Merantix Lab sind mittlerweile eine GMBH, sind allerdings noch Tochtergesellschaft von Merantix. Es gibt auch andere Fälle, beispielsweise ein 1 sehr erfolgreiches Unternehmen, was aus Merantix entstanden ist, ist das Unternehmen Sea Search. Die wurden mittlerweile von von scale AI gekauft. Also da gibt's sehr verschiedene Wege, wie sich das dann über die Zeit hinweg entwickelt.

Speaker2: Okay, also ich find's megaspannend, ja, weil sich das für mich so anhört wie, ja, Entrepreneur in Residence. Ich kann gestalten und was aufbauen, hab sozusagen die Vorteile von von der Gründung, gleichzeitig aber irgendwie den doppelten Boden von 'ner Dachorganisation, die mich unterstützt, eben mit Strukturen, mit Du hast auch die finanziellen Mitglieder erwähnt. Von daher sehr, sehr spannend. Also ich denke, wenn jemand Lust hat, in dem Bereich was zu machen, aber jetzt das Risiko von, ich spring komplett ins kalte Wasser und gründe selbst und ja, reiße alle Brücken hinter mir ab und steck jetzt alles in das Thema. Und wenn's nicht klappt, dann bin ich irgendwo am Arsch. Also dann sollte man sich vielleicht das noch mal genauer angucken, ob vielleicht sone Entrepreneuren Residence vielleicht ja dann bei Merantix auch auch infrage kommt. Echt spannend. Ich kannte nämlich das Konstrukt auch vorher nicht. Also für mich war damals, das stand das gar nicht zur zur Debatte. Da hieß es ja, okay, Gründen, dann voll rein, ja. Weil ich wenn ich dieses Konstrukt von von Entrepreneur in residenz gar nicht kannte. Ja, cool. Und noch mal jetzt genauer drauf geguckt, wir haben jetzt über Merantix gesprochen, aber Du bist ja bei Merantix Labs, also diesen Dienstleister für KI Lösungen. Magst Du uns da auch noch mal abholen, wie sieht ganz konkret dein Arbeitsumfeld aus? Wie sieht das Team aus, mit dem Du zusammenarbeitest, deine täglichen Aufgaben? Wir haben's auch in der Vita, in der in der Einführung schon gehört, Du hast jetzt nicht nur ein Thema, mit dem Du dich beschäftigst. Ja. Und in dem Kontext auch, wobei ich stell jetzt schon wieder zu viele Fragen, gibt's einen typischen Arbeitsalltag beispielsweise?

Speaker0: Alles klar. Ich glaub, ich konnte mir alle Fragen ganz gut merken. Typischer Arbeitsalltag vielleicht vorweggenommen, gibt es eigentlich nicht so wirklich. Es ist jeder Tag son bisschen anders. Ich glaub, das ist immer sone Standardfloskel. Es ist aber wirklich so, man hat son paar Meetings natürlich, die wirklich wie son Stand-up beispielsweise, wo sich das Team abholt. Woran wird gerade gearbeitet? Was sind die Blocker? Was kommt als Nächstes? Wer kann helfen et cetera? Das ist, glaub ich, so das Einzige, was wirklich so standardmäßig immer an einem Tag ist. Und ansonsten ist es wirklich sehr, sehr heterogen aufgebaut. Grundsätzlich arbeite ich jetzt in meiner Rolle auch grundsätzlich an sowohl internen Projekten als auch an externen Projekten, sprich an Kundenprojekten, was das Ganze dann wirklich sehr, sehr spannend und abwechslungsreich auch macht. Zum zum Aufbau von Merantics Labs vielleicht auch ganz kurz. Wir sind als Organisation, als Team 'n Team, was eigentlich sehr, sehr schnell wächst. Wir sind jetzt mittlerweile knapp 40 Leute und sind von 'ner sehr oder von 'ner Vogelperspektive aufgeteilt in 3 wesentliche Teams. Wir haben ein Researchteam, wir haben ein Engineeringteam und wir haben ein 1 Businessteam. Ich hol vielleicht mal ganz kurz aus, was das Ganze bedeutet und wie diese 3 Teams auch miteinander interagieren. Denn diese Interaktion dieser 3 Teams beschreibt auch son bisschen im Wesentlichen unseren unseren Charakter und unsere Mission eigentlich, die eigentlich bedeutet, dass wir wirklich Forschung in industrielle Anwendung bringen wollen. Wir wollen eben diese Brücke schlagen zwischen KI und Machine Learning ist wirklich nur 'n Forschungsthema und ist für die, die Experimente machen wollen. Wir wollen das hinter uns lassen und wir wollen wirklich das, was in der Forschung passiert, zum Kunden bringen, in Projekte bringen, sodass wirklich Mehrwert entsteht. Deswegen haben wir eben diese 3 Teams. Das Researchteam ist bei uns wirklich aktiv in verschiedenen Konsortia, ja, verteilt beziehungsweise arbeitet an verschiedenen Projekten in verschiedenen Industrien, treibt aber auch eigenen Research voran, eben immer mit Fokus auf Machine Learning. Dann macht unser Engineering Team, es besteht aus, wie's der Name des Teams schon sagt, aus verschiedenen Ingenieuren, Ingenieurinnen, Data Scientisten, Computer Vision engineers, Natural Language processing engineers. Und dieses Team ist eben im Wesentlichen für unseren internen Toolstag verantwortlich, baut da nach und nach unser Tooling auf und ist aber auch im Wesentlichen in Project Delivery für Kleinprojekte eben involviert. Und da kommt dann auch unser unser Businessteam quasi ins Spiel, wo ich auch Teil dieses Teams bin. Ich leite da eben, wie anfangs schon gesagt wurde, das Team Machine Learning Projects und verantwortet den Bereich Machine Learning Operations eben von der Businessperspektive. Und wir als Businessteam betreuen eben verschiedene Kundenprojekte im Wesentlichen. Wir treiben natürlich das ein oder andere Sales- und Business Development Thema auch voran, aber im Wesentlichen und der Kern dessen, was wir tun, ist eben das Projektmanagement von datengetriebenen KI Projekten zusammen mit unseren Engineers.

Speaker2: Hast Du da Beispiele, die Du da nennen darfst? Häufig darf man ja gar nicht so tief in die Details einsteigen, zwecks der oder aufgrund der der Geheimhaltungsvereinbarungen, aber vielleicht gibt's ja da ein, 2 Themen, die Du genauer erklären könntest, an welchen Themen Du praktisch vielleicht auch in letzter Zeit gearbeitet hast.

Speaker0: Absolut. Also Geheimhaltungsvereinbarung ist natürlich immer mein Punkt. Muss aufpassen etwas, was ich sage, aber dafür bin ich ja auch hier. Ich soll ja hier heute auch 'n bisschen was sagen und deswegen natürlich, wir können da 'n bisschen drüber sprechen. Aktuell sind's zahlreiche Projekte, die eigentlich parallel laufen. Vielleicht noch mal einen Schritt zurück. Es ist grundsätzlich bei uns so, dass ein Projektmanager oder eine Projektmanagerin in der Regel an mehreren Projekten gleichzeitig arbeitet und wir aber versuchen, unsere Engineering Power wirklich zu kondensieren. Sprich, wir haben immer mindestens 2 Engineers, die an einem Projekt arbeiten und dann aber Vollzeit. Also wir Mhm. Waren nicht diese Strategie, dass ein 1 NLP Engineer auf 3 Hochzeiten gleichzeitig tanzt. Wir wollen unsere Projekte möglichst schnell, möglichst kondensiert und mit möglichst klarem Fokus durchführen. Und jetzt noch mal zu den Beispielen, überleg grade, ich glaube, 'n ganz spannendes Projekt, woran wir aktuell arbeiten, ist 'n Projekt im Retailbereich. Geht's einen Retailer, der Konsumgüter verkauft über verschiedene Channels. Es gibt Onlineshops, also über die Website, die von Kunden sehr stark genutzt wird. Es gibt aber auch wesentlich oder ein wesentlicher Umsatztreiber dieses Kunden von uns ist aber auch wirklich noch die die Offline Welt. Sind verteilt über Deutschland ungefähr 100 verschiedene Shops, wo wo deren Produkte verkauft werden. Und es ist ungefähr jetzt son halbes Jahr, Dreivierteljahr her, wo wir in die ersten Gespräche gegangen sind, da ging es darum, dass der Kunde zu uns gesagt hat, ich möchte meinen meinen Vertrieb verbessern. Ich möchte irgendwie meine Daten, die ich an vielen verschiedenen Punkten erhebe, dafür nutzen, wirklich meine Umsatzzahlen zu steigern. Und es ist dann sehr schnell in eine Projektidee gemünzt worden, wo wir gesagt haben, was passiert eigentlich, wenn wir die Interaktion zwischen Kunden und den jeweiligen Produkten sowohl in der Online- als auch in der Offline Welt versuchen, zentral zu aggregieren? Das passiert bei uns in der Cloud. Und wenn wir mit dieser aggregierten Datenbasis dann versuchen, Modelle zu trainieren, die für jeden einzelnen Kunden, für jede einzelne Kundin entsprechende Produkte empfehlen und die dann wiederum über verschiedene Channel ausgespielt werden können. Also über die Website, über den Newsletter unseres Kunden oder dann eben auch direkt in den in den Offline Shops vor Ort.

Speaker2: Das heißt, das zu verstehen, ich bin da nicht so tief in der Branche drin, aber ich seh auf jeden Fall vom vertrieblichen Aufwand her, ich muss ja erst mal einen Store oder einen Supermarkt oder ich weiß nicht, wie exklusiv das Produktportfolio da ist, ja, aber ich muss ja erst mal meinen meinen Händler vor Ort überzeugen, dass er mein mein Produkt oder mein meine Produktpalette listet. Mhm. Und dann muss ich natürlich auch den Kunden davon überzeugen, dass nach dem oder während ich in dem Laden bin, auch dann dieses Produkt auswähle und euer Produkt zielt oder das Projekt zielt auf Weiteres ab, richtig? Also es geht jetzt nicht das Überzeugen von von zusätzlichen Stores, sondern die die die Kaufwahrscheinlichkeit beim beim Endkunden anzuerhöhen. Eine Frage, die ich die mir da grad gekommen ist, während Du das erklärt hast, ist, was bedeutet Interaktion des Kunden mit dem Produkt? Also bei einem Onlineshop kann ich mir da so was vorstellen wie, wurde angeklickt, so und so viele Sekunden wurde der Text gelesen, vielleicht auch Recuring Klicks, dass man sich's irgendwie 3 Tage in Folge immer wieder anguckt. Ja, ist wahrscheinlich dann eher bei so hochpreisigen Dingen, wo man sich's dann noch mal genauer überlegt. Da kann ich mir was drunter vorstellen, aber gibt's es auch in der Offlinewelt? Oder ist das ist die ist die Offline Variante dann nur sozusagen der rezipient der Ergebnisse der Analyse? Mhm.

Speaker0: Gute Frage. Also grundsätzlich hast Du's in der Onlinelegenwelt schon sehr richtig analysiert. Es geht da Klicks, es geht da virtuelle Anproben, es geht da das Produkt, es geht da das Legen 1 Produkts in den Warenkorb. Es geht darum, ob online eine Reservierung vorgenommen wurde, ob dieses, es gibt sogenannte Image Carouscause auf der Website des Kunden. Sprich, das sind Interaktionen, die dann eine bestimmte ID auf der Website tätigt. Und die versuchen wir wirklich über, ja, Google Analytics direkt in unsere Google Cloud Plattform zu zu streamen. Und gleichzeitig gibt's ähnliche Pandons aber auch in der Offline Welt. Also beispielsweise der das stärkste positive Signal in der Offline Welt ist natürlich der Kauf. Also ein Kauf ist eine Interaktion, wo ein Kunde oder eine Kundin sehr deutlich sagt, das ist etwas, was mir gefällt. Es gibt aber auch in der in der Offlinewelt, Entschuldigung, sogenannte Reservierungen. Es gibt bestimmte Kundenberatungen, beziehungsweise wenn ein Kunde, eine Kundin im Shop beraten wird, wissen die beratenden Operator im Shop ja, okay, er hat jetzt oder sie hat jetzt zwar diese Brille gekauft, allerdings waren diese 2 Brillen auch interessant. Die hätten also fast zu einem Kauf geführt. Jetzt hab ich verraten, es geht Brillen. Das ist an der Stelle auch gar nicht so gar nicht so schlimm. Aber genau, das vielleicht noch zur Erklärung an der für für die Offlinewelt. Also auch hier gibt es diese Interaktionen zwischen verschiedenen Produkten, in dem Fall Brillen und dem jeweiligen Kunden, des Kunden von uns, genau.

Speaker2: Ich find das Beispiel total spannend aufgrund oder an verschiedenen Stellen. Vielleicht kannst Du noch mal 'n paar Details mehr verraten, ohne dass wir noch mehr rausfinden müssen, wen's dich sand. Und zwar einmal das Thema Onlineshopoptimierung, wie tief seid ihr da dann tatsächlich in die jeweilige, in das jeweilige spezifische Produkt eingestiegen? Weil was ich halt kenne, das sind so so Geschichten wie, ja, wir optimieren dir die Positionierung von einem Warenkorb Button. Also so total produktagnostisch, ob das jetzt eine Brille, 'n Joghurtbecher oder 'n Auto ist, das wär völlig egal. Vielleicht, wahrscheinlich müsst man rausfinden, ja. Aber aber da da geht's sozusagen nur diese reine Shopmechanik. Auf der anderen Seite kann ich ja beliebig tief einsteigen. Was war da die nötige Flughöhe bei euch? Wie tief musstet ihr auch verstehen? Was macht eigentlich dieses Produkt aus? Also was sind vielleicht auch die die entscheidenden Kernattribute? Ich frag deswegen, weil wir halt oft festgestellt haben, na ja, wir landen gern auch mal in soner Ganz oder Gar Nicht Variante. Und das Ganze sieht dann so aus, dass Du dich halt in Tausende Attribute einarbeiten musst. Mhm. Ja, und die erst mal durchgraben. Und von daher würd würd mich da an der Stelle interessieren, musste die euch da für eine Variante entscheiden oder gab's quasi einen Mittelweg, den ihr gehen konntet?

Speaker0: Also ich, was ich hör, sind 2 Fragen auf jeden Fall von dir. Die 1. Frage ist quasi, wie tief sind wir dann auch wirklich in die in die Visualisierung unserer Ergebnisse? Auf der Website beispielsweise, wie wie tief sind wir da wirklich ja eingegangen oder wie viel haben wir da selbst übernommen? Grundsätzlich, die Art und Weise, wie wir bei Merantix Labs arbeiten, ist oder basiert darauf, dass wir KI als Werkzeug verstehen, ja. Also wir arbeiten natürlich auch mit vielen Partnern zusammen. Und in diesem speziellen Projekt war's eben so, dass alles, was wir geliefert haben, letztendlich war wirklich eine oder eine Liste an Produktenempfehlungen für eine bestimmte ID, also einen Kunden oder eine Kundin. Und diese diese Liste pro Kunde, pro Kundin spielen wir eben zurück an beispielsweise in diesem Fall den den Webshop. Und wir haben dann mit 'nem Partner zusammengearbeitet, der dann letztendlich die Visualisierung im Frontend übernimmt. Also das ist etwas, was wir in dem Falle nicht übernommen haben. Mhm. Und jetzt hast Du auch, ich ich glaube, Du wolltest mit deinem zweiten Punkt son bisschen auf die das Thema Domänen Wissen anspielen, wenn ich das richtig wahrgenommen habe. Ja, Domain Wissen Feature Engineering, genau. Ja, ganz genau, ganz genau. Also es ist sehr wichtig. Beispielsweise der der Ansatz, den wir jetzt in diesem Projekt fahren, der basiert auf auf Collaborative Filtering. Ja, das ist 'n Ansatz, wo man eben diese Interaktionen zwischen Produkt und Kunde oder Kundin eben sich zunutze macht. Und grundsätzlich, was man dafür als Input braucht in der Regel, sind eigentlich Ratings. Das ist Man kennt das eigentlich von Netflix, die machen das ähnlich, wo man beispielsweise relativ schnell immer weiß, okay, Daumen hoch, Daumen runter et cetera. Diese Ratings, die mussten wir uns natürlich erst erarbeiten, sag ich jetzt mal. Und da kommt natürlich das Domainwissen mit ins Spiel, denn die Domäne hat uns an der Stelle mitgeholfen, zu bewerten, welche Events sind denn eigentlich wie zu gewichten? Was ist denn eigentlich oder was führt denn eigentlich eher zu einem Kauf? Ist es die virtuelle Anprobe oder ist es die Reservierung? Und dieses Domainwissen machen wir uns auch in diesem Projekt zunutze, weil wir dann eben Heuristiken gebaut haben, die bestimmte Interaktionen zwischen Onlineshoop Optimierung, Kunde und Produkt in eine Bewertung für diese für diese Relationship quasi herbeiführen. Also ist ganz wichtig da an der Stelle auch dieses Domainwissen, die er baut haben, bestimmte Interaktionen zwischen lassen, die auch wirklich den Prozess letztendlich verstehen.

Speaker2: Und wie sehr musst Du dir auch einsteigen, das Produkt als solches zu zu richtig zu attributieren? Ich kann mir vorstellen, sone Brille kann man wahrscheinlich beliebig komplex beschreiben.

Speaker0: Mhm. Und

Speaker2: wenn ich mich jetzt spontan in diesen Use Case reindenke, dann na ja, fallen mir so Dinge ein wie vielleicht gibt's Klassen von von Brillenformen, ja, ist als Glas Glasformen. Es gibt natürlich die Farbe, es gibt das Material mit Rahmen ohne Rahmen. Aber allein das wird mich jetzt schon dazu bringen, dass ich mich wahrscheinlich total verzettele und dann am Ende wahrscheinlich auch bei Kategorien rauskomme, die gar nicht richtig abbilden, was eine 1 Kundenpräferenz widerspiegelt. Also mir zum Beispiel, ich find's praktisch, wenn wenn wenn wenn der Rahmen nicht über das Glas drüber geht, weil man dann die Gläser besser sauber machen kann, ja. Also das ist mir sehr, sehr wichtig. Was mir aber eher unwichtig ist, wär jetzt zum Beispiel die Glasform oder das Material. Und wenn ich jetzt natürlich featur Engineering betreibe in in solchen Kategorien und sich dann aber am Ende rausstellen, ja, eigentlich ist es allen total Wurst und es ist was ganz was anderes, die Form der Nasenpads oder weiß der Teufel, ja? Und ich übersehe das in meinem Feature engineering hab ich natürlich verloren. Und wie wie habt ihr das gemacht, dass ihr eben da nicht in dieser Sackgasse landet? Features zu bauen, die niemanden interessieren und die wesentlichen Dinge da aber zu übersehen? Mhm.

Speaker0: Es ist primär Frage. Also das haben wir uns ganz am Anfang des auch die Frage gestellt. Und der Ansatz, den wir jetzt letztendlich gewählt haben, der vermeidet eigentlich, dass wir uns darüber Gedanken machen müssen. Weil was wir letztendlich machen, ist, nachdem wir diese, ich versuch's jetzt einfach mal bildlich darzustellen, zwei-d- Matrix bilden, wo wir in Zeile beispielsweise die Produkte haben in der in den Spalten, die die die Kunden oder die Kundinnen. Was wir nach unseren Interaktionen und nach unseren Heuristiken haben, sind eben diese Quantifizierungen der Ratings. Wir haben eine Matrix, die sehr viele Lehrstellen hat, die aber auch eine bestimmte Anzahl an Ratings zwischen verschiedenen Verbindungen zwischen Kunde und Produkt hat. Es heißt, wir nutzen diese Matrix, sogenannte zu lernen, sowohl für die Produkte als auch für die Kunden und Kundinnen. Und der Trick des Collaborative Filtering Ansatzes ist dann eben, nachdem wir das gelernt haben anhand dieser Spars Matrix und wir diese im baddings eben erhalten, können wir die im Nachgang in Inflorenz quasi wieder zusammenführen. Und diese Matrix hat eben keine Leerstellen mehr. Und wir können quasi die die Bewertung von bestimmten Kunden, Kundinnen zu einem Produkt bewerten oder ja, abstrahieren, ohne dass wir eigentlich jemals eine Interaktion hier hatten. Das heißt, wir gehen eigentlich gar nicht direkt über die Features 1 Produktes, sondern wir lernen wirklich nur aus der Gesamtheit der Interaktionen aller aller Nutzer und aller Nutzerinnen.

Speaker2: Das heißt, bei dem geht's da drum, in diese Sparsmetrix wie Cluster zu zu finden durch Umsortieren der der Spalten und Zeilen. Wie kann ich mir das vorstellen?

Speaker0: Mhm. Mhm. Also wir müssen's uns so vorstellen, wir haben eine 2 d, wir haben eine Matrix, Zeilen mal Spalten. Und wir haben wahrscheinlich, sagen wir einfach mal, 100000 Felder, von denen sind 5000 ausgefüllt. Das sind quasi diese Interaktionen, die wir vorher über die verschiedenen Kanäle gesammelt haben. Das Ziel ist jetzt eigentlich am Ende, eine Matrix zu haben, wo von den 100000 Feldern 100000 ausgeführt sind. Mhm. Jetzt ist die Frage, wie macht man das? Und der Trainingsprozess beim Collaborative Filtering versucht eben, anhand der Matrix zu lernen, wie einzelne Produkte und Kunden, also Nutzer repräsentiert werden können anhand der Interaktionen, die eben zur Verfügung stehen. Und wenn ich diese gelernten im dann im Nachgang wieder zusammenführe durch Skalarmultiplikation, dann ist eben der Trick beim Collaborative Filtering, dass ich keine Lehrstellen mehr in der Matrix habe. Ich hoffe, ich hab das halbwegs verständlich erklärt. Das ist eigentlich die Magie, die dahintersteckt.

Speaker2: Cool. Also mir mir mir passt's an der Stelle. Ich denke, wir sollten in die show notes den entsprechenden link mit den backgroundinformationen reinpacken ich schreib mir das kurz auf sehr gerne ja ja weil es natürlich schon mächtiger mächtiger ansatz ist wenn du darüber auch aufgrund der datenstruktur die das struktur die das Feature engineering einfach sparen kannst ja weil dort halt oftmals das kind schon mal in den brunnenfeld und die 2. Frage die ich hatte war folgende du hast vorhin erwähnt grad dass ihr die Information auch nutzen könnt oder dass ihr das tut, wenn sich jemand im im im Store für ein gewisses Produkt interessiert hat, auch wenn es dann nicht gekauft hat oder wenn's nicht gekauft wurde am Ende. Und da stellt sich mir sofort die frage wie kommt ihr zu dieser information also ganz ganz ganz pragmatisch habt ihr den leuten dann noch mal irgendwie eine smartphone app in die hand gedrückt super hässlich super schnell deployed aber mit 'nem Feedback Button, okay, das ist die Brille, Barcode Scanner, Like, Dislike oder wie wie wie macht sie das? Ja, weil weil klar, dass die Information wertvoll ist, ist wahrscheinlich nach ein, 2 Gesprächen naheliegend, aber irgendwie muss ich auch dazu kommen und vor allem in der Breite der Stores dazu kommen. Mhm, mhm. Du redest jetzt quasi von den Interaktionen, die im in den Offline In Offline Stores. Offline Stores. Ja, ja, genau, genau, genau. Weil das sich online gut tracken kann, das ist mir klar, ja. Aber wie wie wie komm ich in in die in die in die Offline Stores rein, ohne dass die Leute total, also die Angestellten total genervt auch sind, weil sie jetzt auf einmal doppelt so viel Arbeit haben, irgendwelche Listen auszufüllen?

Speaker0: Mhm. Mhm. Also ist 'n super Punkt. Freu mich auch, dass Du das fragst, weil das ist etwas, was im Laufe des Projektes als notwendige Maßnahme für zukünftige Datenakquirierungen quasi festgestellt wurde. Mhm. Das heißt, wir haben festgestellt, dass es eben, als wir im Rahmen der explorativen Datenanalyse uns angeguckt haben, okay, wo passiert eigentlich der Umsatz? Das ist zu 95 Prozent in den Shops, also offline. Mhm. Wo passieren aber eigentlich die Interaktionen? Das ist zu 99 Prozent auf der Website. Ach krass. So, jetzt haben wir da eine gewisse Unbalance. Und da mussten wir uns natürlich überlegen, wie treten wir dem entgegen? Mhm. Und wir haben dann uns als Erstes überlegt, ja, wie können wir's eigentlich schaffen, diese wertvollen Offline Shop Interaktionen wirklich auch strukturiert als Daten zu sammeln. Und es wird jetzt grade umgesetzt, dass quasi die Shopmitarbeiter und Mitarbeiterinnen, dass die auf ihren Tablets einfach über ihre Eingabemaske, die mit der Datenbank verbunden ist, die wiederum die Daten in unsere Cloud spiegelt, angeben können, okay, wenn dieses Item gekauft wurde, gab es vielleicht noch Item 2 oder 3, was an der Stelle auch noch interessant war für den Kunden oder für die Kundin. Und das ist eine superwertvolle Information für uns. Das ist wahrscheinlich sogar eine wertvollere Information als jedes Event auf der Website. Mhm, mhm. Mhm.

Speaker2: Ja klar, wenn der wenn der Umsatz dann in den Stores gemacht wird und ich find das auch megaspannend, ja. Und und und wenn ich jetzt mal so zurückdenke, ganz viele Bereiche, auch ich nehm an, dass das das wird genauso sein, Stichwort Musikinstrumente. Ja, ich guck mir natürlich online ganz viel an und stundenlang an, aber ob's dann das oder das oder das wird, das das quasi dieses letzte Prozent, ja, das muss ich dann noch mal wirklich vor Ort dann entscheiden. Ja, mega, mega, mega. War mir aber so bisher gar nicht bewusst. Krass. Und habt ihr's hingekriegt oder ist es vielleicht erst noch auf der Roadmap für die Zukunft, dass die die die die offline Store Mitarbeiterinnen auch was davon haben? Also profitieren die auch schon von dem Recommender System? Weil irgendwo muss ich denen ja eine Karotte hinhalten oder, damit die den den den Aufwand auch mitgehen, dort die Daten zurückzuspiegeln.

Speaker0: Mhm, mhm. Also wir sind jetzt grade in dem Projekt, ist ja 'n laufendes Projekt, aber das ist jetzt bald quasi abgeschlossen dabei, gewisse End to End Tests durchzuführen. Das heißt, wir spielen jetzt aktuell über die verschiedenen Kanäle. Die Empfehlungen, die unsere Blackbox, nenn ich's jetzt einfach mal, zurückgibt, die spielen wir grade über die verschiedenen Channels zurück, sprich über den Newsletter, über die Website und in die Stores, also in die Offlinewelt. Und wir versuchen natürlich jetzt schon zu gucken, funktioniert das Ganze? Dazu haben wir jetzt verschiedene Möglichkeiten. Einerseits ist es so, dass wir grade in der Onlinewelt neben unserer eigentlichen Vorhersage, also dieses Produkt für diese Kundin auch eine zurückspielen. Das bedeutet, wir wissen bei jedem Klick, bei jedem Scroll oder bei jedem in den Warenkorb gelegt immer, wir das eigentlich vorher empfohlen, ja oder nein? Mhm. So falls jetzt in der in der Onlinewelt. In der Offlinewelt ist es jetzt so, dass wir in Kürze mit den Store Mitarbeiter und Mitarbeiterinnen, den User versuchen, mit zu integrieren natürlich und versuchen, deren Feedback einzusammeln. Also einfach sehen, wird das, was wir vorschlagen, angenommen, ja oder nein? Also natürlich sollte man es langfristig in den in den Umsatzzahlen sehen. Es ist natürlich die der KPI, der dann am Ende den Geldgeber beziehungsweise die Geldgeberin interessiert. Aber wir wollen natürlich zusätzlich schon mal jetzt son son gewisses Sentiment haben, funktioniert das Ganze? Und zusätzlich dazu haben wir unserem Kunden jetzt noch eine weitere Möglichkeit bereitgestellt, eben zu prüfen, ob diese Recommendations, die wir wirklich ausspielen, ob die Sinn machen. Wir haben da für verschiedene Modellversionen einfach eine relativ einfaches Frontend gebaut, wo man sich eine Modellversion auswählen kann, beispielsweise einen Random Kunden selektieren kann, wo dann einfach auf der linken Seite die letzten Interaktionen visualisiert werden und auf der rechten Seite Übrigens, das aktuell deployday Modell würde diese 5 Brillen vor vorhersagen, macht das Sinn. Und das ist eigentlich was, was jetzt gar nicht so in dieses klassische Deep Learning oder in die die in die Entwicklung der Algorithmen mit reinzählt. Aber das ist wirklich eine super eine super Technik, einfach dem Kunden eine Möglichkeit zu geben, das, was wir wirklich dann letztendlich entwickelt haben, auch selbst validieren zu können. Mhm. Mega.

Speaker2: Mega. Und wenn Du das Projekt, Du hast ja grade erwähnt, ihr habt es ja noch nicht abgeschlossen, aber es ist schon recht weit fortgeschritten, wenn Du das noch mal Revue passieren lässt. Jetzt ist ja 'n Machine Learning Data Science Projekt an sich schon nicht einfach, ja weil weil viele dinge berücksichtigen muss und jetzt kommt bei euch noch das mit dazu dass offline und onlinineszenario miteinander verheiratet werden muss und dann eine stimmige gesamtgeschichte draus gestrickt werden muss Vor vor dem Hintergrund dieser dieser ganzen Bereiche und dann nehm ich jetzt, ich ich nenne jetzt noch nicht mal ganz explizit Software Engineering m l ops et cetera, c 3 c 3 c 3 c 3. Wenn Du da zurückblickst, gab's da 'n signifikantes Obstdeckel, über das er erst drüber musstet, ja? Gab's da gab's da son Punkt, wo Du's auch vielleicht dann meintest, jetzt wird's noch mal knapp. Was war da die größte Herausforderung in dem Projekt?

Speaker0: Die größte Herausforderung ist eine ist eine gute Frage. Ich glaub, die größte Herausforderung in dem Projekt besteht darin, dass die IT unseres Kunden, also die haben natürlich eine IT, die aber sehr beschäftigt ist mit dem operativen Geschäft in den jeweiligen Stores, dass diese IT- und auch die die Domainexperten eigentlich relativ wenig über die Möglichkeiten und die Limitationen von Machine Learning wissen. Das heißt, es war schon eine kontinuierliche Herausforderung, immer wieder abzugleichen. Übrigens, wenn wir diesen Weg einschlagen jetzt die nächsten 2 Wochen, das sind die Limitationen, das können wir erwarten. So funktioniert das Ganze, sprich, 'nem Schlagwort Expectation Management war das auf jeden Fall eine Herausforderung. Und ansonsten, ich hatt's ja vorher schon angedeutet, aus 'ner daten- und technologischen Perspektive war auf jeden Fall diese dieses unausgewogene oder dieser unausgewogene Datensatz eine Herausforderung, der wir dann eben mit verschiedenen Maßnahmen entgegentreten mussten.

Speaker2: Na ja, letztlich dann ja Co Creatorship etablieren, oder? Die Leute da abzuholen, die, die auch ja im Sinne des Managements nicht irgendwie glauben zu lassen, dass dass dass das System jetzt aufgesetzt wird, einmal trainiert wird und dann dann funktioniert's auch perfekt beispielsweise. Ist ganz witzig, uns ist es auch wirklich mal wortwörtlich so entgegnet worden. Warum stellt die alte Fragen? Ich dachte, der Algorithmus lernt das alles aus den Daten. Nein, so läuft's ja doch nicht ganz. Also ich ich ich kann das absolut nachvollziehen, ist bei uns dann nicht anders. Wie habt ihr das ganz, ganz operativ gemacht? Also habt ihr euch mit den Leuten in 'nem Workshop zusammengesetzt? Ich kann mir nicht vorstellen, dass die da tagelang dafür Zeit haben, ja. Die die die haben ja ihr ihr ihren primären Job.

Speaker0: Also wir haben wir hatten tatsächlich mit diesem Kunden, mit diesen speziellen Kunden 2 Workshops zu zu beginnen, einfach diese User Stories son bisschen zu definieren, zu gucken, okay, für welchen Kunden, für welche Kundin wollen wir eigentlich auf welcher Plattform Empfehlungen ausspielen? Also einfach, zu verstehen, was wirklich, ich nenn's jetzt mal, das Problem ist und wofür wir eine Lösung finden wollen. Und grundsätzlich ist es grade mit Blick auf dieses Expectation Management in diesem Projekt einfach sehr wichtig, dass wir wöchentliche Abstimmungstermine haben. Und das hatten wir gesehen, dass das grade in diesem Projekt auch sehr, sehr hilfreich war. Das war auf jeden Fall, ich würde mal sagen, 'n methodisches Werkzeug, dieses Projekt zum Erfolg zu führen. Und Richtung Management des Kunden, oder? Absolut, ja. Ja, ganz normal. Ja, ja, ja.

Speaker2: Und jetzt in Hinblick auf die anderen Stakeholder okay ich hab das management des kunden mit drin passt ja ich gehe mit denen das mit denen den den Workshop durch wahrscheinlich business anders standing auch auszutauschen und dem business case zu formen okay Wie sieht's aus mit den Domänenxperten, sprich auch den Store Mitarbeitern und den IT Mitarbeitern des Kunden? Wie wie wie habt ihr die eingefangen? Weil da da da fangen häufig ja die Probleme dran an, ja. Das ist auch dann heißt, na ja, ich hab jetzt keine Zeitgriffe und sind 4 Wochen. Ja, nee, das Print geht jetzt die nächsten 2 Wochen et cetera, et cetera, et cetera.

Speaker0: Mhm. Also in in diesem Projekt war's wirklich so, dass der der der beziehungsweise der Projekt Owner seitens des Kunden tatsächlich ein Domanexperte eigentlich war. Also es ist ein Optiker. Das war in dem Falle sehr, sehr hilfreich. Mhm. Und auch die IT des Kunden ist zwar eine sehr kleine Mannschaft, aber die hatte auch von Anfang an eigentlich so dieses, das ist in dem Falle wirklich Glück für uns gewesen, waren sehr aufgeschlossen. Und die haben gesagt, hey, das ist cool, wenn wir das wenn wir das zusammen machen. Wir haben keine Kapazität, ihr könnt das für uns machen. Die einzige Anforderung für uns ist, dass wir am Ende wirklich auch in der Lage sind, zu verstehen, was ihr uns dahingestellt habt. Und dass wir auch wirklich nachvollziehen können, was passiert da eigentlich? Wo läuft das Ganze et cetera? Mhm,

Speaker2: mhm. Und welche Tools habt ihr dazu eingesetzt? Waren es Myroballs mit Canvases, da zu kommunizieren oder 'n plane Word Dokument, wo alle reingeschrieben haben?

Speaker0: Mhm. Also wir haben mit diesem Kunden ganz, ganz pragmatisch 'n 'n 'n Board. Wir teilen uns da eine Projektmanagementplattform zusammen mit dem Kunden und das funktioniert super. Da hat jeder Zugriff, da kann jeder kommentieren, da kann jeder Tickets schreiben, da kann jeder sagen, wir haben hier ein Problem. Und dann im einmal in der Woche gibt's eben einfach son Weekly Dokument, wo wir uns dann wirklich wieder abstimmen und gucken, was steht jetzt eigentlich an für die nächste Woche? Was waren die Erfolge der letzten Woche und wie sehen grundsätzlich die nächsten 4 Wochen beispielsweise aus? Mhm.

Speaker2: Ja. Alles nur kein E-Mail, würd ich sagen, ja. Nein, das haben wir nicht gemacht. Tatsächlich, ja. Sehr gut, sehr gut. Total spannende Use Case. Paul, ich ich find es megaspannend. Ich find's auch cool, wie ihr diesen Use Case von den verschiedenen Perspektiven durchdrungen habt. Lass uns noch mal kurz zurück zu deiner Person gehen. Wir haben jetzt schon vorhin über Algorithmus unterhalten. Ganz generell die Frage, gibt's denn einen Lieblingsalgorithmus, den Du vielleicht seit Jahren und auch meinetwegen vor deiner Zeit im Machine Learning schon hattest? Also muss kein m l algorithmus sein, kann irgendwas sein. Ah, okay, okay. Ja, das das bietet mir eine ganz neue neue Möglichkeiten zur Beantwortung der Frage. Nein, Spaß beiseite. Ich ich

Speaker0: muss ganz ehrlich gestehen, ich glaub, ich habe keinen richtigen Lieblingsalgorithmus. Ich bin ja grundsätzlich der Meinung, dass auch jeder Algorithmus oder dass man Machine Learning eigentlich eher aus der Perspektive sehen muss, dass es verschiedene Algorithmen geben kann und dass man für eine für ein bestimmtes Problem immer die richtige Lösung oder das das richtige Tool finden muss letztendlich. Was ich persönlich aber vom Konzept als Algorithmus sehr spannend und finde, was mich auch irgendwie nachhaltig immer son bisschen beeindruckt, ist das Konzept des Auto Encoders. Einfach zu lernen, bestimmten Input zu zu komprimieren auf den niederdimensionalen Raum und dann wieder zu dekomprimieren und am Ende zu gucken, okay, wie groß ist der Fehler zwischen Ausgabe und Eingabe und im Modelltraining einfach versucht, diesen Fehler zu minimieren. Ich find, das das Konzept ist son bisschen anders als die meisten Machine Learning Algorithmen, ich sag jetzt mal, denken. Deswegen find ich das ganz spannend, aber ich würd jetzt nicht sagen, dass es das mein dass das mein Lieblingsalgorithmus ist.

Speaker2: All right. Und vielleicht magst Du uns Einblick geben in deinen Technologiesteck, auch deinen ganz persönlichen Technologiesteck. Warum frag ich das? Weil die Bandbreite ja mittlerweile auch gigantisch ist, ja. Ich kann entweder alles noch manuell in Python Coden mit Notepad plus plus, ja und okay, ja? Oder ich kann in die fetteste MLOps Pipeline reingehen und mich erst mal 3 Wochen damit beschäftigen, alle Bausteine perfekt aufzusetzen und eine und der MLOps Pipeline aufzubauen, ohne eine Zeile oder eine Minute sinnvolle sinnvolle inhaltliche Arbeit getan zu haben. Und da würde mich interessieren, vor allem aufgrund deines Backgrounds in MLOps, ja, nachdem es ja auch dein Business ist, was ist für dich da 'n 'n sweet Spot zwischen na ja, man macht's ordentlich und man bleibt aber trotzdem auch effektiv mit dem, was man tut?

Speaker0: Mhm. Also bezüglich des des Technologiestacks, da glaub ich, muss man jetzt ganz klar unterscheiden, auch mit Blick auf meine Rolle, Mhm. Was ich als Technologiestack habe und was ich auch quasi von meinen Engineers erwarte und was unsere Engineers nutzen. Also wenn ich quasi schnelle ja, IDAs mache, schnelle Analysen fahre auf Kundendaten, was was hin und wieder passiert, dann arbeite ich in der Regel mit Jupiter Notebooks, also Python, und versuchen mir da möglichst schnell irgendwelche Erkenntnisse aus den Fingern zu saugen, möcht ich fast sagen. Das ist bei unseren Engineers in der Regel auch 'n erster Schritt. Mhm. Allerdings ist es natürlich da schon etwas mehr, würd ich sagen. Also grundsätzlich, man muss verstehen bei Merantix Labs, ich hatt's anfangs erwähnt, wir sind eine projektbasierte Company, sprich, jeder neue Kunde bedeutet ein neues Projekt, ja? Und wir wollen natürlich vermeiden, dass wir jedes Mal von Scratch anfangen. Mhm. Wir wollen natürlich vermeiden, dass wir jedes Projekt, es aufzusetzen, Cloud zu konfigurieren, Kubernetes zu konfigurieren et cetera, dass wir da wirklich tagelang brauchen. Deswegen ist, und Du hast es schon angesprochen, unser MLOPS Team hat sich quasi der Sache gewidmet und hat Tooling, Standards, Prozesse aufgesetzt, dass wir hier wirklich Standards haben, die auch alle Teams nutzen, ja. Ob das jetzt 'n Computervision Projekt ist, ob das ein NLP Projekt ist, ob das 'n klassisches Data Science Projekt ist. Und das garantiert uns eben einfach, dass erstens jedes Projekt erst mal gleich aufgebaut ist, dass das Ganze reproduzierbar ist und dass das Ganze wirklich schnell von dem Projektstart wirklich in ein Environment kommt, wo dann alle Engineers, auch alle Tools und alle Möglichkeiten haben, die sie dann eben für die Projektumsetzung brauchen. Grundsätzlich vielleicht an der Stelle, weil ich glaube, Du möchtest, dass ich noch 'n bisschen tiefer reingehen in den Tax Stack. Grundsätzlich bei uns Marantic sich hier. Sehr, sehr gerne. Sehr, sehr gerne. Sehr, sehr gerne. Ich hatte anfangs auch das Thema Research bei uns angesprochen. Und wir versuchen natürlich, die neueste Forschung in in industrielle Anwendungen zu bringen, ja? Und wir wollen dementsprechend natürlich immer die Toolings oder die Tools und das Tooling nutzen, was wirklich aktuell ist. Und wir sagen oder wir glauben, dass wir diesem am besten gerecht werden, wenn wir verschiedene Open Source Komponenten eben möglichst schlank und möglichst effizient miteinander verbinden. Ich sag nicht, dass das für alle Teams und für alle Firmen der richtige Ansatz ist, hier vollkommen auf Open Source zu setzen, Aber mit unserem Hintergrund und mit unserer Expertise grade im Engineering Team ist es auf jeden Fall der richtige Ansatz, weil wir haben einfach die Kompetenz, das wirklich so zu verbinden, dass wir aus jedem Tool, sei es m l also jedes Tool, m l flow, 1DB, Kubernetis, selben et cetera, alle Open Source Tools, da wirklich das Maximum rauszuholen und dann wirklich auch immer wieder sich selbst zu hinterfragen und zu iterieren. Und das Tool, wofür man sich dann aktuell entscheidet, dann eben wieder in unseren Standard Werkzeugkasten, nenn ich's jetzt einfach mal, mit zu integrieren, dass dieses Tool dann wirklich jedem Engineer

Speaker2: bei Projektbeginn eben sofort wieder zur Verfügung steht. Mhm. Ausgehend davon würd ich jetzt gern in beide Richtungen fragen. Einmal nach unten und einmal nach oben. Infrastruktur, kümmert ihr euch auch darum selbst oder ist es daran 'n Punkt, wo ihr sagt, okay, Google Cloud Plattform aws Azure meinetwegen, ja und darauf deployed ihr dann euren Open Source Tag oder kümmert ihr auch euch auch darum?

Speaker0: Nein, wir kümmern uns nicht Infrastruktur. Also wir wir nutzen Google Cloud als auch unsere Plattform, also sowohl für interne Projekte als auch für Kundenprojekte. Und es ist oft der Fall, dass wir quasi Modelle, die wir für Kunden entwickelt haben, dann auch bei uns betreiben und dafür Service anbieten. Und wenn wir das tun, dann laufen die bei uns in der Cloud. Mhm. Und alles, was dann on top kommt, das ist dann meistens Cubanetis. Es wird dann meistens über Terraform konfiguriert, das Ganze reproduzierbar zu machen. Ich hatte selten angesprochen als als Framework, als Open Source Framework, was wir dafür nutzen, Modelle zu deployen und auch Monitoring

Speaker2: im Betrieb sicherstellen zu können. Also aber Infrastruktur selbst machen wir nicht, ne. Mhm. Ja, ich find's total spannend, ja, weil die die die die Cloud Anbieter, die wollen ja natürlich immer weiter nach oben auch ihre Services reinpushen und damit einen Log in erzeugen. Und ich hör's ja total oft, dass die Leute einfach sagen und uns geht's ja genauso. Also gib mir die virtuelle Maschine, das Netzwerk, die SSL Zertifikate und lass mich mit dem Rest in Ruhe, den Rest mach ich selbst. Ja, ja krass, okay. Und und nach oben gefragt, jetzt habt ihr sozusagen das das das Tooling, die Pipelines, die Prozesse. Nutzt ihr dann auch so was wie ein Merantics Cookie Cutter Template für die Projektstruktur, in der gearbeitet wird? Oder ist das sind die Projekte so individuell, dass ihr letztlich immer von 0 weg dort auch anfangen müsst?

Speaker0: Wir haben unseren eigenen Templatesing Mechanismus, ja. Schon. Ich bin grad am überlegen, ob ich da den Namen des Tools sagen darf, wahrscheinlich nicht. Aber wir haben dafür einen eigenen Mechanismus, ja, der quasi Projektstruktur mit, jetzt darf ich nichts Falsches sagen, ein oder 2 Commands quasi automatisch aufsetzt, ja. Mhm. Mhm. Okay.

Speaker2: Nee, da wollen wir wollen wir nix veröffentlichen, was nicht veröffentlicht werden darf. Aber ich kann von meiner Seite sagen, die Zuhörer können sich gern mal Cookie Cutter des Template angucken. Das find ich sehr, sehr spannend und ja, Blick hinter die Kulissen. Wir wir adaptieren das Ganze auch grad bei uns intern in der Firma, noch 'n bisschen mehr mit reinzukriegen, nämlich, und das ist auch die Frage, die ich dir jetzt gern stellen möchte, noch mehr Richtung Projekt und und und und. Wie sieht die Projektstruktur beziehungsweise das Templateing aus, wenn's drum geht, erst mal auch den Use Case zu verstehen? Also ist der Teil eures deployment oder das das das Projekt aufsetzen, dass ein Wiki System nach 'ner bestimmten Struktur gestartet wird? Gibt's da Canvas ist, die hier vor vorbereitet, ja, weil ganz klar ist, okay, ich brauch erst mal einen Businessmodel Canvas, einen einen Canvas für die für die für die Value Proposition, also customer solution problem canvas einen datenlandschaft kennen ist keine ahnung ja gibt's ja firmen die das sehr stark damit arbeiten weil so wie du's da steht kann ich mir granett vorstellen dass ihr das irgendwie lose in ein 2 powerpoint Slidesdecks packt oder so, ja? Das dafür hört sich das viel zu strukturiert an, was Du sagst. Mhm. Mhm. Du bist jetzt 'n bisschen darauf hinaus, wie wir quasi Projekte strukturieren und welche Methoden wir dafür dafür bei Merantics Labs nutzen. Hab ich das richtig verstanden? Richtig, genau. Weil ich halt sehe, dass sozusagen vom von von der technik herkommt data scientists oder generell auch data engineers wir sind ja alles techniker ja und dann dann baue ich die pipelines ich bereite meine cookie karte template vor et cetera et cetera und dann bin ich im meeting und na ja, was dann? Dann mach ich irgendwie 'n Word Dokument auf und schreib da alles einfach irgendwie rein oder schreib alles in irgendwie oder eine Powerpoint oder klatscht halt irgendwohin. Und zum Schluss beißt's mich total, weil ich die ganze Information nicht mehr zugeordnet krieg. Und ich weiß nicht, wie's in euren Projekten ist, aber bei uns ist halt so, vor allem in der Anfangsphase des Projekts gibt's immer diese Braindumpphase, wo die Domänexperten uns einfach mal, weil sie es gut meinen und das auch wichtig ist, aber einfach überschütten mit Informationen. Ja, Und auch ja der Grund war, warum wir Heliium gebaut haben, wir wir wir mussten ja auch immer selber klarkommen damit, diese ganze Information zu strukturieren und dann in Beziehung zu setzen mit der konkreten Projektimplementierung, ja. Ja? Und so so sonen Case wie den, den Du jetzt da geschildert hast, da beispielhaft mit mit dem mit dem Shop online offline, gibt total viele Attribute. Kann ich mich drum kümmern? Möchte ich mich drum kümmern? Ja, das muss ich ja alles in in in in Kontext setzen, ne. Und genau, von daher richtig, wie wie wie wie macht's ihr das Projektmanagementseitig? Ist es ja letztlich dann.

Speaker0: Mhm. Also ich hol mal vielleicht 'n bisschen aus. Grundsätzlich haben wir uns da natürlich auch sehr, sehr viel Gedanken gemacht. Das nicht nur technologisch zu unterlegen, so Projekte und reproduzierbar zu machen, sondern auch methodisch. Es gibt ja sehr viele Frameworks, Du hast Business Canvas Framework angesprochen. Es gibt auch sehr viele Data Science Frameworks, die son bisschen versuchen abzufrühstücken, was man alles berücksichtigen muss in sonem Projekt. Wir haben bei Merantix Labs gemeinsam mit der Universität Sankt Gallen in der Schweiz ein eigenes Framework entwickelt, was wir auch im Daily Business nutzen. Das nennt sich AI Canvas in Anlehnung an den Business Canvas, aber mit mit wirklichem Fokus auf KI Projekte und die Umsetzung solcher Projekte. Und wir nutzen dieses Instrument, es ist aufgebaut in in 4 große Säulen. Eine Säule ist nennt sich Business, andere Säule nennt sich Organisation, die 3. Säule nennt sich Data und Technology. Und dann gibt es die Säule, die nennt sich Lifecycle. Und die ist eben sehr spezifisch grade für Projekte, weil eben sowohl von der Business als auch von der Organisationsseite oder auch ja, besonders von der Datenseite ist eben alles 'n sehr dynamischer Prozess und alles muss sich stetig hinterfragen. Und das ist 'n Toolkit, das wir nutzen, für uns selbst erst mal im ersten Schritt Use Cases zu strukturieren, die eine Struktur zu bringen, wo wir die dann auch intern scopen, interne Komplexität bewerten, intern Business Value bewerten. Und wir nutzen dieses Toolkit oder Framework, wie man's auch nennen möchte, natürlich auch im im Zusammenhang mit Kundenprojekten. Also es ist jetzt nichts, was wir verstecken intern. Das gibt's auf unserer Website, kann sich jeder runterladen, Whitepaper dazu. Das ist etwas, was wir quasi auch an oder unserem Kunden quasi an die Hand geben, dann, ich nenn's jetzt einfach mal so so plastisch, selbst fliegen zu lernen. Also selbst zu lernen, wie strukturiere ich eigentlich einen Use Case? Was sind die Fragestellungen, die besonders am Anfang 1 Projektes wichtig sind, wenn's ja wirklich den Business Case geht, wenn's darum geht zu verstehen, was ist das Problem? Wer ist der User? Was Was kostet mich die Implementierung? Welchen Mehrwert kann ich da erwarten? Und wie können beispielsweise Partner aussehen? Kann ich das selbst machen et cetera? Und das spielen wir dann eben wirklich entlang dieser verschiedenen Säulen des AI Canvas durch. Und am Ende 1 solchen Projekts, es steht da wirklich 'n sehr gut ausgefüllter Canvas. Und lass es uns als als Projektdokumentation verstehen. Fand das das Beispiel, die Anekdote, die Du eigentlich anfangs genannt hast, ganz, ganz passend, wo dann wirklich sehr, sehr viel Content auch drinsteht. Mhm. Und dieser Content beschreibt eben den Use Case von der Idee bis hin zur Umsetzung und zum Deployment.

Speaker2: Du hast meine Frage schon beantwortet, ob das Ding public ist. Auch den Link, den den den such ich noch mal raus und pack den auch mit in die Shownotes. Superspannend. Sehr, sehr gerne, ja. Sehr, sehr gerne. Können wir noch 'n Medium Artikel dazupacken? Das stellen wir alles zur Verfügung. Cool, cool. Ja, vielen Dank fürs Teilen, ne, weil wenn ihr das versteckt, dann klar, geht euch das Feedback vielleicht, dass ihr dann von außen kriegt durch die Lappen, aber aus meiner Sicht echt 'n bisschen ja, übersehender Teil der ganzen Geschichte, weil weil technisch perfekt Dinge ausgearbeitet werden, die niemand brauchen kann. Ja, und dann ist sone can'tw ist genau das richtige Werkzeug aus aus meiner Sicht, dieses Problem von vornherein zum Schiffen und dann am Ende wirklich bei 'ner bei 'ner bei 'ner werthaltigen Lösung rauszukommen. Mega, mega. Cool. Auf der Zielgeraden, lassen Sie mal 'n bissel auf dein Team bitte gucken. Und zwar hab ich festgestellt, haben die verschiedensten Firmen, je nachdem, welche Kunden sie auch bedienen und wie groß die Teams sind und mit welchen Technologien sie arbeiten, immer die gleiche Technologie, spezialisierte Beratung oder so 'n Tausendsassa, wie es jetzt bei Merantix der Fall ist, ist immer total unterschiedlich und dementsprechend unterschiedlich ist die Team Zusammensetzung. Und an der Stelle würd's mich interessieren, ob Du etwas hast, einen Tipp, wenn jemand frisch in Personalverantwortung reingekommen ist. Ja, also ich bin jetzt sozusagen in der Rolle raus aus der Uni, Junior Data Scientist, Senior Data Scientist und jetzt jetzt wird von mir erwartet, okay, Du leitest jetzt 'n Team bist auch dafür verantwortlich. Vielleicht ist es ja eine Matrixorganisation, die aus den verschiedenen Fachbereichen auch die die Leute zu Steff. Ja, Du kannst sie dir rauspicken. Und an der Stelle würd mich jetzt mit deiner Projekterfahrung interessieren, gibt's eine Rolle oder vielleicht eine rollenkombination ja ich möchte da gar keine vorgaben machen auf die du achtest wenn jetzt für neues projekt du das team zusammenzustellen hast so dass es dann am ende flutscht ja? Oder darf vielleicht irgendeine Rolle auf jeden Fall nicht fehlen, ja? Oder ja, genau. Ich hoffe, Du weißt, worauf ich hinaus möchte.

Speaker0: Ich glaube ja. Also grundsätzlich achten wir bei unseren es ja, eine einen großen und das ist manchmal Sprache. Das muss man vielleicht vor vorwegnehmen. Bei Varantix Labs, wir sind eigentlich englischsprachig, also ist unsere Company Sprache. Grade in Deutschland und im DACH Raum ist das, ich will nicht sagen, manchmal 'n Problem, aber ich nenn jetzt mal das Stichwort deutscher Mittelstand, da ist es manchmal sehr, sehr wichtig, dass wir mindestens eine, wenn nicht sogar 2 oder wenn nicht sogar alle Idealfall Personen haben, die Deutsch bringen. Das ist, also das klingt jetzt doof und einfach, das ist aber wirklich der Fall. Das kann etwas sein, was da berücksichtigt werden muss. Und grundsätzlich ist es natürlich so, nennen wir mal oder nehmen wir uns einfach mal das Beispiel, klassisches Implementierungsprojekt, relativ ja, kondensierter Scope. Sagen wir mal, wir machen da irgendwie in 3 Monaten bauen wir 'n MVP für einen Kunden, dann ist bei uns sone goldene Regel, dass wir mindestens 2 Engineers da drauf haben. Ein Lead Engineer, ein der dann federführend ist in Quality Assurance, der auch PR Reviews macht et cetera. Und das ist so das Minimum an Engineers. Das Minimum an Projektmanagement Power, die wir da quasi oben noch mit drauf legen, ist eine Person. Und das ist dann ergibt dann quasi so unser unser minimales Team, also weniger wird's nicht. Mhm. Das haben wir auch die Erfahrung gemacht. Man braucht immer Sparringpartner, man muss sich immer gegenseitig kritisch hinterfragen. Und das ist einfach wichtig. Es gibt auch Projekte, wo wir teilweise Wir hatten letztes Jahr 'n Projekt, wo wir teilweise wirklich mit 4 Vollzeitengineers drauf waren, weil das Projekt einfach sehr komplex war, harte Deadlines et cetera, muss man dann natürlich auch 'n bisschen flexibel reagieren. Aber grundsätzlich, das ist so das Minimum 2 Engineers. Und wo wir bei Merantics Labs natürlich immer son bisschen drauf achten, ist, wir haben natürlich auch so gewisse Senioritäten, es gibt Senior Engineers, Junior Engineers. Wir legen sehr viel Wert auf Lernen, wir legen sehr viel Wert auf Education und Coaching. Es heißt, man würde jetzt keine 2 Junior Engineers auf ein sehr komplexes Projekt schmeißen, nenn ich's jetzt einfach mal. Und und das ist auch son bisschen was, was mit eingeht in das in das Thema Stuffing. Und grundsätzlich, was ich festgestellt hab, ist, je heterogener 'n Team ist, das muss jetzt nicht unbedingt nur das eigentliche Team sein, was dann von uns kommt, sondern auch das, was dann vom Kunden ergänzt wird in der Owner Rolle als als Domainexperte, als Prozesxperte. Je mehr Cross Functional, sag ich jetzt mal, diesen dieses Buzzword zu nutzen, je mehr Cross Functional son Team ist, desto erfolgreicher ist son son Data Science Projekt eigentlich auch. Und ich glaube auch, dass man bei sonem Data Science Projekt nicht den Anspruch haben sollte, dass alles Data Science Experten sind, sondern man braucht eben auch diese Rollen der Domänenexpertise, des Users am Ende, einfach wirklich diesen ganzen dieser ganzen Komplexität gerecht zu werden und dann am Ende auch irgendwas entwickeln zu wollen, was dann nicht nur ein Docker Container ist, der dann irgendwo nicht genutzt wird, sondern ein Prozess, der dann eben mit Machine Learning unterstützt wird. Also deswegen ist es da ganz wichtig, dass man da einfach 'n bisschen auf die Crossfunktionalität

Speaker2: der Rollen innerhalb 1 Projektteams achtet. Ja, ja klar, Du musst ja 'n Produkt bauen und nicht nur einfach irgendwie eine Funktion. Ja klar, klar. Mega. Die obligatorische Schlussfrage, welchen Rat würdest Du deinem zwanzigjährigen Ich geben?

Speaker0: Die obligatorische Schlussfrage, sehr gute Frage. Du merkst, ich hab mich nicht so gut vorbereitet auf die Frage. Ich glaube und ehrlich zu sein, ich bin auch noch gar nicht so weit davon entfernt, deswegen ist dieser Rat vielleicht auch jetzt noch noch gültig. Ich glaube, was ich festgestellt habe, seitdem ich auch im Arbeitsleben bin, das sind jetzt 'n paar Jahre, der Schlüssel zum zum Erfolg und der Schlüssel zu Spaß bei der Arbeit und auch wirklich, Dinge voranzutreiben, ist ständige Neugier und Begeisterung. Ich ich stell das auch bei mir im Team fest, ich glaube, dieses Attribut Begeisterungsfähigkeit ist das wichtigste Attribut, was eine Person grade im Arbeitsleben, aber ich glaub auch im privaten Leben haben kann. Und ich glaube, wenn man das für sich selbst findet in seiner Rolle, dann ist das, was man tut und das, was man eigentlich will, auf jeden Fall sehr im Einklang. Und dann hat man auch automatisch Erfolg und sehr, sehr viel Spaß bei der Arbeit. Deswegen ich hab mir damals, als ich noch studiert hab, sehr, sehr viele Gedanken gemacht, was wird eigentlich aus mir? Woran hab ich eigentlich Spaß? Und es ist 'n langer Prozess, das für sich selbst rauszufinden. Aber Erfolg und Spaß bei der Arbeit kommt wirklich, wenn man etwas gefunden hat, wo man sich auch selbst wiederfindet. Team ist was ganz Wichtiges und deswegen sind das für mich mittlerweile diese Begeisterungsfähigkeit von meinen Teammitgliedern ist eigentlich das, was mir jeden Tag die größte Freude bereitet, sag ich jetzt mal. Und das würd ich mir einfach als Zwanzigjähriger noch mal aufn Zettel schreiben und dass ich das nie vergesse, dass das wirklich das Wichtigste ist. Und alles andere ist erst mal Priorität b oder 2.

Speaker2: Kann man sich definitiv eine Scheibe abschneiden? Wir haben jetzt schon fast eine Stunde gequatscht, deswegen müssen wir an der Stelle den Sack leider zumachen. Vielen Dank, Paul. Ich fand's megaspannend. Ich hab jetzt zum Schluss auch grade festgestellt, wie ich hab ja eigentlich schon gesprochen hatten. Sehr, sehr kurzweilig und vielen Dank für die Einblicke. Ich zieh mir auf jeden Fall gleich noch die Canvas rein wir packen die beiden sachen in die show not einmal den algorithmus und den link zu dem canvas medim artikel hattest du gerade noch erwähnt ich hoffe es war einiges wertvolles dabei für die komplexe die masters die es heute gehört haben und ich denke wer vor allem noch vor der vor der entscheidung steht wo die reise hingeht wie gesagt diese rolle des enrepreneurs in residenz ist nicht so üblich und auch nicht so bekannt Guckt euch das mal an, ja. Ich denke, das kann für viele, viele Persönlichkeitsstrukturen, wenn man vor allem nicht so risikoaffin ist, echt eine gute Ergänzung sein. Zieht's euch das rein und vielleicht trifft man sich ja dann am AI Campus in Berlin beim Merantix am Ende wieder.

Speaker0: Sehr, sehr gerne. Wir haben auch guten Kaffee. Gerne vorbeikommen.

Speaker2: Wunderbar. In diesem Sinne, Paul, vielen, vielen Dank. Ich wünsch dir alles Gute.

Speaker0: Ich danke dir. Alles Gute zurück.

Speaker2: Master the Complex Team.

Speaker0: Auf dem Laufenden zu bleiben, folgt uns auf Facebook, Instagram, Twitter und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.

More episodes from season 5 →