WIEVIEL PROJEKTMANAGER MUSS IN EINEM DATA SCIENTIST STECKEN? – mit Sebastian Eckert

Season 3· 2. Februar 2021· 3139

Episode cover: WIEVIEL PROJEKTMANAGER MUSS IN EINEM DATA SCIENTIST STECKEN? – mit Sebastian Eckert
0:003139
  • Dr. Theo SteiningerCo-Founder & CEO at Erium
  • Sebastian EckertGuest, Business Analyst at Audi AG
  • Dr. Maksim GreinerCo-Founder & CTO at Erium

Overview

In this episode of the Erium Podcast, Host Dr. Theo Steininger, Co-Host Dr. Maksim Greiner, and guest Sebastian Eckert (Business Analyst at Audi) discuss how iterative processes in data science projects can be structured and communicated. Using the fictional story character 'Erika' as a lens, they explore why the classic waterfall model so often fails in data science projects and what role project management skills play for data scientists.

About the guest

Sebastian Eckert is a Business Analyst at Audi AG and brings extensive hands-on experience in organising and executing data science projects within a large industrial company. As an internal data science expert, he is familiar with both the challenges of stakeholder communication and the particular dynamics of iterative work in a corporate environment.

Summary

Why Data Science Projects Are Inherently Iterative

All three participants agree: the classic waterfall approach is barely sustainable in data science projects. At the start of a project, too many variables are unknown - from actual data quality and the precise process context to the final objectives. Even when a linear plan is agreed upon, 'game-changing facts' regularly surface during the project that force adjustments. Dr. Maksim Greiner describes how Erium initially sold waterfall plans as well, but repeatedly found that the iterative path is the more honest and realistic one. Data scientists also tend to dive, without external structure, into the aspects they find most interesting - which is difficult for outside stakeholders to follow.

Stakeholder Communication: Trust as a Central Element

A recurring theme in the conversation is how to explain iterative processes to clients and internal stakeholders who are accustomed to classic project structures. Both sides - internal and external - face the challenge that the other party often wants to 'buy a deliverable', even though data science more closely resembles a research process. Sebastian Eckert emphasises that he communicates clearly from the outset: 'You are not buying the result - you are buying the insight into whether what you set out to do actually works.' A negative result is also a valid project outcome. Transparency from the beginning builds trust, even if it requires more explanation at first.

CRISP-DM as a Structuring Process Model

Sebastian Eckert explains the CRISP-DM model (Cross Industry Standard Process for Data Mining) as a proven framework for iterative data science projects. The phases of Business Understanding, Data Understanding, Data Preparation, Modelling, Evaluation, and Deployment enable structured loops without descending into unstructured back-and-forth. Particular emphasis is placed on the fact that the early phases - especially Data Preparation - frequently consume more than half of the total project time. Anyone who underestimates this quickly finds themselves under time pressure. Sebastian also recommends an initial 'trial run' through all phases in which model quality is not yet the primary focus, but rather the clarification of technical and organisational questions.

Model Complexity and Explainability: Start Simple, Build Trust

The discussion also addresses the question of whether one should deliberately choose simpler models, even when more complex algorithms would deliver better results. Dr. Maksim Greiner describes a step-by-step strategy: start with trivial, easily explainable models and increase complexity iteratively. This approach gradually builds trust with the other party - similar to the principle of 'Continuous Release'. When stakeholders see how each iteration improves the outcome, acceptance grows for more complex, less explainable models in later phases. Trust is especially critical at the deployment stage, since the final implementation decision rests with the client.

Scheduling and Scoping: When Does the Clock Start Ticking?

A practical tip shared by both experts: the project clock should only start running once all necessary data and deliverables from the client are in place. Sprint-based working - where one iteration corresponds to a defined time block - has proven effective, but is often disrupted by external delays such as machine maintenance, missing data access, or internal processes. As a rough estimate, Dr. Maksim Greiner cites around four iterations for a typical project, or as few as two under favourable conditions. It is also important to distinguish between optimisation iterations within a single hypothesis and genuinely new questions that require a new project.

How Much Project Management Does a Data Scientist Need to Master?

The title question is discussed openly: at present, data scientists are de facto assigned an unofficial project management role, even when a formal project manager exists - because only the data scientist knows what the project truly requires. Sebastian Eckert and Dr. Maksim Greiner are both optimistic that this will normalise as the field matures, much as it has in other IT disciplines. Until then, the rule holds: communication, documentation, and actively co-steering the project process are indispensable tasks for data scientists, regardless of their formal role. Anyone who neglects this risks important information falling through the cracks or the value of their own work remaining invisible to stakeholders.

Key takeaways

  • Data science projects are inherently iterative - a classic waterfall model regularly fails due to unknown variables and facts that emerge along the way.
  • Early, transparent communication about the exploratory nature of data science is essential for building trust with stakeholders, even if it requires more explanation at the outset.
  • CRISP-DM provides a proven framework for structuring iterative processes and presenting concrete deliverables after each phase.
  • The early phases of a project (Business Understanding, Data Understanding, Data Preparation) frequently consume more than half of the total project time.
  • A clear question - a 'cemented hypothesis' - must be established at the start of each iteration; without it, analysis becomes unstructured and the project never reaches a conclusion.
  • Starting with simple, explainable models and gradually increasing complexity (Continuous Release) improves acceptance among non-technical stakeholders.
  • Data scientists today must de facto take on project management tasks - communication and documentation are core parts of their role, not optional extras.

Conclusion

This episode illustrates compellingly that successful data science projects require far more than technical know-how. Iterative working, clear communication, structured documentation, and realistic expectation management with stakeholders are just as critical as choosing the right algorithm. Process models such as CRISP-DM help manage this complexity - but ultimately, the data scientist remains responsible for maintaining oversight and actively co-steering the project.

For Data Scientists and Career Starters

Project management skills are not an optional bonus - they are a professional reality. Those who communicate, document, and clearly structure iterations from the start secure their own project success and make their added value visible.

For Managers and Clients Commissioning Data Science Projects

A data science project is not a classic deliverable - those who understand this and clarify a shared set of expectations early on save time, frustration, and resources. Transparency on both sides is the key to a successful collaboration.

Show full transcript

Speaker0: Wie immer, kleiner Reminder vorweg, auch zu dieser Folge gibt es wieder ein E-Mail-up mit unserem Gast. Und zwar am neunten Zweiten 16 Uhr. Weitere Infos in der Beschreibung. Und jetzt viel Spaß mit der Folge.

Speaker1: Ihr hört die IhremIUM Podcast, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.

Speaker0: Herzlich willkommen zu 1 neuen Ausgabe von The Eriam Podcast und diesmal betrachten wir weiter die Geschichte von der Erika. Und im Besonderen schauen wir uns an, wie denn iterativ, ja, Verbesserungen angestellt werden in einem laufenden Data Science Projekt. Und dazu ist heute zu Gast, ich freue mich besonders, Sebastian Eckert. Sebastian ist Business Analyst bei der Audi AG und hat dort auch schon ja oder hat auch sehr viel Erfahrung, was die Organisation von solchen Data Science Projekten angeht. Und ja, ich freue mich sehr, dass Du da bist. Cool, dass Du da bist, Sebastian.

Speaker2: Hallo, danke schön, dass ich hier sein kann.

Speaker0: Sehr schön. Und als weiteren Diskussionspartner haben wir da diesmal den Maxim, auch schon öfter im Podcast zu Gast gewesen und ja, CTO von Erium. Cool, dass Du da bist. Herzlich willkommen. Hallo. Sehr schön. Ich würde sagen, ich wir fackeln gar nicht lange rum und starten direkt in die Story rein von der Erika und ja, schauen, was ihr denn heute so widerfährt.

Speaker3: Erika nimmt ihren Mut zusammen, rafft sich auf und legt noch mal von vorne los. Sie weiß nun die Missing Values und die Tatsache, dass dort verschiedene Arten von Spülmaschinen produziert werden. Sie überarbeitet dementsprechend den Datensatz noch mal. Außerdem setzt sie sich nochmals mit Prozessingenieur Peter und den Mitarbeitern, die die Maschine bedienen, auseinander, lässt sich den Prozess so oft erklären, wie nötig ist und passt ihr Modell nach und nach an. Es gibt mittlerweile auch häufiger Präsentationen von ihr, die sich nun mehr als Review Meetings gestalten, was Erika gut unter die Arme greift. Sie springt nun immer vor und zurück zwischen Preprocessing, Modellerstellung und Austausch mit Abteilungsleiter Achim, Peter, Martina und den anderen Mitarbeitern. Für Erika geht das Projekt gut voran. Aber das, was sie von sich gibt, nämlich dafür muss ich noch mal das Preprocessing anschauen oder hier wäre noch mal ein Gespräch mit Martina sinnvoll, klingt für Achim und Peter irgendwann eher so, als würde sich das Projekt im Kreise drehen. Achim bittet sie daher nun, konkrete Ziele zu formulieren, darunter auch das Datum der Fertigstellung. Erneut tut sich Erika schwer. Ihr ist nicht mal klar, zu welchem Zeitpunkt eine Fertigstellung überhaupt absehbar ist. Wer kann mir da nun helfen, denkt sich Erica?

Speaker0: Die 1. Frage zum Einstieg, die ich bei so was immer gerne stelle, ist, ja, wie wahrheitsgetreu ist das, was ihr grade gehört habt oder was denkt ihr, wie wahrheitsgetreu das ist? Und ja, ist das 'n typisches Problem, dass man als Data Scientist sich denkt, ja, dich fühlt sich jetzt schön an. Ich kann gerne jetzt hier hin- und herspringen und mein Modell wird immer besser und ich tausch mich mit den Leuten aus, aber irgendwann wird's den, ja, den Stakeholdern zu bunt. Würde das so in der Realität passieren?

Speaker2: Also ich würd sagen, ja. In der Erfahrung, die wir jetzt auch im Team gemacht haben, ist das typisch, weil man einfach einen anderen Blick auf das ganze Thema hat. Als Data Scientist arbeitet man mit seinen Daten. Man vergräbt sich vielleicht auch in seinen Algorithmen ein Stück weit und man ist ja ein bisschen auf der Jagd ne und versucht wirklich ein gutes Ergebnis zu erzielen. Auf der anderen Seite steht ein Kunde, der natürlich auch ein 1 ökonomisches Interesse hat häufig und der da vielleicht nicht reingucken kann. Dafür ist man selbst ja der Experte. Also der stellt dann schon mal Fragen, wie sieht's aus? Wann wann können wir da was erwarten? Und wenn er ungeduldig wird natürlich auch die Frage, warum müssen wir jetzt noch eine Schleife fliegen? Klar.

Speaker4: Ja also ich sehe es auch ähnlich. Meiner Erfahrung nach auch wenn grad wenn keine äußere Struktur vorgegeben wird, dann kommt's halt relativ schnell, dass die Iterationen unstrukturiert werden. Also dass man halt nicht irgendwie klar Also selbst das mit den Reviewterminen ist schon gar nicht son Given. Wenn man jetzt so ganz frei laufen lässt, dann beschäftigt sich 'n Data Scientist wahrscheinlich am ehesten mit dem, was er am interessantesten findet. Das ist jetzt eine kleine Unterstellung, aber in die Richtung tendiert's halt immer, wenn man keine äußeren Strukturen vorgibt. Und dann wird's natürlich ganz schnell schwierig für die Externen zu beurteilen, was passiert denn grade? Wo kommt denn da überhaupt eine Verbesserung? Weil quasi relativ selten für die externen verständliche Ergebnisse dabei rumkommen.

Speaker0: Jetzt hast Du grad schon das Wort angesprochen, Iterationen. In der Story haben wir es auch schon gehört, wir springen da oft hin und her zwischen einzelnen Schritten, über die wir auch schon in den vergangenen Folgen gesprochen haben. Warum muss das denn überhaupt so sein? Na, also was warum bietet sich denn der der son klassischer Wasserfallansatz denn jetzt nicht unbedingt an? Weil ich kann mir auch gut vorstellen, dass, wenn man denn son Wasserfallansatz hätte, könnte man den auch leichter kommunizieren, ne. Oder wie wie seht ihr das? Was was macht denn was macht es denn schwierig, dass wir sonen Ansatz nicht machen können, sondern dass wir so agil hin- und herspringen können, dürfen, müssen. So, füge passendes Verb hier ein. Was sagt ihr dazu? Wo liegt da die Problematik?

Speaker2: Die Problematik liegt meiner Meinung nach oder vielleicht ist es gar keine Problematik, sondern genau der der Charme der ganzen Sache liegt auch 'n Stück weit darin, es ist ja dann Data Science und in dem Gedanken ist es etwas, wo man das Ergebnis vielleicht am Anfang noch nicht vorhersehen kann, ne? Man man kennt den Weg, aber man muss ihn dann gehen und muss feststellen, was nach jedem Schritt passiert. Da gibt's einfach genügend Unbekannte, ne? Da gibt's dann die Daten, die haben wir ja auch Oder habt ihr auch schon im Podcast viel diskutiert. Die Daten, die passen oder auch nicht passen. Die Fragestellung, also die Hypothesen, mit denen man unterwegs ist, das ist sehr viel Sind sehr viele Unbekannte und da bietet es sich auf jeden Fall an Schleifen zu fliegen. Gleichzeitig gibt's klassische Wasserfallmodelle ja auch für Data Science. Also wenn man ja an Knowledge Discovery in Databases denkt, das ist ja schon eher sehr stringent wie es abläuft. Da glaube ich aber, dass oder hab auch gesehen in der Praxis, dass sich ein 1 schleifenförmiger Ansatz auf jeden Fall bezahlt macht, weil man lernt mit jeder Runde dazu.

Speaker4: Ja, meiner Erfahrung nach, wir haben sogar ganz am Anfang, weil's sich leichter dem Kunden kommunizieren lässt, eben Wasserfall Pläne, sag ich mal, verkauft. Und selbst wenn man sich das strikt vornimmt und eigentlich auch das Ziel schon klar ist, also selbst wenn man diese Rahmenbedingungen eingrenzt, hat man einfach dann immer noch die zusätzliche Herausforderung, dass der Gegenüber, der im Jahr, sag ich mal, die Ausgangsdatenbasis und das Know how und den Kontext für das Projekt liefert, der ist kein Data Scientist, weiß nicht, was alles wichtig ist und was nicht. Und dann bist Du schon Schritt 1 und Schritt 2 hast Du schon hinter dir und dann kommt plötzlich ein kriegsentscheidendes Faktum auf den Tisch. Das ist uns dann mehrfach passiert und in dem Moment, Du Du kannst das nicht ignorieren. Du kannst nicht einfach sagen, ja, aber wir haben Schritt, 1, 2 schon gemacht, jetzt machen wir weiter. Du musst dann noch mal justieren. Und dadurch kommst Du eigentlich automatisch in in aller, allermeisten Fällen dann doch in irgend einen iterativen Prozess. Und wenn man das von Anfang an so plant, das ist einfach der Realität näher und ehrlicher.

Speaker0: Ich kann mir auch gut vorstellen, dass, so wie ich das genannt hatte, im Schritt 1 und Schritt 2 auch überhaupt zu 'nem Punkt hinführen können, wo dann son entscheidendes Faktum auf den Tisch kommt, ne. Also von sich aus Genau. Macht es, also von sich aus geben die Leute nicht alles sofort raus, selbst wenn sie's wollten. Einfach sie sehen halt nicht so den Input dafür oder sie reagieren sozusagen auf Schritt 1 und Schritt 2 mit neuer Informationen, die relevant sein könnte. Aber dennoch, wie wie kommuniziert man das denn dann am besten, wenn man sonen iterativen Prozess hat? Das geht man da ganz, ja, mit mit geht man da ganz offen rein und sagt, hey, es ist so typischerweise in den Projekten, dass wir da öfter noch mal eine Rolle rückwärts machen müssen und noch mal von vorne alles durchdenken müssen oder wie genau wie genau kommuniziert man das dann?

Speaker4: Also mit dem Kommunizieren, das ist tatsächlich 'n bisschen sone Kunst, weil grad wir haben häufig eben mit Ingenieuren zu tun, die aus verschiedenen Gründen da eher so ein Wasserfall gewohnt sind und wenn man dann sagt, na ja, wir können jetzt ehrlich gesagt noch nicht antizipieren, was konkret am Ende des Projekts rauskommt. Ob es hier in diesem Fall wirklich funktioniert, dann sagen die wie ihr wisst nicht ob es funktioniert ich glaube das habe ich auch schon mal erzählt einfach und wir müssen dann sagen ja es sind ja halt doch zu viele Abhängigkeiten und Unbekannten zu Projektbeginn da wir wissen nicht wie genau euer Prozess zum Beispiel wirklich ist wir wissen nicht ob eure Daten sauber sind das müssen wir alles erst rauskriegen und dann eben das Ziel unter Umständen anpassen und ja das das das hebt ein paar Augenbrauen dann aber lieber am Anfang als irgendwann in der Mitte. Und wenn man da mit Transparenz umgeht, glaube ich, erhöht man dann das Vertrauen, auch wenn man natürlich am Anfang dann 'n bisschen Erklärung zu tun hat.

Speaker2: Das Thema Vertrauen, also der Begriff, der ist bei uns auch immer da ganz wichtig. Also einfach deswegen, weil man hat's mit Kunden zu tun, mit denen man den Weg da gemeinsam gehen muss und häufig natürlich auch immer möchte. Aber das was da spannend ist, ist wie weit ist der jeweilige Kunde schon im Verständnis von dem, was im Data Science Bereich da passiert, ne? Also manchen muss man das nicht mehr erklären, dass das eine gemeinsame Suche ist, dass man natürlich sein Handwerkszeug hat, aber dass es diese Schleifen geben kann, diese Iteration. Bei anderen ist die Kommunikation von Anfang an wichtig, dass man gleich von Anfang an sagt, das ist nichts Schlechtes, wenn wir uns da im Kreis drehen, sondern jeder Kreis bringt etwas an Erkenntnis mit dazu. Und je klarer das den Kunden auch wird, ja gerade denen, die aus diesem eher linear denkenden oder aus diesem in Wasserfall organisierten Projekten kommen. Eher die das verstehen, desto sag ich mal weniger Rückfragen während im Laufe des Weges gibt es, desto weniger auch im schlimmsten Fall schlechte Stimmung.

Speaker4: Du hast da ja auch den entscheidenden Begriff gelernt, dass es halt ist, ne. Also und was uns am Anfang auch, als wir mehr wie son klassischer Dienstleister, wir haben uns da eher an anderen Software Firmen orientiert ist so Moment Forschungsprojekte beauftragen wir nicht Forschungsprojekte bezahlen wir nicht also wir wollen wir kaufen ein Gewerk so war so bisschen dann diese Haltung wie wie siehst Du das Sebastian also wie fängst Du gerade dieses Verständnis für das ist jetzt Science mit eben allen was dazugehört offenen Ergebnissen und so weiter wie fängst Du das auf

Speaker2: Das ist im besten Fall oder eigentlich in den meisten Projekten, die wir so starten, reden wir von Anfang an über die Erwartungshaltung und reden von Anfang an darüber, dass das Unwissen ja auf beiden Seiten da ist und dass wir uns deswegen auch zusammengefunden haben, ne? Also, dass da Fragestellungen im Raum stehen, die die die Prozesxperten, die auf der anderen Seite sitzen, so auch noch nicht selbst antworten können. Und das bedeutet natürlich, dass da ja man selbst ja das das Prozesswissen nicht hat, der da kein Domainexperte ist, dass man selbst sein sein Werkzeug mitbringt und dass man dann gemeinsam versucht, diese Unwissenheit aus dem Raum zu schaffen und auch wenn ich da nicht unbedingt immer mit der Wissenschaft komme als Erklärung, ist es dennoch so, dass ich von Anfang an sage, wir versuchen hier etwas, ne. Ihr kauft nicht das Ergebnis, sondern ihr kauft die Erkenntnis darüber, ob das, was ihr euch hier vorgenommen habt, geht oder nicht. Und das ist im Und das ist ja in der Wissenschaft auch 'n sag ich mal 'n heikles Thema, selbst wenn es ein Negativergebnis ist, ist es ein Ergebnis, womit man weitermachen kann. Vielleicht

Speaker0: noch mal, das Thema mit der Kommunikation noch mal kurz anzureißen. Sebastian korrigier mich, wenn ich da falschlieg, aber Du bist, glaube ich, in 'ner ähnlichen Situation wie die Erika zumindest, dass es eine interne Abteilung ist, so wie ich das verstanden hab. Und Maxim, bei Erim ist es ja eher so, dass das an Externe herangetreten wird. Seht ihr da auch, also jetzt blöd gesprochen, könnte ich mir vorstellen, dass es, Sebastian, für dich leichter ist, da zu kommunizieren als für dich, Maxime. Also Du hättest angesprochen, manchmal gibt's Augenbrauen, die nach oben rutschen. Gibt's die bei dir auch, Sebastian? Oder wie wie siehst Du das? Oder ich ist schwierig abzuschätzen, aber vielleicht findet ihr euch könnt ihr euch da gegenseitig da austauschen, ob was denn da leichter ist oder wem was in welcher Situation leichter fällt.

Speaker2: Also ich kann's natürlich vor allem aus der internen Sicht heraus beantworten und da ist es so, dass es schon Vorteile hat, je näher man an denjenigen sitzt, auch prozessual an denjenigen sitzt, die tatsächlich dann am Ende vom Ergebnis profitieren. Das heißt, man entwickelt natürlich als internes Data Science Team im Laufe der Zeit 'n gutes Netzwerk. Man hat auch viele Dinge schon mal von innen gesehen, hat sehr, sehr kurze Wege. Das finde ich persönlich auch immer sehr gut. Es gibt von der Projektmanagement Sicht ja glaube ich einen kleinen Nachteil, den muss man mit mit 1 guten Struktur auffangen. Maxim hat's am Anfang schon mal gesagt mit der Strukturfrage. Ein Data Science Projekt sollte ein Ende haben und je nachdem, wie man sich da positioniert, kann es sein, dass natürlich Folgefragen aufkommen. Und da ist es bei uns intern besteht immer die Gefahr, dass man natürlich weitermacht, dass man also sagt, das waren die ersten Erkenntnisse. Wir bleiben natürlich weiterhin im Unternehmen. Gibt's da nicht noch Folgefragen, die man dann beantworten kann und da muss man irgendwie schauen, dass man von Anfang an mit dem Kunden auch klarzieht und da helfen natürlich auch Vorgehensmodelle klarzieht, was ist denn der Punkt, an dem wir sagen, jetzt ist es genug, ne. Das ist unsere Definition oft an, damit wir damit rausgehen können. Vielleicht 'n Folgeprojekt starten, das ist nie infrage gestellt, aber dass man sich dort sozusagen nicht verfängt.

Speaker4: Ja, das ist ein ähnlicher Aspekt wie bei uns eben von der anderen Seite. Bei uns ist ja der Einkauf quasi dazwischen und der möchte ja ein irgendwie greifbares Stück kaufen. Und wenn Du sagst, ich verkaufe dir 4 Iterationen, also der der Du bist verführt in diesen Einkaufsprozess hinter dich zu bringen ein Ergebnis zu versprechen, was Du eigentlich nicht seriös versprechen kannst muss dann immer sehr vorsichtig sein und das umgekehrt ist wenn Du das halt nicht tun musst dann ist kommt dieses Definition of done Thema dann halt wie Du's ja gerade geschildert hast Sebastian dann halt mit ja wann hören wir eigentlich auf Also ist wahrscheinlich 2 Seiten derselben Medaille.

Speaker0: Dann noch eine Frage, die mir jetzt grad eben noch spontan eingefallen ist. Würd mich tatsächlich interessieren, ob euch da so mal so was schon mal widerfahren ist. Und zwar Sebastian, Du hast auch angesprochen, inwiefern weiß denn mein Gegenüber über Data Science Bescheid, ne? Hat es die Wahl von dem Werkzeug, was ihr am Ende benutzt habt, schon mal beeinflusst? Also Beispielsituation, ihr wollt 'n Modelle erstellen mit 'nem relativ, sage ich mal, komplizierten Algorithmus oder jemand einen Algorithmus, der kompliziert wäre, zu erklären, der aber eurer Meinung nach 'n gutes Ergebnis liefern würde. Ihr tut euch aber schwer, den zu erklären eurem Gegenüber, ja. Verzichtet man dann explizit auf den Algorithmus und nimmt einen leichter erklärbaren? Und wenn ja, warum? Oder denkt man sich's oder muss, also wie viel Vertrauen muss da der Gegenüber von der Nicht Data sein Seite haben, okay, gut, ich glaub's dir so, mach oder Also jetzt vielleicht ist man da son bisschen in diesem Feld, ne? Also inwiefern inwiefern ist mein Modell erklärbar gegenüber Leuten, die es jetzt jetzt nicht von der Data Science Seite kommen? Ist euch schon mal so was widerfahren, dass ihr 'n bewusst 'n einfacheres Modell genommen habt, obwohl's eventuell vielleicht 'n schlechteres Ergebnis liefert?

Speaker2: Das passiert in den Iterationen ist uns das als Team schon passiert. Das kann man ganz klar so sagen. Das ist aber, muss ich auch hier sagen, es ist nicht schlecht, sondern das hilft natürlich auch Geschwindigkeit aufzunehmen. Das heißt, man fängt natürlich logischerweise einfach an, ne und sagt, okay, mit einfachen Modellen, wie weit komme ich denn damit? Die kann ich leichter erklären, aber ich würd's vielleicht mal von außen sehen, wenn man von außen auf die auf son Data Science Projekt drauf guckt, dann ist ganz spannend, was am Ende passiert, ne. Also selbst wenn man sehr gut darin war, die Daten aufzubereiten und zu modellieren und die Evaluation auch gut aussah. Jetzt kommen wir an die Deployment Frage dann am Ende. Also wenn ich das Ding tatsächlich live kriegen will, dann stehen dort Entscheidungen im Raum und die Entscheidung trifft der Kunde. Und da ist natürlich die Frage, wie viel Vertrauen hat er in etwas, was er vielleicht nicht so gut versteht im Verhältnis zu etwas, was er gut versteht. Also ist er vielleicht gewillt, eine 1 etwas schlechteres Modell im Ergebnis eher umzusetzen, weil er sagt, da gibt's auch im Follow-up, also mit all den Leuten, die dann hinterher damit arbeiten, gibt's eine höhere Chance, dass die wirklich darauf aufspringen, dass sie sagen, ich hab's verstanden, als wenn ich jetzt hier mit großen neuronalen Netzen mich schmeiße, wo ich dann hinterher vielleicht ein 1 Erklärungsproblem hab. Das betrifft das Ende des Data Science Projekts. Es gibt am Anfang natürlich aber auch ein anderes Thema. Ich setze mich am Anfang zusammen und definiere, was ich im Projekt raus haben möchte. Und wenn jemand auf die Idee kommt, einen einen klaren Threshaul zu definieren und zu sagen, mein Modell muss so gut sein. Dann hab ich ja gar nicht die Wahl. Also dann kann ich's natürlich mit einfacheren mit einfacheren Algorithmen probieren. Wenn die nicht so gut sind,

Speaker0: dann muss ich da liefern, ne. Und dann wird's natürlich die Wahl des komplexeren Modells. Also man sitzt da zwischen 2 Stühlen, glaub ich. Aber ist es denn so, dass es Also meine naive Interpretation davon wär ja gut, aber wenn jemand in der Lage ist, ein konkretes Ergebnis zu formulieren, was erreicht werden soll, dann kann er ja potenziell auch verstehen, wie son Algorithmus funktioniert, wenn er wenn er sagt, okay gut, ich weiß, was da für eine Power drinsteckt, er kann ich dieses Ergebnis festlegen oder ist das nicht der Fall, sondern man denkt sich, hey, ich will das Ergebnis haben, you do oder wie wie genau ist das?

Speaker2: Also es ist natürlich so, dass man oder wir grade bei uns jetzt auch, wenn wir von der Logistik und von der Produktion sprechen, wir haben's mit Leuten zu tun, die ganz häufig auch mit mit physischen Prozessen zu tun haben. Und das sind Experten, die sind sehr gut in dem, was sie tun und gegen die musst Du dann mit einem Algorithmus ankommen. Also wenn es sozusagen ein Prozess ist, in dem mit dem man versucht, wird Data Science zu verbessern, ne? Es gibt ja auch, sag ich mal, Dinge, die die dann ganz neu auftauchen, aber gerade bei denen, wo es Verbesserungen geht, ist sozusagen dein Gegner die sind dein Gegner die Profis, ja? Und die haben eine sehr sehr hohe Erfolgsrate, ja? Also das heißt, die müssen zu dem Zeitpunkt verstehen die das vielleicht nicht, was der Algorithmus tut, aber sie sagen, wenn Du nicht besser bist als das, hilft es uns ja nicht wirklich weiter. Ganz flach formuliert.

Speaker4: Ich denke aber, Du hast da auch wichtige Dinge genannt, dass man ja zuerst die einfacheren Modelle typischerweise ausprobiert. Also wenn ich jetzt auch an das denke, was Erika in der Storyline gemacht hat, sie hat ja ja viele richtige Elemente drin, aber es fehlt son bisschen diese Struktur. Und ein wichtiges Strukturelement für mich ist ja dieser Gedanke von Continuous Release im Prinzip, dass Du immer, wenn Du eine Schleife zu Ende ziehst, dass dann auch irgendein Modell dastehen sollte. Und das kann nach der ersten Iteration kann das ein total triviales Modell sein, weil Du dich vielleicht eigentlich nur mit dem Data preprocessing beschäftigt hast und das da das am Schluss ist vielleicht eine einfache Mittelwertstatistik meinetwegen, ja. Ja. Die ist sehr leicht zu erklären. Dann kommt als Nächstes vielleicht so was wie eine lineare Regression oder etwas, was Du zumindest am Whiteboard so skizzieren kannst, was es tut. Und dann sehen die gegenüber vielleicht, okay, hier, das hab ich ganz einfach verstanden war ja trivial hier das verstehe ich noch mit der Erklärung des Data Scientist und es ist schon etwas besser geworden im nächsten Prozess kommt dann vielleicht ein Algorithmus den habe ich jetzt nicht mehr verstanden aber das Prinzip sollte doch das Gleiche sein wie bei dem, was er letzte Woche an dem Whiteboard gezeichnet hat. Und dass man so sieht, okay, es wird komplizierter, ich versteh es nicht mehr im Detail, aber das Vertrauen ist vielleicht schon 'n bisschen aufgebaut über die davor vorangegangenen einfachen Algorithmen. Dann sieht dieser Experte vielleicht, aha, den Algorithmus, den er letzte Woche erklärt hat, der war noch 10 Prozent schlechter als State of the Art. Jetzt kommen wir langsam in einen interessanten Bereich. Ich versteh's vielleicht nicht mehr so ganz, aber so iterative Also wenn man böse ist, sagt man, das ist wie der Frosch, bei dem das Wasser langsam erwärmt wird, ne? So kannst Du's auch 'n bisschen mit dieser Akzeptanz halten. Aber jetzt positiv formuliert, die einfachen Beispiele musst Du fast durchgehen oder macht zumindest Sinn in sonem iterativen Prozess, dass Du nicht gleich mit dem riesigen, komplexesten Werkzeug kommst. Auch für den Data selbst find ich das nützlich. Und das kann man dann quasi mitnehmen, dadurch auch das Verständnis und die Akzeptanz zu

Speaker2: steigern. Das was Du hast es eben angesprochen, was bei uns auch immer sehr stark hilft, ist das Thema Dokumentation. Also ich komme nach jeder Iteration mit einem Modell raus. Ich sag mal so Vorgehensmodelle wie wie CRIST PM zum Beispiel liefern ja in ihrer Beschreibung auch Ideen davon mit, was am Ende 1 Phase passieren sollte, was dastehen sollte, was als Deliverable irgendwo existiert und diese Dokumentation, die ist, haben wir die Erfahrung gemacht, wahnsinnig nützlich einfach, langfristig dem Kunden gegenüber etwas zu haben, was er immer wieder nachschauen kann, gleichzeitig aber auch kurzfristig, ja, wie sone Art Rechtfertigung für die Iteration zu haben und zu sagen, nein, nein, wir fangen nicht wieder von vorne an, sondern neues Wissen generiert letzte Schleife, hier ist das Produkt daraus, ne. Und die Begründung, dass wir wieder von vorne anfangen, steht auch da drin, ne. Also es sichert auch die eigene die eigene Tätigkeit 'n Stück weit ab. Was mir da noch einfällt, es gibt ab und zu mal das Problem mit den Schleifen. Man muss, glaube ich, als Data Scientist auch ein bisschen vorsichtig sein, wie schnell man die Schleifen dreht und wie weit man Veränderungen zulässt, ne? Weil es Man muss aufpassen, dass einem zum Beispiel die anfänglichen Hypothesen nicht über den Haufen geschmissen werden, ne. Wenn man so im Flow ist und sich seine Daten anschaut und sagt, Mensch, hier kann ich doch was ganz Neues noch herausfinden und man dann anfängt an den an dem zu feilen, was man eigentlich untersuchen möchte, dann ist das nicht mehr die nächste Iteration, die man dann durchläuft. Und das muss man dem Kunden dann auch mal wieder klarmachen, sondern das ist dann eine neue Fragestellung. Also wenn man dann am Ende steht und sagt, ich hab jetzt hier 12 Schleifen gedreht, weil ich hab bei jeder Schleife meine Hypothesen angepasst vorne, dann sind das nicht 12 Schleifen auf dem gleichen auf der gleichen Fragestellung. Und da haben wir zumindest die Erfahrung gemacht, sollte man zusehen, dass man Fragestellungen wirklich 'n Stück weit zementiert und sagt, das ist das Projekt, was diese Fragen beantworten soll. Alles andere, wenn es zu weiter, sag ich mal, rausgeht aus dem, was mit den Daten möglich müssen wir separat betrachten.

Speaker4: Interessant. Das heißt, Du machst explizit hier die Unterscheidung zwischen quasi der Hypothese und der, nennen wir's mal Optimierungsiteration. Das finde ich interessant wie streng seid ihr da kannst Du das noch ein bisschen ausführen also wenn ihr dazu kommt keine Ahnung diese Hypothese ist so nicht beantwortet aber die nächstnahe Fragestellungde Fragestellung wäre das und das Macht ihr da einen Cut und sagt das ist jetzt formell ein neues Projekt oder wie geht ihr damit

Speaker2: Ja, da kommt's natürlich darauf an, was die Konsequenz ist, ne. Also wenn man sozusagen eine 1. Hypothese mit dem, was man vor sich sieht an Daten nicht beantworten kann und natürlich sich eine logische Konsequenz, also eine logische nächste Frage ergibt, ist dann entscheidend, wie kann ich die bisher vorhandenen Daten dafür nutzen? Also kann ich sozusagen es neu aufsetzen mit den Daten, die ich schon habe, ja, und versuche es einfach in eine andere Richtung dann zu modellieren oder stelle ich fest, dass die Folgefrage vielleicht ganz andere Systeme betrifft, ganz andere Datenquellen betrifft? Dann muss ich mir schon überlegen, vor allem weil Projekte ja immer auch 'n klares Anfang und Ende haben und man bis zu dem Zeitpunkt ja auch schon gearbeitet hat, ob man sagt, Erkenntnis, Projekt 1 ist, das ging so nicht, mit den Daten vielleicht auch nicht, aber spannende Folgefrage, wir setzen dann gleich ein neues Projekt gemeinsam auf, ne. Das ist auch wieder der Transparenz gegenüber dem Kunden vielleicht geschuldet. Ein 1 umgekehrter Ansatz ist ja häufig

Speaker4: dadurch, dass man jetzt 'n ein, 2 Iterationen mit diesen konkreten Daten und diesem Prozess gedreht hat, häufig kommt dann ja umgekehrt zu sagen die Idee na ja okay welche Hypothesen könnte ich mit diesen Daten denn jetzt angreifen also sozusagen das Pferd von hinten aufgerollt das ist ja häufig so eine Versuchung dass man das dann eben so macht grad bei 'nem Projekt, wo halt 'n gewisses Volumen grad einfach beauftragt ist und man hat ja dann 'nem gewissen Mehrwert auch zu stiften, da kann man jetzt dann, das ist schwieriger zu sagen, okay, Cut neues Projekt. Aber wie siehst Du das? Du als Interner hast da ja vielleicht mehr Freiheit.

Speaker2: Ja, wahrscheinlich haben wir das dieses Thema, ich hab hab jetzt hier einen kompletten komplettes Set an Zeit gebucht, ne, und arbeite in der Zeit. Das haben wir vielleicht bei uns intern so nicht. Was es aber trotzdem möglich macht zu sagen, wir setzen dann gleich im Anschluss daran eine neue und jetzt bin mal wieder gedanklich in der Projektmanagementwelt von ChrisDM ist, einen neuen einen neuen großen Zyklus auf und machen dann damit gleich weiter. Also das ist an sich kein Problem. Ich möchte nur an der Stelle wieder darauf zurückverweisen, dieses ganze Projektmanagement Konstrukt, was da ringsum entsteht, hat aus unserer Erfahrung vor allem den Kommunikationsaspekt gegenüber dem Kunden und den eigenen Strukturaspekt, sag ich mal, als Vorteil, ne.

Speaker0: Könntest Du da vielleicht noch mal kurz einen ganz kurzen Abriss geben, was man genau unter CRISP DM versteht? Vielleicht falls es manche von den Hörern nicht genau wissen, was man sich also was da genau die Definition ist oder genau.

Speaker2: Ja, CRISDM ist soweit ich weiß ein schon etwas länger existenter Standard. Ich glaub, das steht für Cross Industrial Standard process for Data Mining, mit dem man relativ gut nicht mehr linear, also nicht mehr im Wasserfallmodell, sondern mit kleineren Schleifen in der Lage ist, sein Data Science Projekt zu strukturieren. In einzelne Phasen, die nacheinander ablaufen, aber bei bestimmten Ergebnissen in Einzelphasen auch wieder ein Rückschritt. Also ja, das ist vielleicht negativ konnotiert, aber einen 1 1 2. Schleife, einen zweiten Durchlauf ermöglichen. Genau. Und die Phasen kann man kurz beschreiben. Also es gibt am Anfang das Business Understanding, bei dem sehr wichtig ist zu verstehen, was der Kunde genau möchte. Was sieht man vor sich? Welche Domäne ist das? Vielleicht auch schon welche Daten sind da mit drin? Dann das Thema Data Understanding, da wird man dann glaube ich als oder wären wir als Data Scientisten dann langsam warm, ja. Wirklich reinzuschauen, was habe ich alles vor mir? Was kriege ich vielleicht noch? Wer kann mir erklären, was ich da sehe? Auch schon mit Fehlern umgehen. Dann kommt der große Teil Data Preparation, wo man die Aufbereitung der Daten vornimmt, dann in die eigentliche Modellierung zu gehen, also das Modelling. Im Anschluss daran wird evaluiert, das heißt das Ergebnis des Modells gegen die ursprüngliche Fragestellung gestellt und gesagt, Mensch, jetzt haben wir hier eine ganze Zeit lang haben wir daran gearbeitet, passt das zu dem, was wir vom Kunden beauftragt bekommen haben und ganz am Ende steht zumindest in dem Modell noch das Deployment. Also die Überlegung, wie kriege ich das, was ich jetzt am runden Tisch gemacht hab oder im Rahmen des Projekts gemacht hab, wie kriege ich das nachhaltig auch zurück zum Kunden, dass das einsetzen kann? Soweit mal Herr Grove abriss.

Speaker0: Genau. Das war fand ich super. Ja, sehr gut sehr gut für den Iran. Also weil es auch grob, weil es auch grob das ist, wie der wie unsere 3. Staffel vom Podcast eben aufgebaut ist. Da haben wir uns auch dran orientiert, aber cool, dass es mal gesagt wurde. Genau. Wie viele von diesen Iterationen, die wir jetzt da angesprochen haben, sollt gibt's denn da typischerweise? Und vielleicht auch die Frage dazu passend, angenommen, weiß nicht, ob so was jemals schon mal passiert ist, aber angenommen, ihr seid jetzt in dem Projekt und ihr denkt euch nach der nach dem ersten Zyklus denkt ihr euch so, ja, nice, klappt alles. Zwingt ihr euch dann zu noch 1 Iteration Oder muss es für so eine Iteration immer einen Grund geben? So wie wir es vorhin angesprochen haben. Es kommen neue Infos auf den Tisch und mit denen arbeiten wir jetzt noch mal was alles alles durch. Oder will man will man diese Iteration so will man diese Iteration eigentlich so gut es geht minimieren? Oder gibt's da irgend eine untere Schranke dafür? Wie seht ihr das? Eine untere Schranke ist wahrscheinlich 1. Ja, das ist so wie ein Infil, was irgendwie größer ist als 1 so. Genau. Das

Speaker2: ist wirklich, glaube ich, generell schwer zu beantworten. Du hast ja die Frage gestellt, ob man auch wenn man eigentlich zufrieden mit seiner Iteration ist, ob man dann vielleicht noch mal eine Runde dreht. Das hängt glaub ich von vielen Faktoren ab. Das hängt davon ab, ob man die Zeit hat, ob vielleicht auch 1 im Team gesagt hat, Mensch, ich hab das Gefühl 'n paar Parameter, wenn wir da noch ein bisschen dran drehen, da geht vielleicht noch was, auch wenn wir vielleicht das ursprüngliche Ziel schon erreicht haben. Wenn das alles überschaubar ist, ne, dann kann man das sicherlich noch mal diskutieren und noch mal eine Schleife fliegen. Grundsätzlich hängt die Anzahl der Schleifen an ein paar Faktoren wie, wie gut ist die Vorbereitung. Also zum Beispiel, wenn ich einen schon sehr erfahrenen Kunden habe, dem ich wo ich dann einen Ansprechpartner vielleicht hab, der von Anfang an sagt, Mensch, letzten 3 Projekte haben wir zusammen gemacht, ich weiß grob, was eure Anforderungen sind. Hier sind die Daten. Ich hab schon mal vorher reingeschaut, hier ist die Erklärung dazu. Da glaube ich reduziert sich die Anzahl der Iterationen schon stark und gleichzeitig natürlich auch die Erfahrung im Team selbst. Also wie gut spielt das Team zusammen, das Data Science Team, was da anarbeitet oder vielleicht auch jetzt im Fall von der Erika, wie wie viel Erfahrung hat sie selbst schon, manche Dinge von Anfang an ja sozusagen auszumerzen. Was man was man nicht umgehen kann, ist einfach die die Tatsache, dass es Erkenntnis gibt. Erkenntnisgewinn durch das Modell, ne? Nach jeder Runde aufs Neue, weil ich sag mal, wenn wir es im Kopf könnten, das was die Modelle machen, dann könnten wir es uns ja sparen, ne? Dann dann könnten wir ja bräuchten wir ja die Maschinen dazu nicht und die Algorithmen. Dann können wir es uns denken, dann brauchen wir keine Zweitintegration. Von daher, es hängt an vielen von vielen Faktoren ab. Ich hab jetzt bei uns nicht erlebt, dass wir in den zweistelligen Bereich gekommen sind, auch mit den kleinen Schleifen, ne. Also selbst da ist das schon überschaubar.

Speaker4: Ja, also ich würd sagen son Erwartungswert, den ich meistens hab, ist so Größenordnung 4 Literation. Wenn die Umstände vorliegen, wie Du's grad geschildert hast, Sebastian, der Kunde hat schon gewisse eigene Analysen gemacht die Daten sind schon mal angeschaut worden es gibt da sagen wir zumindest so einfache Analysen gibt's schon dann sind's vielleicht 2 Iterationen dass es nach 1 gleich klappt das habe ich noch nicht erlebt Aber 2 ist zumindest, dass dass man im Sinne dieses Continuous Release schon 1 1 1 Ergebnis hat, womit man dann was anfangen kann. Also natürlich auch nur wenn's wenn's das hergegeben hat. Und ansonsten zu dem man hört man also zieht man noch eine Schleife obwohl man eigentlich zufrieden ist ja das hängt dann von den Prioritäten des Kunden auch ab also wir versuchen dann eher zu sagen na ja okay letztens gehen wir dann lieber in die nächste Fragestellung möglichst viel quasi Mehrwert für den Kunden rauszuziehen weil dann natürlich auch für uns die Wahrscheinlichkeit dass wir quasi in Folgeauftrag kriegen die steigt dann natürlich, wenn wir je mehr Mehrwert wir geliefert haben. Also weil es wird ja selten so sein, dass wir dann danach okay, alle Fragen sind beantwortet, wir können die Zusammenarbeit beenden. Das tritt ja dann eigentlich auch nicht ein, sondern dann gibt's ja vielleicht das Deployment oder sowas, was dann noch mal 'n riesen Ding ist. Deswegen versuchen wir dann schon eher zu sagen, okay, das klappt doch schon mal gut. Dann schauen wir mal, ob wir die nächst anspruchsvollere Frage mit diesem Stand auch bereits bearbeiten können. Also quasi machen dann lieber die große Schleife noch mal auf.

Speaker2: Ja, der Luxus glaube ich auch, sage ich mal, noch eine Iteration fliegen zu können. Mal abgesehen von dem Thema, dass es natürlich ökonomische Zwänge beim Kunden gibt und umgekehrt dann natürlich den Wunsch, ihm möglichst viel Mehrwert zu bieten. Den Luxus hat man manchmal nicht, vor allem dann nicht, wenn man man wenn man 'n Stück weit überrascht ist davon, dass manche Phasen in CRISP EM länger dauern als andere. Ich formulier es mal so. Also die ersten Phasen bis hin zum bis hin zur Data Preparation sind zumindest dem, was wir bislang erlebt haben, immer die zeitintensivsten. Also da sollte man schon, wenn man von Anfang an einen Zeitplan aufstellen muss, ja? Also wenn dann vielleicht auch der Kunde da ein Interesse dran hat zu sehen, was man sich vornimmt für einzelne Elemente 1 Iteration. Da sollte man deutlich über die Hälfte der Zeit investieren. Einfach, man sollte sich darüber im Klaren sein, dass Modeling relativ spät kommt.

Speaker0: Krass. Über die Hälfte der Zeit. Das finde ich tatsächlich überraschend.

Speaker4: Aber Also man muss es nicht so machen. Man kann auch früher anfangen, aber es es ist der Aufwand, der kommt dann trotzdem Ja, jetzt halt vielleicht weniger durch. Und

Speaker0: ja, ja, also da hatten wir ja auch schon in der, ich glaub, die 2. Folge war's mit dem Martins Zucker drüber gesprochen, dass es das auf jeden Fall wert ist, da sich einfach mal Gedanken zu machen über den Use Case, den man da überhaupt wirklich hat, weil sonst muss man wirklich ganz mies eine Rolle rückwärts machen und das kostet wirklich Zeit und Geld, ja. Gut, aber ich würde mal sagen, wir schauen in den nächsten Abschnitt von der Erika rein und ja, hören uns an, was ihr so widerfährt.

Speaker3: Glücklicherweise hat sie einen Bekannten bei der Firma Erium, der ihr dabei helfen kann, das abzuschätzen. Bei dem letzten Präsentationstermin sind Peter und Achim und auch die anderen zufrieden mit Erikas Lösung und bereit, ihren Algorithmus nach dem Deployment ein Jahr lang zu testen, zu sehen, ob das Ganze auch in der Praxis funktioniert. Erika hat es geschafft, ihre Starrheit bezüglich Data Science abzulegen und kundenorientierter zu arbeiten. Ihr wurde klar, dass ein Machine Learning Modell in diesem Fall ohne Expertenwissen gar nicht funktionieren kann.

Speaker0: So, die Secret Source, das Geheimnis wurde jetzt bei dem Textabschnitt weggelassen, ne. Also es wurde einfach gesagt, ein Kollege der Firma Erium oder ein Bekannter der Firma Erium hilft dir dabei. Was sagt ihr denn dazu? Wenn jemand auf euch zukommt und fragt, also im Projekt auf euch zukommt und fragt, hey, wann sind wir denn grob fertig? Also Du hast gerade angesprochen, über die Hälfte der Zeit verbringt man ja teilweise auch schon mit der Organisation davon oder der die Hälfte der Zeit verbringt man ja teilweise auch schon mit der Organisation davon oder der Abschätzung oder korrigiere mich, wenn ich da wenn ich da falschlieg. Wie lässt sich denn der Zeitpunkt der Fertigstellung überhaupt grob abschätzen von sonem Data Science Projekt? Kann man da sowas sagen, okay gut, Maxim, Du hast von Erwartungswert gesprochen, ja, wir brauchen gerne mal so 4 Iterationen, die dauern dann grob so lange oder hängt es zu sehr von den internen Prozessen beim Kunden ab und ob die flüssig laufen oder nicht oder wie genau seht ihr das? Ja, Maxim.

Speaker4: Also was man machen kann, ist, man kann definieren, wie lange eine 1 also man kann in Sprints arbeiten, die idealerweise versuchen eine Iteration komplett durchzulaufen und dann eine Sprintdauer definieren. Das das hat auch einige Male schon gut funktioniert. Das Problem ist also dass man dann zum Beispiel sagt ein Sprint ist ein oder 2 Wochen und in denen wird arbeiten alle nur daran und es wird halt die volle Power da reingesteckt und da kommt man dann auch ziemlich weit und man kann dann zum Beispiel definieren ja wir machen 3 Sprints und dann ist das Ergebnis halt so wie es ist ne das ist so ein bisschen Ressourcenplanung statt Ergebnisplanung das das kann man machen was aber dann häufig ein bisschen dann diese Kalkulation wenn man dann können wir jetzt ja sagen okay nach 3 Wochen sind wir fertig durcheinanderbringt ist das zum Beispiel zwischen Sprint 1 und Sprint 2 oder aus Sprint 1 es steht entsteht irgendein Deliverable des Kunden also okay besser zu werden brauchen wir von dir x oder y und da hast Du halt häufig massivst Verzögerungen bis das dann kommt ja also weil das betrifft ja dann vielleicht irgendeinen echtwelt physikalischen oder Ingenieursprozess in den ich einfach so irgendeinen Testlauf eingeplant werden kann oder dann ist die Maschine da und wegen Wartung und sonst was also da habe ich schon alles mögliche erlebt an verrückten Verzögerungen die aber dann dadurch entstehen dass sozusagen das Data Science Team dann auf irgendein neues Baustück wartet ansonsten zu sagen wir planen wenn die wenn diese Voraussetzung da sind wir planen strikte Sprints und definieren halt, wie viele Sprints wir machen. Das funktioniert an sich ganz gut.

Speaker2: Ja, das kann ich nur ergänzen, was der Maxim gesagt hat an der Stelle. Also es ist liegt, glaube ich, auch in der Natur dieser Sache, dass man nicht von Anfang an wissen kann, was weiß ich, wie beim Brot backen, wann das Ganze fertig ist. Es ist halt weiterhin ein Stück weit ein Science Prozess und das ehrlichste ist, haben wir die Erfahrung gemacht zu sagen, wir gucken uns das jetzt für einen gewissen Zeitraum an mit der Erfahrung, die aus den vergangenen Projekten schon da drin ist bei uns. Wir definieren jetzt mal einen Zeitraum von vielleicht ein paar Monaten und ihr kriegt dann das, was zu dem Zeitpunkt da ist. Wir gucken uns dann wieder in die Augen und sagen passt das? Reicht das? Wollt ihr mehr? Negatives Ergebnis, hab ich ja vorhin schon mal angesprochen, ist auch ein Ergebnis. Die Zeitplanung an sich hängt glaube ich auch ein bisschen damit Die hängt davon ab, wann man diese Zeitplanung aufstellt. Also wir haben vorhin über die QSTM Phasen gesprochen. Wenn man natürlich vor dem Start des Projekts gezwungen wird zu sagen, wie lange es dauert, ist das deutlich schwieriger, als wenn man schon zum Beispiel am Ende von Business Understanding steckt und schon mal weiß, Mensch, das sind die Fragestellungen, vielleicht schon mal ein paar Daten gesehen hat. Was ich auch immer empfehlen kann ist, die Uhr erst dann ticken zu lassen, wenn die Daten da sind. Also das ist jetzt das, was Du auch gerade gesagt hast über die Deliverables, aber das würde ich schon von Anfang an so machen, weil es auch manchen Kunden einfach schwerfällt, an ihre Daten zu kommen, ne. Also wenn wir da über über Experten, Fachexperten reden, die wirklich tief in der Produktion, tief in den Logistikprozessen auch drin sind, können die zwar die entsprechenden Systeme vielleicht auch verstehen, analysieren grob, aber das heißt nicht, dass sie die Art von Zugriff darauf haben, die man selbst benötigt, dann Analysen zu fahren. Also da Zeitmanagement glaube ich, hat son paar Fallstricke im Data Science Bereich.

Speaker4: Ja, 'n guter Punkt, den Du gesagt hast, wann die wann tickt die Uhr, dass man klar definiert, was sind die Deliverables des Kunden an den Data Scientist? Und ich würde dann so weit gehen, dass man halt sagt, okay, wenn das und das da ist, dann fangen wir an, dann machen wir Vollgas diesen und jeder jeden Zeitraum im son Sprint. Dann definieren wir das nächste Set von Deliberable und starten den nächsten Sprint erst, wenn die da sind. Dann hat man ja auch immer quasi den Ball zurück zum Kunden gespielt. Das ist dann relativ auch klar. Und dann ist man zumindest, also hat man zumindest alles getan, was man kann, das möglichst zügig voranzubringen.

Speaker2: Was ich vielleicht noch ergänzen möchte an der Stelle, man kann sich auch überlegen, zum Beispiel den ersten Durchlauf mal wie ein paar Forstreet zu gestalten und zu sagen, wir probieren jetzt einmal CRISDM hier komplett durch, ne, ohne auf die Modellgüte zu achten, einfach technische und organisatorische Fragen zu klären, ne. Dass man wirklich einmal sieht, ja, es kann funktionieren, ne. Oder wir haben schon schon bei 1 Variante, bei der wir noch gar nicht auf das Ergebnis großartig achten, stellen wir jetzt schon fest, dass uns noch was fehlt, lieber Kunde. Lass uns das jetzt so früh wie möglich herausfinden.

Speaker4: Mhm. Ja, finde ich valide interessant. Werde ich mal auch nicht.

Speaker0: Also so wie ich das verstehe, ist 1 der Flowers, an denen so was dann in die Länge gezogen werden, in die Länge gezogen werden kann, sind oft interne Prozesse oder zum Beispiel die Datenbeschaffung. Gibt's denn da noch andere, sage ich mal, kritische Punkte, wo man sagt, okay gut, wenn das jetzt nicht sitzt, also vielleicht auch neben einfach falscher Modellierungen oder generell so den den den Skills von dem Data Scientists, gibt's da andere kritische Punkte, wo son Projekt einfach, ja scheitern kann?

Speaker2: Ja, da gibt's eine ganze Reihe. Also es ist natürlich so, dass ein Data Science Projekt immer eingebettet ist. Eingebettet in einen Kontext, in einen unternehmerischen Kontext, auch auch sicherlich in einen IT Kontext. Am Ende ist die Frage, ob das was als Erkenntnis aus dem Data Science Projekt rauskommt, tatsächlich in der Praxis umgesetzt wird. So. Und wenn das Handlungsempfehlungen sind und das Projekt, also der Erfolg des Projektes an der Umsetzung dieser Handlungsempfehlung hängt, dann ist man häufig als Data Scientist natürlich ab einem bestimmten Punkt nicht mehr Herr der Lage. Das heißt, man selbst ist ja nicht derjenige, der umsetzt. Bedeutet, man sollte sich halt entweder versichern, dass auch die Umsetzungsbereitschaft gegeben ist, ne. Natürlich immer unter den Prämissen, dass das Modell gut ist, dass das die Erkenntnisse hochwertig sind oder ansonsten sagen, das Produkt, was ihr von uns bekommt, endet vor der Entscheidung, ne, dann ist das Projekt erfolgreich, aber die Umsetzung selbst, die hat man natürlich nicht in der Hand. Ich meine, wir reden über Arbeitsteilen über Arbeitsteilung in großen Unternehmen. Das bedeutet, da gibt's vorgelagerte und nachgelagerte Prozesse. Da muss man sich also klar auch glaub ich abgrenzen, da nicht sozusagen in eine Definition von Scheitern 1 Projektes zu kommen, die man nicht möchte. Das ist das eine. Das andere ist so die für mich immer wieder das Thema, wer stellt die Frage? Also wenn jetzt ein Kunde kommt, dann kann es sein, dass er die Frage stellt, obwohl er in dem den Daten zugrunde liegenden Geschäftsprozessen relativ weit hinten ist. Das heißt, er hat einen Schmerz und er kommt und möchte, dass wir das analysieren. Er ist aber nicht Herr der Daten, also er ist auch nicht Herr des Prozesses, sondern er, sage ich mal, leidet einfach nur da drunter, ums jetzt mal krass zu formulieren, genau. Also da ist natürlich dann auch immer Also

Speaker0: da ist natürlich dann auch immer spannend, wie kriegt man vorgelagerte Personen mit rein? Also wer gehört

Speaker2: eigentlich in das Data Science Projekt mit rein, es auch schon aus Datensicht vollständig zu machen und aus Prozesssicht?

Speaker0: Gut, wenn Du sagst, es ist eingebettet, kommen wir jetzt zur nächsten Folge. Und zwar inwiefern, vielleicht können wir hier son bissel Last von Erikas Schultern runternehmen oder noch mehr drauf packen, je nachdem, was sie da jetzt gleich dazu sagt, inwiefern ist denn dieses dieses ganze dieser ganze Projektmanagement Teil ihres Aufgabenbereichs? Oder natürlich klingt das auch immer ab von dem Ort, wo man arbeitet, ne? Sone Senior Data Scientist ist es vielleicht, sollte das vielleicht mehr zugetragen werden als jetzt ihr. Sie ist ja neu in dem Unternehmen und relativ neu auch im Bereich Data Science. Aber inwiefern muss denn ein, ja, Data Scientist das wissen? Sollte es eine Vorlesung Projektmanagement in Data Science Projekten geben, die er besucht hat oder ist das son Learning by Doing Ding?

Speaker2: Ja, also in der Realität, ne, wenn man jetzt sich mal das anschaut, was tatsächlich dann passiert, auch vielleicht in den Unternehmen oder das kann ja Maxim hinterher vielleicht ergänzen, wenn man als Externer sozusagen dazu arbeitet und da mit reinkommt, ist es so, dass natürlich eine ganze Reihe von Skills immer auf dem großen Portfolio 1 Data Scientists landen. Also ihr hattet es glaub ich in vorherigen Podcastfolgen auch schon angesprochen, was so die Erwartungshaltung gegenüber jemandem ist, der da der im Data Science Bereich arbeitet. Und ich glaube, dass sich das noch etwas entschlacken wird mit der fortschreitenden Reife, auch von dem, was wir hier alle tun. Das heißt, dass man irgendwann wieder verstärkt dazu kommt zu sagen, es gibt die mathematisch statistischen Profis, es gibt die IT Profis und es gibt dann vielleicht die, die eher organisatorisch oder Projektmanagement sehr, sehr gut drauf haben, weil es ist wirklich, wirklich schwer und ich glaub, es gibt wenige Menschen, die tatsächlich alles beherrschen. Das ist, die sind jeweils dermaßen große Felder, da wirklich Experte zu bleiben und das alles zu bedienen, glaube ich, überfordert auch oder schreckt vielleicht auch ab, ne? Gerade wenn man jetzt sich noch überlegt, ob man das studieren möchte und dann irgendwann hört, Mensch, es ist nicht nur der nörige Teil mit den Formeln, es ist auch noch sehr viel mehr. Ja, also ich glaub, da kann man natürlich auch davon profitieren, wenn man so arbeitet wie bei uns im Team, wo man das 'n bisschen bisschen separieren kann, ne. Wo man sagen kann, Mensch, der eine geht eher in die IT Schiene, der andere guckt sich dann eher die Algorithmik an. Nichtsdestotrotz, der Stefan Hilbert hat es schon mal gesagt, es gibt so eine inoffizielle Projektmanagement Rolle, die dem Data Scientist immer noch zufällt, ja? Hängt damit auch zusammen, glaube ich, dass ein selbst ein offizieller Projektmanager, wenn er noch nicht viel Berührungspunkte zu Data Science Projekten hat, dann kann es sein, dass er die die Wünsche, Bedürfnisse des Data Scientists einfach nicht so gut berücksichtigen kann. Das heißt, man tut sich dann leichter, wenn man mitsteuern kann, ne? Das da hängt natürlich auch der Erfolg dann davon ab. Und am Ende des Tages die Kommunikation, ne? Wir haben's jetzt schon mehrfach, glaube ich, angesprochen. Selbst wenn ich Projektmanagement als Data Scientist vielleicht nicht vordergründig mitmache, vielleicht weil es gut läuft, ist es dennoch eine wichtige Aufgabe, die ich selbst dann immer inneh hab, die Kommunikation sicherzustellen. Zu dokumentieren. Beschreibbar zu machen, was da eigentlich passiert ist, was man da sieht, ne? Einfach ansonsten wird's schwierig, die Wertschöpfung auf der Kundenseite deutlich zu machen.

Speaker4: Ja, das kann ich kann ich da nur unterschreiben. Also man kommt zum jetzigen State of the Art, kommt man da nicht ganz raus. Also hab's auch ein- und zweimal auch schon so mitgemacht, dass der Kunde komplett seinen Projekt, sein Verständnis von Projekten quasi, die dem Data Science Projekt aufgedrückt hat und nicht quasi die Rolle des eigentlich reinen Nerds hatte. Das hat nicht so gut funktioniert. Man muss, also de facto muss man dann einfach mit managen, auch wenn man das vielleicht nicht mag. Also ich hab auch die Vermutung, Hoffnung wie Du Sebastian, dass sich das normalisieren wird, wenn Data Science auch nur ein weiteres Feld ist oder so was und man da quasi einfach die Skills als normaler Projektmanager vielleicht hat, zumindest rudimentär, wie das wohl so läuft, das, was sich dann 'n bisschen entlastet. Aber Moment, ja. So wie Stefan das eben in dem vergangenen Podcast geschildert hat, Du musst Du musst deinen Finger damit draufhaben, sonst sonst kriegst Du die falschen Dinge oder es fallen Dinge unter Tisch. Es ist halt 'n Data Science Projekt und Du bist der Data Scientist. Es ist halt dann einfach so. Das heißt, Du bist für dieses Projekt irgendwie verantwortlich.

Speaker0: Alles klar. Das ist doch 'n schönes Schlusswort, ihr beiden. Ich sag vielen Dank, Sebastian. Danke, Maxim. Cool, dass ihr beide da wart und ja,

Speaker4: bis nächste Woche. Dankeschön, hat viel Spaß gemacht. Find ich auch, hat mich gefreut.

Speaker0: Hier noch einmal die 3 wichtigsten Learnings aus der heutigen Folge. Nummer 1, Data Science Projekte sind ein Stück weit immer auch Wissenschaftsprojekte, welche von Natur aus viel Agilität erfordern. Daher sind bei Data Science Projekten Ansätze aller CRISP DM gegenüber einem Wasserfallmodell oft zu bevorzugen. Nummer 2, in jeder Iteration 1 Data Science Projektes muss das Ziel klar formuliert und eine konkrete Fragestellung zementiert sein. Sonst verliert man sich, analysiert wild durch die Gegend und das Projekt findet keinen Abschluss. Und Nummer 3, iteratives Vorgehen bedeutet nicht stagnieren, denn jede Iteration innerhalb 1 solchen Projektes erzeugt neue Erkenntnisse. Wenn ihr euch auch mit uns zu diesem Thema austauschen wollt, dann joint unserem E-Mail-up mit Sebastian. Mehr Infos findet ihr in der Beschreibung. Bis zum nächsten Mal. Master wie Komplexity.

Speaker1: Jeden Dienstag erscheint eine neue Folge von The Erium Podcast. Auf dem Laufenden zu bleiben, folgt uns auf Facebook, Instagram, Twitter und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.

More episodes from season 3 →