WIE FUNKTIONIERT ORDENTLICHES UND NACHHALTIGES DEPLOYMENT? – mit Oliver Bracht

Season 3· 9. Februar 2021· 3422

Episode cover: WIE FUNKTIONIERT ORDENTLICHES UND NACHHALTIGES DEPLOYMENT?  – mit Oliver Bracht
0:003422
  • Moderator/Host (Jaguar)Host of the Erium Podcast
  • Oliver BrachtChief Data Scientist at Eoder GmbH
  • Dr. Theo SteiningerCo-Founder & CEO at Erium

Overview

This episode of the Erium Podcast focuses on the topic of deployment in the context of a data science project. Using the fictional data scientist Erika as an example - someone who wants to move her first model into production - host Jaguar, guest Oliver Bracht (Chief Data Scientist at Eoder GmbH), and Theo Steininger (Co-Founder at Erium) discuss what sustainable deployment really means, why it is far more than simply making a script available, and how monitoring, retraining, and scaling are interconnected.

About the guest

Oliver Bracht is Chief Data Scientist at Eoder GmbH, a company that aims to create value for its customers through machine learning and big data. He brings extensive hands-on experience from industrial data science projects and shares insights in this episode into the challenges of moving models into production as well as the sustainable operation and further development of such systems.

Summary

From Proof of Concept to Production Environment: The Phases of a Data Science Project

Oliver Bracht divides the data science process into three essential phases: first, the proof-of-concept phase, in which it is determined whether an algorithm can solve the problem at all; second, the development and deployment phase, in which the model is made production-ready and integrated; and third, ongoing production operations with monitoring and maintenance.

A central point here is that the code from the PoC phase cannot simply be transferred one-to-one into production. Additional development work is required to make the algorithm production-ready - for example, handling extreme values, missing data, or unexpected inputs. This development work is often invisible from the outside, but it is indispensable.

Equally important is a so-called settling-in phase after the initial deployment, during which the model's behavior under real production conditions is observed and early-stage issues are resolved.

Early Planning: Considering Deployment Requirements Already in the PoC Phase

Both Oliver Bracht and Theo Steininger emphasize that deployment requirements should ideally be considered from the very beginning of a project, even if the actual implementation comes later. Questions such as 'Does the model need to run in real time, or is an overnight forecast sufficient?' or 'What hardware is available in the production environment?' influence fundamental design decisions, including the choice of algorithm.

Theo describes a concrete real-world example: a data scientist developed a high-performing model, only to discover that the target system - an industrial PC - had very limited RAM available. In such cases, a trade-off between model complexity and resource consumption must be found. If this alignment is missing, the entire project can fail.

Budgeting for integration effort is also highlighted: the effort required for deployment can be just as high as the pure data science effort - if management does not account for this, projects run into foreseeable difficulties.

Data Science as a Team Effort: The Role of IT, Domain Experts, and Data Scientists

A recurring theme in the episode is that successful data science deployment is not a single-person competency but requires teamwork. Oliver Bracht describes three pillars that must come together: mathematical and algorithmic expertise, software development, and domain knowledge.

IT operations should be involved early, as they pursue different goals than data scientists. While data scientists work in an agile manner and want to experiment with new technologies, IT operations prioritizes stability and reliability. These different mindsets need to be brought together - ideally from the very start.

Domain experts on the shop floor or within the process provide irreplaceable domain knowledge: they can hear when something is wrong and understand relationships that no algorithm can derive from data alone. According to the story, Erika should have collaborated with Ingo (IT), the department head, and the process engineer from the beginning, rather than approaching them only at the end of the project.

Monitoring and Retraining: How Does a Model Live in Production?

After deployment comes the next deployment: a model running in production must be continuously monitored. Oliver recommends defining clear indicators of model quality - for example, the number of unplanned maintenance interventions or the error rate for rejected workpieces. If performance drops, that is the trigger to revisit the model.

As a rough rule of thumb, Oliver suggests a review every three to six months, though there are scenarios in which retraining happens daily and others in which the model remains unchanged for years. Reasons cited for retraining include: changed process or environmental conditions, new or modified sensors and system components, newly available data, and the availability of better algorithm classes.

Theo draws an apt comparison: the model is like software that is never truly 'finished.' If a vendor for an MES system changes and an interface is altered, the model can come to a standstill. This is why clear ownership and an escalation strategy are needed for cases where something stops working.

Systematically Incorporating Domain Knowledge: The Iterative Improvement Loop

Oliver Bracht describes a central approach in his work using the tool 'Una' (Juna): domain experts analyze the algorithm's results directly in an interface and flag which detected anomalies are actually relevant and which are not. In doing so, labeled data is generated as a by-product - the most valuable training data of all - which is then used in the next iteration to improve the model.

Theo adds that Erium pursues a complementary approach with Halerium: models are built in a structured way based on domain knowledge, so that even less technically experienced users can make adjustments. Both approaches - data-driven labeling by domain experts and knowledge-based model construction - are seen as mutually complementary.

What is special about machine learning systems, according to Oliver, is that they improve through use - a characteristic that almost no other product offers and that can be systematically leveraged through these kinds of feedback loops.

IT Infrastructure at the Customer Site: What Data Scientists Encounter in Practice

The IT landscape at customer sites has changed significantly in recent years. While IT departments were rather reluctant about data science projects a few years ago, they are generally more open today and better equipped technically. Cloud infrastructure, DevOps processes, and mature IT teams are no longer uncommon.

As a rule, the customer provides an environment - on-premise or in a private cloud - in which the deployment pipeline is then set up. In the vast majority of cases, data does not leave the customer's premises. Smaller companies, on the other hand, often operate isolated solutions, as building a complete infrastructure for a single use case would not be proportionate.

Interestingly, one customer deliberately did not want a fully automated deployment solution in order to ensure a 'segregation of duties' - meaning a manual review before every production deployment. This shows that automation is not always the goal in practice.

Deployment as the Foundation for Scaling

The episode closes with an outlook on the topic of scaling: the more carefully the first deployment is structured and documented, the more easily a use case can be rolled out horizontally to additional machines, plants, or regions. Anyone who has to start from scratch for every new use case is squandering the experience gained from the first project.

Oliver points out that aspects such as fault tolerance (parallel systems) and regular updates should already be considered during the first deployment - because anyone who can deploy a model twice identically can also deploy it twenty times. Deployment thus forms the structural foundation on which later scaling is built.

Key takeaways

  • Deployment is not a one-time step at the end of a project but a continuous process that must be considered as early as the PoC phase.
  • Code from model development is not directly production-ready - additional development work is required for robustness, error handling, and integration.
  • The integration effort involved in deployment can be just as high as the actual data science effort and must be factored into the project budget early on.
  • Successful deployment is a team effort: data scientists, IT operations, and domain experts must work together from the very beginning.
  • Models in production require continuous monitoring and occasional retraining - triggered by process changes, new data, or better algorithms.
  • Domain experts can generate labeled data through structured feedback, iteratively improving the model - machine learning systems get better through use.
  • A clean, well-documented first deployment is the foundation for smooth horizontal scaling to additional sites or use cases.
  • Hardware and infrastructure constraints at the customer site must be known early in order to adapt algorithm selection and model complexity accordingly.

Conclusion

Proper and sustainable deployment is far more than making a trained model available. It requires forward-looking planning, close collaboration between data scientists, IT, and domain experts, as well as a system for monitoring, maintenance, and continuous improvement. Those who understand deployment as an integral part of the entire project - rather than a downstream step - lay the groundwork for AI solutions that work reliably over the long term and can be scaled effectively.

For Data Scientists and Young Professionals

Factor in deployment requirements such as latency, hardware, and interfaces as early as the PoC phase, and invest in testing pipelines and monitoring from the start - this saves considerable effort later and prevents promising models from failing to reach production.

For Executives and Project Managers

Budget for integration effort realistically and ensure that IT operations and domain experts are represented in the project team from the very beginning - because a great model that never goes live creates no value.

For IT Decision-Makers in Organizations

Operational readiness for machine learning solutions grows with overall IT maturity - those who invest in cloud infrastructure and DevOps now are creating the conditions needed to bring data science projects into production quickly and sustainably.

Show full transcript

Speaker0: Kurzer Reminder vorweg, auch zu dieser Folge gibt es wieder ein E-Mail-up mit unserem Gast und zwar am sechzehnten Zweiten 17 Uhr. Weitere Infos findet ihr in der Beschreibung. Und jetzt viel Spaß mit der Folge.

Speaker1: Ihr hört,

Speaker2: der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.

Speaker0: Herzlich willkommen zu 1 neuen Ausgabe von The Ihrem Podcast, in in der wir weiter die junge Data Scientistin Erika bei ihrem ersten Projekt ja, begleiten. Und diesmal steht alles ganz im Zeichen vom Deployment. Also das Projekt neigt sich langsam dem Ende zu. Und dazu ist heute zu Gast Oliver Bracht. Ich freue mich sehr. Er ist Chief Data Scientist bei der Eoder GmbH, 1 Firma, die mit Machine Learning und Big Data Mehrwerte für ihre Kunden schaffen will. Freu mich sehr, dass Du da bist. Ja hallo, freut mich auch sehr, dabei zu sein. Hi Oliver, sehr cool. Und als weiteren Diskussionspartner haben wir heute noch den Theo dabei. Theo, schon öfter im Podcast zu Gast gewesen, CEO von Erium. Sehr cool, dass Du da bist. Hi Jaguar, hallo Oliver, freut mich. Ich freu mich sehr und ich würde sagen, wir legen direkt los mit dem ersten Storyabschnitt.

Speaker4: Für das Deployment kommt Erika mit ihrem Skript, in dem das trainierte Modell enthalten ist, zu Ingo. Der ist erst mal überrascht von dem, was Erika da mitbringt, denn sie hat zwar ihr Modell dabei, aber keineswegs eine Software, die in der Lage ist, selbstständig zu funktionieren. Wie sollen wir das an die jeweiligen technischen Schnittstellen des Prozesses bei den Stationen anfügen? Wann sollte der Algorithmus stoppen? Über all das hatte sich Erika noch keine Gedanken gemacht. Dabei fällt ihr auch ein, dass sie noch gar nicht festgelegt hat, wie denn die Beschaffenheit der Daten sein sollte, die in den Algorithmus reingefüttert werden. Was sind passende Sanitychecks? Immerhin sehen die Daten nach ihrem Preprocessing schon ganz schön anders aus. Und wie regelmäßig soll ein Retraining stattfinden? Und was bedeutet das für die Montageanlage? Muss die dann stehenbleiben oder kann das parallel passieren? Und was ist, wenn sich plötzlich an der Anlage etwas verändert, weil zum Beispiel noch eine Art von Spülmaschinen produziert wird? Erika hat keine Lust, ihr Leben lang Babysitter für ihr Modell zu spielen und das ist auch nicht Sinn der Sache. Soll Erika sich jetzt auch noch Software Engineering Skills beibringen?

Speaker0: So, sehr viele Fragen auf einmal in diesem Storyabschnitt. Wir dekonstruieren das mal gemeinsam. Aber bevor wir reinspringen, würde ich euch gerne bitten, deployment, was verstehen wir darunter im Kontext 1 Data Science Projektes? Was gehört alles zu deployment?

Speaker3: Ja, ich fang vielleicht einfach mal an. Also ich glaube, es ist auch tatsächlich ganz gut son Data Science Prozess in verschiedene Phasen, verschiedene Abschnitte erst mal zu unterteilen. Also die 1. Phase, die Erika jetzt ja schon erfolgreich hinter sich gebracht hat, da geht es ja darum, erst mal herauszufinden, ob die Fragestellung überhaupt mit Algorithmen beantwortet werden kann. Das ist ja so ein bisschen das Paradox im Data Science, dass man im Vorfeld relativ schlecht sagen kann, wie gut denn die Modellgute sein wird, unsere Algorithmen und das hat ja in erster Linie damit zu tun, dass die Qualität von Algorithmen davon abhängt, wie gut die Realität sozusagen in den Daten abgebildet ist und das kann man oft nicht so ganz genau vorhersagen, insbesondere kann man nicht so genau sagen, ob jetzt die Modellgüter 60 oder 70 Prozent ist. Also das ist einfach was, was man in so 'ner Proof of Concert Phase entwickeln muss. Das hat Erika jetzt erfolgreich gemacht und dann kommt eine 2. Phase und die kann man auch wieder so ein bisschen unterteilen, glaube ich. Also erst mal Modellentwicklung, das ist das eine Modellanwendung ist jetzt das andere und diese Phase ist auch ganz anders eigentlich, weil da geht's ja dann darum, dass die Daten, die sozusagen live im System entstehen, dem Algorithmus in irgendeiner Form übergeben werden und der liefert dann irgendeine Antwort zurück, also eine Prognose, eine Klassifikation oder so was. Und das ist aber erst mal tatsächlich 'n Stück Entwicklung. Also es ist eben nicht so, dass man den Code, den man zur Modellentwicklung geschrieben hat und das Modell, was da rausgekommen ist, einfach so 1 zu 1 verwenden kann dann im Produktivprozess, sondern da gehört noch mal eine Entwicklung dazu. Vielleicht können wir später drüber sprechen, was das genau ist und wenn dann der Code bereit ist, in Produktivumgebung laufen zu können, gibt es häufig sowas wie Einschwingphasen, also so eine erweiterte Testphase, wo man einfach guckt, wie performt der Algorithmus denn jetzt eigentlich unter Produktivbedingungen? Auch das wissen wir ja noch nicht genau. Da kann man dann so Kindheitskrankheiten ein bisschen abstellen Und dann kommt die eigentliche Phase des Produktivbetriebs und da ist es dann natürlich auch notwendig. Also kann Erika gut verstehen, dass sie nicht Babysitter sein möchte für ihr Modell, den Rest ihres Lebens, aber so eine gewisse Pflegeaufwand haben solche Modelle eben auch, wie jede Software. Die ist sozusagen nie so ganz fertig, sondern es gibt immer gewisse Pflegeaufwänden, die man dann noch nachhalten muss. Das ist dann so die 3. Phase. Wenn wir die 3 Phasen unterteilen, den vorhandenen Code, die vorhandenen Skripte in eine produktivfähige Umgebung sozusagen zu integrieren, das Ganze dann einschwingen zu lassen und dann in den Produktivbetrieb wirklich zu gehen und dann nachzupflegen, das sind so denke ich die Phasen, die dann folgen, nachdem die POC Phase abgeschlossen ist.

Speaker0: Und wenn wir mal auf das gesamte Projekt draufklicken, wo siehst Du da den zeitlichen Rahmen, ne? Also wir haben das jetzt hier so konstruiert, dass quasi das Deployment, das wir haben jetzt quasi alles, was vorher kam, abgehakt und jetzt machen wir Deployment. Passiert das alles dynamisch? Wie eng ist das Deployment, sage ich mal, wenn man das denn so klar abgrenzt mit den anderen Aspekten 1 Data Science Projektes verwoben und wie ist das genau verbucht?

Speaker3: Was Erika glaube ich ganz gut gemacht hat, ist, dass sie sich nicht zu sehr darum gekümmert hat, Dinge, die später für den Produktivbetrieb relevant sind, schon wirklich auszuentwickeln. Weil man ja noch nicht ganz sicher weiß, ob das Modell wirklich in der Lage ist, mit 'ner ausreichenden Güte zu prognostizieren, also würde ich jetzt keine Aufwände da reintreiben, das nachher im Produktivbetrieb bringen zu können. Was aber gut wäre, wäre im Vorfeld sich schon mal darüber Gedanken zu machen, was sind denn die Anforderungen nachher im Produktivbetrieb. Also beispielsweise habe ich eine Prognose, die muss jetzt sozusagen realtime oder nie realtime laufen. Zum Beispiel, wenn ich ja Werkstücke herstelle und will mit Machine Learning dann Werkstücke, die eben nicht in Ordnung sind, ausschießen aus dem Prozess. Da habe ich nur eine sehr kurze Zeit, in der dann die Entscheidung da sein muss oder es gibt andere Situationen, wo ich sagen kann, es reicht eigentlich aus, eine Prognose einmal nachts durchlaufen zu lassen und dann am nächsten Tag die Prognosen dazu haben. Das ist halt eine ganz andere Situation und entsprechend muss man dann eben auch die Algorithmen auswählen oder wie ist der Prognosehorizont, prognostiziere ich jetzt die nächsten Minute, die nächsten 10 Minuten, die nächsten Stunden. Davon abhängig ist dann natürlich auch, welchen Algorithmus wähle ich denn eigentlich aus. Also solche Anforderungen, die das Deployment nachher stellt oder die, sagen wir mal, der Produktivprozess nachher stellt, die sollte man idealerweise auch schon in der Proof of Concept Phase mitberücksichtigen. Weil mir hilft es ja nichts, wenn ich 'n Modell habe, das eine tolle Prognose in 1 Minute macht, aber ich brauch die Prognose halt in 10 Sekunden und das kann ich damit nicht weiterarbeiten. Also das müsste man schon mit berücksichtigen. Ich kann das von unserer Seite her echt nur spiegeln.

Speaker1: Und zwar ein 1 Punkt, den ich da unterstreichen möchte, Oliver, den Du grade beschrieben hast, ist ja der, dass man schon zu Beginn 1 Projektes sich anguckt, wie sind denn die Rahmenbedingungen gegeben? Ein Beispiel, ich möchte einen Prozess aktiv regeln können, hab aber eine Infrastruktur, die nur uni- und nicht bidirektional aufgebaut ist, ja. Dann muss ich das vorher schon am Schirm haben, dass hier zumindest nur Schwierigkeiten auf einen zukommen werden. Und die ganze Implementierungskomponente aber dann dahin zu verlagern, wenn's dann so weit ist. Wir machen das ganz aktiv auch so. Also bei den bei den frühen Versuchen lassen wir uns die Daten in dem, na ja, am günstigsten zu extrahierenden Datenformat wie irgendwie möglich geben. Also da wandert dann wirklich eine Excel Tabelle oder 1 1 1 Datenbankdampf per Hand übers Internet sonst rüber. Und die die die richtige Integration über wirklich belastbare Schnittstellen, das kommt wirklich erst später, wenn der Beweis erbracht wurde. Und was was ich da auch fürn fürn ganz wichtigen Punkt sehe, das dann vor allem das Projektmanagement betrifft, ist ja auch das Budgetieren des Aufwands. Also wenn ich mir das denke, was die großen Projekte bei uns an Integrationsaufwand bedeuten, der ist auch gern mal so hoch als der eigentliche Data Science Aufwand. Und wenn ich das vergesse, jetzt mal ans Management gerichtet, zu budgetieren vorher und auch von der Zeitschiene her einzuplanen, dann werde ich ja einfach aufgrund nicht zehnten Auges in Probleme reinlaufen.

Speaker3: Ja, also ist ein ganz wichtiger Punkt und was uns häufig auch begegnet ist, wenn wir aus der PoC Phase rauskommen, dann hat das Management oft das Gefühl, na ja wieso, wir haben hier doch jetzt 'n Modell, das können wir doch einfach nehmen, warum müssen wir denn jetzt noch mal was entwickeln, wo ich vielleicht gar keine Veränderung wahrnehme in der eigentlichen Prognose sozusagen. Das wird ja dadurch erst mal nicht besser, sondern es wird einfach nur oder der Code wird dazu befähigt sozusagen in 1 Produktivumgebung zu laufen und mit allen möglichen, was einem da so entgegenfliegen kann, auch umzugehen. Wenn ich meinen CSV habe, dann kann ich Extremwerte relativ leicht im Vorfeld schon mal rausnehmen, glätten oder irgendwie behandeln und dann in das Modell reingeben. Aber wenn ich dann in der Produktivphase bin und mir kommt 'n Produktiv und mir kommt 'n Extremwert entgegen, ja, dann muss ich da ja ganz anders mit umgehen und das ist etwas, was man einfach ausentwickeln muss, was man nicht sieht, aber was man einfach machen muss, wenn man wirklich erfolgreich produktiv in Data Science Projekte reingehen will und das ist auch, glaube ich, der Knackpunkt, wo viele Projekte dann zu scheitern drohen, weil man ein tolles PoC Projekt hinkriegt, aber dann diese nächste Stufe sozusagen der Rakete nicht mehr gezündet kriegt und da eben mit mit unreifen Skripten in die Produktion geht und das kann man muss dann scheitern.

Speaker0: Jetzt wurde in der Storyline ja schon erwähnt, dass die Erika keine Lust hat, Babysitter für ihr Modell zu spielen. Und Du hattest auch kurz was dazu gesagt, dass es am Ende nun mal eine Software ist, die nie so ganz fertig ist. Aber wo ist da genau der Sweet Spot für den Data Scientisten, von den Data Scientisten? Und vor allem, wie passiert es in der mit in der Interaktion mit den, ja, zum Beispiel jetzt hier in der Storyline mit den Betreibern 1 solchen, ja, Montagelinie, die die die Mitarbeiter, die das Ding am Ende, ja, betreiben und und mitbenutzen, mit denen müsste sich ja die Erika in dem Fall genauso austauschen. Was ist da ja der Best Practice? Also kommt die Erika da einmal wöchentlich vorbei und schaut, ob die das richtig machen oder wie genau funktioniert dieses ja, funktioniert diese Phase?

Speaker3: Also vielleicht ein wichtiger Aspekt aus meiner Sicht ist, dass der Data Science Prozess besteht nicht nur aus Kern Data Science, also so das Thema sozusagen mathematische Modelle modellieren und irgendwie Algorithmen aus Daten extrahieren irgendwie. Das ist ein Aspekt, aber Softwareentwicklung ist genauso ein Aspekt und Domainwissen ist aus meiner Sicht oder aus unserer Erfahrung ganz klar auch ein Aspekt, also das gehört auch mit dazu, das muss auch irgendwie mit rein. Diese 3 Aspekte gehören zusammen, die sind eben für einen erfolgreichen Data Science Prozess wichtig. Das heißt, also Erika hat nicht so richtig Lust sich Softwareentwickler Skills drauf zu schaffen. Ein Stückchen weit würde ich empfehlen, das zu machen, aber was vielleicht auch ein Punkt ist, Data Science ist eigentlich nicht unbedingt eine Individualkompetenz, sondern eher ein Teamplayer aus unterschiedlichen Kompetenzen. Also bei uns im Team werde ich zum Beispiel sagen, da hat jeder schon so eine gewisse Spezialisierung auf vielleicht bestimmte Algorithmenklassen oder auf Deployment Themen oder Testing oder was auch immer. Also alles, was da so relevant ist in so einem Prozess und das kann eigentlich eine einzelne Person eigentlich kaum alleine schaffen. Da ist es eigentlich besser, wenn man ein Team hat, aus mit unterschiedlichen Schwerpunkten, also wenn quasi Ingo und Erika von Anfang an zusammengearbeitet hätten, vielleicht noch jemand aus dem Fachbereich, der sich gut mit den Daten einen Altmeister vielleicht, der die Daten genau kennt, der einfach wenn er in den die Produktionshalle geht, dann hört der, wenn da irgendwas rappelt und weiß genau, da muss man jetzt diese Schraube ein bisschen nachdrehen. Wenn der auch mit dem Prozess dabei ist und dann wird es glaube ich ein Erfolg und IT spät in den Prozess reinzuholen, IT Operations spät in den Prozess reinzuholen, ist nicht sehr empfehlenswert, weil IT Operations und Data Science ganz unterschiedliche Ziele verfolgen. Data Science ist sehr agil, die wollen mit Bleeding Edge Technologie am Ende arbeiten und das Beste rausholen, aber IT Operations wären natürlich stabile Prozesse, das soll einfach irgendwie laufen, da darf nichts kaputt gehen und das sind ganz andere Denkweisen und die schließen sich nicht aus, die muss man irgendwie zusammenbringen. Das ist, glaube ich, der entscheidende Punkt. Also Erika sollte son bisschen den Blickwinkel von Ingo verstehen und Ingo sollte 'n bisschen den Blickwinkel von Erika verstehen. Dann können Sie gut zusammenarbeiten.

Speaker0: Aber ganz, ganz konkret gefragt, was wie sieht man denn den zeitlichen Rahmen? Also nimmt es denn wirklich irgendwann ein Ende dieses Projekt? Also ganz, ganz doof gefragt. Oder ist es wirklich, ist dieses das Ding, okay, gut, wir haben jetzt einen Punkt erreicht, ab jetzt machen wir die ganze Zeit so weiter. Vielleicht steckt dir das implizit schon in deiner Antwort drin, aber oder auch gerne auch an dich, Theo gefragt, wie ist das denn bei bei euren Projekten, ne? Also wie wie schaut das aus, dass man sagt, okay gut, wie hört dieses Projekt jetzt irgendwann mal auf? Findet das 'n Abschluss? Natürlich gibt's die Idee, okay gut, vielleicht macht man weiterführende Projekte. Wir schauen uns jetzt mal in einen anderen Prozess an. Vielleicht können wir da ähnliche Ideen weiter implementieren. Aber speziell dieses eine Projekt, geht es einfach immer dann so weiter und es geht wirklich darum, okay gut, wir schauen, dass dieses unser Modell weiter läuft. Oder wie wie schaut das in der Realität aus? Ist im Wesentlichen meine Frage, wenn ich mir das von außen mal anschauen wollen würde.

Speaker1: Ja, ja. Ich würd das von der Seite her betrachten. Und zwar ein Data Science Projekt ist, wie der Oliver ja schon gesagt hat, auch ein Software Engineering Projekt und ist per Natur hochgradig integriert in einen in eine in eine bestehende Umgebung, in 'nem bestehenden Prozess, in eine bestehende IT Infrastruktur. Und alleine, wenn sich dort eine Kleinigkeit ändert, ist es potenziell 'n Grund, warum man oder ja, weshalb man auch mit 'ner Änderung der Machine Learning Implementierung reagieren muss. Und richtig krass wird's die Erika, die ist ja hier bei einem Spülmaschinenhersteller. Und in dem Bereich fertigen Industrie, wir haben da ganz oft mit industrieller industrieller Automatisierungstechnik zu tun. Und da ist es so richtig wichtig, dass sich Data Scientists und am Ende die IT Leute unterhalten, weil als ja akademischer Data Scientist hat man das gar nicht am Schirm, aber wir haben neulich das Feedback von 'ner Data Scientistin gekriegt. Bei der war's so, da kommt halt dann das Feedback, na ja okay, cool, echte Modellperformance, nice. Aber ich geborene dir, keine Ahnung, was das waren, 512 m b RAM dafür, weil mehr ist auf dem IPC nicht da. Und also, ich übertreib jetzt, aber wenn dann zurückkommen so, oh, ich dachte aber, ich hätte 2 RTX 30 80 zur Verfügung, na ja, dann wird's halt echt eng. Und dann kannst Du halt unter Umständen den Ansatz komplett wieder in die Tonne treten und von vorne anfangen. Und und und was da in dem Feld wirklich häufig der Fall ist, weil's, na ja, einfach dann Zeichen der des Hand in Hand Arbeitens ist, dass man gemeinsam versucht hat, dann vielleicht auch Modellkomplexität und Präzision zu traden gegenüber Performance und Speicherbedürfnissen, da den Sweet Spot zu finden. Weil sich's halt dann vielleicht nicht rentiert jetzt für 80000 Euro noch mal neue Hardware zu kaufen, weil man, ne, sich's vielleicht auf der anderen Seite aber leisten kann, 4 Prozent Modellacuracy einzubüßen, weil's für den Realprozess da nicht so schlimm ist. Ja, und da merkst Du, wie wichtig das ist. Und und eben, wenn sich da was ändert, jetzt angenommen, es findet 'n Hardware Upgrade statt, Es wird der der der Anbieter von 'nem MES System ausgewechselt. Es findet ein Schnittstellenupdate statt und Du hast vorher implizit ein nicht dokumentiertes Schnittstellenfeature benutzt, das einfach da war, ja, aber dann dann hat sich das verändert und auf einmal funktioniert's nicht mehr. Das sind Themen, die allesamt den Bedarf triggern, dass Du noch mal anfasst. Und da ist es aus meiner Sicht ganz wichtig und wie's der Oliver auch schon gesagt hat, ja, am Ende ist es eine Teamplayeraufgabe und 1 in dem Team muss den die die die Verantwortung tragen aus meiner Sicht, dass die Lösung funktioniert, ja, damit's auch eine ganz klare Meldestrategie gibt. Wenn ein Fehler auftritt, wer ist der primäre Ansprechpartner? Wer hat zumindest die Schnittstellenkompetenz dann, die Lösungsaufgabe an den richtigen Mitarbeiter oder Partner weiterzudelegieren? Und nicht, dass es dann so ist, na ja, das wär jetzt für mich so ehrlicherweise der Super GAU. Man hat für teures Geld und viel Herzblut eine Lösung aufgesetzt und irgendwann stoppt, die zu funktionieren. Und es weiß aber keiner so recht, wer's reparieren könnte und dann ist die einfach kaputt, ja. Und und keiner kann sie mehr nutzen. Das wär das wär eigentlich das Schlimmste, was ich mir so vorstellen könnte, weil dann ist wirklich alles umsonst gewesen.

Speaker3: Also ich finde dieses Bild der Kindererziehung tatsächlich eigentlich ganz schön, denn man hat am Anfang, wenn man son Baby vor sich hat, einfach wirklich viel Arbeit, ne. Rund die Uhr muss man das betreuen, nachts aufstehen, füttern. Also das ist wirklich rund die Uhrjob und je älter die Kinder werden, desto weniger muss man sozusagen Energie reinstecken, aber ab und zu vielleicht doch noch mal ne. Wenn dann in Latein eine 5 nach Hause kommt, dann muss man vielleicht doch noch mal ein bisschen Energie reinstecken irgendwie, dass das besser wird. Aber es ist einfach viel weniger Pflegeaufwand und so ist es eigentlich beim Modellen auch. Also es gibt immer einen gewissen Pflegeaufwand, der manchmal sogar zum Beispiel damit zu tun haben kann, dass unser eigener Erfolg dazu führt, dass die Dinge besser wird, weil ich per Machine Learning zum Beispiel plötzlich erkenne, ich mache Productives Entertainments und stelle fest, ich habe die Ursache des Problems gefunden und behebe die Ursache, da habe ich plötzlich das Problem nicht mehr. Also dann verändert sich ja auch die Realität dadurch, dass ich Machine Learning Skripte implementiert habe und darauf muss ich irgendwie reagieren, wie Theo sagte, es gibt verschiedenste Gründe, warum sich Dinge ändern, Sensoren werden ausgetauscht, MS Systeme werden ausgetauscht, es gibt vielleicht neue Sensoren, neue Spülmaschinen, whatever. Also da gibt's ja 100 Gründe, 1000 Gründe, warum sich da was ändern kann im Prozess und dann muss man, dann muss man irgendwie eingreifen und dann gibt es unterschiedliche Dinge, wie man eingreifen kann. Also eine Möglichkeit wäre, man trainiert das bestehende Modell noch mal neu. Andere Möglichkeit wäre, man nimmt einfach einen neuen Datenpunkt mit hinzu, trainiert der mit neu. Aber eine 3. Möglichkeit wäre ja auch, Data Science passiert ja wahnsinnig viel, wir hantieren heute mit Algorithmen, die wir letztes Jahr noch gar nicht kannten, dass wir einen ganz neuen Algorithmus finden, der das Problem vielleicht besser lösen kann und den wollen wir dann natürlich gerne implementieren und dann auch irgendwann an die Produktionslinie dran bringen. Also ja, die Umgebung verändert sich, die Machine Learning Skripte können zu Prozessveränderungen führen und auch das Tooling, also die Algorithmen, die mir zur Verfügung stehen, die ändern sich ja auch und die würde ich grad vielleicht auch updaten können und das muss ich kontinuierlich eigentlich monitoren.

Speaker0: Also genauso dynamisch wie der Rest des Projektes ist, ist auch, muss auch die Instandhaltung sein, besser gesagt, ne. Also deswegen hab ich noch mal nachgefragt, weil mich würd da eben tatsächlich wirklich interessieren, wie genau das dann das dann aussieht. Also stell ich mir das vor wie bei, also ich hab ich hab früher in 'nem Hotel gearbeitet und da gibt's da diese viele Hotelsoftwareangebote, ne. Und die Betreiber des Hotels, das war relativ klein, die haben, glaub ich, einmal pro Woche da angerufen bei der Servicehotline und gefragt, wie geht 'n das jetzt hier noch mal? Ist das von der Regelmäßigkeit ähnlich oder wird es dann im Verlaufe der Zeit immer weniger oder muss es einfach immer einen muss es immer einen Impuls geben, der sagt, okay, jetzt schauen wir uns das noch mal an, wie zum Beispiel das die die Beispiel, die Du grad gebracht hast, ne. Also gibt's irgendwie neue Daten, die es wert wären, da hinzuzufügen oder mit denen noch mal neu zu trainieren oder ist es, vielleicht mein Gott, Babysitting klingt so, als würden das nur Babys benutzen lassen, deswegen klingt's vielleicht bissel doof. Aber aber ich glaub, ihr versteht, was ich was ich meine. Wie genau ist da so die die grob die Taktung, ne? Also wie oft passiert es denn dann, dass man da sich noch mal damit befassen muss?

Speaker3: Also ganz unterschiedlich, aber tolle Antwort, ganz unterschiedlich. Also es gibt natürlich auch Situationen, wo ich sagen würde, da ändert sich nichts. Ich hab da irgendwie eine ziemlich abgegrenzte Prozess, da geht immer dasselbe rein, kommt immer dasselbe raus, es ändert sich nichts, die Saison ändert sich nichts, da macht passiert nichts, dann brauche ich auch das Modell nicht ändern. Also dann gibt's diese Notwendigkeit nicht. Es gibt andere Situationen, wo ich im Grunde jede Nacht mein Modell neu trainiere, weil sich die Umgebung ständig verändert und zwischen diesen beiden Extremen glaube ich bewegt es sich. Vielleicht als so eine Daumenpeilung, also zum einen ist es glaube ich oder es ist viel schlau, wenn man eine oder empfehlenswert, es ist empfehlenswert, wenn man Monitoring auf die Modelle hat und dann guckt, ob die Modellgüter okay ist oder ob die sich im Laufe der Zeit verändert. Das könnte also ein Grund sein, dass man sagt, na ja, die Modellgüter wird im Laufe der Zeit schlechter, also müssen wir was tun und ansonsten so als grobe Daumenpeilung vielleicht alle alle 3, alle 6 Monate da mal drüber gucken und noch mal nachtrainieren vielleicht, ja. Also wie gesagt, sehr einzelfallabhängig, aber das ist so das, was wir eigentlich in der Regel sehen.

Speaker1: Ich find dann 'n spannenden Aspekt bei der Geschichte, den des Einbindens, des Endanwenders. Und vielleicht könnt man dazu ein bissel sprechen, Oliver. Wir haben nämlich frühzeitig erkannt, dass der Kunde selbstständig in der Lage sein möchte, mit 'nem System mindestens zu arbeiten, aber das natürlich auch irgendwo in kleineren Umfängen zu modifizieren oder zumindest, ich würd's mal so herum formulieren, nicht wie wegen jeden Kleinigkeit zum Hörer greifen zu müssen. Und wir haben dabei für uns abgeleitet, wir möchten es so weit wie's geht ermöglichen, dass der Kunde, wenn wir jetzt eine Prozessmodellierung vorgenommen haben, dass der Kunde, der Endanwender auch kleine Änderungen an dem Prozess selbstständig vornehmen kann, was dann letztendlich zu unserem Softwareprodukt Halium geführt hat, ja, wo ich ohne das statistische Know how basische Netze aufbauen kann. Und da, wenn sich was in der Struktur ändert, die links ändern kann und wenn man jetzt die Morphhologie des Netzes nicht komplett übern Haufen wirft, auch sich hinsichtlich der Trainingsstabilität die Überraschungen in den Grenzen halten. Aber das ist ja nur eine Komponente des Ganzen und ich hab mir im Vorfeld auch genau angeguckt, womit ihr euch beschäftigt und das geht ja auch sehr weit. Ich hab jetzt verschiedene Produkte, wo ich eben auch das rauslese, diesen Grundgedanken des Users, dass der oder die selbstständig mindestens kleine, wenn ich auch große Änderungen oder Analysen durchführen kann. Und wenn Du dazu ein bisschen mehr sagen könntest, einfach hast die die Ratio dahinter war, die Produkte so zu gestalten, wie ihr das gemacht habt, das finde ich sehr sehr spannend.

Speaker3: Ja gerne, also es sind 2 Aspekte. Das eine ist die die Skripte, die wir entwickeln, die Algorithmen, die wir erstellen, die sind immer in Open Source Sprachen geschrieben, also Python oder eher oder auch Frameworks für neuronnetze zum Beispiel, das denke ich ist auch Common Sense in Data Science, das so zu machen und das machen wir als Anbieter eben auch und das ist aus unserer Sicht auch ein ganz zentraler Aspekt, also unsere Kunden sollen verstehen können, zumindest wenn sie das gerne wollen, was da passiert, wie das funktioniert. Wir erklären das auch, wir helfen denen auch, wenn sie in der Lage sein wollen, einzelne Dinge selber zu übernehmen und ich glaube auch tatsächlich, dass in Zukunft, weil Data Science ein zentraler Bestandteil in jeder Unternehmung sein wird, davon bin ich fest überzeugt, dass auch jedes Unternehmen da eine gewisse Eigenkompetenz aufbauen sollte. Vielleicht jetzt nicht in jede Tiefe hinein, das muss vielleicht nicht sein, aber so eine gewisse Grundkompetenz braucht man, glaube ich, statt. Das ist quasi der eine Aspekt und der andere Aspekt, was wir dann über unsere Software UNA umgesetzt haben, ist, dass wir festgestellt haben, Data Science Projekte, Machine Learning Algorithmen funktionieren dann am besten, wenn man einerseits sozusagen die Power, die über die Algorithmen kommt, aber auch das Wissen, das die Experten mitbringen miteinander kombiniert. Vielleicht mal ein konkreten Beispiel zu machen, also wir haben eine Anomalieerkennung in unserem Spülmaschinenprozess beispielsweise und der Algorithmus ist in der Lage, erst mal die Anomalien als solche zu erkennen, aber der Algorithmus kann jetzt noch nicht entscheiden, ist das eine Anomalie, die relevant ist, die sozusagen ein Problem darstellt oder ist das eine Anomalie, die einfach temporär auftritt, aber im Grunde beruhigt sich der Prozess wieder von selbst. Und vielleicht kann ich als Fachanwender sogar sagen, dass bestimmte Anomalien mit bestimmten Fehlerbildern zusammenhängen und wenn ich dann eine Möglichkeit biete, sozusagen die Ergebnisse, die ein Algorithmus erstellt, einen Fachanwender visuell darzustellen, der kann dann sagen, ja, das ist diese und jene Art von Problem gewesen oder das war überhaupt ein Problem und das war kein Problem. Dann kann in der nächsten Iterationsstufe das Machine Learning das wieder aufgreifen und mit verbesserten Algorithmen sozusagen in der nächsten Runde genauer arbeiten. Und so entsteht so eine Art Kommunikation zwischen den Algorithmen und den Fachanwendern oder den Experten, die dann im Laufe der Zeit die Prognosen immer besser machen und das ist sozusagen der Prozess, den wir mit Juna implementieren wollen. Also sozusagen nicht nur Data Science schmeißen 'n Skript über den Zaun und das läuft dann, sondern in der direkten Zusammenarbeit zwischen Fachanwendern, also Fachexperten und Data Scientist entsteht im Laufe der Zeit 'n Skript, das eben immer besser funktioniert und im Gebrauch immer besser wird. Du hast kurz im Vorgespräch ja schon mal angesprochen. Das Besondere irgendwie an Data Science oder an solchen Algorithmen ist ja die im Laufe des Gebrauchs werden die immer besser. Es gibt ja kaum Produkte, die im Laufe des Gebrauchs besser werden und das ist irgendwie schon ganz ein spannender Aspekt, finde ich. Ihr schafft's ja damit de facto einen Mechanismus, systematisch

Speaker1: gelabelte Daten zu erzeugen, also de facto ja die wertvollsten Daten, die man sich vorstellen kann.

Speaker3: Genau, das entsteht dann tatsächlich im Vorbeigehen eigentlich, also die Fachexperten analysieren die Daten und erstellen im Vorbeigehen gelabelte Daten, die wir dann in der nächsten Iterationsstufe verwenden, den Algorithmus zu verbessern. Das ist genau die Idee dahinter und ja, ich glaube, das ist auch ein Ansatz, der vielleicht ein Verhältnis zu anderen Implementierungen von Data Science bisschen was Besonderes darstellt, da wirklich den Fokus drauf zu setzen, aktiv Fachexperten in die Modellerstellung auch miteinzubeziehen.

Speaker1: Mhm. Ich find das superspannend. Also denn die Hörer, die wissen das bestimmt, es ist ja auch eine der Kernphilosophien von Erium, Machine Learning Algorithmen ganz, ganz stark mit Domänenwissen zu verknüpfen. Das ist ja die Razzia auch dahinter, Halerium auf Basis von zu bauen. Und jetzt ist unser Ansatz halt dann das Modell entsprechend zu bauen, ihr schafft's, einen Mechanismus, die Daten, die gelabelten Daten zu erzeugen, die die größten Informationstiefe haben. Und ich denke, das ist 'n das sind 2 komplementäre Ansätze, die die sich sehr gut ergänzen. Und ich denk mal, das kann man auf jeden Fall mitnehmen, dass man beides am Schirm hat. Also einerseits Mechanismen implementieren, die dem Anwender ermöglichen, auch seine Meinungen, sein sein Expertentun kundzutun in Form von Datenfeedback als auch Modellfeedback. Wenn man das, glaube ich, unter einen Hut bringt, Ida, dann dann schaffen wir die nächsten Sehr gut. Für für Wachstum, ja.

Speaker3: Ja, mit dabei.

Speaker0: Lasst uns noch mal zurückkommen zu 1 zu einem genauen Punkt und zwar würde ich gerne übers, ja, Monitoring und auch 'n bisschen übers Retraining sprechen. Und zwar speziell Monitoring korrigiert mich, wenn ich das falsch verstehe, aber an sich geht's darum, auch noch mal den Prozess oder generell nach der Implementierung sich anzuschauen, hey, hat sich denn was verändert? Was es denn wert wäre, dass man sich das Ganze noch mal anschaut? So, und jetzt behaupte ich, dass die User eventuell und da das ist jetzt eine These, da könnt ihr zustimmen oder nicht, dass die User eventuell nicht in der Lage sind, gewisse Aspekte oder gewisse, sagen wir mal, kritische Aspekte, die noch mal beleuchtet werden müssten, als solche zu erkennen, weil sie vielleicht innerhalb des Modells sind oder innerhalb des der der Implementierung. Jetzt ist es aber so, dass jetzt dass, so wie ich das verstanden hab, sich das Modell noch mal angeschaut wird, wenn ein Impuls vom User beziehungsweise von dem Kunden kommt, dass man sagt, okay, gut, hier ist irgendwas passiert, können wir, können wir euch das noch mal anschauen. Gibt es denn da kritische Situationen, wo man sagt, so ähnlich wie beim Konzept der der Erwartungen, ja, also im Prinzip geht's ja darum, okay, gut, wir haben einen Prozess, der irgendwie weitergeführt werden muss. Gibt's da kritische Punkte, wo man sagt, okay gut, boah, hätten wir das früher gewusst, wären wir früher gekommen, aber das hättet ihr gar nicht wissen können, weil da habt ihr die Expertise nicht, weil wir uns ab dem Zeitpunkt schon rausgehalten haben. Kennt ihr, ist ihr euch so was schon mal widerfahren oder

Speaker3: was was könnt ihr denn dazu sagen? Im Fall von Erika haben wir ein Projektmanagement, das herausfindet, ob wir an den Assemblystationen 'n Problem haben oder nicht. Und wir können ja monitoren, wie viele Probleme haben wir denn, nachdem wir das implementiert haben. Also wir hatten vielleicht bevor wir das gemacht haben, hatten wir, ich sag jetzt mal 10 pro Monat, weiß gar nicht, habt ihr eine konkrete Zahl rausgegeben, was jetzt hier genau? Eine konkrete Zahl haben wir tatsächlich nicht rausgegeben. Okay, also dann sagen wir mal zehnmal pro Monat hatten wir ein Problem, jetzt bauen wir Machine Learning ein und wir haben nur noch sechsmal oder viermal ein Problem beispielsweise. Und das können wir ja angucken, wie sich das verhält. Und wenn da sich zeigt, das wird wieder mehr, dann dann spricht das ja dafür, dass da irgendwas ist, was uns entgeht mit unserem SPIEGELT Learning Skript. Also müssen wir das dann noch mal nachschärfen. Also das heißt in aller Regel findet man schon Kriterien, an denen man festmachen kann, ob das Modell noch gut genug performt und wenn die Performance runter geht, dann muss man nachgucken. Man nachgucken. Verstehe, es gibt also wirklich einen klaren Indikator, der dann eben der der Auslöser ist. Also ja, vielleicht gibt's ja nicht immer, manchmal ist es schwierig. Also muss man auch fallweise, aber jetzt in dem konkreten Case würde ich sagen, müsste man doch schon messen können, wie viel ungeplante Wartungseinsätze oder wie viel Probleme hatte ich denn, nachdem ich das eingebaut habe und daran kann ich es messen und das wäre auch das Ziel, so ein Indikator zu finden. Es gibt mal Situationen, wo man das schlecht machen kann, aber dann wäre ein Ansatz zu sagen, okay, dann machen wir quasi eine Stichprobe, ja, wenn wir jetzt zum Beispiel sagen, wir haben einen Prozess, der schießt Werkstücke aus, die laut Machine Learning Algorithmus nicht in Ordnung sind, dann gucken wir uns das stichprobenmäßig eben mal an, wie wir waren denn davon wirklich nicht in Ordnung? Und wenn wir dann merken, okay, da ist der Anteil zu hoch von den Teilen, die doch okay waren, dann müssten wir ran. Also das kriegt man hin, dass man den Prozess monitort irgendwie.

Speaker1: Ja, am Ende ist es ja nämlich einfach nur, also einfach nur 'n Prozessmonitoring wie 1 gewöhnlichen Fertigungsprozesses zum Beispiel ja auch. Und da gibt's 'n paar Regeln nach Lehrbuch. Also ist der Wert zu konstant auf einmal? Ist das ein Grund, warum die Alarmglocke hochgehen sollte oder wird der Prozess besser, wird er schlechter? Verändern sich, wenn ich's wirklich auf die Spitze treiben möchte, bestimmte statistische Gewichte, in dem, wie mein Machine Learning Prozess dann in dem Fall performt. Und wenn man da das Meldewesen oben draufsetzt, das, also zumindest die großen Konzerne, mit denen wir bis jetzt gearbeitet haben, ja dann schon haben, dann ist es eine coole Gelegenheit auch, 'n Auge auf die Machine Learning Implementierungen zu haben. Ja, bei denen, die haben ja schon 'n Auge drauf, wie geht's den Verschraubungsprozessen, ja? Wie geht's den Prozessen beim Verfügen beispielsweise, ja? Und dass man dann diesen Baustein des Machine Learning Objektes da mit in dieses Orchester mit aufnimmt, das ist zumindest aus 'ner IT Sicht, find ich, war also das war für mich sehr naheliegend.

Speaker0: Dann lasst uns noch mal kurz vor dem nächsten Storyabschnitt über das Retraining sprechen. Wir hatten's schon 'n paarmal so, ja, implizit erwähnt, was es da genau geht, aber vielleicht noch mal ganz explizit. Was sind konkrete oder was können konkrete Impulse sein? Also wir haben jetzt schon oft gesagt, das ist oft immer eine Einzelfallentscheidung, aber was könnten denn konkrete Impulse sein, dass sich ein Retraining anbietet oder ein Retraining ratsam ist und was muss dabei beachtet werden, ne? Also in der Storyline wird auch erwähnt, bleibt die Maschine dabei stehen und genau, was was könnt ihr dazu sagen?

Speaker3: Vielleicht, ich würde noch mal gerne eine Runde zurückdrehen, glaube ich, und zwar, wenn wir ein Deployment machen, dann ist es ja nicht so, dass wir das einmal deployen und dann war's das, sondern das deployment ist ja ein kontinuierlicher Prozess idealerweise, also wo man dann immer wieder in der Lage ist, auch Veränderungen, Verbesserungen zu deployen und dazu ist es wichtig, also gerade auch, wenn ich jetzt den Fachanwendern oder vielleicht den weniger versierten Usern die Möglichkeit biete, an dem Skript was zu ändern, dass ich, bevor ich das dann in die Produktivprozess bringe, dass ich das intensiv teste. Also ich brauche wirklich einen Bulletproof Testing, dass halt den Algorithmus mit allen möglichen Input Daten, sinnvollen, sinnlosen, fehlenden und allen möglichen Daten, die ich mir so gerade irgendwie vorstellen kann, erst mal die Fütterung gucke, wie er damit umgeht, sicherzustellen, dass ich mir nicht irgendwas kaputtschieße. Und wenn ich das implementiert habe, so ein Testing Framework, dass ich dann auch automatisiert laufen lassen kann, wo ich dann sagen kann, ich habe jetzt eine neue Stufe des Algorithmus, das lasse ich also gegen die Tests laufen, der wird damit beschossen und wir versuchen den Virus auseinander zu brechen und wenn er fällt, dann können wir deployen, aber wenn nicht, dann können wir auch nicht deployen. Also das ist ganz wichtig und das ist in der Softwareentwicklung gang und gäbe, aber in Data Science Prozessen nicht immer und das müssen wir da an der Stelle unbedingt einbauen und dann sind wir quasi in der Lage, einen retrainiertes, retrainierten Algorithmus auch zu implementieren. Es kann nämlich sein, dass durch das Retaraining der Algorithmus anders mit Extremwerten umgeht zum Beispiel. Also das da einfach irgendwie dann völlig unrealistische Werte rauskommen, die wir vorher nicht sauber abgefangen haben und da können also unerwünschte Effekte auftreten, selbst wenn sich die Struktur der Daten gar nicht ändert. Deswegen ist das wichtig,

Speaker1: sone Testing Pipeline aufzubauen und zu nutzen. Und einen Punkt, den ich nur von meiner Seite ergänzen möchte, ich sehe 2 Gründe, warum ein Deployment 1 Retraind Modells nötig wird. Und zwar doch einmal, wenn sich die ursprünglichen Daten nicht mehr dazu eignen, den aktuellen Prozess wiederzuspiegeln. Also wenn wenn man Äpfel mit Birnen vergleichen würde datenseitig. Und einmal, wenn die Struktur des Modells angepasst werden muss, oder? Also selbst wenn die die Trainingsdaten ja noch repräsentativ, wobei das ist dann die Frage, oder? Ob das überhaupt noch gegeben sein kann, wenn sich der Prozess so weit verändert, dass das Modell in seiner Struktur angepasst werden muss, dann dann ist es fast nicht mehr möglich, dass die Trainingsdaten überhaupt noch repräsentativ waren. Aber dann erst recht, ne. Oder siehst Du da noch weitere Gründe, Oliver, warum ein Retraining nötig sein

Speaker3: könnte? Ja, eben vielleicht, wenn ich eine neue Modellklasse, die ich in der ersten Iteration noch nicht so auf dem Zettel hatte, teste und feststelle, die Performance ist wesentlich besser, dann sind die Daten nach wie vor repräsentativ, aber ich hab ein neues neues Modell, das ich verwende, dann könnte man damit natürlich Da würde man nicht retrainieren, sondern man würde eigentlich den Algorithmus raus wechseln, aber es könnte ein Grund sein, das zu tun tatsächlich.

Speaker1: Oder man hat mehr Daten. Aha, noch 'n Grund. Man hat jetzt in der Zwischenzeit einfach noch mehr Daten gesammelt, ja. Genau. Also jaguar, ich finde, das ist nur 'n Blumenstrauß an an Punkten, die man auch vorher in der Strategie als Data Scientist ablaufen sollte, dann die richtigen Trigger zu definieren.

Speaker3: Ja, und je mehr Daten ich habe, desto wahrscheinlicher ist ja auch, dass da irgendwelche Edge Cases, die selten auftreten, drin sind. Und da muss ich natürlich schauen, wie geht der Algorithmus damit der sieht dann plötzlich Daten, die er in der Produktion, die er im Training nie gesehen hat und das ist natürlich dann besser, wenn man diese diese Edge Cases auch in den Trainingsprozess mit rein integriert. Dann hören wir mal rein, was der Erika als nächstes widerfährt.

Speaker4: Sie erinnert sich zurück an eine Situation, in der es ihr ähnlich ging, nämlich zu Anfang des Projektes. Dort hat er sie, statt nachzufragen, den Prozess nachvollziehen zu können, einfach drauflos gegoogelt und versucht, es sich selbst beizubringen und es dabei kläglich gescheitert. Diesmal will sie es anders machen. Sie schließt sich daher wieder mit diversen Personen kurz, die an der Anlage beschäftigt sind oder sich mit dem Deployment von Machine Learning auskennen. Darunter auch der IT Beauftragte Ingo, der Abteilungsleiter Achim, der Prozessingenieur Peter und die Mitarbeiter an der Maschine. Gemeinsam gelingt ein erstes Deployment. Innerhalb der nächsten Wochen und Monate wird sich dann zeigen, ob das Modell und seine Implementierung so klappt. Falls nicht, muss Erika eben nochmals ran. Sie fragt sich, welche Ereignisse an der Montagelinie dafür sorgen könnten.

Speaker0: So, als Einstiegsfrage, ich hatte das eingangs erwähnt auch im Vorgespräch, dass ich mich besonders freue, dass jetzt hier quasi 2 Firmen vertreten sind, die eher auf externe Kunden zugehen. Von daher würd's mich besonders interessieren, was ihr denn so für eine, ja, Landschaft oft vorfindet und ob das oft angenehm ist oder nicht angenehm ist. Weil ich kann mir gut vorstellen, dass die IT Infrastruktur, die beim Kunden vorhanden ist, oft auch dafür verantwortlich ist, wie, ja, reibungslos son Deployment funktionieren kann oder nicht, ne. Also ich, ist es so, dass es, dass man manchmal schon irgendwie vorher eine Umgebung schaffen muss, bevor man dann überhaupt mit dem Deployment anfangen anfangen kann oder wie genau läuft das ab? Ist es da auch verschieden oder was ist so der, ja, das Übliche, was ihr vorfindet?

Speaker3: Also ich kann sagen, das hat sich im Laufe der letzten Jahre doch merklich verändert. Also sagen wir mal vor 5 Jahren oder noch früher, wenn wir da mit Data Science Skripten die Ecke gekommen sind und die IT Abteilung unserer Kunden da mit reingezogen haben, dann waren die erst mal eher ein bisschen ablehnend im Sinne von, also, kennen wir nicht, wissen wir nicht, ist kein Standardservice, nirgends definiert, können wir nicht unterstützen. Mittlerweile ist das ganz anders eigentlich. Also IT Operations sind, was wir so wahrnehmen, sehr offen dafür und ich glaube auch, da ist ja sehr viel Bewegung reingekommen, das ganze DevOps Thema beispielsweise, das ganze Cloud Infrastruktur, Infrastructure as a Service, also das ganze, sagen wir mal, IT Operations, was vielleicht früher so ein bisschen ruhigeres Fahrwasser war irgendwie, da ist ja wahnsinnig viel Bewegung reingekommen und da das merken wir schon, dass da eigentlich die Voraussetzungen gegeben sind. Wir haben oft mit Reifen IT zu tun, die schon viel verstehen, wo viele Voraussetzungen schon da sind. Auch Cloud, das Thema Cloud wird jetzt tatsächlich immer häufiger tatsächlich auch angefasst. Also das merken wir auch, also dass wir Cloud Strukturen dann auch da sind, genutzt werden können Und da sind die Voraussetzungen eigentlich in der Regel, was wir so wahrnehmen, erst mal ganz gut. Und

Speaker1: wie weit geht es? Also was ich damit meine ist, seht ihr, dass die Kunden die Rahmenbedingungen schon vorweisen können, dass ihr dann mit eurer Infrastruktur euch gut integrieren könnt? Oder sind die sogar so weit, dass ihr eine komplette fix und fertige Infrastruktur nutzen könnt, wo ihr in 'ner bestehenden IT Infrastruktur die Pipelines aufsetzt. Weißt Du, wie ich meine? Ansonsten formuliere ich die Frage gerne noch mal neu. Ja.

Speaker3: Ja, nee, ich verstehe, was Du meinst. Zweiteres ist eher die Regel. Also die IT bereitet uns eine Umgebung, in der wir dann die Deployment Pipeline komplett aufsetzen können und die liegt entweder direkt beim Kunden oder aber in der private Cloud des Kunden. Also es ist ganz selten der Fall, dass das bei uns irgendwie liegt, also weil das natürlich auch, da reden wir über Datenschutz und Datensicherheit, Da will ein Kunde in aller Regel nicht, dass die Daten das eigene Haus verlassen und es gibt dann eben so 2 Arten von IT Operations. Die einen sagen, okay, hier habt ihr Betriebssystem Oberkante, ab da könnt ihr übernehmen und da aufbauen. Es gibt aber auch andere, die sagen, ja wir uns interessiert das total, wir wollen das auch selber ein Stückchen weit können. Helft uns gerne mit, das aufzubauen, aber wir wollen da schon auch dabei sein und wollen dann auch mal mindestens was Level Support dann leisten können, wenn dann das interne Data Science Team das nutzt. Also das also der 2. Fall, den Du geschrieben hast, ist eigentlich die Regel.

Speaker1: Ja, kann ich spiegeln von unserer Seite oder wir haben wiederum unten, die sind so sparsam und klein unterwegs, dass es dann bei 'ner Insellösung am Ende dann bleibt, die sozusagen in sich lebt, ja, weil weil weil's den Rahmen sprengen würde, jetzt für einen Machine Learning Use Case eine komplette Infrastruktur aufzubauen von a bis z, ja. Aber es ist ist spannend, ja, weil weil ich sehe eben auch dazwischen recht wenig.

Speaker3: Ja, nee, das hast Du recht. Also für einen Case eine Infrastruktur aufzubauen macht wenig Sinn, weil Du hast ja immer, wenn Du anfängst als Organisation Machine Learning einzusetzen, gibt's ja erstmal so Wamp up Kosten, ne. Also man muss erst mal quasi eine Struktur aufbauen, man muss diese Deployment Pipelines aufbauen, man muss vielleicht ein Team aufbauen, man muss erst mal die Daten so aufbereiten, dass man damit überhaupt irgendwas analysieren kann und diese Wamp up Kosten, die sind erst mal da, aber wenn man auf diese Stufe erst mal erreicht hat, dann fallen dann natürlich gleich eine ganze Reihe von Use Cases in aller Regel ab. Also das ist ganz selten so, dass wir zum Kunden gehen und sagen, ja wir haben ja genau einen Use Case und selbst wenn der voll ist, dann im Laufe des Prozesses fallen uns 10 andere Use Cases ein, die auch noch auf der Straße liegen. Wenn Du die Daten einmal nah anhast, dann kann man natürlich auch schon gleich weitere Use Cases mit umsetzen. Ja, also das sehen wir tatsächlich relativ häufig bei unseren Kunden, selbst wenn die ursprünglich mit 'nem bestimmten Use Case auf uns zu treten. Es ist doch so, dass wir eigentlich, wenn man einmal angefangen hat, die Daten in die Hand zu nehmen, dass dann verschiedene Use Cases abfallen und teilweise auch aus ganz unterschiedlichen Teams. Also es kommt vor, wir haben eine Implementierung für die Produktion beispielsweise und dann kommt der Vertrieb auf uns zu und sagt, na ja, könnten wir nicht vielleicht die Eintrittswahrscheinlichkeit unserer Vertriebschancen 'n bisschen besser messen und das geht natürlich auch mit Machine Learning. Also wenn man einmal anfängt, sich mit dem Thema zu befassen, dann fallen einem in aller Regel viele Anwendungsfälle ein und das heißt halt, dass, wenn man sich dem Thema annimmt, dann eben nicht nur für einen Use Case, sondern das ist wirklich eine etwas, was eigentlich unternehmensweit greifen sollte und insofern macht das auch Sinn, dass man dann eben die Infrastruktur nicht nur Use Case orientiert, sondern eben auch eher generell implementiert.

Speaker0: Hängt, so wie ich mir das vorstellen kann, auch natürlich eng zusammen mit der Firmenkultur des Kunden, ne? Also wenn die sowieso quasi grob im Kopf haben und quasi in die Zukunft denken, ja, wir wollen da irgendwie mehr draus machen als nur diesen einen Use Case, aber wir starten jetzt mal hier mit, dann ist es vermutlich auch 'n Anhaltspunkt dafür, dass dass sich das Ausbauen der Infrastruktur lohnen könnte.

Speaker3: Ja, vielleicht noch eine Ergänzung. Also Unternehmen, die sich damit auseinandersetzen, Machine Learning in die in Produktivbetrieb zu überführen, die haben einfach in der aller Regel auch keine rückständige IT. Also das das das das muss ja irgendwie zusammenpassen. Also, wenn ich mich als Unternehmen damit beschäftige, dann habe ich in der Regel auch eine IT Team, das das da schon relativ weit vorne unterwegs ist.

Speaker0: 2 Fragen zum Abschluss noch. Nummer 1, wäre es denn möglich, für das Deployment eine Softwarelösung anzubieten? Oder wir haben's jetzt schon im gesamten Podcast oft erwähnt, dass das Deployment sehr spezifisch sein kann und oft sehr spezifisch zugeschnitten sein kann auf den Kunden, seine Daten, die Umgebung, die er zur Verfügung hat. Ist das 'n Wunschtraum, sone Softwarelösung oder ist das potenziell möglich?

Speaker1: Also bei uns war's bisher immer superindividuell. Also ich würd dazu sagen, es gibt nicht nur eine, sondern es gibt unendlich viele Deployment Lösungen und darauf mussten wir dann reagieren. Aber okay, wir sind jetzt kein Deployment Produktanbieter. Ich weiß nicht, Oliver, wie sieht das von eurer Seite her aus? Habt ihr da so sozusagen 'n guten Standardansatz, der für die meisten, ich würd mal sagen, so one size fit set all zumindest für die ersten 80 Prozent?

Speaker3: Ja, das Deployment muss sich ja immer an der bestehenden Infrastruktur orientieren und daran kommen wir ja auch nicht vorbei. Also der Kunde hat eine bestimmte Infrastruktur und da müssen wir uns rein integrieren und die ist immer irgendwo individuell. Also was man auf jeden Fall machen kann und auch machen sollte, ist zwar, dass man das Deployment Tool unterstützt, mit Software, ja, mit Software unterstützt, umsetzt, aber die Deployment Pipelines, die man dann aufbaut und für die man dann eben bestimmte Softwarelösungen auch nutzen kann, die sind dann in aller Regel schon individuell, mindestens ein Stückchen weit. Wir haben sogar einen Fall, wo dediziert keine Softwarelösung gewünscht war, weil man sagt, okay, wir wollen hier sone Segregation of Duty, also eine Trennung der Verantwortlichkeiten und wenn wir eine Softwarelösung haben, die das ja ganz einfach macht, das Deployment zu machen, dann guckt vielleicht keiner mal drauf, ob das auch wirklich läuft, was da deployned wird und deswegen haben wir da wirklich eine einen Prozess, wo wir dann in einem Gilt quasi in einen produktiven Branche reindeploynen, aber dann kommt einen Deployment Team, nimmt sich das da manuell raus, shiftet das auf irgendeine andere Maschine und implementiert das manuell. Und das ist 'n bewusster Prozess, wenn man sagt, man will eben gerade nicht, dass das so einfach geht. Also solche Situationen gibt's ja auch und dann ist eben Muss man an die Anforderungen gucken, was was brauchen wir, bis zu welchem Grad können wir automatisieren, wollen wir automatisieren und dann findet man dafür die passende Lösung. Ganz ohne das Sofa, denke ich, macht's keinen Sinn. Da ist einfach viel Automatisierungspotenzial da und das sollte man nutzen. Aber vielleicht will man bewusst irgendwo eine Schranke einbauen, wo man sagt, diesen Teil wollen wir auch gerade nicht automatisieren, sicherzustellen, dass da auch noch 'n zweites Paar Auge oder 'n viertes Paar Auge, nee, 'n zweites Paar Auge, ne, 4 4 Augen und 2 Paare draufgucken. 2 n Augen, genau. 2 n Augen wieder.

Speaker0: Dann zum Abschluss und auch gleich eine leichte Überleitung zu unserer nächsten Folge, in der es Skalierung geht gehen soll. Wie seht ihr denn einen Zusammenhang zwischen Deployment und Skalierung? Kurz zur Erklärung oder zur Erläuterung, ich was in meinem Kopf kann ich mir gut vorstellen, dass eben ein gutes Deployment, ja, auch eine, sagen wir mal, eine 1, ja, potenziell gute Skalierung implizieren kann. Denn so nach meinem Verständnis bedeutet gutes Deployment auch viel Kontakt eben mit dem Kunden und auch, sage ich mal, insofern guter Kontakt, weil das Projekt eben auch wirklich zum Laufen gebracht wird. Seht ihr da einen Zusammenhang oder seht ihr das eher so, okay, gut, das Deployment ist halt ein Teil des Projekts und wenn das gut läuft, dann läuft eben auch das Projekt sozusagen besser im groß im im Gesamtkontext und das befruchtet dann die Skalierung. Oder siehst Du da spezielle Aspekte beim Deployment, die diese Skalierung befruchten können? Also ich seh das so, dass je ordentlicher Du in deiner ersten

Speaker1: Implementierung des Deployment regelst, umso leichter läuft die horizontale Skalierung auf andere zum Beispiel Fertigungsstätten. Also in diesem Szenario denk ich jetzt grad, wenn unser Kunde merkt, okay, er braucht für jedes kleine Update ein oder 10 oder whatever man Tage von Erium, dann ist natürlich die Hürde allein schon vom Budget her höher, dass ich das ganze System 1 zu 1 auf meine identischen anderen Plans ausrolle, als wie wenn das deployment automatisiert abläuft und wir den Kunden dazu befähigt haben, mindestens mal das Ganze intern abzudecken. Also wenn ich deine Frage richtig verstanden hab, Jaguar, dann dann ist es, seh ich so eben für fürn horizontales Skalieren von 'nem Use Case, je besser die Deployment Architektur ist, desto eher macht's meinem Kunden dann auch Spaß, die Skalierung durchzuführen.

Speaker0: Genau, so genau exakt so was mein ich. Also es geht natürlich eher dieses Horizontales Skalieren und vielleicht, mal bei der Erika zu bleiben, mit der Vorstellung zu sagen, okay, diesen diesen diesen Erfahrungsschatz, den die Erika und generell die Firma mitnimmt bei diesem ersten Data Science Projekt, was die jetzt da machen, ja, den quasi zu sagen, okay, gut, wenn das quasi gut läuft, ja, oder zumindest, was heißt gut läuft, gut läuft im Sinne von, wir nehmen hier jetzt viel mit für die Zukunft, dann ist die Skalierung auf, keine Ahnung, auf die Waschmaschinenmontageanlage ist dann leichter, weil dieses Projekt sich leichter umsetzen lässt, ne, mit weniger mit weniger Zeitaufwand und dementsprechend auch weniger Budget, ne. Also ne. Also tatsächlich diesen Aspekt meine ich, also dass insofern diese Skalierung dadurch Ich meine, das hängt ja dann wieder explizit mit dem mit der IT Infrastruktur zum Beispiel zusammen.

Speaker3: Also vielleicht noch noch einlass per vorhin, als wir angefangen haben, den Podcast aufzunehmen, haben wir ja gesagt, es macht Sinn, in dieser Proof of Concept Phase das Deployment schon mitzudenken und genauso ist es so, dass man dass es Sinn macht beim Deployment schon die Skalierung mitzudenken. Also das sehen wir ja wirklich häufig, dass wir schon die Perspektive haben, na, wir wollen das ja jetzt nicht nur für diese eine Anlage, Fertigungsstätte implementieren, sondern das soll dann weltweit laufen möglichst in verschiedenen Zeitzonen und in unterschiedlichen Rechenzentren und das heißt, die Deployment Pipeline sollte das von vornherein schon auch mitbringen, dafür ausgelegt zu sein. Das wäre nicht gut, wenn man dann feststellen würde, oh, Mist, wir wollen jetzt skalieren und stellen fest, dass das geht ja gar nicht, Und wir sind ja sowieso in der in den Produktivprozessen ohnehin schon ganz schnell bei, sagen wir mal, Skalierungsaspekten insofern, als dass wir ja auch eine Ausfallsicherheit in unseren Systemen brauchen. Das heißt, wir müssen eigentlich von Anfang an parallele Systeme aufsetzen, falls 1 mal wegfällt oder nicht mehr verfügbar ist, dass ich dann einspringen kann mit 'nem anderen System. Und da ist ja im Prinzip die Basis der Skalierung schon gelegt, ne? Wenn ich's zweimal identisch deployen kann, dann kann ich es auch 20 mal identisch deployen und ja. Also ich glaube, es macht Sinn diesen Skalierungsaspekt im deployment gleich schon mitzudenken,

Speaker0: weil der früher oder später sowieso kommt. Aber dann, so wie ich das verstehe, ist eher der Kerngedanke, man rüstet sich für die Skalierung. Ja. Mhm. Genau. B bildet die Basis, auf der man dann skalieren kann, hoffentlich, ne. Coole Formulierung. Genau. Dann sag ich vielen Dank an euch beide. Vielen Dank Oliver. Vielen Dank Theo. Toll, dass ihr beide da wart. Und ja, wenn ihr mehr über den Oliver und auch über Yoda erfahren wollt, dann schaut gerne noch mal in die Beschreibung. Da gibt's auch einen Link zu Jona, der Software, über die wir gesprochen haben und eben der Firma und Oliver Olivers LinkedIn Profil. Und ja, Thanksgain. Und ja, wir hören uns nächste Woche wieder. Bis dann.

Speaker3: Danke euch, hat's großen Spaß gemacht. Danke.

Speaker0: Hier noch einmal die 3 wichtigsten Learnings aus der heutigen Folge. Nummer 1, genauso wie der Rest des Projekts muss auch das Deployment sehr dynamisch passieren. Das heißt insbesondere, dass man sich schon während des Projekts darüber Gedanken machen sollte und nicht erst am Ende. So verhindert man, dass relevantes Personal zu spät eingebunden wird. Nummer 2. Auch wenn man sein Modell nicht Babysitten will, sollte man sich dennoch bewusst sein, dass man sich mit dem Projekt und dem Modell auch in Zukunft möglicherweise noch weiterhin auseinandersetzen muss. So wie bei anderen Softwareprojekten auch. Und Nummer 3, heißt auch immer, sich für die Skalierung zu rüsten. Nichts ist frustrierender, als in jedem Use Case wieder ganz von vorne anfangen zu müssen und den Eindruck zu erwecken, als hätte man nichts dazugelernt. Das war's für heute. Wir hören uns nächste Woche. Bis dahin, Master die Komplexity.

Speaker2: Jeden Dienstag erscheint eine neue Folge von The Erium Podcast. Auf dem Laufenden zu bleiben, folgt uns auf Facebook, Instagram, Twitter und LinkedIn. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The Erium Podcast.

More episodes from season 3 →