AI ANSÄTZE FÜR KAUSALE URSACHENFINDUNG FÜR APPLICATION PERFORMANCE MONITORING – mit Thomas Natschläger

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
- Thomas NatschlägerLead Data Scientist at Dynatrace, Hagenberg location
Overview
In this episode, Theo Steininger and Maksim Greiner speak with Thomas Natschläger, Lead Data Scientist at Dynatrace in Hagenberg. The central topic is how Dynatrace operates Application Performance Monitoring with its AI engine Davis — from real-time anomaly detection and causal root-cause analysis to the enormous scaling challenges that come with it. This episode is part of the season on Causal Machine Learning.
About the guest
Thomas Natschläger is Lead Data Scientist at Dynatrace at the Hagenberg location (Austria). He studied Telematics at TU Graz and completed his doctorate in the field of brain-like neural network simulations — he implemented his first backpropagation network roughly 27 years ago in Borland Turbo C. After years in research and academia as well as industry-oriented research work (including production optimization and renewable energy), he joined Dynatrace about two years ago, where he built the Data Science team in Hagenberg from the ground up. Today that team comprises 14 people focused on the core AI components of the Dynatrace product.
Summary
Career path: From neural networks to industrial AI
Thomas Natschläger describes his unusually long journey through the world of machine learning: as one of the first students at TU Graz to attend lectures on machine learning and neural networks — a rarity at the time — he dedicated his doctoral thesis to brain-like network simulations before eventually moving into industry-oriented research and then joining Dynatrace. There he grew the Data Science team in Hagenberg from a single employee to 14 people.
What Dynatrace and the Davis AI Engine do
Dynatrace started as a market leader in Application Performance Monitoring (APM) and has evolved into a comprehensive observability platform covering infrastructure monitoring, cloud monitoring, digital experience management, and business analytics, among other areas. At its core is the AI engine Davis: it first detects anomalies in customer-relevant metrics — such as increased response times at a webshop's checkout — and then performs automated root-cause analysis. Thomas emphasizes that Davis is not a pure machine-learning system, but rather a combination of statistical methods, rule-based domain knowledge, and graph-based search algorithms.
Anomaly detection: Monitoring only the right metrics
A central design principle of Davis is to apply anomaly detectors not to all available metrics, but specifically to those that demonstrably affect the user experience. This is the only way to avoid a flood of false-positive alerts. As soon as a so-called trigger event is detected — a statistically significant deviation in a defined subspace — the actual root-cause search begins.
Causal root-cause analysis through the topology graph
Dynatrace records the complete call tree of an application via its OneAgent technology: from a click in the browser all the way to the database query. This automatically produces a dynamic topology map structured both horizontally (which service calls which) and vertically (which process runs on which host, in which cluster). This map adapts in real time to changes in the IT infrastructure. The Davis rule base uses this topology to guide the root-cause search in a targeted way: statistical hypothesis tests are applied only in those areas of the graph where domain knowledge makes a connection plausible. Competitors that do not capture such a topology graph directly must estimate it from correlations — which is considerably more error-prone, since data alone cannot unambiguously reveal causal direction.
Scaling to terabyte level: Approximation instead of exactness
Dynatrace processes around 1.5 terabytes of data per second across its globally distributed SaaS clusters. For individual large customers such as Walmart, SAP, or Delta Airlines, several tens of thousands to hundreds of thousands of hosts are monitored, with on the order of 1,000 metrics per host collected every minute. To handle this volume of data, Dynatrace relies on probabilistic and approximate algorithms — such as data-sketching methods for histogram estimation or real-time quantile calculation. Anomaly detection models are retrained daily for each customer and each relevant subspace and kept in memory wherever possible. Consistent hashing ensures that models and data streams reside on the same hardware to minimize network overhead. Some of the algorithms developed in this context — for example in the area of distributed hashing — have also been published and are now finding broader application.
Algorithmic efficiency as a business strategy
The discussion makes clear that algorithmic efficiency at Dynatrace is not a purely academic goal, but directly affects cloud costs and therefore margins. Thomas outlines that improving runtime complexity pays off when the savings on cloud provider costs exceed the development costs. Theo and Maksim pick this up as a lesson for young data scientists: learning early to implement things numerically efficiently rather than simply provisioning a larger machine is a genuine competitive advantage.
Getting started with Dynatrace: Free trial and engineering blog
For those interested, Thomas recommends the free trial at dynatrace.com, which lets you see your own IT infrastructure fully mapped within a few hours. Anyone who wants to dive deeper into the technical background can find blog posts on topics such as Explainable AI, as well as publications from the Research Lab, at engineering.dynatrace.com. Features are released on a two-week cycle.
Key takeaways
- AI at Dynatrace is not a pure machine-learning solution, but a combination of statistical methods, rule-based domain knowledge, and graph-based search — only the interplay of all components delivers precise results.
- Anomaly detection is applied only to customer-relevant metrics to avoid alert floods; as soon as a trigger event fires, automated root-cause analysis begins along the topology graph.
- Dynatrace captures the causal graph directly through distributed tracing (call trees) rather than estimating it from correlations — this makes root-cause analysis significantly more precise than approaches that rely on pure data correlation.
- At data throughputs of around 1.5 terabytes per second, probabilistic approximation algorithms (data sketching, histogram estimation, consistent hashing) are indispensable — exact calculations are not practical at this scale.
- Algorithmic efficiency is a strategic business decision: better algorithms directly reduce cloud costs and can repay development investments many times over.
- Obtaining the causal graph directly wherever possible (e.g., through good tracing) is always preferable to attempting to reconstruct it from data — data alone cannot unambiguously reveal causal direction.
- Powerful, applicable AI does not necessarily involve neural networks — often it is sophisticated statistical methods, graph algorithms, and domain knowledge that make the decisive difference.
Conclusion
The episode illustrates impressively how a leading software company deploys AI at industrial scale: not as an end in itself, but as a precise tool for real-time root-cause analysis in highly complex IT systems. The key lies in combining machine learning, statistical tests, domain knowledge, and efficient data structures — as well as in the principle of capturing causal structures directly rather than estimating them from data. At the same time, it becomes clear that algorithmic efficiency and business success are inseparably linked at this data scale.
For data science students and career starters
Writing efficient numerical implementations early on and developing an understanding of probabilistic algorithms is not an academic luxury, but a core competency for industrial practice — those who rely solely on scaling up to larger hardware will quickly hit their limits.
For data scientists and ML engineers in companies
The Davis architecture shows that leveraging domain knowledge and structured data (e.g., from tracing) delivers massive quality advantages over purely data-driven approaches — choosing the right data foundation is often more important than choosing the algorithm.
For decision-makers and engineering leads
Investments in algorithmic efficiency pay off directly in reduced operating costs for cloud-native products; a structured business case (development effort vs. cloud savings) should be a fixed part of every architectural decision.
Show full transcript
Speaker0: Ihr hört die IRIUM Podcast, der Data Science und Machine Learning Podcast für Studienabsolventen und Young Professionals.
Speaker1: Herzlich willkommen zu 1 neuen Folge von Deeream Podcast. Mein Name ist Theo Steininger und mir remote gegenüber sitzt mein nach wie vor wunderbarer Kollege Maxim Greiner. Hi Maxim. Hi Theo. Schön, dass Du da bist. Wir sind heute nicht nur zu zweit. Wir haben den Thomas Nahtschläger mit in der Runde und es ist mir eine außerordentliche Freude, Thomas, dich heute bei uns begrüßen zu dürfen. Thomas, Lead Data Scientist at Dinertrace.
Speaker0: Wahnsinnig cool, dass Du bei uns bist. Danke für die Einladung. Theo, freut mich sehr, bei euch sein zu können.
Speaker1: Wie den Zuhörern ja bestimmt bekannt ist in der aktuellen Staffel von The IREAN Podcast geht's Castle Machine Learning. Bevor wir dieses Thema anpacken und mal drüber sprechen, was deiner Trace genau macht und insbesondere welche Rolle Castle Machine Learning da spielt, fänd ich sehr, sehr spannend, Thomas. Wenn Du bissel was zu dir sagen könntest, zu dir als Persönlichkeit, wenn Du als Persönliches teilen möchtest, sehr gerne. Kein kein Muss, aber gerne. Und auch, was ich noch mal sehr, sehr spannend fände für all die Complexity Maesters, die zuhören, auch 'n kleiner Blick auf deinen professionellen Werdegang, damit wir wissen, wo Du sozusagen herkommst. Ja, sehr gerne.
Speaker0: Herkommen durchaus Österreich, ausm Mühlviertel, Dreiländereck, Österreich, Deutschland, Tschechien, also BMF, Haster, Bayer sozusagen, 7 Kilometer von der bayerischen Grenze aufgewachsen. Hab aber dann meine wissenschaftliche oder Berufskarriere eigentlich in Graz dann begonnen. Nach der HTL, nachdem ich Elektrotechnik studiert hatte, hab ich in Graz Telematik studiert. Das ist damals ein Studium, ich muss wirklich sagen, damals, ist schon sehr lange her, ein Studiengang gewesen, wo so die ersten Elemente der Informatik mitintegriert waren. Zu der Zeit hat sich grad noch keine Informatikfakultät und auch kein dezidiertes Informatikstudium gegeben. Und das war so eine Mischung aus viel Mathematik, etwas weniger Informatik, sehr viel Nachrichtentechnik, Regelungstechnik und solche Dinge. Im zweiten Abschnitt allerdings dann, muss ich sagen, hatte ich das Glück, dass zu der Zeit gerade damals ein Professor an das Institut für theoretische Informatik gewechselt ist, der gerade aus den USA gekommen ist und dem das Thema Machine Learning unter den Narren gebrannt hat. Und der hat damals dann in seinem Zweig Grundlagen, na, theoretische Informatik die ersten Machine Learning Vorlesungen an der TU Graz angeboten, auch die ersten neuronalen Netzwerkvorlesungen damals. Und jetzt kann ich quasi sagen, dass ich mein erstes Backpopation Network hab ich, glaub ich, vor 27 Jahren implementiert, damals noch im Borland, Turbo c, ja? Also ich schon ein Weilchen her.
Speaker2: Also das war mein First contact mit Machine Learning. Du kannst also wirklich so sagen, ich hab schon programmiert, da habt ihr noch nicht mal gelebt. Also
Speaker0: so was Ja, das kommt vielleicht schon ein bissel hin. Ja, genau. Für also für manche meiner Teamkollegen stimmt das auf jeden Fall. Und dann hat mich eben von diesen sozusagen künstlichen neuronalen Netzwerken hin in meiner PhD hab ich mich dann mit, also mit neuronalen Netzwerkmodellen, die ähnlicher dem Funktionsaufbau sind, wie sie im Gehirn sind, beschäftigt. Hab Simulatoren geschrieben für gehirnähnliche Netzwerksimulationen, verteilte Simulatoren. Bin hab dann dort meinen ersten Kontakt mit Python gehabt zur Auswertung dieser Simulationen dann ebenfalls Machine Learning Algorithmen bereits verwendet und eben auch sozusagen zu sehen, was sind eigentlich die Ähnlichkeiten oder was kann man sozusagen aus theoretischer Sicht mit so Machine Learning Ansätzen zeigen und beweisen, wie eventuell Berechnungsvorgänge im Gehirn funktionieren können oder nicht funktionieren können, ja? Das war eigentlich mein erster Kontaktpunkt mit dem Thema maschinellen Lernen und neuronale Netzwerke. Und ja, es hat mich dann am Ende des Tages nach Hagenberg verschlagen, wo ich dann die letzten 15 Jahre die Kenntnisse aus dem Bereich Machine Learning, die ich damals in der Forschung und auch in der Lehre aufgebaut hab. Hab einige Jahre auch neuronal Netzwerke, Learning und solche Sachen an der Uni unterrichtet. Die hab ich dann in dieser außeruniversitären Forschungseinrichtungen im für im industriellen Umfeld angewandt. Also haben wir so Projekte gemacht im Bereich, wie man heute sagen würde, im Bereich Produktionsverbesserung, Produktionsoptimierung, Optimierung erneuerbarer Energieverbräuche mit österreichischen Solarwechselrichterherstellern zum Beispiel also solche Themen behandelt, ja. Und dann eben vor 2 Jahren bisschen zufällig oder nicht ganz so zufällig bin ich dann irgendwie zu deinen Adresse gekommen, ja? Und hab dann dort begonnen zusammen mit Stefan Gusenbauer, dem Noch vom Hagenberg, von Hagenberg niedergelassen, Niederlassung, das Data Science Team in Hagenberg mit aufzubauen. Vor 2 Jahren eben hab ich da angefangen, war ich ganz alleine in dem Team. Jetzt sind wir 14 Leute, die das Thema Data Science speziell für das Produkt hier weitertreiben. Es gibt noch mehrere Data Science Anwendungen im in deiner Trace, die sind aber nicht produktrelevant, sondern sozusagen eher für das Backoffice, ja, wo's aber mehr Richtung Business Analytics und Machine Learning Anwendungen für Product Intelligence, Business Intelligence und Customer Intelligence geht. Aber wirklich für die Software Intelligence, das ist der Kernprodukt in Hagenberg. Die anderen Themen werden in anderen Labs abgebildet.
Speaker1: Kannst Du da vielleicht direkt erklären an der Stelle, was genau das Produkt von deiner Trace ist? Also was ich da sofort im Kopf hab, wenn ich an deiner Trace denke, ist das Thema Application Performance Monitoring. Wirklich, ja. Trifft's das oder gibt's da quasi oder ja, einfach bitte eine Einordnung, ob's das genau ist oder ob da noch mehr da ist, das deiner Trace abdeckt.
Speaker0: Es ist, ist die Geburtsanwendung. Mhm. Ein Adress, sag ich mal. Es ist in dieser Ecke gegründet worden und ist auch dort, sag ich mal, nach wie vor Marktführer. Die aktuell präsentiert sich Trainat Dress so, dass es für verschiedenste Anwendungsbereiche im Monitoring Observability allgemein solutions anbietet. Und Performance Monitoring ist eine dieser Lösungen. Wir bieten aber auch Lösungen generell im Bereich Infrastructure Monitoring, im Bereich Cloud Monitoring als solches im Bereich Digital Experience Management und Digital Business Digital Business Analytics an. Also es gibt jetzt diese 6 Solutions, wenn ich jetzt alle aufgezählt hab, weiß nicht, ob ich eine vergessen hab. Und eine davon ist das Application Performance Monitoring. Und das ist nach wie vor ein 1 der Hauptstandbeine.
Speaker2: Mhm, mhm. Kannst Du so, weiß ich, in 'ner Minute kurz erklären, was das ist für alle da draußen, die's nicht kennen? Bei Applikationsperformance
Speaker0: Monitoring geht's darum, im Wesentlichen große verteilte Applikationen, ich nenn immer ganz einfaches Beispiel wär ein 1 Net Net Banking Applikation oder ein 1 Webshop, ja. Mhm. Den so zu monitoren, dass sobald die User eine nicht mehr optimale Experience haben, sozusagen im Hintergrund die Betreiber dieses dieser Applikation so zeitnah wie möglich notifiziert werden, so schnell wie möglich Gegenmaßnahmen einzuleiten, dass die Benutzer wieder eine optimale User Experience haben. So kann man das im Wesentlichen zusammenfassen. Genau. Und da haben und dazu, man, das hört sich jetzt vielleicht gar nicht einmal so. Im Prinzip ist es ja, wenn man so möchte, ein riesengroßer, verteilter, ständig laufender Profiler, der sich jeden Teil dieser Applikation rund die Uhr jede Sekunde anschaut.
Speaker1: Und wir werden dann nicht nur drauf zu sprechen kommen, dann unsere DAVIS AI Engine zum Einsatz kommt, diese Fehler zu finden. Und wenn ich's richtig versteh, dann seh ich ja da 2 Komponenten. Also erstens muss ich ja zunächst mal überhaupt erkennen, dass die User Experience jetzt in diesem konkreten Beispiel nicht mehr optimal ist, wo ich genügend Workshops da draußen kenne, bei denen der Betreiber definitiv nicht weiß, dass ich grade nicht imstande bin, den Warenkorb abzuschicken. Mhm. Und der 2. Schritt ist ja dann die richtige Konsequenz rauszuziehen, oder? Also auch eine sinnvolle Empfehlung vielleicht sogar aussprechen zu können oder wo oder zumindest den Finger da hindeuten zu können, hier und hier und hier liegt das Problem.
Speaker0: Genau, richtig. Also das sind sind auch genau diese 2 Kernpunkte, die einen der, sag ich einmal, Differenzierungspunkte des Product gegenüber möglichen mit mit Anbietern am Markt auszeichnet, ist diese die Fähigkeit, solche Anomalien, sag ich, also genau diese Ursachen, also nicht die Ursachenerkennung, die Symptomerkennung kontinuierlich an den richtigen Stellen zu betreiben, sag ich einmal, ja. Und dann aus diesen Symptomeerkennung die Ursachenfindung möglichst kausal, ja, wenn man bei diesem Thema kausal Machine Learning singt singt, möglichst kausal und punktgenau durchzuführen, ja? Mhm. Richtig. Und das leistet eben unsere AI Engine mit dem schönen Namen Davis und mit 'nem schönen Frauengesicht in der im Werbeplakat drinnen, leistet unsere. Genau.
Speaker1: Geh ich richtig in der Annahme oder vielleicht kannst Du das einfach nur einordnen. Wenn ich an Machine Learning und KI grundsätzlich denke, dann wird mir jetzt bei so was von wie Performance Monitoring einfallen, ihr macht's doch wohl 100 pro Anomaliedirektion, oder? Also das gehört wahrscheinlich zu einem Standardrepertoire.
Speaker0: Genau. Okay,
Speaker1: eine spannende Frage und vor allem, weil es im öffentlichen Diskurs ja gerne mal vermischt wird, Machine Learning und KI, fänd ich, vielleicht kannst Du bissel was dazu sagen, den Unterschied bei deiner Trace. Also wo findet bei deiner Trace ein Use Case Anwendung, bei dem sich's KI handelt, bei dem aber keine Machine Learning Lösung unter der Haube steckt?
Speaker0: Mhm. Also ich ich möcht's ich möcht's eigentlich so sagen, die KI für für für mich als bei ist die Davis AI Engine. Die KI Lösung ist die Kombination aus Machine Learning plus anderen algorithmischen Bausteinen, die am Ende des Tages dazu führt, dass die Davis AirEngine intelligente Aussagen darüber macht, wo die Ursachen sind, ja? Die die Machine Learning Anwendungen sind eher im Bereich der Anomaliedetektion und und Vorhersage verpackt, wo's Statistik, Machine Learning und diese Dinge. Und im Bereich der Ursachenfindung, ja, der Analyse ist auch eine Mischung aus statistischen Methoden, aber auch Graphsuchmethoden, ruhr, regelbasierte, heuristische Suchmethoden, die eben speziell an die Domäne IT Systeme angepasst sind, ne. Es ist eigentlich ein 1 Kombination aus beiden. Und in unserem Fall ermöglicht nur die Kombination aus all diesen Bausteinen sozusagen die das Gesamterscheinungsbild der KI. Wenn ich einen dieser Bausteine rausnehme, bleibt ja, bleibt nix, bleibt kommt kein Ergebnis raus, also bleibt dann kein vernünftiger Output übrig. Wenn ich die Statistik rausnehme, funktioniert also in der in der in der Suche nach der Ursache ist Statistik verpackt. Wenn ich die rausnehme, find ich wahrscheinlich nur 80, find ich 80 Prozent weniger der Ursachen. Wenn ich die das Domänenwissen, die es in den Grafen und in den Regelbasen abgebildet ist, rausnehme, dann find ich viele, viele falsche Ursachen, ja. Also beide Dinge sehr wichtig. Das heißt
Speaker2: aus, also bei euch kann man so sagen, KI ist die Kombination verschiedener algorithmischer Elemente, von denen machine learning ein Subtyp ist.
Speaker0: Richtig, genau. Mhm. Definitiv, ne. Also ich mein, es gibt ja diese schönen schönen Bilder heute, machine learning, Machine Learning, Deep Learning, dieses klassische Bild von NVIDIA, das über euch herumkursiert. Und bei uns würd man irgendwie sagen, wenn man jetzt sagt, wenn man jetzt den Space füllen müsste, ich hab hier die KI, hier hab ich machine learning. Bei uns würde neben dem machine learning auch noch ein gewichtiger Klotz sein, der, sag ich einmal, hochperformante, ausgereifte statistische Testverfahren zum Beispiel beinhaltet, Graphsuchvorgänge, nicht zu vergessen, hocheffiziente Mechanismen auf großen grafartigen Datenbeständen. Wenn ich das nicht habe, kann ich draufsetzen, was ich möchte, aber ich bring auch keine vernünftige Aussage zusammen. Also KI ist nicht nur aus meiner Sicht die Algorithmus, sondern sehr wesentlich auch mit den großen Dateneffizienz umgehen zu können. Denn wenn mir die KI erst übermorgen sagt, dass ich gestern ein Problem hatte, zwar vielleicht richtig oder richtig, ja. Aber wenn das nicht in eine Zeit zeitgenau kommt, hab ich genau nix davon, ja. Mhm. Mhm. Mhm.
Speaker1: Nachdem wir das Thema schon von allen Seiten anpacken, also einmal algorithmisch, jetzt hast Du grad die IT Infrastruktur und die Performance der Numerik auch angesprochen. Vielleicht haben wir noch mal kurz einen Schritt zurück. Was ist denn Davis AI dann noch mal genau? Also welches Problem wird damit gelöst? Mhm. Und dementsprechend auch wieder, an welche Zielgruppe richtet es sich? Das heißt, was muss ich für 'n Problem haben, damit ich sage, okay, Davis is a way to go.
Speaker0: Ja. Am einfachsten lässt sich's erklären anhand, sagen wir, 1 Webshops mit einem Warenkorb. Und ich drück jetzt auf ich drück jetzt auf den Kaufen Button, ja. Und normalerweise dauert der Kaufvorgang, keine Ahnung, 400 bis 600 Millisekunden plus minus, ja, irgend so etwas. Und dann eben festzustellen, wann eine signifikante Abweichung dieser doch die den User sehr beeinflussen. Wie lang dauert das jetzt stattfindet, ja? Dazu werden eben diese ganzen Response Zeiten angefangen von dem Userface, von der Userfaceing Applikation, sprich dem Webbrowser und den darin dann von installierten Tools, sag ich einmal, aufgezeichneten Responseeiten. Die werden an die Server geschickt, die Server analysieren dann in Abhängigkeit der Dimensionale von sozusagen verschiedenste Attribute dann, in welchen Subräumen der Metrik response Time jetzt anomalien auftreten und in welchen nicht. Ja, es kann ja sein, dass das gerade nur diejenigen betrifft, die zum Beispiel ausm nordeuropäischen Raum zugreifen, weil irgendwelche Leitungen dort irgendwie langsamer sind oder was auch immer, ja. Und dann wird sozusagen, wenn so eine Anomalie gefunden wurde, wir nennen das intern so ein Trigger Event, ne, Mhm. Dann werden wird eben die Suche gestartet.
Speaker2: Und diese Suche Kannst Du auch einen Schritt. Einen Schritt zurück. Das heißt, der Einzeluser, der triggert noch keine Anomalie, sondern wenn ihr sonen entdeckt, also wie zum Beispiel Nutzer in Nordeuropa oder geografisch oder sonst wie geclustert, haben 'n signifikant höheres Risiko zum Beispiel für sone verlängerte Check out Zeit.
Speaker0: Richtig, genau. Also da kommen so geografische Aspekte, Browser, Betriebssystem, dann auch sozusagen, in in welchem Aufwärmzustand das darunterliegende IT System gerade ist. Da gibt's immer so die und solche Dinge. Es sind, ich sag einmal, nicht sehr hochdimensionale Anomaliedetektionsmodelle, aber ein paar paar grundlegend wichtige Variablen fließen da ein. Und das wird alles sozusagen in in Echtzeit werden da diese Anomaliedetektionen durchgeführt. Und dann werden eben solche Triggerevent generiert. Und da ist es sehr wichtig eben, dass man im Gegensatz dazu, wie's manche Konkurrenten machen, auf auf die richtigen Metriken zu schauen, ne. Nicht auf alle Metriken, die man sammeln kann, solche Anomalie Detektoren laufen zu lassen, weil man das sehr gerne in 1 Flut an sozusagen erstickt. Und da hatte vor einigen Jahren, als sozusagen die Version 1 von Davis gebaut wurde, hatte ah, als die Version 2 von Davis, Entschuldigung, gebaut wurde, wurde genau dieser dieser Schritt in diese Richtung gemacht, dass man sagt, man setzt diese Anomaliedetektionsmodelle nur noch auf Metriken drauf, von denen man weiß, dass sie den Kunden auch wirklich beeinflussen, ne. Ja, dann kommen diese, dann werden diese Trigger Events gestartet und dann greift jetzt ein sehr wesentlicher Punkt ein, den den seit Langem ein Alleinstellungsmerkmal gibt und das sind diese so, bei uns heißt es, ja. Das sind diejenigen Daten, die es erlauben vom Klick im im Webshop bis zu der runterliegenden Datenbankabfrage, den gesamten sozusagen Informations oder diesen verteilten Colt Tree tatsächlich aufzuzeichnen. Im Wesentlichen ist es ein 1 Colt Tree, der von Service zu Service, Prozess zu Prozess zur Datenbank geht. Diese, die werden alle aufgezeichnet von Dynadress und dann wird aus diesen wird dann eine, bei uns im Produkt heißt wird eine Landkarte aufgezeichnet, welcher Host spricht, mit welchem Host, welcher Prozess, mit welchem, welcher Service, mit welchem Service, welche Applikation, mit welchen, welche Applikation, mit welcher Applikation, mit welcher Datenbank. Da hat man quasi so einen Art dreidimensionalen Graben. Einmal diese horizontale Information, welche Entität sozusagen welcher Service mit welchem Service. Und eine horizontale Information, welcher Service wird von welchem Prozess ausgeführt? Der Prozess läuft auf dem Host, auf der virtuellen Maschine, in dem Datacenter oder in 1 Cloud dann eben läuft in diesem Pod, in dieser Cybernetist Cluster, dieser Cybernetist Cluster benutzt diese virtuellen Maschinen, diese virtuellen Maschinen in diesem Datacenter. Also diese vertikale Infrastruktur Information hat man auch dabei. Und entlang dieser vertikalen und horizontalen Informationen beginnt dann sozusagen nach möglichen Ursachen für zum Beispiel so einen Serviceslowdown zu suchen, ja. Und wie es sozusagen, wie Davis sich entscheidet, ob es jetzt horizontal darüber geht oder vertikal darunter geht, da ist sozusagen eine über die Zeit gewachsene Knowledge Base, Regelwerk dahinter, das Anhaltspunkte dafür gibt, wo denn zu suchen sei, ne. Und wenn jetzt zum Beispiel in dieser Regelbasis drinnen steht, wenn ein Prozess langsamer wird, dann schau doch bitte nach, ob es auf dieser Maschine andere Prozesse gibt, die plötzlich sehr viel mehr Rechenzeit benutzen. Dann wird werden diese Metriken abgefragt, dann werden statistische Methoden angewandt, in diesen benachbarten oder relevanten Zeitserien eben zu schauen, ob's dort Auffälligkeiten gibt, ja oder nein. Und wenn dann dort Auffälligkeiten gefunden werden, dann werden wird sozusagen an diesem Punkt weitergesucht, ja. Dann könnte dann zum Beispiel drinnen stehen, okay, ich hab einen ich habe einen Prozess gefunden. Und dieser Prozess braucht jetzt plötzlich sehr viel mehr Speicher. Was könnte da für die Ursache sein? Dann gibt's verschiedene Suchvorschläge in dieser Regelbasis, wo dann drinsteht, schau doch mal nach, ob eventuell der von Dotnet jetzt irgendwelche Sachen macht, die man da nicht erwartet. Dann werden die Metriken überprüft mit statistischen Methoden, ob dort drinnen dann Anomalien zu finden sind, ja oder nein. Und so wird sozusagen fein verästelt gesucht, da mögliche Ursachen zu finden. Und am Ende des Tages werden alle diese gefundenen werden Hypothesen, die dann durch solche statistischen Tests auch überprüft worden sind. In diesem bei unserem Produkt heißt es dann visuell Resolution Pass zusammengefasst dargestellt. Und man kann sich sozusagen über die Zeit anschauen, wann wo auf welcher Infrastruktur welche Arten von Probleme aufgetreten sind und wie die in kausaler Natur über unseren über diese Graf Struktur, die dein Adress aufbaut, zusammenhängen. Und man kann sich tatsächlich dann so einen grafisch anschauen, wie sich wie sich so ein Problem von 1 Stelle fortpflanzt im gesamten IT System bis hin am Ende des Tages zur Applikation hinauf, wo es dann zu 1 verschlechterten User Experience geführt hat?
Speaker2: Ich will mal versuchen, ob ich das richtig verstanden hab. Also also wir wir haben quasi 2 Komponenten, die ich da sehe. Das eine ist eben der statistische Anomalie Detektor. Mhm. Und der andere ist dann eine mehr wissensbasierte, sag ich mal, Graf Struktur, das Und wie ich mir das jetzt vorstelle nach meiner Erklärung ist, wenn ich eine Anomalie an irgendeinem Punkt finde, dann kann ich quasi in meinem, ich nenn das jetzt mal Knowledge Graphen schauen, wovon hängt dieser Punkt ab? Mhm. Sagen wir mal, der hat 4 Parents, Mhm. Wenn man so will. Und jetzt kann ich in denen schauen, war 1 der Parents an normal und geh dann so sozusagen von Ast zu Ast weiter, bis ich dann sone Kette von oder bis ich sozusagen von meinem riesigen Baum der Abhängigkeiten die hab, in den Anomalien auftreten? In denen zusätzlich genau Auffälligkeiten
Speaker0: auftreten. Man muss ein bisschen unterscheiden, es gibt sozusagen diese Regelbasis, die die Suche in diesem Graphen steuert. Der Graph selber ist aber auch baut sich automatisch über die Zeit der Beobachtungen auf und ist auch zeitlich veränderlich. Weil sozusagen, wenn wenn ein IT System, das von Dynatrace gemonitort wird, einen Service von ein von diesem Node zu diesem Node verschiebt, von heute auf morgen zum Beispiel, dann wird dieser Graph dynamisch angepasst. Also diese Über die quasi Trackingkomponenten, die Richtig. Über diese Trackingkomponenten, über diese PurePass ID, wie das bei uns im Produkt heißt, über diese Technologie, wie das im Produkt heißt, wird dieser Graph automatisch über die Zeit immer up to date gehalten und und sozusagen mitgelernt, ja. Da ist, man lernen ist hier sozusagen für Leute, die aus dem Bereich Machine Learning kommen, wahrscheinlich nicht ganz der richtige Ausdruck, aber ist ist ein relativ großer Aufwand, die teilweise zerstückelt reinkommenden wieder so zusammenzustichen, dass ich einen Gesamtüberblick und der vernünftigen Aufbau dieser Graphenlandschaft gewährleisten kann, steckt auch einiges an Rechenleistung und Gehirnschmalz drinnen, wie man das effizient für große Datenmengen machen kann, ja. Würdest Du das als Process Mining bezeichnen diesen Schritt? Process Mining, nein. Das ist mehr, wie soll ich sagen? Da geht's Das ist mehr algorithmisches Thema, wie ich Abfragen in verschiedenste, in in verschiedensten Töpfen machen kann. Das das Ganze ist insofern sehr aufwendig dadurch, dass man nicht in Wirklichkeit alle hereinkommenden Teilabschnitte abspeichern kann. Da muss man sampeln Mhm. Und aus diesen Subsampeln Wahrscheinlichkeiten hochrechnen. Wie hoch ist die Wahrscheinlichkeit, dass dieser Pfad zu dem Pfad gehört und das Ganze dann vernünftig zusammenkorreliert? Weil man muss sich ja vorstellen, ein so ein ja, eine große Anwendung bei den größeren Kunden bei uns, da kommen ja Hunderttausende solcher Speins pro Sekunde rein. Und das muss man dann schnell versuchen zu richtig zu sampeln und richtig zu stitchen, ja. Das ist mehr von der Seite der Aufgabenstellung als also so eine Aufgabestellung.
Speaker1: Okay. Maxim, ich, ist witzig, ich muss dir auch grad an tatsächlich denken. Und zwar, weil ich glaub, ich hab sehr gut verstanden, wie tief das in die Infrastruktur reingeht, Thomas. Vielleicht kannst Du noch mal kurz die Grenze ziehen, wie weit's nach oben hin zur Applikation geht. Was meine ich damit? Wenn ich's richtig verstanden hab, dann spielt's für das Application Performance Monitoring keine Rolle, was die Applikation dann tatsächlich semantisch macht, oder? Also wenn ich jetzt in 'nem Webshop denke, ist mir erst neulich passiert, ich wollte einen kleinen Küchenartikel bestellen und war eigentlich schon fast fertig. Ich wollte das Ding bestellen und hab dann gesehen, dieser Artikel wurde falsch eingepflegt in die Datenbank und ich hätte 45 Euro Versand, ja genau 45 Euro Versand zahlen müssen, weil es als Speditionsartikel hinterlegt war. Und das ist ja dann eher 'n Thema, dem auf den Grund zu gehen, dort zu sehen, okay, die Leute, die brechen alle bei diesem Artikel den den Einkaufvorgang ab. Mhm. Das wär ja was dann eher für so klassisch Process Mining, PM4 Pi. Dem auf den Grund zu gehen, das Application Performance Monitoring, das wär total happy. Das sagt, ey, der Abbruch Button, der funktioniert ja mega performant. Alles ist grün.
Speaker0: Der Abbruch Button funktioniert, aber da würde dann eben unsere Digital Experience Management Solution genau dort ansetzen, wo eben dann auch in Echtzeit diese ganzen Conversion Rates von verschiedenen Produktkategorien überwacht werden können, ja. Oh, das ist cool. Also das sind eben genau diese verschiedenen Solutions, ja. Und da gibt's dann online dieses in diesem Digital Experience Management. Da kann dann, da werden Metriken extrahiert, wo zum Beispiel überwacht wird, wie viele tatsächliche Verkaufsvorgänge, das kann dann der der Kunde, kann auch sein Domainwissen über seine Webseite so einpflegen. Der kann dann sozusagen keyapplikationsaktionen definieren und da auch Attribute dranhängen und kann dann genau sagen, okay, ich möchte gerne überwacht haben. Sozusagen, wie oft wird tatsächlich jetzt dieser Verkaufsbutton gedrückt und wie oft kommt dazu ein Fehler und wie oft findet dann dort keine conversion statt, ja? Solche Sachen kann man über diese über diese, wie heißt das genau? Key Key actions, genau, so Keyaction kann man dann da definieren und kann kann solche Metriken generieren. Und die kann man dann auch der DAvis AI Engine zur Verfügung stellen und kann dann sagen, okay, jetzt hab ich da plötzlich, normalerweise hab ich 15 Verkäufe von dem Ding in 1 Stunde. Und jetzt hab ich aber nur noch, keine Ahnung, signifikant weniger. Und dann wird auch die DAvis Engine auf die Suche gehen, was dadrunter eventuell an der Infrastruktur nicht stimmt, ne. Aber das ist momentan noch mehr manuelle Konfigurationsarbeit, dass man solche Sachen unserer Davis AI Engine beibringt. Aber das ist on going on going fords, diese Digital Experience Management Solution mehr und mehr zu automatisieren, genau solche sozusagen Business Impact Metriken automatisch mit analysieren zu lassen, ne. Mhm. Krass.
Speaker1: Und was mir da grade in den Sinn kam, vielleicht habt ihr nämlich da auch schon Erfahrung gesammelt, nämlich Prozesse, die in der echten Welt stattfinden. Kleines Beispiel. Ich hab mir auf 'ner Konferenz was aufgenappt, nämlich einen Supermarkt. Ich weiß nicht, ob's tatsächlich die Walmartkette ist. Die überwacht, wie viel von den einzelnen Artikeln pro Zeitraum verkauft wird. Und auch dort eine Anomaliedetektion quasi immer im Hintergrund mitlaufen lässt. Mhm. Und wenn die feststellen, dass plötzlich keine Milch mehr verkauft wird, getriggert wird, einen Reinigungstrupp hin zum Kühlregal zu schicken, weil dann vermutlich jemand eine Flasche Milch am Boden zerschellen hat lassen und deswegen keiner mehr sich zu dem Regal hingehen traut. Und das ist für mich gerade ein analoges Pendant zu dem, was in 'nem Webshop passieren kann. Da versagt quasi dann in dem Fall bei Walmart nicht die Infrastruktur 1 Server, sondern die des Flurs. Ja, genau. Ist aber sehr gut. Habt ihr da auch schon was gemacht?
Speaker0: In diese Richtung, nein, also wir sind sehr wirklich nur auf die IT Infrastruktur. Man, es gibt es gibt Anwendungen für dein Address im im IoT Bereich, zum Beispiel BMW ist ein Kunde von dein Address. Mhm. Die haben mehr so IoT Anwendungen, kann jetzt keine Details sagen. Nicht, weil ich's vielleicht nicht darf, sondern weil ich's nicht weiß, ja. Genau. Übrigens, Holmud ist auch 1 1 1 der größeren Kunden von deiner Trace, ja. Ah, okay, okay.
Speaker2: Cleffer. Ja.
Speaker0: Wenn ich's richtig gehört habe in 1 letzten Präsentation, vierhunderte Top 500 in an der an an an der Börse in den USAs sind.
Speaker1: Krass. Das bringt mich tatsächlich auch zu meinem nächsten Punkt, weil jetzt nämlich 'n Gespür dafür schon vermittelt, auf welcher Skala das Ganze bei euch abläuft. Und Du hattest es vorhin schon mal angerissen, wenn ich's richtig gehört hab, es handelt sich teilweise mehrere 1000 Zeitreihen, die gleichzeitig verarbeitet werden müssen. Kannst Du da ein bisschen genauer drauf eingehen? Erstens, welche Größenordnungen handelt sich's? Und was mich dann vor allem interessiert von der technischen Seite her, ist, wie ihr das Thema Skalierung gelöst habt. Also nur, mal da anzukratzen, hattet ihr da Probleme, Horizontales Scaling einzusetzen, weil ihr so so Single Points of Performance hattet, die euch gezwungen haben, an bestimmten Stellen vertikal dann zu skalieren, sei es algorithmisch oder von der von eurer IT Infrastruktur wiederum. Fänd ich sehr, sehr spannend, wenn Du da uns ein bisschen was auch mitgeben könntest.
Speaker0: Ja, so generell zur einmal zur Größe von deiner Adresse selber. Die Firma selbst ist sehr stark eskaliert von 2005, 2 Mitarbeitern auf aktuell 2650 Mitarbeiter in den letzten 17 Jahren quasi, vertausendfacht, ja. Dann die Anzahl der Kunden, das weiß ich nicht ganz genau, in in den, keine Ahnung, 1004, 5000 Kunden. Irgend so was, bitte nagelt's mich da nicht fest. Ich hab keine keine exakten Zahlen. Die größten Kunden sind solche Kunden wie Walmart, SAP, Delta Airlines und solche Kunden. Und da geht's tatsächlich in die in die Größenordnung, dass wir mehrere 10000 bis 100000 Hosts für einen solchen Kunden monitoren, ja. Und in einem solchen bei einem solchen Host werden in der Größenordnung von 1000 Metriken aufgezeichnet und dies im Zehnsekundentakt auf Minuten aggregiert, kommen dann zusammen, ja. Also und es ist so, die gibt's quasi als 2 als 2 2 Produkten, einmal als SARS Lösung und einmal als Lösung, ja. Und bei den bei der SARS Lösung, ich kann jetzt die Zahl nicht genau sagen, aber gibt's einige solche ClusternTrace Cluster, solche, die halt dann verschiedenste Kunden dann betreuen. Und da haben wir mal eine Hochrechnung gemacht in diesen in diesen SARS Clustern, die weltweit am Laufen sind, werden, glaub, pro Sekunde sind wir zurzeit bei 1.5 Terabyte an Daten oder irgend so was, die über den Globus verteilt pro Sekunde verarbeitet werden.
Speaker2: Mhm, mhm.
Speaker0: Genau. Und ja, sozusagen, wie ist das Thema Skalierung da gelöst? Natürlich die einzelnen Cluster, die Datenbanktechnologien und so weiter, die da die dabei im im Hintergrund laufen. Da jedes jeder dieser einzelnen Cluster ist ein verteiltes System für sich, ja. Die wobei halt ein 1 Motto nach wie vor dabei ist, ja, ja, sprich möglichst effiziente Implementierung der ganzen Algorithmik. Und da ist spielt sehr viel rein, propagistische Algorithmen, Data Sketching Algorithmen, wie kann ich Daten statistisch vernünftig zusammenfassen? Zum Beispiel einfach zu zählen, wie viele Webrequests für eine große Anwendung habe ich in 1 Minute, ja? Da reicht für manche Anwendungen einfach ein in c nicht mehr aus. Und dann muss ich mir da irgendwie überlegen, wie ich da vernünftig mit vernünftigen Datenstrukturen zum Beispiel einfach Histogramme schätzen kann. Wie kann ich an Quantil, an den Median über die Zeit realtime schätzen? Also da ist sehr viel hier in Schmalz auch investiert worden in in solche propagillistischen Datenapproximationsdarstellungen, Algorithmen der Firma, ja?
Speaker2: Also Sie müssten immer solche, ich sag mal, so fashion statistics finden,
Speaker0: Ja, Approximative eigentlich. Also die man kann eben zum Beispiel solche Histogrammschätze, wo man halt sagt, okay, ich hätte gern am Ende des Tages ein 99 Prozent Quantil, weil das irgendwie meine die diese ein Prozent der langsamsten Zugriffe qualifiziert. Wie wie muss ich da sampeln? Wie muss ich meine Histogrammbins machen, dass ich trotzdem noch mit 1 Genauigkeit von plus minus soundsoviel mein neunundneunzigsechs Prozent Quantil auch tatsächlich schätzen kann, ne. Okay. Ja. Also Verstehe. Welche Aufgabenstellungen werden da bearbeitet? Und da gibt's einen Mitarbeiter bei uns in der Firma, der ist weltweit am Diskutieren und Publizieren zu diesen Themen, ja.
Speaker2: Das heißt, die gute alte, es sind doch eigentlich die zweihundert-, 300 Jahre alten mathematischen Definitionen. Damals hat man nur nicht daran gedacht, wie kann ich das verteilt über die ganze Welt mit mehreren Terabyte Ja. Dann berechnen. Ja, also Ja, so grad so Median und son Zeug. Genau. Oder Perzentile. Richtig. Wobei da schon auch sozusagen
Speaker0: grade in diesem Data Sketching Bereich von Mitarbeiter von Ott Mertel von unserer Sachen publiziert worden sind, die jetzt zum Beispiel auch bei bei bei verteilten hash algorithmen weltweit anwendung finden die von ihm da entworfen wurden und publiziert wurden cool die daraus den adresse heraus aus der aus diesen bein adresseanwendungen heraus gefunden wurden, die einfach Laufzeitverbesserungen dieser Haching Algorithmen ergeben haben?
Speaker2: Ich hätt bezüglich Skalierung und der Anomaliedetektion dann noch eine Frage. Also ich kann's mir ja so vorstellen, prinzipiell, wenn ich 'n Anomaliedetektor trainiert habe, also wenn ich jetzt mal denke, das ist 'n zum Beispiel son also klassischer Machine Learning Outlyide Detektor, dann kann ich den ja trainieren und beliebig oft als Service anwenden und das ist supereasy verteilt. Mhm. Aber dafür müsst ich ja quasi für jeden, ihr habt ja ganz, ganz viele verschiedene Sachen, wo ihr auch noch mal interpretiert wollt, müsst ich ja für jeden davon immer das trainierte Modell vorhalten. Richtig. Wenn ich's ganz direkt mit der Statistik mach, dann muss ich die Daten immer irgendwie verfügbar haben, also die quasi mir den Normalzustand definieren. Und ich seh da jetzt irgendwie, entweder schieß ich mir ins linke Knie oder ins rechte Knie, wenn ich das so groß verteilt hab. Wie habt welches Knie habt ihr gewählt?
Speaker0: Ich weiß nicht, das ist das, was Du das Erster gesagt hast, ne, ist das linke Knie. Und zwar aktuell zum Beispiel dieser Anomaliedetektor, der der die diese Responsezeiten überwacht, da ist es tatsächlich so, da wird für jeden dieser Subspaces und für jeden dieser Kunden wird ein, 2 Anomaliedetektor täglich neu trainiert und auch vorgehalten, so gut's geht in Memory. Und kommt dann in jeder Minute zum Einsatz, eben zu schauen, ob die die Verteilung über die Responsezeiten, die jetzt gerade in dieser einen Minute vorliegt, ob diese Verteilung zur erwarteten Verteilung dieses Modells dann passt,
Speaker2: ja. Und Das ist ja quasi Data2 Model, also der das liegt irgendwo, wartet auf, sag ich mal für, gib mir mal deine Beurteilung von dem Event oder von dieser Gruppe von Events. Genau. Der schickt die Antwort raus. Da gibt's dann
Speaker0: intern entsprechende Algorithmik, dass immer sichergestellt wird, dass die Modelle und die hereinkommenden Datenströme auf das auf derselben Hardware sind und sozusagen da möglichst wenig internes gemacht werden muss. Da wird dafür gesorgt über solche Radewoahashing Algorithmen, dass diese die Datenverarbeitungsprozesse und die Datenempfangsprozesse auf denselben beziehungsweise desselben CPUs irgendwo laufen und da möglichst wenig auf der Strecke bleibt.
Speaker2: Und die andere Funktion, die ich mir vorstelle, die man irgendwie parallelisieren muss, ist ja die, gib mir bitte die nächsten Äste, sag ich mal. Also wenn ich denke bei dem, also bei dem quasi, wenn ich in Knoten und Kanten denke Mhm. Und ich hab einen Knoten, der Anomaliedetektor sagt, nicht normal, dann, wenn ich dich vorhin richtig verstanden hab, möcht ich dann ja bitte die nächsten Kanten haben Genau. Zu den nächsten Kandidaten führen. Mhm. Und das dann auch wieder quasi son, ich nenn's jetzt mal trainiertes Modell, weil Du hast ja gesagt, das wird ja quasi mit subgesamplten Daten dann ein statistischer Schetzer für diese für diesen Graphen immer aktuell gehalten und jetzt nicht alles. Das heißt, das ist auch, könnt ich mir vorstellen wie 'n kleines Modell, dem ich halt sag, ich brauch jetzt zu diesem zu diesem Knoten jetzt bitte die nächsten Kanten. Genau, richtig.
Speaker0: Zu diesem Zweck, da weiß ich nicht, ehrlich gesagt muss ich da muss ich mir, glaub ich, mehr zurückhalten. Das ist ja sozusagen im im Eingemachten und der ist der der der proprietären Eigenschaften von deiner Adresse. Aber ich glaub, ich kann so viel sagen, dazu gibt's einen speziell entwickelten Datenspeicher, der genau dieses Problem löst, wie man effizient über solche gesempelten Teilpfade dann solche Abfragen stellen kann, dass man die während der Abfrage möglichst gut wieder zusammenstückeln kann, ne. Aber das ist Eigenentwicklung, ich durfte gar nicht sagen. Mhm.
Speaker2: Aber nur, so noch kurz insofern dazu, kann ich mir das als trainiertes Modell vorstellen oder muss ich mir das eher vorstellen wie eine sehr geschickte Datenbankabfrage?
Speaker0: Ich hab hier sehr geschickte Datenbankabfrage sozusagen. Ich sag jetzt einfach einmal, ja. Genau. Mhm.
Speaker2: Dann ist ja alles gern. Ja.
Speaker1: Ich würde an der Stelle gern ein 1 Learning ableiten. Und zwar richtet sich der Podcast ja insbesondere an jüngere Zuhörer, die entweder grad fertig mitm Studium sind oder noch drinstecken. Und mir fällt da grad 1 auf, nämlich so zum Beginn meiner Studienlaufbahn und dann mit den ersten Schritten mal was numerisch auszuführen, da lag's irgendwie nahe, wenn man 'n Performanceproblem hat, eher noch mal vertikal zu skalieren, dann nimmt man halt die dickere Maschine. Und das zu akzeptieren, Python, Vorloop, ja, ist halt langsam, aber wie gesagt, dann nehm ich halt nicht den den langsam die langsame Note im Cluster, sondern die 1 1 größer, weil wir haben's ja. Mhm. Und am Max Planck Institut, da hatten wir einen Kollegen, der Mister M, der hat uns immer die Ineffizienten aus dem Code rausgestrichen, also insbesondere in Python, wo es ja fundamental einen Unterschied macht, ob man die oder die Implementierung wählt. Und mich hat das am Anfang ein bisschen irritiert, so, Hi Coman, das ist jetzt wirklich nötig. Und am Ende hat man sich aber einen Gefallen dabei getan, weil man früher oder später genau bei dem landet was ihr ja in 1 extremform habt nämlich dass ich irgendwann einfach nicht mehr eine noch dickere maschine nehmen kann sondern der weg wirklich derjenige ist in der first place eine ordentliche numerische implementierung zu haben die hat das handwerkszeug oder die eigenschaften mitbringt auf der hardware die ich habe skaliert werden zu können Und das ist, denke ich, etwas, das das ich als Student da definitiv mitnehmen sollte, weil ich's gerade bei den jüngeren Bewerbern bei uns oft sehe, wenn die mir von ihren Projekten erzählen und wie sie damit umgegangen sind und wie sie es vom Prototyp zum vielleicht dann Demo Case, den ich auch Onlinestelle, hingebracht haben, dann war da immer oft drin, na ja, dann hab ich heut die Maschine einen Sticker auf AWS gebucht. Mhm. Und das ist halt einfach 'n sehr limitierter Weg.
Speaker0: Wir könnten auch den Weg gehen, wenn wir akzeptieren, dass wir da nur halb so viel verdienen.
Speaker1: Ja.
Speaker0: Also es ist ganz ehrlich, ganz platt gesprochen am Ende des Tages ja im Interesse der Firma, wenn man wie dein Address auch ein großer Cloud Kunde von einem großen Cloud Anbieter ist, ja und dort die Rechenleistung hat, dort die Rechenleistung in in in Anspruch nimmt. Ein Abwägen, wie viel mehr Aufwand in die Algorithmenentwicklung, unsere unsere Cloud Kosten zu drücken, wo sind die Relationen einfach? Am Ende des Tages läuft's genau auf das raus. Wenn ich sage, ich brauch da, keine Ahnung, ein Jahr 5 Mann Entwicklungszeit, die Algorithmik von der Laufzeit auf die Laufzeit zu bringen. Und ich spar mir dadurch nur unter Anführungszeichen, keine Ahnung, 100000 Euro im Jahr, dann zahlt sich das nicht aus. Wenn sich das aber sozusagen in 1 Reduktion keine Ahnung, 1000000 Mhm. Cloud Provider Kosten im Jahr reißt, dann macht das sehr wohl einen Unterschied. Genau.
Speaker2: Ja. Ich erinner mich da, wir hatten doch mal mit einem gesprochen, der sich doch eine Auszeit irgendwie ist nach Brasilien gegangen, sich dort an Machine Learning zu widmen, der sich schon wollte. Und der hat dann dann auch erzählt seine Kosten bei einem großen bekannten Cloud Provider, der mit a beginnt, waren höher als seine Miete. Ja. In seinen, weil der hat sich, der wollte die Konzepte lernen und nichts optimieren.
Speaker1: Das kann dann halt schnell passieren ja das ging sogar so weit dass es sich mit nlp beschäftigt hatte obwohl ihn bilderkennung mindestens genauso interessiert hat nur nlp waren die algorithmen für ihn billiger und sich bilderkennung nicht mehr leisten genau er konnte ja okay spannend ja Sehr krass. Wahnsinn. Thomas, ich würd gern den die die Brücke schlagen, den Bogen spannen hin zu, wenn ich mich jetzt reinversetze als einerseits Firma, andererseits als Data Scientist, wie kann ich an an deiner Trace connecten? Fangen wir vielleicht mal mit dem ersten an. Wann sollt ich mir Gedanken machen, mir deiner Trace, was ist es, dot com anzugucken. Also mal angenommen, ich bin ein Tante Emma Laden, ich verkauf handgehäkelt Tastaturschoner oder irgendwie so was. Lohnt sich's dann schon für mein Webshop oder wo ist da der Punkt? Das ist das ist Sinn.
Speaker0: Ich bin jetzt nicht sozusagen im aus der aus der Sales Abteilung, aber ich weiß ein bissel so über das Spektrum der Größen unserer unserer Kunden unserer Kunden ein bissel Bescheid. Es gibt kleinere Kunden, wo wir im, sag ich mal, unteren Hunderterbereich von Monitored, bei uns heißt das Monitored Entities, wo die beobachteten, überwachten Hosts unterwegs sind. Also es gibt welche mit, es fang so irgendwo vermutlich im unteren Zehnerbereich, würd ich einmal sagen an. Wenn ich wo 2 Maschinen stehen hab, keine Ahnung, ob's sich Ich weiß auch nicht unser, also weiß ja nicht, ob's dann dort sinnvoll ist. Aber definitiv auch bei 'ner Größe, wo's wo's mehr als 50 virtuelle Maschinen oder Hosts oder solche Sachen sind, beginnen das Sinn zu machen und raufskalieren ja, wie gesagt, die größeren Kunden, die wir haben, betreiben zurzeit im Bereich von Hunderten Hunderttausenden Hosts, die wir für Sie monitoren, ja. Mhm, mhm.
Speaker1: Und eher von der von der Data Scientist oder Anwenderseite her auch gedacht, kann ich irgendwie das mal ausprobieren? Also kann ich eine Demoversion oder so bei mir aufm Homeservice installieren und das mal testen? Definitiv.
Speaker0: Bleiben wir einfach auf www dinerdresse dot com gap da gibt's irgendwo gatter free trial dann lädt man sich für das spezifische muss ich ja so vorstellen da gibt's quasi eine man erstellt man sich einen einen Free Account und in diesem Free Account wählt man dann den Installer aus für diesen sogenannten. Das ist der, das Stück Software, das man quasi auf der auf der Hardware, die man überwachen möchte, installieren muss. Da wählt man aus, okay, das ist eine Linux Maschine, ein Windows Maschine, a z-os-A-x-System oder irgend so was. Dann installiert man sich dort diesen Client. Und ab dort mit mit wird man, nachdem man nach, keine Ahnung, 2, 3 Stunden in das dein Addres Produkt reinschaut und auf den Menüpunkt klickt, sieht man dann die IT Infrastruktur, wo man halt überall den installiert hat, gemappt, die ganzen Prozesse, Prozess, Prozess, Webserver, Datenbank und so weiter und so fort. Das sieht man dann da alles schön geworden. Und das kann man dann für, ich glaub, der 3 die 3 Lizenzen sind, glaub ich, 31 Tage oder irgend so was, kann man dann ausprobieren. Mhm, Mhm, mhm.
Speaker1: Und als jemand, der sich mit der Firma als solchen näher auseinandersetzen möchte, wahrscheinlich so vor Ort Veranstaltungen sind ja momentan schwierig, aber gibt's da andere Formate, vielleicht digital, vielleicht asynchrone Medien, wo ich als zum Beispiel Studienabsolvent mich da noch mal genauer einlesen kann? Vielleicht auch Traineeprogramme, so was in der Art?
Speaker0: Also was was wir gerade, also es gibt jede Menge produktrelated Blogposts, was gerade jetzt auch vor Kurzem ins Leben gerufen wurde, ist die Engineering dot dinerTrace dot com Seite, wo sozusagen auch über, wie soll ich sagen, technische Artikel geschrieben wird. Zum Beispiel hat da grad vor Kurzem mein Kollege Florian Bärtnet einen Blogpost zum Thema Xplainable AI verfasst, solche Dinge. Es gibt eben auch einen Blogpost vom Research Lab. Da kann man auch schauen, was die Leute, die dort involviert sind, eben publizieren und solche Dinge. Ja, also ich glaub, das ist eine diese Engineering dot dein Address dot com Seite ist ein ganz guter Einstiegspunkt, sich mehr sozusagen von der Seite, was machen die Leute dort konkret? Welche Themen treiben sie? Was wird beforscht? Was wird entwickelt auch ein bissel nachverfolgen kann? Und natürlich die ganzen die ganzen Posts, wo man sieht, welche Features im 2 Wochentakt releast werden.
Speaker2: Zu den Research Ergebnissen, da würd's mich auch total interessieren. Ich hab dich ja schon 'n paarmal jetzt gelöchert, wie dieser aufgebaut wird und wie die Outleihe Detection. Du hast ja schon gesagt, son bisschen geht das auch in das Eingemachte, was ihr nicht preisgeben könnt. Aber ich fänd's, glaub ich, für auch andere Applikationen wahnsinnig spannend, wie man aus, sag ich mal, Subsampling oder oder diesen halt mit den Tricks, die ihr machen musstet, den Graphen zu bauen auf eine provideristische Weise. Das ist ja 'n riesiges Puzzleteil im, wie krieg ich meinen Graphen? Mhm. Und so wie ich das Wenn ich mir das so vorstelle, das, was Du beschreibst, solange irgendwie eine Zeit und Zuordenbarkeit von Schritten da ist, dann kann man wahrscheinlich euren Ansatz darauf anwenden. Und dann halt eine 1 Outlyer Detection in der kausalen Kette zurückverfolgen. Das ist ja sehr allgemein, deswegen fänd ich das sehr spannend. Gibt's da, habt ihr das publiziert,
Speaker0: wie ihr das macht? Es gibt, also zu diesem Zusammenbauen der Graphen gibt's einiges an Patenten. Publikationen glaub ich nicht wirklich da dazu. Es gibt Publikationen zu diesen propagistischen Datenstrukturen, so zum Beispiel zu diesen Histogramm approximationsdatenstrukturen und solchen. Nur damit man da noch mal die vielleicht die die Arten von Grafentrennen, von denen man normalerweise bei bei Causal Machine Learning spricht. Da geht's ja eher, da geht's ja darum, dass man Graphen zwischen Zufallsvariablen oft aufbaut und dann eben entscheidet, ist die eine Zufallsvariable der oder der Effekt und solche Sachen. Genau. Die Graphen geht's bei uns nicht. Das muss ich möcht ich noch mal exakt hervorherrhebt, sondern Gut, ich muss das noch mal betonen. Da geht's wirklich darum, welcher Service, EngineX Apache, ruft welchen TomCAT Server auf. Der ruft dann welche welchen Masternote der Postgress Quell Datenbank auf und der ruft dann welchen Slave der Postgress Quell Datenbank auf. Mhm. Und das Ganze wird getriggert von einem Aufruf in 'nem JQuery Skript in einem Chrome Browser und wo das dann über diesen Loadbalancer zu der Applikation geschickt wird. Also diese Art von Graphen werden da intern aufgebaut.
Speaker2: Aber würdest Du unterschreiben, dass aufgrund allein dieses Call Trees und dadurch der zeitlichen Abfolge ja, sag ich mal, auch nur eine gewisse kausale Richtung infrage kommt für was Ja. Also wenn wenn also wenn wenn ich der wenn ich ich rufe Funktion a auf und hab selber an an an jemand anders zu liefern, den Return. Mhm. Und Funktion a braucht lange, dann ist ja auch klar, dass der und ich brauch dann dadurch lang, was sozusagen die kausale Kette ist. Deswegen glaub ich, dass man das schon ein bisschen auch so interpretieren kann. Ja, das auf jeden Fall, das ist eigentlich
Speaker0: sozusagen der Punkt, warum auch unser unser Werbeslogan sozusagen für Davis heißt. Wir wissen quasi mit sehr vielen Konstränts eben genau aus diesen Daten, wie die kausalen Richtungen sein nur sein können. Wir wissen sozusagen, Service a hängt von Service b und c und d ab und kann nur dann langsamer werden, wenn er selber langsamer wird oder seine Idee aufruft. Und sozusagen ist und und dieser Service a befeuert Applikation a Strich, ja? Dann kann a nur die Ursache für Verschlechterungen von a Strich sein und nicht direkt b, sondern es muss alles sozusagen über a dann laufen. Also ich hab ich hab diese Konstanz sehr schön vorgegeben, das ist richtig. Und das machen wir uns auch sehr stark zunutze. Und dadurch werden auch unsere Ursachen, also unsere Ergebnisse sehr viel punktgenauer, als wie wenn als wenn wir diese Information nicht zur Verfügung hätten und müssten jetzt zum Beispiel über, sag ich jetzt einmal, irgendwas Grenscher Kausalität Mechanismen unseren Graphen aufbauen, welcher Service könnte mit welchem Service zusammenhängen, weil ich typischerweise aus den Zeitserien der response Times sehe, dass man der langsam ist, der langsam ist. Und dann wäre hier eine hypothetische Kante, dass der Service mit dem Service zusammenarbeitet. Da müsst ich dann eben genau dieses kausale Machine Learning anwenden, einen solchen hypothetischen Graphen zu generieren. Das brauchen wir nicht. Wir wissen es, dass der den aufruft, ja. Und das ist sozusagen Cool. Das ist das ist sozusagen das eigentlich nicht die die Übertreibung, sondern einfach der Fakt, wer wen aufruft. Andere Mitbewerber versuchen wirklich, diese Graphen aus solchen Korrelationen und solchen Sachen zu schätzen. Und das ist sehr viel fehlerbehaftetter.
Speaker2: Ja, das haben wir ja auch schon in den vorangegangenen Episoden diskutiert. Die Daten können es einen halt nicht absolut verraten.
Speaker0: Nein. Wenn das richtig, ja. Ist
Speaker2: schwierig. Mhm. Sehr spannend. Deswegen baut ihr quasi den kausalen Graphen, wenn ich's jetzt mal trotzdem bei dem Wording belassen will, einfach auf Basis von guten Tracing Richtig. Triggern auf. Das ist auch, denk ich, 'n wichtiges Key Takeaway, wenn man irgendwie kann. Man sollte sich den Graph der Wirksamhänge nach Möglichkeit besorgen und nur, wenn man wenn es absolut nicht geht, dann versuchen, den aus den Daten zu rekonstruieren. Richtig. Also das wär das unterschreibe ich zu 100 Prozent, ja.
Speaker0: Mhm. Schön.
Speaker1: Schön. Dem ist, denke ich, nichts hinzuzufügen. Thomas, Wahnsinn. Ich könnte das jetzt eine extrem schlechte Abschlussüberleitung einbauen hier. Ich muss nicht mehr annehmen, sondern ich weiß jetzt, was deiner Trace macht. Nee, das spare ich mir. Mir geht's jetzt sozusagen wie Davis. Vielen, vielen Dank für das Gespräch. Vielen Dank für die Offenheit. Uns ist da sehr wohl bewusst, dass die Grenze hin zu dem, was man verraten darf und was quasi dann der proprietäre IP Kern von der Firma ist, eine wirkliche Gratwanderung ist. Trotzdem, Du hast uns sehr vieles verraten können. Und ich hoffe auch für die Komplexity Messers war's eindrucksvoll. Einmal natürlich von der Algorithmik, andererseits wir haben natürlich immer wieder auch Bezug genommen zu deiner Trace als 1 Firma. Nicht, weil wir hier irgendwie bezahlt werden oder so, weil alle Touchpoints, die ich persönlich besitzt hatte mit der Firma als solcher als auch mit den Mitarbeitern, war durchweg positiv, ja. Deswegen war das mir auch 'n Anliegen, deiner Trades da eine Bühne zu geben. Und ich möcht mich an der Stelle nochmals bedanken in der Postproduction. Wir schauen mal, ob wir vielleicht noch das ein oder andere Paper finden maxim dass wir in die schau Notes packen und an der stelle jeder herzlich willkommen bei den e-mail-ups vorbeizuschauen jeden dienstag 16 bis 17 uhr Deiner Traces ist da immer wieder auch mal mit Mitarbeitern vertreten im in im Publikum mit sehr wertvollen Beiträgen. Würd mich freuen, wenn dort bei den Complexity Masters des Podcasts auch Interesse geweckt wurde, mal vorbeizuschauen. Wir dürfen ja auch dich, Thomas, im im Meet-up noch begrüßen. Da freue ich mich auch schon wahnsinnig drauf. Und in diesem Sinne noch mal herzlichen Dank. Dankeschön, Maxim für den coolen Austausch. Ich hab zu danken. Und das letzte Wort, Thomas, überlass ich dir von meiner Seite.
Speaker0: Ja, danke Theo, danke Maxim. Hier deine Trace und Davis die Möglichkeit gegeben haben zu haben, ein bissel aus dem sozusagen Nähkästchen zu plaudern, was unsere tatsächlichen Problemstellungen und Aufgabenstellungen sind. Und dass hinter anwendbarer KI nicht nur Need newal Networks stecken müssen. Jeden Dienstag