Anomaly Detection

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Host (not named)Podcast Host
Overview
In this episode of the Erium Podcast, Dr. Theo Steininger explains the concept of anomaly detection from the field of data science. The discussion covers what anomalies are, which types exist, why detecting them is so challenging, and where the method is applied in practice.
Summary
What is Anomaly Detection and why do we need it?
Anomaly detection refers to the process of finding unusual or abnormal data points within a dataset. Theo distinguishes two fundamental cases: first, anomalies can be disruptive artifacts - for example caused by faulty sensors or broken network cables in industrial manufacturing processes - that distort analysis and should be removed. Second, anomalies can contain exactly the information being sought, the needle in a haystack, such as an unusual tissue pattern as an early indicator of cancer.
Types of Anomalies: Outliers, Contextual, and Collective
Beyond classic outliers that lie far from the rest of the data, there are so-called 'contextual outliers': data points that are abnormal relative to their immediate surroundings without being far removed in absolute terms - for example, a suddenly straight curve in an otherwise sinusoidal time series. Distinct from these are 'collective outliers', where only an accumulation of individually harmless-seeming events constitutes the anomaly. As an illustrative example, Theo notes: if one neighbor moves away, that is normal, but if all neighbors of a particular age group suddenly move away at once, a concerning pattern emerges.
Why is Anomaly Detection an intrinsically difficult problem?
The central challenge lies in defining 'normal', because what is normal today can be abnormal tomorrow and vice versa. Systems are often dynamic: a fraud detection algorithm could, for instance, block all genuine customers after the next system update from a payment provider, because it does not recognize the new normal state. Particularly critical are rapid phase shifts in system behavior that a model fails to detect in time. Added to this is the problem of heavily imbalanced datasets: since anomalies are by definition rare, a classifier can achieve high overall accuracy simply by labeling everything as normal, while missing every single anomaly.
Methods for Detecting Anomalies
Theo mentions unsupervised clustering methods as one approach - these work without labels and identify outliers based on their distance from clusters. Alternatively, neural networks can be trained as classifiers using labeled data. A middle ground involves using data from only one class (exclusively normal or exclusively abnormal) and relying on the algorithm to recognize the other. To address class imbalance in datasets, the rare class is sometimes duplicated many times over, which adjusts the weighting but distorts variances and represents only a rough first approach.
Practical Application Areas
Anomaly detection is used across many domains: in the financial sector it helps uncover credit card fraud, for example when a card is used at two distant locations within seconds of each other. In stock markets it enables the early detection of unusual price movements. In industrial settings it supports predictive maintenance by flagging unusual oscillations, vibrations, or fluctuations in a machine's power consumption at an early stage. In healthcare, a smartwatch can, for example, detect irregular pulse patterns and raise an alert.
Three Practical Tips in Closing
Theo closes with three concrete recommendations: first, the 'normal dataset' should truly reflect only the actual normal state and account for the dynamics of the system - otherwise the algorithm will go haywire. Second, the issue of imbalanced datasets must be taken seriously and the appropriate algorithm chosen carefully. Third, one should be cautious about manually deleting supposed artifacts, as these could in reality contain valuable information. As a general rule: when strange observations appear in a dataset, it is worth asking questions and understanding the context.
Key takeaways
- Anomalies can either be disruptive factors that should be removed, or they can contain valuable information that deserves focused attention.
- There are three types of anomalies: classic outliers, contextual outliers (abnormal in context but not in absolute values), and collective outliers (where the accumulation itself is the problem).
- Defining 'normal' is harder than it sounds, as systems are dynamic and normal behavior can change over time.
- Imbalanced datasets are a fundamental problem in anomaly detection, since a model can achieve high accuracy without correctly identifying a single anomaly.
- For anomaly detection, both unsupervised methods (e.g. clustering) and supervised methods (e.g. neural networks with labels) are available.
- Practical applications range from fraud detection in the financial sector to predictive maintenance and health monitoring.
Conclusion
Anomaly detection is a conceptually intuitive yet practically demanding field of data science. The difficulties lie less in the basic idea than in defining normal states, the dynamics of real-world systems, and the structural problem of imbalanced data. Those who are aware of these pitfalls and proceed methodically can create enormous value - from early disease detection to the defense against cyberattacks.
For Data Scientists and Analysts
The episode provides a compact overview of anomaly types, methods, and typical pitfalls such as imbalanced datasets. Particularly relevant in practice are the warning against prematurely deleting outliers and the importance of accounting for system dynamics.
For Decision-Makers and Domain Experts
The examples from the financial sector, industry, and healthcare illustrate where anomaly detection creates real business value. It is important to understand that high model accuracy alone is no guarantee of effective anomaly detection.
Show full transcript
Speaker0: Herzlich willkommen zu 1 weiteren Ausgabe von The Eriam Podcast. Bei Bei mir sitzt heute der Theo. Haiago, servus. Toll, dass Du da bist. Super, dass es klappt. Und wir reden mit heute ein bisschen über. Auch ein Begriff aus dem Bereich Data Science, Was kann man sich drunter vorstellen, Theo? Könntest Du uns da bisschen aushelfen? Ja, sicher. Also ist
Speaker1: im Wesentlichen genau das, was man sich naiv drunter vorstellt, nämlich dass man genau das in einem Datensatz findet, was ungewöhnlich, also was anormaliemäßig ist.
Speaker0: Mhm. Und warum ist es grade wichtig, sich mit diesen zu beschäftigen, ne? Also ich mein, ich hab jetzt den Datenbestand und da ist jetzt 'n gewisser Teil verhält sich irgendwie komisch im Vergleich zum Rest. Warum kann das von Relevanz sein?
Speaker1: Mhm. Ich denke, es gibt da 2, vor allem 2 Dinge, die man unterscheiden muss. Und zwar einmal kann es sein, dass die Anomalien tatsächliche Störungen waren, zum Beispiel bei der Datenerfassung und sie schlicht und ergreifend eine, vielleicht eine Regression stören. Mhm. Und dann geht's sozusagen drum, genau diese Störfaktoren rauszunehmen. Ich glaub, der Maxime, der hat immer in 'ner vorherigen Folge schon mal genannt, dass ein Punkt, der sehr weit von 'nem anderen Datentausch entfernt und vielleicht, dass es zehnmal weit entfernt liegt, da ist 'n anderer Punkt, dass der hundertmal stärker Genau. Bei 'ner Regression, bei 'ner linearen Regression reinfällt, wenn man einfach 'n quadratisches
Speaker0: Abstandsmaß nutzt. Verzerrt komplett die Analyse, einfach weil das quadratisch wächst dann, der Fehler. Genau, genau, genau. Und und und dort geht's
Speaker1: drum, diese Punkte, von denen man weiß, die haben dort eigentlich nix zu suchen in dem Datenbestand, dass man die rausschmeißt. Mhm. Und dann gibt's aber quasi den diametral dazu gegenüber dem Okay. Case, nämlich dem, wo die Information genau in den Outlinern versteckt ist. Und dort hast natürlich den Fall, da möchtest Du dich genau auf diese Outlyer eigentlich konzentrieren.
Speaker0: Okay, also in dieser Anomalie steckt dann quasi irgendeine Form von Information, die es herauszufinden gilt.
Speaker1: Nicht kurz mal die die Nadel im Heuhaufen sozusagen, wenn's genau die geht.
Speaker0: Kurz mal zu diesen Anomalien, woher kommen die? Also wie wie wie kann so was entstehen beziehungsweise ja, also was was also woher? Ja, ich mein, random Noise, ich mein, random Noise, okay, das war dann vielleicht, wenn man eine Sensorik hat oder so, dass das dann vielleicht son bisschen
Speaker1: fehlerhaft misst, aber Na gut, aber das ist in einem Rauschmodell drin. Okay. Ja, ja. Genau, also zu dem ersten, zu der ersten Klasse von Anomalien, stell dir vor, Du hast, also ja gut, industrielle Fertigungsprozesse, ja, unser Steckenpferd und 'n Stapler fährt übers Netzwerkkabel, Netzwerkkabel kaputt. Als Sensor wird wird oder immer die 0 oder das negative Maximum 1 Doubles
Speaker0: eingetragen. Dann ist es ganz klar ein Outlair, der die Daten nix verloren hat. Ja. Wer sich erinnert in der Folge zu Preprocessing hatten, hatte der Theodor erzählt, dass es mal einen einen Fall gab, wo jemand einfach einen ganz speziellen Float reingepackt hat. Und das Ja, genau. Also Gut,
Speaker1: das macht's dann schwierig. Richtig. Und das andere, das ist natürlich, also wir haben uns ja im Vorfeld ein bissel so über über auch medizinische Anwendungen unterhalten. Mhm. Und dort hast Du einfach, okay, die Nadel im Heuhaufen ist dort 'n Indiz für zum Beispiel Krebs. Hast Du. Wenn wenn Du 'n Scan hast vom Körper und und 'n kleiner, eine kleine Abweichung in der Gewebestruktur ist dann 'n Indiz für eine sich anbahnende Krebserkrankung.
Speaker0: Genau. Und so was einfach früh zu erkennen mit Data Science kann da sehr viel helfen. Jetzt kann ich mir aber auch gut vorstellen, dass quasi, wenn ich wenn ich einen Datenbestand hab und der verhält sich irgendwie komisch, nicht dahingehend, dass da besonders verrauscht sind oder gewisse Datenpunkte einfach megaweit weg sind vom gesamten Rest. Sondern na ja, stellen wir sich das mal vor, irgend eine irgend 'n Graph, ja, wenn ich jetzt 2 Variablen gegeneinander plotte, Mhm. Ist es jetzt erst mal meinetwegen sinusförmig, ja und irgendwann ist es plötzlich gerade und dann ist es wieder sinusförmig. Das ist ja dann auch irgendwie erst mal 'n komisches Verhalten, ohne dass diese Datenpunkte besonders weit weg sind von den anderen Datenpunkten. Zählt das dann auch als Anomalie
Speaker1: oder wie wie kann man das verstehen? Ja, in dem Fall schon. Also das wär dann 'n Kontextual Outlayer. Und dort ist einfach dann 1 der Feature der Kurve, der der dieser Zeitreihe verhält sich dann einfach anormal. Mhm. Und das ist dann natürlich eine Herausforderung einmal der Modellierung, andererseits des Algorithmus, ob er das vielleicht sogar selbstständig erkennt, dass das genau das auftritt. Und im Gegensatz dazu, das verwechselt man nämlich leicht, gibt's übrigens auch noch die Collective Outlairs, also man muss muss man wirklich fein unterscheiden, die ergeben sich aus 1 Häufung von Punkten an dem Ort im Ladenraum, an denen 1 noch völlig in Ordnung ist, aber eben eine Häufung erst ein Problem darstellt. Also 'n schönes Beispiel ist zum Beispiel die Wenn mal ein Nachbar wegzieht, dann ist es völlig normal, aber wenn schlagartig irgendwie alle meine Nachbarn in 'ner bestimmten Altersgruppe wegziehen und ich bin leider zufällig in 'ner kleinen Altersgruppe, dann sollte ich mir mal Gedanken machen. Also da merkt man schon, 1 1 1 Umzug wär total unspektakulär. Ja. Aber eben diese Häufung,
Speaker0: die dann Anlass zu 'nem echten neuen Cluster im Datenraum gibt, die ist dann besorgniserregend oder Bedarf der Aufmerksamkeit. Genau, ich kann schon sagen besorgniserregend. Also es wird dann wohl, würde dann auch wirken wie son psychologisches Experiment, wo man nur drauf wartet, dass Du dann auch wegzieht. Der macht bestimmt das Gleiche. Genau. Genau. Jetzt zu diesen Anomalien. Jetzt erst mal, das ist, die die Grundidee ist irgendwie gut zu verstehen, ja. Warum also beziehungsweise ich hab hier gewiss ich hab 'n gewisses Verhalten in meinem Datenbestand oder ich ich bemerke etwas, was irgendwie im Vergleich zum Großteil des des Datenbestands irgendwie komisch ist, irgendwie anormal. Ist das schwierig, damit sich zurechtzufinden? Ist das irgendwie ist das besonders herausfordernd? Weil ich mein, wir hatten mal in der Folge zu Clustering hatten wir mal drüber gesprochen, wie man mit eben, was Du auch angesprochen hast, mit dem Maxime. Wenn ich jetzt quasi einen Outlyer hab, der besonders weit weg ist und ich möcht eine Regression machen, dass ich den dann mit 'nem Clustering Algorithmus vielleicht wegbekomme, ja. Ist das im Allgemeinen, kann das beliebig kompliziert werden oder gibt es da, sind da die Methoden quasi schon recht, sagen wir mal, ist das Feld abgegrast? Das ist die Frage, die dahinter steckt. Das ist ja fast schon eine.
Speaker1: Genau. Also es das Problem ist quasi intrinsisch schwer.
Speaker0: Okay. Weil
Speaker1: zum Beispiel erst mal unklar ist, definier mal normal. Ja. Ja. Die Frage ist in sich erst mal schon mal total schwammig. Und und etwas, das heute normal ist, kann morgen anormal sein und und genau andersrum.
Speaker0: Insofern also quasi aufn Punkt gebracht, die Systeme sind oft dynamisch, die es geht. Also stellt, wenn ich mir zum Beispiel eine Firma vorstelle, ja, und die hat jetzt, irgend eine Kleidungsfirma, die wurde, da hat jemand 'n Instagram Post gemacht von einem gewissen Kleidungsstück und das war 'n superkrasser Influencer. Und sich schießen die Verkäufe in die Decke und dann können sie das irgendwie halten, dann war das, ist das, was vor 'ner Woche war, noch
Speaker1: wieder wieder anormal oder unnormal oder? Genau, genau, genau. Und und da da sprichst Du schon was an, nämlich wenn's so langsame Übergänge gibt. Mhm. Dann kannst Du mit und so weiter noch mitziehen. Mhm. Knackig sind halt wirklich Phasenübergänge. Also aus Sicht von 'nem Physing physiker werdendes Phasenübergänge im System, wo Du Das erklärt's ganz gut, ja. Ja, ja. Obwohl es sich wirklich schlagartig was ändert, aber das auch völlig in Ordnung ist. Und und da musst Du halt wirklich aufpassen, eine der der Topanwendungen ist ja Frohe Detection oder oder Network Intruion Detection. Mhm. Und jetzt stell dir vor, Du betreibst 'n Onlineshop und Du möchtest Betrüger abhalten mit 'ner Ja. 1 Leaddetektion, die dir einfach aussperrt. Und keine Ahnung, dein Payment Provider, der erinnert irgendwas an seinem System Ja. Und jetzt schlägt da dein Throd Detection Algorithmus an und sperrt einfach mal alle deine Kunden aus. Oje. Das das wär der Supergau. Also dynamisches System, Mhm. Musste total aufpassen,
Speaker0: was eben normal anormal bedeuten kann. Ich kann mir auch gut vorstellen, so jetzt vielleicht zu diesem bei dem Ding Betrüger und Frau und Intrusion kann ich mir auch gut vorstellen, dass Betrüger quasi möglichst normal wirken möchten. Also sich quasi unter ein also die, ich mein, das was ist Beispiel, jemand, der ins Stadion rein möchte, kauft sich kein Ticket, sondern der zieht sich eine Leuchtweste an, nimmt 'n Leiter untern Arm und sagt, ja, hey Leute, ich geh ich muss hier nur kurz durch und schaut sich dann das Spiel an, so ungefähr. Und der wirkt dann einfach normal. Also das ist,
Speaker1: so, der will einfach nur was reparieren mit 'ner Leiter. Ja, das ist das ist das ist total witzig. Also klar Profis, die die die kriegen das auch hin. Also wenn Du vorsätzlich irgendwie täuschen möchtest, dann dann kannst Du zum gewissen Grad bestimmt täuschen witzig, also so Seitenbemerkung, vor allem Menschen sind ziemlich schlecht tatsächlich drin, jemanden was vorzumachen. Okay. Zum Beispiel hab ich mal gelesen, dass Ladendiebe, die halten sich 'n Produkt vors Gesicht und tun so, als ob sie's studieren würden, schauen aber eigentlich die ganze Zeit nach rechts und links, sich eben unauffällig, genau, weil sie sie sie checken müssen, was tun die anderen gerade, Mhm. Dann zu wissen, was ist gerade normal? Ja. Und genau durch diesen Scan verraten sie sich. Also gut, also Menschen haben da nur eine begrenzte Fähigkeit zum täuschen, aber klar, ich würd natürlich, wenn ich in ein Netzwerk eindringen möchte, würd ich mich natürlich drauf konzentrieren, die Signatur, die ich erzeuge, jetzt nicht dahingehend ausufern zu lassen, als dass ich jetzt zum Beispiel durch den Datenbankdampf, den ich da aus der Firma klauen möchte, das Firmennetzwerk lahmlege, weil einfach auf einmal krasser Traffic nach sonstwo stattfindet. Das ist klar, genau.
Speaker0: Jetzt haben wir ja grad schon angesprochen beziehungsweise kleinen Callback gemacht zu Clustering, wie man da mit Outleiern umgehen kann. Was gibt's denn dann noch für Möglichkeiten, wie die Complexity Master da rangehen könnten, wenn Sie sagen, hey, ich will rausfinden, sind in meinem Datenbestand irgendwelche Anomalien? Wie finden Sie die? Gibt, was gibt's denn da so? Mhm. Genau, also Clustering,
Speaker1: perfekt, wenn Du an superwist, Clustering Mhm. Betreibst, ist ist wunderbar erst mal, weil Du eben natürlich keine Labels brauchst. Ja. Und das das sagt's im Wesentlichen schon, Du kannst natürlich auch 'n neuronales Netzwerk nutzen und mit gelabelten Daten, das war normal, das war abnormal, Mhm. Mit Klassifier trainieren und auch 'n Zwischending einführen. Das ist, wenn Du nur Daten von einem normalen Zustand hast oder nur Daten von nur annormalen Zuständen, Mhm. Dass Du 'n Klassifier trainierst, der das schon mal erkennt und dann drauf hoffst, dass er alles, was abnormal ist, Mhm. Dann eben wiederum klassifizieren kann. Also also sowohl im Bereich an Supervised Learning als auch im Bereich Supervised Learning gibt's da auf jeden Fall Tools, Mhm. Die man sich da zu eigen machen kann. Ja, wo wo wobei, da muss man wirklich noch mal einhaken. Mhm. Es ist jetzt nicht so einfach, als dass man sagt, ja, ja klar, Anomaliedetektion, das ist ja quasi wieder nur der gleiche Käse. Also 'n intrinsisches Problem dabei ist, dass die Datensätze ja quasi per Definition stark asymmetrisch sind, also unbalanced sind Mhm. Zwischen den normalen und den den den Anomalien. Warum ist das 'n Problem? Muss man sich auch noch mal ins Gedächtnis rufen? Na ja, also Du hast das gleiche Problem wie bei so medizinischen Tests. Wenn ich 'n medizinischen Test habe und der hat eine Genauigkeit von 99 Prozent, dann hört sich das erst mal viel an. Ja. Aber das Problem ist ja, das das Beispiel hat man, glaube ich, ja schon mal, wenn die Krankheit nur in einem von 10000000 Fällen auftritt, dann ist diese false positive Rate von dem Algorithmus einfach gigantisch schlecht. Mhm. Ja, also dann hast Du viel, viel, viel, viel mehr als als positiv. Ja. Und ähnlich ist es hier auch, ja, also 'n Algorithmus, 'n Classifier, wenn der Datensatz so krass asymmetrisch oder unbalanced ist Ja. Dann dann dann wär's quasi einfach für den zu sagen, na ja, das war jetzt alles normal, weil die Panel, dass er jetzt die die Anomalien nicht als anormal detektiert hat, die es einfach verschwindend gibt Okay. In der Gesamtkostenfunktion. Also muss man höllisch aufpassen, dass einem die dann dadurch nicht aus die die Finger rutschen. Und da gibt's dann auch einige mehr oder weniger fiese Tricks. Mhm. Das eine ist, dass wenn Du sagst, okay, Du hast jetzt irgendwie 100 Datenpunkte normal und 2 anormal, dann steckst Du einfach die anderen fuffzigmal in den Datensatz rein,
Speaker0: aber also da verzehrst Du halt. Ja, also das das wirkt so, also
Speaker1: ich copy paste es einfach. Ja, ja, aber nicht Ich mach einfach irgendwas. Das ist das ist halt so der 1. Hack, aber also Und und und das machen trotzdem Leute auch nicht ohne Grund. Und das ist quasi nur die Spitze des Eisbergs, jetzt quasi auch den Zuhörern 'n Gefühl dafür zu geben, dass das echt 'n hartes Problem ist. Also ich also ich mein, das kann doch gar nichts bringen. Ich mein, ich gewinne doch dadurch keine nicht mehr Variation innerhalb meiner Also das ist doch immer noch das gleiche, die 2 gleichen Datenpunkte Ja, die Idee. Ja, ja, ja, klar. Klar begehst Du krasse Fehler, aber die Idee ist natürlich, dass Du eine Abweichung von einem Datenpunkt der Anomalien fünfzigmal härter gewichtest als gegenüber einem Ja. Datenpunkt im normalen Datensatz, die quasi wieder auf Augenhöhe zu heben, ja. Dass Du sagst, hey, beide Kategorien sind gleich schwer oder gleich wichtig. Isi. Also das ist schon schon korrekt, aber aber wie Du sagst, Du Du Du fängst Du halt diverse Probleme an anderen Stellen ein, eben aufgrund zum Beispiel, weil Du die Varianz einfach komplett verkackst.
Speaker0: So, jetzt haben wir schon viel über Anomalie oder Anomalie Detection gesprochen. Nicht alles auf Englisch klingt klingt besser. Aber jetzt mal so zum zum Praktischen. Wo wird das benutzt? Wo ist das nützlich? Ja, son paar Beispiele haben wir schon gegeben, aber was gibt's da noch? Was kann man damit noch machen?
Speaker1: Ja, also wie gesagt, nur mal kurz das Rap-up, Kreditkartenbetrug oder generell Betrug im Finanzsektor ist, damit aufzudecken.
Speaker0: Also plötzlich
Speaker1: schier hohe Ausgaben, die völlig absurd wirken, machen einen verdächtigt. Oder Tante Emma, die noch nie im Ausland war und auf einmal ist die in Bali und 2 Sekunden später irgendwie in den USA, das das riecht ein bissel Nach Enkeltrick, oder? Ja, ja, genau. Also das ist mal eine Anwendung. Dann geht's drum, spannende Ereignisse zu finden und spannend quasi in dem Sinn denkt man 'n Aktienmarkt. Mhm. Das ist irgendwie eine auffällige Bewegung in 'nem bestimmten, in 'ner bestimmten Aktie. Die möcht's erkennen, die dann zu bewerten. Das war son hetzt-up. Genauso kannst Du nach spannenden Ereignissen beim Thema Predictive Maintenance gehen. Das heißt, erst mal interessiert mich meinen Anlagenzustand überhaupt nicht, solange alles normal ist, wenn's irgendwie anfängt zu wackeln oder zu vibrieren oder der Stromverbrauch schwankt, dann möchte ich da drauf hingewiesen werden. Mhm. Und dann gibt's natürlich noch die Anwendungen im im Health Care Bereich. Das heißt, ich hab irgendwie 'n Smartwatch und die überwachte 'n Puls, vielleicht sogar verknüpft mit 'ner Anwendung für für für pflegende Angehörige und wenn dann der Puls sich unregelmäßig verhält oder auf einmal weg ist zum Beispiel, ja, dass das dann Alarm gibt. Ja, das ist ja super praktisch. Also quasi zu sagen,
Speaker0: ich wie kann ich auf meine Gesundheit achten, wenn ich jetzt wenn's jetzt nicht grad ich selber bin, ne. Mhm, genau. Da kann so was auf jeden Fall helfen und Technik auf jeden Fall, Technologien, solche Dinge wie ihn auf jeden Fall unterstützen. Jetzt zum Ende hin, Theo, als kleines, einfach mal als kleine Zusammenfassung, hast Du die Chance, den Zuhörern da draußen noch was mitzugeben. Möchtest Du jemanden grüßen? Genau. Hast Du was Ich möchte den Hendrik grüßen. Den Hendrik grüßen. Der Hendrik
Speaker1: der Hendrik hat jetzt schon 'n paar Intros und 'n paar AdLips eingesprochen, der muss mal gegrüßt werden, genau. Genau, genau. Ja, okay, meine Chance. Okay, okay, Number one. Nämlich klar, also bei Normaly Detection, man vergleicht Äpfel mit Birnen, aber sozusagen Tipp Nummer 1, passt drauf auf, dass ihr wirklich nur Äpfel oder nur Birnen in euren Mhm. Normal Dataset drin habt, auf die die Dynamik des Systems wirklich einzugehen. Mhm. Ansonsten leuchte euch das Ding Amok. Dann das 2., das ich noch mal kurz wirklich rausheben möchte, ich, ist das Thema Unbalanced Dataset. Mhm. Seidst Du wirklich drauf sensitiv oder oder gebt's da darauf 8, dass dass dieses Thema richtig behandelt wird? Sucht euch da den richtigen Algorithmus raus, der für für euren Datensatz geeignet ist und nehmt es nicht auf die leichte Schulter. Und das 3. Thema ist wirklich, seid vorsichtig im beim händischen eurer Daten. Mhm. Nicht, dass ihr Zeug einfach rauslöscht, weil ihr glaubt, das war ja sowieso nur 'n Artefakt in den Daten und und tatsächlich wär das der Jackpot gewesen. Ja. Also das Ding wie immer, wenn euch irgendwas komisch
Speaker0: vorkommt und ihr seid bei 'nem bei irgend 'nem bei 'nem Use Case mit einem Kunden und ihr denkt euch, hey, was ist 'n da los? Ich glaub, es war der Slogan der letzten Folge, macht euch die Hände schmutzig, ruft da an und fragt, was da los war. Vielleicht können die euch mehr verraten. Genau, dann sag ich dir schon mal vielen Dank. In den Shownotes findet ihr wieder eine Jupiter Notebook Datei, wo ihr selber mal Anomalien detektieren dürft. Und genau, vielen Dank für deine Tipps und dass Du da warst. Und ja, Master the Complexity. Damit wir weiterhin für euch, hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.