Clustering

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Dr. Maksim GreinerCo-Founder & CTO von Erium
Überblick
In dieser Folge des Erium Podcasts erklären Dr. Theo Steininger und Dr. Maksim Greiner gemeinsam, was Clustering ist und wie es in der Praxis eingesetzt wird. Sie beleuchten klassische Algorithmen wie K-Means, DB Scan und Gaußsche Mixtur-Modelle, diskutieren Strategien zur Bestimmung der optimalen Cluster-Anzahl und gehen auf typische Fallstricke wie fehlende Daten und die Wahl der richtigen Abstandsfunktion ein.
Zusammenfassung
Was ist Clustering und wozu dient es?
Clustering bezeichnet das automatische Gruppieren von Datenpunkten in Cluster, sodass Punkte innerhalb einer Gruppe einander ähnlicher sind als Punkte aus verschiedenen Gruppen. Während man bei kleinen Datensätzen Gruppen noch per Hand bilden kann, übernimmt bei großen Datenmengen ein Algorithmus diese Aufgabe. Typische Anwendungsfelder sind Spamfilter, Käufersegmentierung oder die Unterteilung von Räumen in städtische und ländliche Regionen.
Klassische Algorithmen: K-Means, DB Scan und Gaußsche Mixtur-Modelle
Die beiden bekanntesten Clustering-Algorithmen sind K-Means und DB Scan. K-Means bildet kugelförmige Cluster und benötigt die Anzahl der Cluster als Vorgabe, während DB Scan dichtebasiert arbeitet, beliebig geformte Cluster erkennt und keine Cluster-Anzahl im Voraus braucht - dafür aber zwei andere Parameter. Gaußsche Mixtur-Modelle (GMM) erweitern K-Means, indem sie die Cluster als Gauß-Glocken interpretieren und damit probabilistische Vorhersagen ermöglichen. Bei Erium wurden GMMs etwa eingesetzt, um mehrstufige Produktionsprozesse zu modellieren, bei denen sich der bekannte Input im Prozessverlauf schrittweise verändert - ein klassisches Problem konditionaler Wahrscheinlichkeiten.
Strategien zur Bestimmung der optimalen Cluster-Anzahl
Die Wahl der richtigen Cluster-Anzahl ist eine zentrale Herausforderung. Zwei grundlegende Suchstrategien sind Bottom-up (Start mit vielen Clustern, die schrittweise fusioniert werden) und Top-down (Start mit einem Cluster, das schrittweise aufgespalten wird). Das theoretisch eleganteste Kriterium ist die Bayesianische Evidenz, die automatisch das Prinzip der Sparsamkeit ('Occams Razer') berücksichtigt und komplexe Modelle bestraft. Da die Evidenz in der Praxis jedoch kaum berechenbar ist, greift man auf Approximationen wie das Bayesian Information Criterion (BIC) zurück, das sich aus der Likelihood eines Modells ableiten lässt und wenig zusätzliche Rechenleistung kostet.
Umgang mit fehlenden Daten beim Clustering
Fehlende Werte (Missing Data) können Clustering-Ergebnisse erheblich verfälschen. Grundsätzlich gibt es zwei Ansätze: Bei der Partial-Data-Strategie werden fehlende Dimensionen bei der Abstandsberechnung einfach ignoriert, was eine Spezialimplementierung erfordert, aber methodisch sauber ist. Bei der Imputation werden fehlende Werte aufgefüllt - am einfachsten mit dem Mittelwert, was jedoch künstliche Cluster erzeugen kann, wenn dieser in Bereichen liegt, in denen real keine Daten vorhanden sind. Eine bessere Alternative ist die konditionale Imputation, bei der der plausibelste Wert basierend auf den bekannten Merkmalen des Datenpunkts eingesetzt wird. Empfohlen wird, simpel zu beginnen und die Strategie schrittweise zu verfeinern.
Die Abstandsfunktion als entscheidende Stellschraube
Die Wahl der Abstandsfunktion (Metrik) bestimmt maßgeblich, was ein Clustering-Algorithmus 'sieht'. Unterschiedliche Einheiten auf verschiedenen Achsen - etwa Kilogramm versus Meter - können das Ergebnis stark verzerren. Eine gängige Lösung ist die Standardisierung, bei der alle Achsen so reskaliert werden, dass ihre Varianz jeweils 1 beträgt. Allerdings birgt das Risiko, unwichtige oder rauschbehaftete Dimensionen gleich stark zu gewichten wie relevante. In einem praktischen Beispiel mit einer zweidimensionalen Spirale zeigte sich, dass das Hinzufügen von Rausch-Dimensionen kombiniert mit Standardisierung dazu führte, dass der Algorithmus die Struktur vollständig verlor. Empfohlen wird daher, zunächst eine Korrelationsanalyse durchzuführen und irrelevante Dimensionen zu reduzieren.
Wann welchen Algorithmus wählen - praktische Empfehlungen
Als Faustregeln empfiehlt Maksim Greiner: Erstens sollte man mit einem Algorithmus beginnen, dessen Verhalten man versteht und intuitiv nachvollziehen kann, da die Ergebnisse interpretiert werden müssen. Zweitens ist ein geometrischer Raum mit Mittelwertbildung Voraussetzung für K-Means und GMMs, während DB Scan lediglich Abstände benötigt und daher flexibler einsetzbar ist. Drittens sollte man sowohl den Algorithmus als auch das zugrundeliegende Problem gut genug kennen, um schlechte Parameterwahl zu erkennen und korrigieren zu können. Das bloße Anwenden eines Algorithmus ohne Verständnis führt leicht zu Ergebnissen, die zwar optisch ansprechend wirken, aber wenig Aussagekraft haben.
Praxisbeispiel: Clustering für die Stadtplanung einer Städtereise
Als anschauliches Abschlusspример illustrieren die Hosts das Thema anhand einer Reise nach Prag mit 150 Sehenswürdigkeiten auf der To-do-Liste. Die Idee: Die Orte auf einer Karte verteilen und per K-Means in so viele Cluster aufteilen, wie Tage für den Besuch zur Verfügung stehen. Jeder Tag wird dann einem Cluster gewidmet und die Sehenswürdigkeiten in dem jeweiligen Stadtviertel zu Fuß abgearbeitet. Im Vergleich zum Traveling Salesman Problem - das bei 150 Zielen rechnerisch kaum lösbar wäre - bietet Clustering hier eine pragmatische und erlebnisreiche Alternative.
Kernaussagen
- Clustering gruppiert Datenpunkte nach Ähnlichkeit und ist besonders bei großen Datenmengen unverzichtbar, wo eine manuelle Einteilung nicht mehr praktikabel ist.
- K-Means und GMMs setzen eine vorgegebene Cluster-Anzahl voraus und arbeiten geometrisch, während DB Scan dichtebasiert und ohne feste Cluster-Anzahl auskommt.
- Gaußsche Mixtur-Modelle ermöglichen probabilistische Vorhersagen und eignen sich besonders für Probleme mit konditionalen Wahrscheinlichkeiten, etwa bei stufenweisen Produktionsprozessen.
- Die optimale Cluster-Anzahl lässt sich über Bottom-up- oder Top-down-Strategien suchen; das Bayesian Information Criterion (BIC) bietet eine praktikable Approximation der theoretisch idealen Evidenz.
- Die Wahl der Abstandsfunktion ist entscheidend: Falsche Skalierung oder zu viele irrelevante Dimensionen können den Algorithmus vollständig in die Irre führen.
- Fehlende Daten sollten mit Bedacht behandelt werden - einfache Mittelwert-Imputation kann künstliche Cluster erzeugen; konditionale Imputation oder Partial-Data-Strategien sind robuster.
- Algorithmus-Verständnis ist Pflicht: Wer nicht versteht, was ein Clustering-Algorithmus tut, kann schlechte Ergebnisse weder erkennen noch korrigieren.
Fazit
Clustering ist ein mächtiges Werkzeug zur unüberwachten Strukturfindung in Daten, das in vielen Bereichen eingesetzt werden kann. Entscheidend für den Erfolg ist jedoch nicht die bloße Anwendung eines Algorithmus, sondern das Verständnis seiner Funktionsweise, eine sorgfältige Wahl der Abstandsfunktion und ein bewusster Umgang mit Datenqualität und Dimensionalität. Wer diese Grundlagen beherrscht, kann auch bei komplexen, hochdimensionalen Datensätzen verlässliche und interpretierbare Ergebnisse erzielen.
Fuer Data-Science-Einsteigerinnen und -Einsteiger
Beginne mit einfachen Algorithmen wie K-Means, die du intuitiv verstehst, bevor du zu komplexeren Methoden wie GMM wechselst. Mache dir von Anfang an Gedanken über Skalierung, Dimensionalität und fehlende Daten - das spart viel Fehlersuche.
Fuer Praktikerinnen und Praktiker in Industrie und Produktion
Wenn Prozessdaten stufenweise anfallen und der verfügbare Input sich im Laufe des Prozesses verändert, können Gaußsche Mixtur-Modelle über konditionale Wahrscheinlichkeiten helfen, trotzdem belastbare Vorhersagen zu treffen.
Volltranskript anzeigen
Speaker0: Vor 2 Jahren habe ich ein paar Tage in Prag verbracht und ich wollte so viel wie möglich der Stadt zu Fuß erkunden. Und ob ihr's glaubt oder nicht, am Ende standen auf meiner To do Liste 150 Orte, die ich mir anschauen wollte. Ganz schön ambitioniert und ich hab's auch nicht ganz geschafft. Das lag aber nicht an der Zeit, sondern eher daran, dass ich keine Ahnung von Clustering hatte. Und damit herzlich willkommen zu 1 neuen Ausgabe vom Epion Podcast. Der Maxim ist heute bei mir. Hallo. Toll, dass Du da bist, freut mich. Wir erzählen euch heute, was Clustering ist und vor allem, wie damit gearbeitet wird in der Praxis. Da wirst Du uns sicherlich noch ein paar Sachen dazu erzählen, bin ich schon sehr gespannt. Und zum Ende natürlich verraten wir euch, warum Clustering mir in Prag geholfen hätte. Genau. Genau. Und ja, Maxim, vielleicht zum Einstieg zum Auffrischen, was ist Clustering? Was ist die Idee davon?
Speaker1: Ja, die Idee ist ganz einfach, ich hab eine Menge an Datenpunkten und ich möchte jetzt Gruppen bilden, also Cluster von Datenpunkten, die irgendwie ähnlicher so zueinander sind als zu den anderen.
Speaker0: Genau, ganz simpel eigentlich. Ich mein, wenn man jetzt selber irgend eine Menge an Daten vor sich hat, sagen wir mal 5, also nicht viel, dann fällt es einem vielleicht noch leicht, das zu unterteilen in irgendwelche Gruppen, die die ähnlich Ähnlichkeiten aufweisen. Aber bei 'nem großen Datenbestand wär es dann doch gut, wenn's 'n Computer machen würde. Ganz genau. Was gibt's denn da so für klassische Algorithmen? Also vielleicht mal, wenn man die kurz mal genannt haben kann. Also ich denk mal, die beiden so bekanntesten wären
Speaker1: und dann die ganzen Varianten von DB Scan. Okay. Und die unterscheiden sich auch schon gleich in 2 typische Kategorien. Das bildet, ich sag mal, kugelförmige Cluster. Mhm. Während DB Scan, scrollt sich so durch und bildet beliebigförmige Cluster. Und anwenden kann man die eigentlich Ich mein, da gibt's zum Beispiel Spamfilter, die darauf basieren. Man kann Käufergruppen damit einteilen. Man kann überall, wo man irgendwie Gruppen identifizieren will, man kann auch damit irgendwie urbane Räume zum Beispiel in in, ja, in Städte und Landregionen unterteilen, lauter solche Sachen.
Speaker0: Genau, also irgendwie Informationen gruppieren. Genau. Und versuchen, Ähnlichkeiten zu finden. Direkt zu Erium, benutzt ihr Clustering, benutzt ihr so was?
Speaker1: Also in der Vergangenheit haben wir was benutzt, was nah am Clustering dran ist, Mhm. Also intensiv benutzt. Und das waren Gaußsche Mix Tour Modelle, so Okay. GMM. Das ist eigentlich ein Dichtefit, das heißt, ich ich passe eine Wahrscheinlichkeitsdichte an meine Daten an. Okay. Aber eigentlich ist GMM eine Erweiterung von. Das Okay. Liegt einfach daran, ich sag jetzt, ich hab nicht mehr nur meine kugelförmigen Cluster, sondern ich interpretiere diese als Gauskloppen. Okay. Und schon bin ich bei Wahrscheinlichkeiten. Aber wieso haben wir das überhaupt benutzt? Ja. Wir waren damals mit der Herausforderung konfrontiert, dass wir einen Produktionsprozess optimieren wollten, der in mehreren Schritten abläuft. Das heißt, ich hab ich hab jetzt meinen Schritt a, da passiert was, da gibt's dann irgendwelche Sensorwerte, die anfallen, Einstellungen, die ich vornehmen kann. Danach hab ich Schritt Schritt b, Schritt c und am Schluss hab ich 'n Ergebnis. Mhm. Und jetzt fangen wir mal nur mit der Vorhersage an. Ich möchte im laufenden Prozess, also mein Werkstück durchläuft, zum Beispiel Schritt a, ich möchte mein Ergebnis vorhersagen. Wenn's grad bei Schritt a ist, dann sind vielleicht vielleicht die Einstellungen und 'n paar Subset der Sensorwerte von Schritt a bereits bekannt, der Rest ist noch unbekannt. Ja. Also ich hab jetzt, sagen wir mal, 2 Parameter, mit denen ich mein Ergebnis vorhersage. Jetzt läuft aber das Ding ja weiter. Jetzt bin ich in Schritt b, jetzt hab ich vielleicht schon 5 Parameter. In Schritt c dann irgendwann 8. Das heißt, das wächst so kontinuierlich an, was ist bekannt, was ist unbekannt? Und das ist so mit den typischen Regressionsmethoden mühsam, weil die normalerweise davon ausgehen, Du hast 'n Input und Du hast 'n Output. Mhm. Und der Input ist eigentlich vollständig bekannt und daraus sagst Du jetzt den Output hervor. Aber in diesem Fall war ja Input und Output, also gut, Output sagen wir mal, war immer das Ergebnis, aber wie groß mein Input war, war immer son bisschen in der Schwebe. Mhm. Und da war uns dann relativ bald klar, okay, eigentlich ist das was für konditionale Wahrscheinlichkeiten. Weil da, also wenn ich eine konditional, also eine totale Wahrscheinlichkeit habe, dann kann ich die konditionieren nach was kenn ich, was ich nicht und was möcht ich vorhersagen, also wovon möcht ich Schätzwerte berechnen. Okay, dann mussten wir, wir brauchen also aus Daten unseres Produktionsprozesses eine Wahrscheinlichkeitsdichte. Ja, und schon waren wir bei den Gaußschen Mixedour Modellen, weil mit denen geht das wunderbar, ja. Die die Schmiegen, wie vorhin erwähnt, lauter Gaußglocken an meine Daten an, bis durch diese Superposition von vielen Gaußglocken genau die Dichte gebildet wird, die meine Daten am besten erklärt.
Speaker0: Vielleicht eine Frage dazu, auch die son bisschen eine vielleicht 'n größeres Thema im Thema im im Bereich Clustering ist. Wie ist es denn mit der Anzahl an Clustern? Ja, also jetzt zum Beispiel, wir hatten kurz vorhin was zu Spamfiltern gesagt, da ist vielleicht die Anzahl an Clustern klar, wenn man sagt, das eine Cluster ist Spam, das andere Cluster ist nicht Spam. Also wenn man was Binäres hat, ist es vielleicht irgendwie klar. Aber wenn ich jetzt 'n 'n komplexeres System hab, vielleicht 'n komplexeren Prozess, vielleicht wie Du ihn jetzt grade eben beschrieben hast, Mhm. Wie find ich denn da eine Anzahl an Cluster, die irgendwie passend ist? Ja, also wenn ich jetzt sag, ich hab 1000 Daten und ich nehm 1000 Cluster, dann ist das irgendwie doof, ne. Ja.
Speaker1: Also jetzt gehen wir mal davon aus, dass ich nicht aufgrund der Problemstellung, wie Du grad als Beispiel beim Spam genannt hast, weiß, wie viel Cluster ich finden möchte. Ja. Sondern ich sag, ich möchte so viele Cluster eben, wie's am sinnvollsten ist für diesen Datensatz. Das ist dann häufig nicht so leicht. Also bei DB Scan erledigt sich das Problem von alleine, allerdings hab ich dafür da 2 andere Parameter, mit denen ich tunen muss, also ist eigentlich auch wieder nur das Problem verlagert. Genau. Also kurz dazu, das DB in DB Scan steht für, also das ist dichtebasierend,
Speaker0: ja. Das heißt, man gibt eine Dichte vor und anhand derer, also wie nahe sollen die Daten beieinander liegen, wird werden quasi Cluster gebildet. Bei Sachen wie oder den Gaußschen Mixtur Modellen ist es wichtig, vorher vorzugeben, wie viele Cluster denn gebildet werden soll. Genau, genau. Das sind eben diese beiden Kategorien
Speaker1: an Clustering Algorithmen, wie Du's grad gesagt hast, bei DB Scan Also es gibt den minimalen Abstand und die Mindestanzahl an nächsten Nachbarn. Ja. Und bei den K-Menens und auch eben bei den Gaußium Mixstone Modellen muss man letztendlich eine Anzahl an Komponenten oder an Clustern wählen. Aber es gibt Strategien, diese Anzahl optimal zu bestimmen. Generell 2 2 Suchstrategien, Bottom-up und Top down. Was heißt das? Die eine, also Bottom-up würd ich so bezeichnen, ist, Du fängst an mit im Prinzip schon fast im Extremfall, jeder Datenpunkt bekommt sein eigenes Cluster.
Speaker0: Mhm.
Speaker1: Und dann schaust Du jetzt, aha, welche Cluster überlagern denn stark, ja? Also 2 Datenpunkte, deren Datenpunkte, deren Cluster nah beieinander liegen, dann überlagern ja die Cluster stark. Und dann musst Du quasi 'n Kriterium festlegen, ab wann solche Cluster gemerged werden, also fusioniert werden. Ja. Und das lässt Du dann halt so lange durchrattern, bis alle Cluster ja, nicht mehr überlappen oder nicht mehr über dem Schwellenwert bei der Überlappung liegen. Oder hinreichend nicht überlappen quasi. Ich mein, das schätz ich mal, kann man ja auch als Parameter festlegen. Absolut. Das ist natürlich dann wieder ein Parameter, was ist der Mindest oder der maximal erlaubt Überlappungswert. Ja. Und ja, damit hab ich dann meine meine meine optimale, also oder zumindest nach diesem Kriterium optimale Anzahl an Clustern gefunden. Mhm. Wieder abhängig natürlich von diesem einen Parametern, den ich gesetzt hab. Top down würde bedeuten, ich fang mit einem Cluster an und dann schaue ich, in welche zum Beispiel Richtung im Raum dieses Cluster am meisten, nennen wir's mal, gestresst ist. Okay. Das kann zum Beispiel sein wie, ich hab bei einem, wo ich ja in in sphärischen Clustern eigentlich denke, da gibt's eine Richtung, in die meine Daten im Cluster so am am weitesten auseinanderliegen, also quasi die größte Hauptachse, wenn ich wenn ich da eine 1 Zerlegung auf die ganzen Datenpunkte mach. Und dann kann ich mal in diese Richtung 'n Split machen. Okay, jetzt mein Cluster, der hat zu viel Stress an 1 Achse, also splitt ich den. Und dann kann ich wieder schauen, haben meine Untercluster wieder Stress und in welche Richtung? Und dann kann ich halt auch son ein 1 Stresskriterium festlegen. Also im im Prinzip so was bei k means könnte man sagen wie eine 1 maximale nichtsphärische, also wie wie wie wie stark ist die die, wie nennt man das? Die die der elypsoide Charakter Ja. Der Datenpunkte, die im Cluster liegen. Und wenn die, wenn das zu stark ist, dann splitt ich den Cluster, bis ich bis das besser in meine sphärischen Cluster passt. Beim Gaußschen Mixedum Modell können wir zum Beispiel sagen, na ja, ich hab, es gibt ja verschiedene Werte für Gaushaftigkeit Ja. 1 Datensatzes und innerhalb 1 Clusters müssen die Daten halt relativ gaus sein. Und wenn da wieder 'n Kriterium verletzt ist, dann splitte ich in die Richtung, in die es am stärksten verletzt ist. Und das wär jetzt dann son Top Down Approach, bis ich sozusagen mein ursprünglich einzelnes Cluster so weit auf aufgespalten hab, bis die, so weit aufgespalten hab, bis die bis die Subcluster sich gutartig verhalten.
Speaker0: Okay, jetzt ist ja dieses Bottom up und Top down, Also so wie Du das jetzt grad erklärt hast, hört sich's für mich hier an wie, ich probier's aus, bis quasi ein Fehler sozusagen minimiert wird. Richtig. Gibt's da auch vielleicht noch eine andere Methode? Außer jetzt, sagen wir mal, ich mein, angenommen, ich kenne das Problem sehr gut und ich weiß intuitiv, okay gut, das wäre klug, 2 Cluster zu nehmen. Also vielleicht als Beispiel, man nimmt 'n Datensatz von Personen mit Körpergewicht und Körpergröße Mhm. Und denkt sich, ich unterteil in 2 Cluster, ja. Und die 2 Cluster sind dann quasi die 2 Geschlechter, Männer und Frauen und das wäre quasi die der gesunde Menschenverstand, der dahintersteckt. Genau. Wenn man jetzt grade nicht, weil das weil das Problem so komplex ist, diesen gesunden Menschenverstand zur Verfügung hat und jetzt nicht direkt alles ausprobieren möchte vielleicht, Rechenleistung einzusparen oder warum Was könnte man vielleicht noch machen?
Speaker1: Ja, ganz ums Ausprobieren wird man nicht herumkommen, aber trotzdem gibt's eine 1 anderes Kriterium als als diese Split- oder Merge Strategien zu fahren. Und das eigentlich schönste Kriterium aus Sicht hier von jemandem, der mit Basic Statistik arbeitet, ist ist die Evidenz. Und das ist letztendlich ein Maß dafür, wie gut mein Modell die Daten erklärt, aber gleichzeitig dabei automatisch Ocoms Razer beinhaltet. Das heißt, komplexe Modelle werden bestraft. Okay. Liegt daran, wie die Evidenz berechnet wird, weil da über alle möglichen Parameter meines Modells marginalisiert wird. Und wenn ich halt viele Parameter hab, dann ist dementsprechend der die die der Bruchteil des Volumens, der die Daten gut erklärt, immer kleiner. Mhm. Jetzt haben wir bei der Evidenz, also das wär eigentlich das eleganteste Kriterium, die Anzahl an Clustern zu berechnen. Ich würde die einfach dann berechnen für verschiedene Anzahlen und dann Ja. Das mit der besten Evidenz gewinnt. Das wäre informationstheoretisch das beste Kriterium, aber wie so oft bei dem, was am besten ist, es ist am mit Abstand teuersten numerisch zu berechnen, wenn nicht praktisch sogar unmöglich. Also in der also es ist nicht machbar in der Praxis, weil das ist? Es ist in der Praxis nicht machbar. Aber es gibt ganz nette Approximationen, Mhm. Die von der Evidenz inspiriert sind. Also ganz einfach ist zum Beispiel das. Das kostet eigentlich fast keine zusätzliche Rechenleistung zu dem normalen Fit. Und wenn ich irgendwas hab, was auf Wahrscheinlichkeiten basiert, also zum Beispiel 'n Gaußisches Mixedo Modell hat eine Lycley Hood. Mhm. Und damit hab ich automatisch schon eine Wahrscheinlichkeit, die mein, die mir das berechnen des Basian Information criterium erlaubt.
Speaker0: Mhm.
Speaker1: Die volle Evidenz nein, aber ich kann sie approximieren.
Speaker0: Also ist doch immerhin was. Genau. Jetzt haben wir einige Begriffe gehört beziehungsweise einige gehört, Kameans, DB Scan, Bottom up, Top Down, Evidenz. Was würdest Du aus deiner Erfahrung sagen, Clustering Algorithmen, ja? Auch im Vergleich zur Regression, wir hatten's auch kurz davor angesprochen, dass bei manchen Prozessen eignet sich Regression einfach nicht so gut wie zum Beispiel jetzt son Gaußsches Mixturmodell. Wann nehme ich welchen Clustering Algorithmus? Also was was würdest Du sagen, was würdest Du jemandem an die Hand geben wollen, der sagt, okay, gut, ich bin quasi überfordert mit der Welle an Clustering Algorithmen, die es da Ja. Was nehm ich wann?
Speaker1: Also tatsächlich, ja, es gibt unglaublich viele, grad die, wenn man die ganzen Subvarianten betrachtet, aber ich würd sagen, erst mal, Mhm. Fang mit was Einfacherem an und nimm einen Algorithmus, dessen Verhalten Du irgendwie verinnerlicht hast, verstehen kannst, ja. Also hast dir vielleicht irgendwie geometrische Beispiele angeschaut und kannst kannst damit was anfangen und das bisschen abstrahieren, falls es höherdimensional ist. Warum? Die Ergebnisse müssen häufig noch irgendwie interpretiert werden. Es funktioniert vielleicht mit den Metaparametern, die man gewählt hat, nicht sofort. Und dann ist es gut, wenn man das Ergebnis irgendwie interpretieren kann und dafür ist es meiner Meinung nach unerlässlich zumindest die grundlegende Idee und die grund das grundlegende Verhalten des Algorithmus zu verstehen. Sonst kommt man schnell ins Schwimmen Ja. Und macht dann einfach irgendwas, bis irgend einen Wert oder irgend einen Bild schön aussieht, aber weiß eigentlich nicht wirklich, was passiert ist. Also aus den Daten dann tatsächlich irgend 'n Mehrwert zu ziehen, besteht nicht nur daraus zu sagen, okay, gut, ich clustere,
Speaker0: gib's weiter an den nächsten und der soll's Also
Speaker1: diese Interpretation hängt auch zusammen mit der Art des Clusterings. Also entweder ich muss die Daten so gut verstehen, dass dass mir das Ergebnis des Algorithmus dann direkt irgendwie intuitiv was sagt, also vor allem mit dem Männer Frauen Beispiel und so weiter. Das ist mir eigentlich egal, wie das jetzt clustert wurde, weil ich so viel Intuition über das Problem hab, dass ich das Ergebnis trotzdem interpretieren kann. Aber wenn's irgendwelche seltsameren Daten sind oder irgendwie so, wie hast Maschinendaten oder so, dann hab ich ja häufig keinen son Inside mehr über über das Ergebnis intrinsisch und dann ist es gut, wenn ich verstehen kann, was ist da passiert?
Speaker0: Das ist ganz interessant, aber ich hätte jetzt tatsächlich intuitiv zuerst gedacht, das ist doch wurscht, wie ich clustere. Am Ende hab ich ja meine Cluster
Speaker1: und dann schaue ich, wie viel es gibt, oder? Ja, richtig. Wenn es nicht immer auch irgendwo abhängig wär von den Parametern, die Du gewählt hast, also zum Beispiel bei der Anzahl der Komponenten bei. Teilweise auch die Startwerte können das beeinflussen, also wie Du bei K-Menes mit dem Training anfängst. Oder bei DB Scan, was hast Du fürn Abstand gewählt? Was hast Du für eine Mindest nach Mindestanzahl an Nachbarn gewählt? Das beeinflusst ja dein Ergebnis. Und wenn Du ungünstig gewählt hast, ist dein Ergebnis vielleicht auch einfach grad mal Schrott. Das passiert halt. Und jemand, der Erfahrung mit dem Algorithmus hat, der wird das dann relativ schnell erkennen und dann halt mal andere Werte ausprobieren oder gleich sone systematische Suchstrategie, wie was wir vorhin diskutiert hatten, verwenden. Ja. Und wenn Du da schwimmst, weil Du weil Du den Algorithmus nur anwendest und nicht wirklich weißt, was er tust, dann ist das natürlich schwieriger. Und dann kann er, ist halt die Chance, dass das Ergebnis nicht wirklich viel beinhaltet, halt Größe. Klar, macht Sinn. Deswegen damit gekoppelt, wenn man den Algorithmus versteht, dann ist auch immer als zweiter Komponente gut, das Problem zu verstehen. Was sind das für Daten? Wo kommen die her und was bedeutet welcher Wenn ich das beides hab, dann ist die Entscheidung, welchen Algorithmus verwende ich beziehungsweise wie verwend ich ihn und wie interpretier ich das Ergebnis schon viel leichter. Aber das kann man halt natürlich jetzt nicht so allgemein beantworten, sondern das ist dann halt falsch
Speaker0: spezifisch. Absolut, also je nach Problem sich zulegen, okay gut, erstens welcher Algorithmus ist hier passend? Zweitens, verstehe ich den Algorithmus? Und drittens, was für einen Mehrwert kann der mir den bieten bei diesen speziellen Problemen? Genau. Im Nachhinein sind's so paar wichtige
Speaker1: Keyquests. Genau, das vielleicht eine bisschen son hartes Kriterium als Ausnahme wär aber, hab ich einen geometrischen Raum, also etwas, wo ich quasi einen euklidischen Raum oder so was auch spannen kann, dann kann ich so was wie und GMMs benutzen, weil die Mittelwerte bilden. Wenn ich das nicht kann, also ich kann keine Mittelwerte bilden, dann kann ich die nicht benutzen. Also das ist zum Beispiel 'n relativ hartes Kriterium. DB Scan zum Beispiel kann ich aber auch benutzen, wenn ich gar keine Mittelwerte bilden kann, weil er die nicht braucht. Der braucht nur Abstände.
Speaker0: Kurz zu 1 Sache, die wir auch schon in der vorherigen Folge besprochen haben, und zwar in der Folge zu preprocessing haben wir kurz besprochen über und Ja, ja. Genau, random Noise. Wir hatten auch kurz angesprochen, dass zum Beispiel im benutzt werden kann, Outlyer Detection zu machen. Also besonders Mhm. Besonders besonders starkes Rauschen, was irgendwie sehr weit vom vom Datensatz entfernt ist, wenn man jetzt quasi von der Distanz spricht. Wie werden denn, also angenommen, ich hab jetzt nutze das Clustering nicht im Preprocessing, sondern tatsächlich dann da eine Analyse zu machen damit Ja. Als Machine Learning Algorithmus. Wie werden denn Clustering Algorithmen durch solche Sachen beeinflusst? Weil ich kann mir zum Beispiel gut vorstellen, dass wenn vorhanden sind oder sehr starkes zufälliges Rauschen, dass dann der Algorithmus dadurch stark verwirrt wird beziehungsweise falsch clustert.
Speaker1: Mhm. Ja, das hängt stark davon ab, welche Strategie man dann fährt, diese halt zu behandeln. Mhm. Also letztendlich kann man dazwischen 2 Strategien unterscheiden. Das eine ist, man arbeitet mit den partiellen Daten, die halt dann vorliegen, also partial Data oder man stopft die Lücken. Das ist Imputation. Zuerst so, was heißt das? Also ich rede ja immer von Abstandsfunktionen beim Clustering. Das heißt, wenn ein gewisser Parameter in einem in einem der beiden Datenpunkte nicht vorhanden ist, dann wird diese Dimension bei der Abstandsfunktion eben nicht mitberücksichtigt.
Speaker0: Mhm.
Speaker1: Dann ist halt immer die Frage, schätze ich noch den restlichen unbekannten Abstand? Also wenn wir jetzt zum Beispiel in eurer klinischen Norm denken, in 3 Dimensionen und ich hab jetzt nur 2 von 3 Dimensionen, weil die 3., da fehlt mir ein Daten, da fehlt mir 'n Eintrag, dann wird die tendenziell kleiner der Abstand, also wird eigentlich immer dann kleiner. Mhm. Wie schätz ich jetzt das Residu Oder schätz ich es überhaupt? Das ist dann so, wo wo das dann wieder 'n bisschen komplexer wird. Bei, da gibt's verschiedene. Das Simpelste ist, ich stoff einfach überall, wo mir 'n Wert fehlt, den Mittelwert rein. Mhm. Das kann gut gehen, vor allem, wenn ich nicht allzu viele Missing Data habe. Es birgt aber Gefahren, vor allem, wenn ich Nehmen wir mal son bisschen pathologisches Beispiel, ich hab 2 Cluster, das eine ungefähr bei minus 1, das andere ungefähr bei plus 1. Mhm. Und bei 0 gibt's eigentlich keine Daten. Na ja. Der Mittelwert aber, sagen wir mal, wär bei 0. Dann würde ich durch diese Strategie relativ schnell ein künstliches Cluster erzeugen, wo eigentlich gar keins ist.
Speaker0: Ähnliches Ding, das hatten wir auch schon mal in der letzten Folge besprochen, also nicht in der letzten Folge, sondern der über zu Preprocessing, wenn man quasi durch den Mittelwert ersetzt, wenn man sich dann das Histogramm anschaut Oh ja. Dass dann oft einfach eine riesige Säule in der Mitte ist, wenn man zu viel Imputation betreibt Genau. Irgend 'nem Mittelwert und der Rest flacht einfach nur ab. Und das kann dann einfach die
Speaker1: Statistik sozusagen komplett verhauen. Genau, das ist, ich glaub, da haben wir im Kontext von Outlyare Detection auch darüber gesprochen. Mhm. Und Outlyare Detection und Clustering ist natürlich sehr verwandt. Mhm. Deswegen ist es da immer gefährlich durch einen harten Wert, zu ersetzen, was es dann 'n bisschen Ist aber dafür das billigste halt. Ja, klar. Wie immer. Was halt ganz okay ist, was man auch machen kann, ist so konditionales Auffüllen, also conditional imputation oder regression imputation. Das heißt, ich fülle den Wert rein, der gegeben der bekannten Werte für meine konkreten Datenpunkt jetzt der plausibelste ist. Mhm. Dann erzeuge ich schon mal keine künstlichen Cluster. Ich nehm aber Varianz aus dem Problem. Das heißt, ich kann dadurch Cluster künstlich kleiner machen oder enger machen, als sie eigentlich wären.
Speaker0: Also quasi intelligentes Feature Engineering. Zu sagen, Ja. Okay gut, ich hab zwar eine Lücke in diesen in in mein in diesem Feature, nutze aber die anderen, wo keine Lücke ist und versuch irgendwie
Speaker1: anhand dessen zu Ich nehm dann meistens den wahrscheinlichsten Wert für die Lücke, aber das also das ignoriert halt die möglichen Rauschrealisierungen, die dabei noch dazukämmen. Und wenn man die noch mit reinnimmt, dann ist man eben bei. Mhm. Und wenn man das richtig macht, dann hat man im Prinzip konditionales Sampling. Das heißt, ich erzeuge Zufallswerte, die aber die genau die Statistik erfüllen Ja. Die sie sollen. Und wenn ich das richtig mache, dann bin ich auch im Prinzip, dann hab ich die Überschneidung mit der optimalen partial Data Strategie, wo ich den unbekannten Abstand durch wo ich den unbekannten Abstand durch Marginalisierung berechne. Also und da schließt sich dann son bisschen der Kreis. Mhm.
Speaker0: Das heißt, vielleicht das kurz zusammenzufassen, partial Data versus imputation bei Missing values, wenn's Clustering geht. Partial Data zu sagen, okay, gut, ich schau mir nur das an, wo eben die Werte nicht fehlen, Mhm. Kann geht oft gut, schätze ich mal, aber es fehlen halt einfach Daten, die nicht geclustert werden. Und bei besteht dann die Gefahr, künstliche Cluster zu erzeugen, wenn man's nicht gescheit macht. Ich würd's eher so formulieren, ist
Speaker1: nicht bei jedem Algorithmus out of the box möglich. Also häufig braucht man dafür eine Spezialimplementierung. Imputation kann man zumindest vor allem die Simply, kann man ja immer machen, einfach als Preprocessing und dann den Blackbox Algorithmus aufanwenden, birgt aber eben Gefahren. Ja. Wenn partial Data gut implementiert ist, dann spricht da nix dagegen.
Speaker0: Jetzt schwingt ja schon die ganze Zeit son Begriff mit, der bevor man überhaupt über Clustering sprechen kann, also jetzt mal ganz, ganz mathematisch gesprochen vielleicht, was macht 'n Clustering Algorithmus? Der Clustering Algorithmus nimmt eine Abstandsfunktion und schickt sie auf eine Partitionierung. So, das ist so Okay. Könnte, so würde ich's jetzt formulieren. Diese Abstandsfunktion, wie sieht die in der Praxis aus? Wie findet man diese Abstandsfunktion zu sagen, okay, gut, ein Datum ist soundsoviel von einem anderen Datum entfernt. Oh ja. Wie kann ich das definieren? Vor allem anhand von von Also wie gesagt, das Beispiel von vorhin zum Beispiel Körpergröße, Körpergewicht, wie weit ist sind sind 2 Daten in dem Sinne voneinander entfernt? Ich mein, das da hängt ja auch schon eine Interpretation mit drin. Richtig. Das ist das ist immer so das der das Dirty Detail.
Speaker1: Ja. Wie erzeuge ich meinen geometrischen Raum, Ja. Wenn ich im Prinzip ja Äpfel und Birnen in gewisser Weise hab, ja? Also was hat Körpergröße und Gewicht? Das sind ja einfach vollkommen verschiedene Einheiten. Wie erzeuge ich da jetzt eine 1 Metrik draus, ja? Also eine Abstandsfunktion. Das hängt zum Beispiel jetzt mal ganz simpel schon mal davon ab, welche, wenn ich reindummäre denke, welche Einheiten nehme ich, ja? Nehme ich Kilogramm, nehm ich Gramm, nehm ich Zentimeter, nehm ich Meter? Ja, klar. Im Endeffekt muss man sich da entscheiden, wenn man sich nicht entscheiden kann, weil man keine Intuition über das Problem hat, was dann häufig gemacht wird, was auch okay ist, jetzt mal als Grundstrategie ist, Standardisierung. Also einfach jede Achse so reskalieren mit 'nem Faktor, dass ihre Varianz 1 ist. Mhm. Dann habe ich zumindest mal jetzt dieses Skalierungsproblem irgendwie kanonisch gelöst. Was ich aber als was 'n Problem dabei werden kann, ist, dass ich jetzt auch automatisch dadurch natürlich jede Dimension gleich stark gewichte. Und es kann immer sein, dass ich in meinem Datensatz eine Dimension hab, in der eigentlich nichts passiert. Ja. Wo einfach nur 'n bisschen Neues ist. Also wenn wir jetzt, wir hatten vorhin Männer, Frauen oder oder Menschen mit mit Körpergröße und Gewicht. Mhm. Wenn ich jetzt irgendwie als 3. Dimension irgendwie die Ohrengröße mit reinnehme oder so was. Ja. Die Na gut, die korreliert vielleicht schon 'n bisschen, aber stellen wir uns vor, die korreliert gar nicht mit dem Rest und ist einfach nur son bisschen Neues und schwankt auch nicht so stark vielleicht. Aber jetzt skalier ich die durch das Standardisieren genauso hoch wie den Rest. Ja. Dann kann das meinem Clustering Algorithmus das Leben halt deutlich schwerer machen. Das liegt daran, wenn ich unkorrelierte Dimensionen hab oder generell, je mehr Dimensionen ich hab, desto in hochdimensionalen Räumen liegen die Dinge halt weiter auseinander typischerweise. Genau. Das das tun sie, ob sie 'n Grund dazu haben oder ob's einfach Noise ist. Ja. Und dann wird es immer schwieriger zu unterscheiden. Also dann kann's sein, dass mein Cluster in diesem ganzen Noise Abstand einfach untergeht.
Speaker0: Das heißt, wenn ich einfach nur reskaliere, kann es sein, dass der Clustering Algorithmus einfach Sachen gleich gewichtet, bei denen er es nicht tun sollte und damit
Speaker1: quasi falsch cluster bin. Genau, ich hab ich hab mal son einfaches Beispiel aufgesetzt, als ich angefangen hatte, mich mit Clustering zu beschäftigen, sone Spirale, eine zweidimensionale Spirale erzeugt aus aus Sample Daten. Das ist natürlich jetzt erst mal schwieriger, aber in wenn ich dann nur diese zweidimensionale Daten hatte, dann waren Clustering Algorithmus durchaus in der Lage, halt nur die nur Cluster dahin zu setzen, wo auch Datenpunkte waren. Ja. Jetzt füg mal 3, 4, 5 Rauschdimensionen rein. Mhm. Wenn das Rauschen sehr, sehr klein war und ich nicht reskaliert hab, konnte der immer noch die Spirale finden. Wenn ich reskaliert hab, war die Spirale weg und ich hatte nur ein riesengroßes Cluster. Der Cluster in der Algorithmus war also nicht mehr in der Lage zu unterscheiden zwischen einem Ball Ja. Und 1 Spirale mit neues Dimensionen dazu. Und das ist genau dieses das ist genau die die Schwierigkeit halt. Also ich muss ich muss mein Problem vielleicht son bisschen erst mal angreifen und diese unkorridierten Dimensionen vielleicht mal loswerden. Und das hängt halt mit der Abstandsfunktion insofern zusammen. Wenn ich von Anfang an wüsste, diese unkorridierten Dimensionen, die sind nicht so wichtig, dann könnt ich da zum Beispiel das auch direkt in die Abstandsfunktion gießen. Und da hängt irgendwie ja wieder alles miteinander zusammen.
Speaker0: Okay. Also das heißt, einfach Daten reinschmeißen und schauen, was rauskommt. Hauptsache Abstandsfunktion ist irgendwie, der klinischer Abstand ist nicht richtig drin. Es erfordert schon noch son bisschen Modellierung bei der Abstandsfunktion quasi. Ja, ist so, man sollte sich da Gedanken drüber machen, ja. Okay. So, Maxi, noch mal zum Ende vielleicht zusammengefasst, was sind denn deine, sagen wir mal, Top 3 Tipps, die Du jetzt an die Leute da draußen mitgeben möchtest, wenn's ums Thema Clustering geht, an die Complexity Masters?
Speaker1: Ja. Also zum einen, wir haben ja am Schluss darüber gesprochen, die Abstandsfunktion, also die die Metrik regiert alles, ja. Ja. Das heißt, überlegt euch, welche Einheiten welche Einheiten eure Achsen haben sollen. Also man muss jetzt mir wegen mir jetzt nicht unbedingt oklidische Räume verlassen, aber allein sich über die Einheiten Gedanken zu machen, ist schon mal wichtig. Dann, was wir auch grad angesprochen hatten, unkorrelierte Dimensionen. Also je höherdimensional, desto schwieriger ist das Clustering. Also grad beim Clustering ist Hochdimensionalität macht das Problem deutlich schwieriger. Das heißt, über überlegt euch erst mal, macht vielleicht eine Korrelationsanalyse, welche Dimensionen scheinen denn von Signifikanz zu sein Und reduziert erst mal das Problem und lasst vielleicht den Rest erst mal weg. Vielleicht kann man damit schon eine Menge erreichen und dann halt nach und nach weitere Dimensionen hinzunehmen. Und dann bei den, einfach haben, dass die Artefakte erzeugen können, wenn ich eine simple Strategie fahre?
Speaker0: Das ist ja auch ein sehr gängiges Problem. Also ich glaub, da sollte man immer sich bewusst sein, dass eigentlich,
Speaker1: also wann treten die denn nicht auf? Richtig. Und ja, wenn's so 10 wenn 10 Prozent der Daten oder so mal hier und da einen einen einen Wert fehlen haben, dann ist das nicht so schlimm. Aber wenn's wirklich mehr die Regel ist als die Ausnahme, dass dass ein Eintrag meiner Vektoren fehlt, dann muss ich mir überlegen, welche Strategie ich nehme. Aber auch da würd ich sagen, fangt erst mal simpel an, fangt von mir aus mit der simple imputation an, also einfach immer den Mean einsetzen, erst mal überhaupt zu schauen, find ich Cluster, ja? Man muss ja nicht gleich irgendwie son Supercomputer rauchen lassen, sondern erst mal was Simples machen, aber sich halt Bewusstsein dieses Ergebnises noch verfälscht. Und dann halt schauen, okay, ja, jetzt nehmen wir mal die nächst bessere Strategie oder oder machen wir mal 'n Crosscheck, indem wir vielleicht nur die Daten benutzen, in die in denen kein Wert fehlt. Also einfach sich da auch so in der Komplexität langsam steigern. Und am Schluss dann natürlich das Endergebnis sollte auf irgendeiner soliden Strategie beruhen.
Speaker0: Vielleicht noch jetzt zu meinem Prager Problem. Ich ich mach mal einen Vorschlag, wie ich jetzt das mit Clustering angegangen wär. Du kannst ja noch was dazu sagen, ob das so hingehauen hätte oder nicht. Also meine Idee wär gewesen, ich nehm die Orte. Also ich nehm quasi die Landkarte, mach PIN quasi die Orte an, an die ich an die ich hingehen möchte und dann clustere ich quasi mit 'nem zum Beispiel mit den Anzahlen Also die Anzahl der Cluster sollte die Anzahl der Tage sein. Also dass ich quasi jeden Tag, den ich dort bin, zum Beispiel 5 Tage, dass ich da einen Tag ist der 1. Cluster, zweiter Tag, zweiter Cluster und dann fahr ich da mit der U-Bahn oder was auch immer hin und arbeite das quasi zu Fuß ab. Wär das 'n Vorschlag?
Speaker1: Find ich, klingt ganz gut. Also für die Zuhörer, die das traveling Salesman Problem kennen, das hätt man ja hier das natürlich auch anwenden können, hätt nix mit Clustring zu tun, aber dann wäre der arme Jaguar, ja, der Sklave Lösungen müsste das genau in der Reihenfolge abarbeiten und wär die ganze Zeit nur am Rumrennen, da find ich die Strategie zu sagen, ich nehm mir 5 Cluster, wo für 5 Tage zum Beispiel und in denen, dann bin ich in 'nem Viertel, in dem ich eine schöne Zeit hab und was es in keines der 5 Cluster geschafft hat, musst Du halt beim nächsten Mal besuchen. Tja, hat's Pech, hat's Pech gehabt.
Speaker0: Genau, aber Du hast dann bestimmt eine schönere Zeit, als wenn Du mit traveling Salesman da durch Prag rennst. Vor allem das das traveling, also wenn's Hund wirklich 150 Euro sind, dann ist es mit traveling Sales Men vielleicht eher nicht trivial, da irgendwas zu berechnen. Genau. Für die von euch, die selber mal direkt Clustering ausprobieren wollen, was heißt ausprobieren, vielleicht sogar noch bisschen mehr dazu erfahren wollen. Ihr findet eine Jupiter Notebook Datei beziehungsweise einen Link zu 1 Jupiter Notebook Datei in den Shownotes. Dort gibt's was zu Cay means, DB Scan und auch Gaußschen Mixtur Modellen. Und da dürft ihr das selber mal ausprobieren. Ja, genau. Ansonsten lasst uns gerne hören, wie das bei euch geklappt hat. Und ja, Maxim, toll, dass Du da warst. Gerne. Und bis zum nächsten Mal. Wir sagen Masterity. Damit wir weiterhin für euch, hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.