Das steckt wirklich hinter dem ChatGPT Hype!

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Dr. Maksim GreinerCo-Founder & CTO von Erium
Überblick
In dieser Folge des Erium Podcasts erklären Theo Steininger und Maksim Greiner gemeinsam die technischen Grundlagen hinter dem ChatGPT-Hype. Sie klären zentrale Begriffe rund um generative KI - von Tokens und Embeddings über Transformer-Architekturen bis hin zu Prompt Engineering und Vector Stores - und beleuchten, was Large Language Models wirklich leisten und wo ihre Grenzen liegen.
Zusammenfassung
Was ist generative KI - und worin unterscheidet sie sich von klassischem Machine Learning?
Maksim Greiner erklärt, dass generative KI im Kern auf dem gleichen Prinzip bedingter Wahrscheinlichkeiten basiert wie klassisches Machine Learning. Der entscheidende Unterschied: Statt nur den Mittelwert einer Vorhersage auszugeben, wird aus der erlernten Wahrscheinlichkeitsverteilung ein konkretes Beispiel gesampelt. Bei Bildgeneratoren etwa wird aus einem mit Millionen von Bildern trainierten Modell ein neues, realistisches Bild erzeugt - bedingt durch eine Eingabe wie 'schwarze Katze im Freien'. Sprachmodelle wie ChatGPT funktionieren nach demselben Prinzip, nur dass hier Token für Token eine plausible Fortsetzung einer Textsequenz generiert wird.
Warum ChatGPT ein Quantensprung gegenüber früheren Sprachmodellen ist
Theo erinnert an frühere, schon beeindruckende aber letztlich begrenzte Sprachmodelle aus seiner Zeit am Max-Planck-Institut. Maksim erklärt, dass der entscheidende Durchbruch auf drei Säulen beruht: erstens die Transformer-Architektur als neue, effizientere Netzwerkarchitektur; zweitens massiv leistungsfähigere GPUs, die das Training von Modellen mit Milliarden von Parametern ermöglichen; und drittens enorm viel manueller Aufwand bei OpenAI, um das Modell durch kuratierende Trainingsdaten und gezieltes Tuning konversationsfähig und sicher zu machen. Quantencomputing spielt dabei keine Rolle - es bleibt lineare Algebra auf modernen GPUs.
Tokens, Embeddings und Attention: Wie Sprache zur Mathematik wird
Die Hosts erklären schrittweise, wie Sprache technisch verarbeitet wird. Tokens sind numerische Labels für Wörter oder Wortteile - ein Wort kann einem oder mehreren Tokens entsprechen. Diese Tokens werden in einen hochdimensionalen Vektorraum eingebettet (Embedding), sodass semantische Ähnlichkeiten geometrisch messbar werden - König und Königin liegen etwa näher beieinander als König und Tisch. Attention-Mechanismen verfeinern diese Einbettungen kontextabhängig: Ein Adjektiv 'achtet' stärker auf benachbarte Nomen als auf Verben. Mehrere parallele Attention Heads ermöglichen es dem Modell, verschiedene sprachliche Beziehungen gleichzeitig zu berücksichtigen.
Kontextlänge, Prompt Engineering und die Sensitivität generativer Modelle
Da Transformer-Modelle keinen persistenten Geisteszustand haben, sondern immer den gesamten bisherigen Chatverlauf als Input verarbeiten, ist die Kontextlänge ein kritischer Parameter. Übersteigt ein Gespräch das Limit - bei GPT-3.5 etwa 4.000 bis 16.000 Tokens - wird älterer Verlauf einfach abgeschnitten. Diese stateless Architektur ermöglicht allerdings auch horizontale Skalierbarkeit über viele GPU-Maschinen. Beim Prompt Engineering zeigt sich, dass Sprachmodelle chaotischen Systemen ähneln: Minimale Unterschiede in der Eingabe - etwa der Artikel 'ein' statt 'der' - können die Ausgabe erheblich verändern.
Feintuning vs. Vector Stores: Zwei Wege zur Spezialisierung
Feintuning bezeichnet das weitere Training eines bereits vortrainierten Modells auf eine spezifische Aufgabe mit einem kleineren, domänenspezifischen Datensatz. Statt Millionen Dollar wie beim Grundtraining von ChatGPT reichen dabei oft einige hundert Dollar Cloud-Kosten. Vector Stores hingegen lösen das Problem der begrenzten Kontextlänge: Ein langes Dokument wird in Abschnitte (Chunks) zerlegt, jeder Chunk wird in einen Vektor umgewandelt und in einer Datenbank gespeichert. Bei einer Nutzeranfrage werden die semantisch ähnlichsten Chunks gesucht und dem Sprachmodell als Kontext übergeben - so entsteht der Eindruck, das Modell habe ein ganzes Buch 'gelesen'. Dieses Verfahren stößt jedoch bei Aufgaben an Grenzen, die Informationen aus dem gesamten Dokument aggregieren müssen, wie das Aufsummieren verteilter Zahlen.
ChatGPT lokal betreiben: Open Source Alternativen und Datenschutz
Auf eine Hörerfrage hin diskutieren die beiden, ob man ChatGPT datenschutzkonform lokal betreiben kann. Da OpenAI die Modellgewichte von ChatGPT nicht veröffentlicht, ist dies direkt nicht möglich. Es gibt jedoch zahlreiche Open-Source-Alternativen - etwa LLaMA 2, Falcon oder weitere Modelle auf Hugging Face - die auf eigener Hardware betrieben werden können. Je nach Modellgröße sind dafür 10 bis 20 Gigabyte GPU-Speicher nötig; für die leistungsfähigsten Varianten mit 70 Milliarden Parametern entsprechend mehr. Die Qualität reicht zwar noch nicht ganz an ChatGPT heran, der Abstand wird aber kontinuierlich kleiner.
Kernaussagen
- Generative KI sampelt aus erlernten Wahrscheinlichkeitsverteilungen konkrete Beispiele - das unterscheidet sie von klassischen Vorhersagemodellen.
- Der Erfolg von ChatGPT basiert auf dem Zusammenspiel von Transformer-Architektur, massiver GPU-Rechenleistung und intensivem manuellem Feintuning - nicht auf Quantencomputing.
- Sprache wird in Tokens und Vektoren übersetzt; Attention-Mechanismen steuern, welche Teile des Kontexts für die nächste Vorhersage relevant sind.
- Transformer-Modelle haben keinen Geisteszustand - der gesamte Chatverlauf wird bei jeder Anfrage neu übergeben, was Skalierbarkeit ermöglicht, aber die Kontextlänge begrenzt.
- Minimale Unterschiede im Prompt können die Ausgabe erheblich verändern, da Sprachmodelle chaotischen Systemen mit hoher Anfangsbedingungssensitivität ähneln.
- Feintuning spezialisiert ein Basismodell günstig auf bestimmte Aufgaben; Vector Stores ermöglichen das Befragen langer Dokumente trotz begrenzter Kontextlänge.
- Open-Source-Sprachmodelle wie LLaMA 2 können auf eigener Hardware betrieben werden und bieten eine datenschutzkonforme Alternative zu kommerziellen Diensten.
Fazit
Diese Folge liefert ein solides konzeptionelles Fundament für alle, die den ChatGPT-Hype wirklich verstehen wollen. Hinter den beeindruckenden Fähigkeiten großer Sprachmodelle stecken letztlich bekannte Prinzipien - Wahrscheinlichkeiten, lineare Algebra und neuronale Netze - kombiniert mit skalierbarer Rechenleistung und sehr viel handwerklichem Feinschliff. Wer die Grundbegriffe kennt, kann die Möglichkeiten und Grenzen generativer KI besser einschätzen und gezielter einsetzen.
Fuer Entscheider und KI-Interessierte ohne technischen Hintergrund
Die Folge erklärt verständlich, warum ChatGPT kein Zauberwerkzeug ist, sondern auf nachvollziehbaren mathematischen Prinzipien beruht - und zeigt damit, wo realistische Erwartungen angebracht sind.
Fuer Entwickler und Data Scientists
Die klare Unterscheidung zwischen Feintuning und Vector Stores sowie der Hinweis auf Open-Source-Alternativen bei Hugging Face bieten praktische Orientierung fuer eigene Projekte mit Large Language Models.
Volltranskript anzeigen
Speaker0: Die Eriom Podcast. Herzlich willkommen zu 1 neuen Folge von die Eriom Podcast. Mein Name ist Theo Steininger und ich habe wieder mal die Erde, mit meinem Kollegen Maxim zu sprechen. Hi Maxim. Hi Theo. Maxim, lass uns das Thema generative KI anpacken. Wir haben einige Folgen dazu im petto und das Thema ist so fundamental erst mal anzufassen und da gibt's so viel Neues zu besprechen, dass wir uns heute mal die Grundbegriffe kümmern möchten und so wie wir es in der aller allerersten Staffel des Podcasts auch schon gemacht haben, erst mal Vokabular klären, Grundbegriffe klären und mal so paar Mythen auch anteasern, die wir dann in 1 der nächsten Folgen auch noch mal genauer uns anschauen. Erst mal schön, dass wir wieder mal ins Gespräch kommen. Mittlerweile in Staffel 6 Krass. Von. Lass uns direkt in gehen. Der Begriff generative KI geistert spätestens seit ChatGPT in der Öffentlichkeit rum, aber auch schon 'n bisschen vorher, ja. Man denke mal an Bildgeneratoren. Genau. Da kam das Thema das 1. Mal meiner Wahrnehmung nach so richtig in die Öffentlichkeit. Kannst Du uns da mal kurz abholen? Generative KI, was ist das?
Speaker1: Ja, gern. Also ihr kennt ja Machine Learning, also wir reden fast immer von Machine Learning eigentlich, okay? Also wenn wir von KI reden und auch auch jetzt in diesem Fall. Also Machine Learning waren ja die typischen Aufgaben, Clustering, Prediction. Und letztendlich, wenn wir mal Prediction nehmen, Prediction heißt, ich sage vorher, wenn ich folgende Inputwerte habe, was ist ein Output? Also sagen wir mal, ich sage vorher, wenn jemand 1 80 groß ist, was wird sein Gewicht sein? Und in Staffel 1, glaub ich, haben wir ja auch viel darüber gesprochen, das Game ist ja das der Wahrscheinlichkeiten und der bedingten Wahrscheinlichkeiten. Bedingte Wahrscheinlichkeit gegeben, 1 80 groß, was ist die Wahrscheinlichkeit fürs Gewicht? Und dann spuckst Du den Mittelwert aus und das ist die Vorhersage. So, und jetzt sagen wir mal, okay, wir haben aber die Wahrscheinlichkeiten. Dann könnten wir doch auch sagen, na ja, ich möcht jetzt nicht auf 1 80, hier keine Ahnung, 80 Kilo oder whatever, den den Mittelwert vorhersagen, sondern ich könnte ja aus der Wahrscheinlichkeit sampeln. Dann kommen wir 75 raus, 85, 90 und so weiter. Und dann merkt ihr schon, dann bin ich ja schon am Generieren. Ich generiere Beispiele für Personen, die 1 80 sind, in dem Fall jetzt relativ krude Beispiele, weil ich nur die Gewichtszahl generiere. Aber das ist letztendlich der Trick bei generativer KI. Ich generiere aus 1 Wahrscheinlichkeit ein Beispiel meistens oder eine Kette von Beispielen. Und so funktioniert das dann auch bei beispielsweise Bildgenerierung. Ich habe eine Wahrscheinlichkeit trainiert mit einem großen Bildsatz, die mir quasi meinen Wahrscheinlichkeitsraum repräsentiert von realistischen Bildern. Und jetzt ziehe ich einfach 'n Sample daraus. Und wenn ich das bedingt mache, zum Beispiel Bedingung Katze, dann zieh ich halt 'n Sample für Katze daraus. Bedingung, Katze, schwarz, Natur, freier Himmel. Ja, das wären ja alles so Inputs, das wären alles Sachen, die son rauskriegen können, son Bild Class. Jetzt zähl ich den Spieß sag ich. Mal, zieh aus der bedingten Wahrscheinlichkeit von Bildern mit eben, was hatt ich grad gesagt, Katze, hab schon vergessen, welche Farbe, ist ja auch egal. Und dann generiert es mir halt 'n Beispiel oder 10 Beispiele oder 100. Und das ist generative KI und das Spannende ist halt früher bei den Machine Learning Algorithmen, die halt auf die auf das Beantworten 1 konkreten Vorhersage fokussiert waren, da war halt das nicht so im Fokus, ob diese generierten Beispiele auch alle für sich sinnvoll sind. Der Mittelwert musste halt passen, ja? Das heißt, wenn Du jetzt zum Beispiel früher gesagt hättest, ich generiere dann son Bild, dann hättest Du vielleicht nachher dann eine Überlagerung zwischen der Katze links im Bild und der Katze rechts im Bild bekommen und dann hast Du irgendwie wie son Doppelbelichtetes Bild nicht cool. Und heute sind halt die Algorithmen besser, die neuronalen Netze dahinter besser, sodass dann halt wirklich das eine oder das andere halt rauskommt als letztendlich, aber Beispiel 1 großen Wahrscheinlichkeit.
Speaker0: Das heißt, Du hast es grad schon erwähnt, neuronale Netze,
Speaker1: die zugrunde liegende Mechanik und Architektur sind nach wie vor neuronale Netze. Genau, die neuronalen Netze sind der der der Teil der sozusagen dieses diese hochkomplexen Zusammenhänge, was macht zum Beispiel ein Bild zu einem realistischen Bild, dann encodieren. Mhm. Und dann so architektonisch aufgesetzt werden, dass Sie dann halt zum Beispiel son Wahrscheinlichkeitssempel generieren.
Speaker0: Okay, das heißt, soweit verstanden, man nehme ein Stück Machine Learning und trainiere es mit Beispieldaten, Bildern von Katzen Genau. Unten mit den entsprechenden Labels. So wie immer. Wo draufsteht, okay, weiße Katze mit braunen Ohren, wunderbar. Und mit kann ich den Spieß umdrehen und kann mir Bilder generieren lassen.
Speaker1: Ich schreib hin, okay, gib mir das Bild 1 weißen Katze mit Orangenohren und krieg das entsprechende Ergebnis. Genau, Du könntest das Das ist doch verstanden. Du könntest das tatsächlich, wenn Du sagst, mir ist jetzt Rechenzeit nicht so wichtig, könntest das dir zusammenstecken, indem Du Bayestheorem und das neuronale Netz zusammensteckst und sagst, okay, meint das Problem, was ich jetzt lösen will, ist, die Bilder finden, bei denen der folgende meine Bedingungen ausspuckt und dann halt aus diesen Bildern zampin. Und diese generativen Modelle, die machen das halt effizienter, weil sie von vornherein darauf aufgesetzt sind. Ja, ja, ja.
Speaker0: Callback, wir hatten eine Folge zu den, also Genau. Den Netzwerken, bei denen 2 Netzwerke versuchen, sich gegen Genau, ein Generatives. Ja, richtig, genau. Können wir in den Shownotes verlinken. Nur jetzt lass uns mal die Brücke bauen zu Sprachmodellen. Ja, genau. Auch die laufen ja unter die Kategorie generative KI und dort wurde jetzt komplett noch mal 'n neues Fass aufgemacht, Das ist ja genau. Das über Bilder hinausgeht. Ganz genau, also ja, Elephant the room, Chat
Speaker1: klar. So, jetzt mal ganz grundsätzlich, was passiert da? Eigentlich passiert, mal salopp gesagt, Folgendes, Du hast eine Kette von Wörtern und dein Modell soll jetzt das nächste Wort vorhersagen. Und könnte man ja einfach als Task aufpassen. Also es ist aber generativ, weil na ja, weil es könnt es kann verschiedene Varianten davon durchspielen. Und vor allem, Du beginnst, das dann so iterativ zu machen, dass Du sagst, okay, jetzt hast Du ein Wort vorher gesagt, jetzt nimm das wieder quasi als Input, hast jetzt deine Kette von 100 auf 100 Einwörter verlängert. Und dann sagst Du das 102. Vor und dann auf Basis der hundertzweien machst Du das Hundertdrittel und so weiter. Und dann kannst Du quasi einen, ja, sagen wir mal, fast beliebig langen einfach Fortsetzung davon bauen. Das kennen vielleicht manche von so den Modellen, die's auch schon länger gibt und so weiter. Du Du Du verkettest das mit sich selbst und dadurch hast Du dann 'n generatives Modell, was sozusagen mit irgend 'nem prompt, den Begriff kommen wir ja später noch, beginnt, Text zu schreiben. Und der Chatbot ist letztendlich nix anderes, nur dass er darauf trainiert, es halt Konversationen fortzusetzen.
Speaker0: Jetzt hast Du grad schon erwähnt, ja, ChatGPT. Ich kenn das noch aus meiner Zeit vom Max Planck Institut. Wir hatten damals 'n Studentenseminar und 1 der Studenten hatte vorgestellt Sprachmodelle und genau diese Vervollständigung. Man füttert den Anfang 1 Textes hinein und das Modell spuckt Wort für Wort weiter Output raus. Und das Beispiel, das er hatte, war ein 1 Text von Shakespeare und das Modell hatte sich irgendwann in 'ner Endlosschleife verfangen. Also der eine Charakter sagte immer den einen Satz und dann kam immer die gleiche Antwort, Ping, Ping, Ping, immer hin und her. Kann grundsätzlich passieren. Wir waren damals so, okay, wow, krass, was da schon funktioniert und alles nur lineare Algebra und am Ende dann, aha, ja, aber ganz nett, aber auch nicht mehr. Was ist jetzt der Unterschied von dieser ganz netten Geschichte von damals und der weltverändernden, das ist eine größere Veränderung als das Internet für die Menschheit Ja. Geschichte, die jetzt mit ChatGPT entstanden ist? Woran liegt's Also was ist anders? Sind's die Trainingsdaten? Sind's jetzt auf einmal Quantencomputer, die uns Rechenzeit geben, so? What happen? Ich ich, also ich meine,
Speaker1: wie so häufig bei solchen Sachen, es geht langsam, bis es dann plötzlich schnell geht. Also ich bin natürlich jetzt kein Insider bei OpenAI oder so. Aber es gibt ja auch viele Open Source Modelle da draußen und letztendlich sieht's gab's halt einen Durchbruch bei der Architektur dieser neuronalen Netz. Das sind die ominösen Transformer Modelle, die das halt noch mal einfacher gemacht haben, wie man da letztendlich diese Modelle trainieren kann. Die sind dann effizienter und gibt natürlich mittlerweile auch coolere, dickere GPUs, sodass ich da saß ich größere Modelle trainieren kann und die und die großen, richtig Tiefen, also mit Milliarden Parametern. Also zum Beispiel die Open Source Modelle haben auch teilweise so 40000000000 Parameter oder so was. Ich weiß jetzt nicht genau, wie viel ChatGPT hat, aber ich glaub sogar noch mehr. Und die, das heißt, Du brauchst 'n großen Datenkorpus, da haben teilweise Leute das halbe Internet gescrabt. Und wenn Du dann aber auch noch willst, dass das nicht einfach beginnt, irgend 'n Wikipedia Artikel, mit dir zu sprechen, dann musst Du noch das auf Konversationen trainieren. Und da war einfach, glaub ich, bei OpenAI, also den den Herausgebern von ChatGPT, viel, viel Aufwand dabei, viel Tuning und auch einfach manuelle Arbeit, sozusagen solche Chatverläufe zu kuratieren, zu erstellen, Dinge als negativ im Training quasi zu pflegen. Das soll bitte nicht passieren, das soll nicht beleidigen. Es soll irgendwie einen Konversationsfluss erreichen und all diese Sachen. Und irgendwann, da muss man einfach sagen, haben sie's einfach geil hingekriegt.
Speaker0: Auch in die Richtung, dass auch eine Herrscher von Programmierern beschäftigt wurde, Beispiele
Speaker1: zu programmieren, ne? Ja, ja, also oder nicht mal unbedingt Programmierer, einfach Leute, die die die Sprache können, Menschen. Ja, ja. Und mit Quantencomputing hat's meines Wissens nach nix zu tun, sondern Goodgold, GPUs mit linearer Algebra, Matrixmultiplikation.
Speaker0: Wenn wir das Ganze vergleichen, Du hast grad schon schon angerissen, die Anzahl der Parameter von Open Source Modellen. Aha, okay, es gibt Open Source Modelle, es gibt nicht nur ChatGPT. Ja. Geben wir uns da mal 'n kurzen Überblick, wie sieht denn da die Landschaft aus? Denn in den Nachrichten liest man halt von den Google- und AWS Pornos zu dem Open AI Angebot, das ja aufgrund des Investments auch quasi de facto mit Microsoft jetzt verheiratet wird. Mhm. Wie ist denn da so die die Landschaft? Gibt's da nur Open AI?
Speaker1: Bei den Kommerziellen?
Speaker0: Insgesamt, insgesamt.
Speaker1: Na ja, es gibt natürlich die großen, da die ja alle da jetzt auch ihre eigenen Sachen veröffentlichen. Open AI ist aus meiner Sicht aber immer auch der Platzhirsch. Aber interessanter ist, es gibt halt viele Open Source Sachen und da würde ich einfach verweisen, geht auf Huggingface und such dort nach Transformer Modellen mit und und nach Textgeneration. Und dann findet ihr da jede Menge Modelle. Dann gibt's auch die Rankings, welche Modelle da besonders gut sind. Da können wir ja eine dieser Rankings in den Shownotes verlinken. Ich mir entfällt grad der Name. Und da gibt's jede Menge Open Source Modelle von Universitäten oder oder teilweise zum Beispiel von auch Firmen wie Facebook oder so was veröffentlicht. Also da gibt's 'n großen Zoo, aber natürlich sind die dicken Kommerziellen, wo halt noch mal mehr Manpower auch bei diesem letzten Feinschliff und den den den quasi nutzerfreundlich machen dabei ist, sind,
Speaker0: würd ich sagen, die Platzwäsche. Mhm. Jetzt müssen wir da 'n kurzen Full Stop einlegen. Es sind nämlich schon 'n paar Fachbegriffe gefallen, die mir noch mal erklären müssen. Gerne. Zum Ersten, was ist ein Corpus?
Speaker1: Ja, schauen wir mal, ob ich den Begriff auch richtig verwendet hatte. Ich meinte jetzt in dem Fall eine Menge an Trainingstext. Also beispielsweise, also Du möchtest zum Beispiel, son neuronales Netz für Sprache zu trainieren, Du möchtest so was haben wie vielleicht 1000000000 Wörter? Na ja, dem musst Du ja irgendwo sinnvoll herkriegen. Das heißt, vielleicht manche nehmen einfach irgendwie allen Wikipedia Text oder andere würden vielleicht, keine Ahnung, Twitter Threads, was man halt so kriegen kann. Da gibt's halt auch Und und na ja, wie ihr kennt ja die das alte Sprichwort, ne. Also das heißt, womit Du trainierst, ist dann halt auch schon irgendwie wichtig und dementsprechend wird sich das Modell auch verhalten. Ich weiß nicht, ob Twitter Threads die beste Grundlage für ein nicht für ein konstruktives, höfliches Chatmodell wären. Da ist die Referenz immer noch Infinigen, ja. Ja, genau. Genau. Das heißt, ja, das meinte ich jetzt nicht hier mit mit dem Korpus, also quasi 1 1 1 Textschatz.
Speaker0: Und dann der nächste Begriff, Du hast es nämlich vorher in Aschau erwähnt, Transformer. Was was sind das die Dinge, die sich verwandeln können? Keine Ahnung, ja. Und so. Ja, ja, genau, genau. Nee, jetzt sind wir also, okay, eigentlich muss man nur wissen, also
Speaker1: für für die meisten Nutzer relevant, das ist einfach 'n neuronales Netz Mhm, okay. Was für eine bestimmte Architektur halt folgt. Und der Witz ist aber, es ist quasi insofern ein Durchbruch, weil es die, weil man letztendlich davon Okay, ich muss 'n bisschen ausholen. Also man hat zu Man hat die viele dieser Sprachgenerierungssachen hat man durch Recurrent neural Networks gemacht. Das heißt, so neuronales Netzwerk mit soner Schleife, was unter Umständen auch so was wie son Gedächtnis in sich versucht, da zu tragen und dann halt Wort für Wort quasi wie sone Schnecke weiter zu durchdringen und da und da und dann halt, wenn das die Aufgabe ist, neue zu generieren. Und mit den Transformer, mit der Transformer Architekt hat man gesagt, ah, das ist doch viel zu kompliziert. Lasst uns einfach einen gigantischen Inputsatz aus meinetwegen 1000 Wörtern einfach auf einmal als Input nehmen und dann ein Output Wort vorhersagen.
Speaker0: Und Sät Jürgen Spitthuber Noices.
Speaker1: Ja, und aber dafür ist es halt, also halt irgendwie einfacher für die für die Gradientenberechnung, Ah. Für die GPU Effizienz. Und dadurch hat man dann irgendwie festgestellt, hey, das sieht vielleicht mathematisch nicht so elegant aus wie das, aber es funktioniert halt schneller und einfacher. Und häufig ist beim Machine Learning das auch einfach das Entscheidende. Wie gut kann ich's einfach in der Praxis trainieren? Numerische Genauigkeit,
Speaker0: Geschwindigkeit, so was. Okay. Und dann dann kommen wir zum Nächsten, was nämlich daran sehr häufig mit rumgeistert, das ist dieses Konzept der Attention Heads Genau. Oder Aufmerksamkeitsknoten. Die gibt's ja bei 'nem LStM, 'nem long Short term Memory Netzwerk, Soja, nicht.
Speaker1: Die sind nicht, die sind nicht zwingend nur bei den Transformern. Also die gab's auch vor bei irgendwelchen Recurrent Ansätzen. Das ist letztendlich eine Technik, Kontext zu finden oder Aufmerksamkeit, ja. Also die Idee ist, dass ich quasi die Rolle 1 in dem Fall Wortes anhand der Umgebung verändere. Aber vielleicht sollten wir erst mal Tokens und Embeddings erklären, damit man dann so versuchen kann, zu erklären, was Attention
Speaker0: Hetze. Okay, dann, Klammer auf. Also, Tokens.
Speaker1: Ich hab vorhin gesagt, ein son son ChatGPT neuronales Netz, das das aus auf Basis von zum Beispiel 1000 Inputwörtern jetzt oder 100, das 100 und 1. Vorhersagt. Das ist so bisschen schlampig formuliert. Was ist eigentlich behandelt, sind Tokens. Was ist ein Token? Token ist einfach eine Zahlenrepräsentation 1 Wortes. Damit ist jetzt, das sind sowieso einfach Labels Kategorien. Ich mach einfach mal 'n paar Beispiele. Also wenn ich zum Beispiel mit den GPT 4 Tokenizer die die Wörter zu Tokens mache, dann sind das 2 Zahlen, nämlich die neunundsiebzigtausendeinhundertachtundsiebzig und die fünfundachtzigtausendeinhundertsiebenunddreißig, ja. 2 Wörter, 2 Tokens in dem Fall. Wenn ich das Wort Erium in Tokens übersetze, sind das, obwohl's ein Wort ist, 2 Tokens, nämlich die 36 und die 41552. Das heißt, ein Token ist nicht immer ein Wort, aber die sehr, sehr typischen Wörter sind ein Token und dann gibt's halt irgendwie Silben bis hin zu einzelnen Characters wahrscheinlich. Und die
Speaker0: 36 allein für sich?
Speaker1: Ich hab nicht umgekehrt, die decoded. Vielleicht ist das Eri oder das er. Also ich könnt mir vorstellen, wären dann doch 'n, hab ich nicht. Hausaufgaben für die Zuhörer. Ja, ja, oder zum Beispiel jetzt, wenn wir 15.3, Ja. Dann sind das 3 Tokens, die 868, die 13 und die 18. Also wahrscheinlich vielleicht die 15, das Ich hab Punkt statt Komma genommen und die 3. Also jedenfalls, Du Du übersetzt den den Fließtext in eine Anzahl an Tokens, die wirklich einfach ganz stupide wie sone Look up Table da ist, dieses da ist diese Zeichenkette. Und zum Beispiel, wenn Du was, obwohl das ein Wort ist, der Donau- und Dampfschiff Gesellschaftskapitän, sind insgesamt 14 Tokens. Mhm. Ja, also das wird halt so runtergebrochen. Und der nächste Token wird quasi vorhergesagt. Also zum beispielsweise aus der Hallo Theo, der neunundsiebzigtausendeinhunderthunderthundertachtundsiebzig und der 85237 würde als Nächstes meinetwegen die, keine Ahnung, welche Zahl das jetzt ist, aber sagen wir mal die 13000 vorhergesagt, die vielleicht das Wie, weil wie geht es dir sinnvoll ist, vor vor Hosts als als Folge wäre. Und also Tokens sind einfach nur diese Repräsentation von Teilen von Wörtern oder ganzen Wörtern oder Satzzeichen in diesen Zahlen. Und das ist dann eine ziemlich lange Liste an Zahlen, die geht in die Hunderttausende. Oder ja, der Höchste, den ich jetzt hier in meinem Beispiel hab, ist eben diese 85000
Speaker0: irgendwas. Mhm, mhm.
Speaker1: Und die werden dann embedded, denn diese Tokens, die haben erst mal noch keine geometrische Interpretation,
Speaker0: also nur weil 2 Tokens nah beieinander sind von der Zahl, vollkommen egal. Also 16 zu 17 ist genauso viel oder wenig gleich oder ähnlich wie 16 zu 94.
Speaker1: Ja. Dann kommt das ins Spiel. Dann werden all diese Sachen, diese Tokens in einen Punkt, in einem Vektorraum übersetzt und da beginnen in den Nachbarschaftsbeziehungen wichtig zu werden. Das hat das 1. Mal, glaub ich, mit damals war da so der Durchbruch, dass man das in einen Vektorraum einsetzt und dadurch konnte man so Ähnlichkeiten zwischen Wörtern und dann hat man das erweitert auf Sätze und so weiter feststellen. Und da haben dann diese Sachen eine Bedeutung. Das heißt, ich ich tue jedes Wort in einen Vektorraum und dann hab ich eine Struktur, wo zum Beispiel also König und Königin, also son war bei Wörter Vac damals zum Beispiel, sind vielleicht ähnlich weit voneinander entfernt wie Mann und Frau und sind aber nah beieinander, weil's beides Personen sind und eben, ja, Royalties oder nee, das ist das, egal, Könige halt und Königin. Und was Attention jetzt macht, ist, dass es diese transformiert in Abhängigkeit von 1 Anregung, die durch das Einzelwort und seinen Kontext entsteht, sodass ich Also son Beispiel wär das, okay, ich hab jetzt hier ein Adjektiv, dann sind für mich dafür vielleicht andere Nomen wichtiger als Verben. Ich hab ein Adverb, dann sind vielleicht andere Verben wichtiger als andere Nomen. Also die Aufmerksamkeit wird über das da dann gesteuert, sodass dann nachher letztendlich muss man kann man sich das so vorstellen, in sonem Attention Modell, das Embedding etwas umsortiert wird, einfach andere Hierarchien zu haben.
Speaker0: Und die Tatsache, dass ein Modell wie ChatGPT mehrere Attention Heads hat und besitzt, ist das der Grund dafür, dass es mehrere Dinge gleichzeitig Ja, genau. Genau, mehrere Bälle in der Luft kommt. Weil Du quasi nicht eine Transformation
Speaker1: dieses Embeddings finden kannst, die die für alles passt, deswegen trainieren die mehrere. Ich weiß jetzt nicht, wie viele, aber eine signifikante Zahl, die dann quasi dadurch verschiedene Embeddings deiner einzelnen Tokens generieren, die für verschiedene, sag ich mal, Aufmerksamkeitsschemata wichtig sind. Und dann wird das alles aneinandergeklatscht, gibt einen Riesenvektor und der geht dann in 'n fully connectes neuronales Netz, was dann am Schluss quasi wiederum irgendwann ausspuckt, okay, was ist denn jetzt der nächste Droken? Okay. Und am Ende, je nachdem, welches Attention
Speaker0: Modul grad die die die die die größte Anregung hatte, kümmert man sich drum, dass bei der E-Mail zuerst, sehr geehrter Herr Müller kommt und später, wie die Tonalität meiner
Speaker1: Grußformel ist. Ja, genau. Und alleine ist der der Name Müller, der musste halt schon irgendwo über eine Ja, genau. Vielleicht sagen wir mal salopp eine Namensaufmerksamkeit Mhm. Gefunden werden.
Speaker0: Nichts leichter als das, als zu verstehen, wie funktioniert.
Speaker1: Okay. Genau, also ja. Also Leute, es ist wirklich nicht so leicht zu verstehen und und auch nicht leicht, in Worte zu fassen. Wenn jemand wenn's jemand wirklich interessiert, dann versucht irgendwie einen Also da gibt's keine Coding Beispiele, wie dass man so was vielleicht auf, nicht gleich auf Sprache, aber auf irgendwas verwendet, dieses Attention Konzept. Also wenn man's mal coated, ist, glaube ich, am instinktivsten.
Speaker0: Nichtsdestotrotz, was ich wirklich mitnehmenswert finde, ist die noch mal Vergegenwärtigung, dass das, was da passiert, lineare Algebra ist, ja. Das heißt, es wird Sprache übersetzt in einen Vektorraum und dann wird mit diesen Vektoren gearbeitet. Wie damit gearbeitet wird, möge jetzt beliebig komplex sein, aber es sind am Ende Vektoren in einem Vektorraum. Genau. Und das Krasse, das finde ich, wenn man sozusagen dann mal rückwärts das durchdenkt, so ein Sprachmodell ist ja imstande, Witze zu erklären. Mhm. Ja, oder wirklich anspruchsvolle gesellschaftliche Konstrukte aufzulösen und und und dort, ja, Gefühl ist jetzt zu sehr Richtung Persönlichkeit, ja, aber da da Dinge richtig aufzufassen, was ja 'n Indiz dafür ist, wie viel Struktur in Sprache als solcher steckt.
Speaker1: Ja, oder so gesagt, das Faszinierende ist, Du trainierst einfach ein einfach, Du trainierst ein Modell dazu, eine Wortkette einfach mal fortzusetzen. Also wenn ihr euch vorstellt, ihr habt diese 1000000000 Wörter Trainingskorpus und dann sagst Du über überspitzt formuliert würdest Du sagen, jetzt schau mal, wo stand in deinem Trainingskorus, warst Du so Ähnliches wie das, was Du gerade siehst und wie wurde das fortgesetzt? Also im Prinzip einfach son Nachrabbeln dessen, was andere mal gesagt haben und dann funktioniert's so gut. Klar, mit dem mit der Abstraktion, dass es halt nicht einfach nur nachbrabbelt, sondern quasi das einmal abstrahiert und dann wieder raussamplet. Mhm. Das war ja das Generative. Und mit quasi viel neuronaler Netzmagic, die so ganz schwer irgendwie für Menschen zu fassen ist, das funktioniert halt, aber letztendlich ist es das. Setzt mal einfach fort, was würde hier passieren können? Also der hat keine Meinung, der hat keine eigenen Gedanken dazu, das das der Bot, sondern rät einfach, was würde denn jetzt hier eine sinnvolle Fortsetzung der Wort- oder Silbenkette sein?
Speaker0: In dem Kontext kommt auch häufig der Begriff der Kontextlänge
Speaker1: vor. Ja. Was hört's damit auf sich? Ja, ich hab ja vorhin gesagt, dass bei den Transformor Modellen das nicht so rekursiv gemacht wird, sondern da sagst Du einfach, ich nehme alle meine 1000 Wörter, also jetzt jetzt können wir ja von Tokens reden, meine 1000 Tokens als kompletten Input und dann sag ich den 1000 und Ersten vorher. So. Das dafür, damit das funktioniert, muss mein Modell auch 1000 Tokens schlucken können, also muss quasi als Inputvektor 1000 Tokens akzeptieren oder mehr meinetwegen. Also es gibt ja auch 'n Token für leer. Und da gibt's einfach, je nach Modell, einfach eine maximale Länge. Also bei ChatGPT, was hatten wir bei 3 5 irgendwie 4000 Tokens oder es gibt die 16000 Token Version, aber danach passt's halt nicht mehr rein. Und das heißt, wenn Du dann mehr eine längeren Chatverlauf hast als diese 4000 Tokens, ja, dann können 2 Dinge passieren. Entweder Du sagst halt, okay, sorry, kann ich nicht bearbeiten, Fehler, oder Du schneidest einfach am Anfang wieder weg. Und das bedeutet, dass dann ein Teil der Historie nicht mehr in dem Kurzzeitgedächtnis Es gibt da ja eigentlich gar kein Gedächtnis. Es gibt ja nur diese Anregung, das ist der Unterschied zu den LSTMs, also den Recurrenden Nual Networks, die ja dann irgendwie immer dieses abstrakte Gedächtnis mitschleppen, was theoretisch beliebig lange Halbwertszeit haben könnte, sondern hier ist dann einfach weg. Das ist der Nachteil der Transformer, aber deswegen macht man halt die Kontext, weil dann mit 16000 Tokens, da kommt schon eine Menge zusammen.
Speaker0: Was der Grund ist, warum ich mittlerweile Bitte und Danke weglass, wenn ich mit 'nem Transformer interview und Tokens zu sparen. Passt euch kurz, richtig. Ja, ja, ja. Okay. Und dieser diese diese Kontextlänge, die wird einfach abgeschnitten, hab ich letztlich damit eine Situation mit mit meinem Transformer, also Du hast grad erwähnt, es gibt keinen Geisteszustand des Transformers, ja. Nein. Sondern ich schieb einfach diese Nachricht, diese diese Kette an Tokens sind durch, die meinen gesamten Chat Verlauf repräsentiert und that's it, ne? Genau, also die ja der das ist auch irgendwie Du Deswegen
Speaker1: Konto Open AI, das, glaub ich, auch so cool, einfach mal mit diesem Chat Punkt Open AI Punkt com machen, weil das ist Statless. Das ist eine Rest API. Das heißt, die Antwort ist immer einfach, Du schickst deinen kompletten Chatverlauf raus und irgendeine der Tausenden GPU Maschinen, die die da haben, kann dir die Antwort liefern. Und die braucht nicht vorher irgendwas in Memory gehabt haben. Mhm. Das ist
Speaker0: Was der Grund ist, warum ich einen Chat heute beginnen kann, liegen lassen kann und 4 Monate später weiter chatten kann, weil nirgendwo dieser Genau. Geisteszustand
Speaker1: gespeichert werden muss, ne. Oder wenn Du die Es gibt keinen Geisteszustand, ne. Oder wenn Du die API benutzt, könntest doch dir den Chatverlauf selber zusammenschreiben und dann einfach mal sagen, hey und jetzt schau jetzt setz mal fort. Der muss nicht wirklich von OpenAI vorher gekommen sein, also von ChatGPT.
Speaker0: Kleiner Teaser, man kann Chatbots auch etwas in den Mund legen damit. Ja, ja. Da kommen auch dazu. Sehr gut. Weit im Galopp, was ist eine prompt? Man liest auf LinkedIn Chief prompt Officer eingestellt Ja, genau. Hier für Hunderttausende von Dollar Warum? Was ist Prompting?
Speaker1: Damit meine ich meint man einfach die Nachricht oder die Zeichenkette oder die die Word Kette, mit der ich sozusagen mein Modell ansteuere. Also wenn ich jetzt bei ChatGPT oder bei irgendeinem Text generiere, zum Beispiel hallo Theo, dann ist hallo Theo die prompt und dann macht er ja daraus was. Und das ganze prompt Engineering und und so weiter, da geht's einfach darum, mit welcher prompt, also mit welchem Anregungsbefehl macht das Modell etwas Nützliches? Warum spielen, klar, schön und gut, aber wenn ich jetzt irgendwie möchte, dass der was Cooles macht, was mir echt viel was viel bringt, dann beginne ich halt an der Arbeitsanweisung, sag ich mal, zu feilen. Und das ist dann sozusagen das Prompt Engineering und das da kann man beliebig viele Stunden an Zeit auch drin versenken.
Speaker0: Was momentan aber ja wirklich auch noch eine offene Baustelle ist. Also ich hatte mal 'n Beispiel, das war der Unterschied des Artikels, also mal reproduziert, das war der Unterschied zwischen und. Mhm. Und in dem einen Fall wurde es aufgefasst vom Sprachmodell als, diese beispielhafte Katze ist weiß und Katzen als Konzept sind grundsätzlich weiß. Und dann damit, mit dieser mit diesem Unterschied gingen die Antworten in eine komplett andere Richtung. Ja. Und das wär jetzt in 'ner menschlichen Interaktion wär das völlig egal, ja, weil man es richtig einordnen würde, aber die Sprachmodelle sind dahingehend nur teilweise sehr, sehr sensibel für Feinheiten, die man
Speaker1: als ungeübter prompt engineer nicht am Schirm hat, hab ich festgestellt. Ja, das stimmt. Man beginnt dann halt eine Intuition dafür entwickeln, wie das zu entwickeln, wie das Modell dann reagiert. Aber letztendlich ist es ja 'n generatives Modell, wo jeder, immer jeder Token wird neu generiert und auf Basis dessen dann wieder der nächste Token und so weiter. Das heißt, Du als ein Zufallsereignis, was das nächste Zufallsereignis bedingt und so weiter und so weiter und so weiter. Chaostheorie im Prinzip. Mhm. Mhm. Und wer mal mit chaotischen Systemen sich beschäftigt hat, die sind da wahnsinnig empfindlich auf die Anfangsbedingungen. Mhm. Und die Anfangsbedingungen kann sich durch ein a und ein d unterscheiden und schon trittst son ganz anderes Lauffeuer los.
Speaker0: Lauffeuer, Vervollständigung. Jetzt gibt's ja verschiedene Arten von Modellen und da ist dann die Rede von, ja, dieses Modell kann nur Translation oder das ist nur oder das ist ein Modell für. Mhm. Was setzt damit auf sich? Und es gibt ja scheinbar Modelle, die mehrere Dinge gleichzeitig können.
Speaker1: Ja. Also ich mein, es gibt 'n bisschen unterschiedliche Architekturen. Bei den Transformer gibt's dieses Encoder- und Decoder Konzept, manche haben beides, manche sind nur Decoder. Da will ich jetzt gar nicht tief einsteigen. Am Ende des Tages geht's einfach darum, für welche Aufgabe habe ich das Netz gebaut und trainiert, ja? Wenn ich jetzt ein Modell nie auf Chatverläufe trainiert hab, sondern beispielsweise immer auf Wikipedia Artikel, dann kann ich von dem nicht erwarten, dass es gut mit mir chattet. Wenn ich 1 immer auf Übersetzungsaufgaben trainiert habe, dann ist es halt darin, also ja, das das und ein großes wie jetzt irgendwie ChatGPT, wo ich verschiedenste Aufgaben im Trainingsdatensatz, im Trainingskorpus hatte, das kann dann halt auch mehrere Sachen bis hin zu diesen, da benutzt man dann irgendwie diesen Begriff, wo wir beide eher verwirrt sind von multimodal, weil wir kennen das eher aus der Wahrscheinlichkeitstheorie, aber anyway, wo man meint, dass Du vielleicht sogar verschiedene Arten von Output, Text, Bild, Ton generieren könntest, indem Du halt die Kapazität für alles, ich sag mal, zusammenklatscht und dann halt schaust, was wird am ehesten durch irgend einen Entscheidungslayer vielleicht angeregt? Aber am Ende des Tages geht's immer darum, wofür also mit mit worauf hast Du's trainiert und und welche Architektur hast Du verwendet? Wobei das ja eher eine Entscheidung ist, worauf möcht ich's trainieren? Welche Architektur wird wahrscheinlich erfahrungsgemäß da am besten fruchten?
Speaker0: Wobei sich's nicht aufschließt, oder? Also 'n Modell, das nur trainiert wurde, Englisch ins Spanische zu übersetzen. Das gibst Du, dem gibst Du 'n Text und dann übersetzt er den straight ins Spanische. Mhm. Ein Conversional Modell könnte die Aufgabe aber genauso erledigen, nur wird er so antworten so, ja, sehr gerne werd ich diese Übersetzungsaufgabe für Sie erledigen. Hier kommt der übersetzte Text und jetzt geht's los. Ja, genau. Doppelpunkt. Und dann kommt der Text an. Ja, je nachdem, ne. Wenn das also in dem Trainingsdatensatz
Speaker1: halt das Verhalten war, dass da auch Übersetzungsaufgaben waren, die halt son bisschen mit Füllmaterial
Speaker0: eingebettet waren, dann. Und im üblichen Disclaimer, bitte beachten Sie, dass dieses Ergebnis von 1 KI erzeugt wurde und nicht die Leistung 1 professionellen Übersetzers ersetzen kann.
Speaker1: Genau. Warum macht er das? Weil er, weil das wahrscheinlich in den Trainingsdaten immer explizit hinzugefügt wurde aus Businessentscheidungen. Genau.
Speaker0: Ui, Business. Ich krieg ganz oft die Frage, Sprachmodelle, Wahnsinn, wir nehmen jetzt 'n Open Source Modell und machen Feintuning. Mhm. Was ist Feintuning?
Speaker1: Okay. Wenn ich ein son dickes Modell wie 1 der Open Source Modelle irgendwie, Lama, Lama 2, Falcon oder so was trainiere oder eben Gott bewahre, ChatGPT selber trainiere, da brauchst Du. Ich weiß, will gar nicht wissen, wie viele GPU Stunden. Ich hab's irgendwann mal
Speaker0: nachgeschaut und Ah, ich hab's rausgesucht. Ich hab's rausgesucht. Das war nämlich tatsächlich auch eine Userfrage, eine Hörerfrage von vom vom Podcast, nämlich, wie teuer ist generative KI konkret Ja. Von das ChatGPT Training? Und das hab ich rausgesucht. Und zwar, man schätzt, also ist ja nicht öffentlich, aber man schätzt, dass 1024 A einhundert GPUs von Nvidia benutzt wurden für 34 Tage. Und das dürfte 4600000 Dollar verschlungen haben, ein Training mit 'nem Energieverbrauch von 936 Megawattstunden, was ungefähr dem Durchschnittsverbrauch von einhunderttausend Haushalten in Europa pro Tag entspricht.
Speaker1: Nett. Nicht schlecht, ne. Ja, genau. Also das will ich ja nicht unbedingt 4600000 Dollar. Das möcht ich nicht unbedingt selber machen, ne. Und muss ich auch nicht. Also da diese Models, wie man sie nennt, wenn sie von Grund auf gebaut wurden, Ich kann doch auch sagen, na ja, das ist jetzt 'n Modell, das kann Sprache, cool. Jetzt möcht ich aber einfach es möcht ich's spezialisieren auf eine bestimmte Aufgabe. Dann ist mit Feintuning gemeint, dass Du einen, dann musst Du auch keine Milliardenwörter haben, sondern ja, schon noch 'n paar 10000 vielleicht. Aber dann kannst Du quasi 'n viel kleineren Trainingsdatensatz drauf loslassen und quasi nur so diese letzten Layer in der Architektur des neuronalen Netzes nach trainieren, dass die sich so noch mal 'n bisschen anpassen an an da an die Beispiele, die Du ihm gibst. Und Du hast dann das Modell quasi an deinen an deine Trainingsdaten noch mal angepasst und da kommst Du dann mit Cloud Kosten, also mit mit Rechenkosten von einigen 100 Dollar noch raus. Also je nachdem, was Du natürlich womit Du angefangen hast und wie viel Du zum Training benötigst, aber da das das kann man dann machen und ist viel pragmatischer logischerweise 'n paar 100 Dollar Cloud Kosten als Millionen von Cloud Kosten.
Speaker0: Und in welchem Kontext steht Feintuning zu dem Konzept von Vector Stores? Das ist noch son Schlagwort, was rumgeistert auch mit Anbietern für Ah ja. Vector Store Datenbanken,
Speaker1: Account. Okay, also Feintuning ist, Du möchtest dein neuronales Netz weiter trainieren auf eine bestimmte Aufgabe. Zum Beispiel ein zum Beispiel, dass Du einen reinen Sprachverfolgstiger trainierst aufs Chatten. Das könntest Du über Feintuning zum Beispiel. Das war der Schritt von GPT auf ChatGPT. Das war 'n Feintuning Schritt, ne. Ich weiß nicht, ob die von Grund auf trainiert haben, aber das ist, glaub ich, zum Beispiel zwischen Lama und Ah, ich weiß nicht mehr. Aber da gibt's halt, grad bei den Open Source Modellen kann man das besser nachverfolgen. Da gibt's da welche, die machen Feintuning auf Basis 1 reinen Sprachgenerators, damit es zu 'nem Chat wird. So. Vektorstore ist eher eine Lösung für diesen begrenzte Kontextlänge, ja? Also dann nur mal 8000 Token passen in meinen Kontext oder 4000. Und ich hab jetzt aber irgendwie ein PDF beispielsweise mit 100000 Wörtern, wenn's irgendwie 'n Buch ist, passt da nicht rein. Das möcht ich aber gern Fragen zu diesem Buch stellen. Was dann gemacht wird, ist, dass die einzelnen Seiten meinetwegen oder irgendeine Stückelung des Buches wird in eine Datenbank gepackt. Und jede dieser Stückelung, sogenannte Chunks dann, Bleiben wir mal analog einfach, das sind jede, sagen wir mal, jeder jeder Chunk ist eine Seite. Mhm. So. Das heißt dann und dann würdest Du jede Seite, das hatten wir ja schon. Das heißt, Du machst aus der ganzen Seite einen Vektor, der irgendwie die Bedeutung dieser Seite repräsentiert. Und dann gibt es quasi und da haben wir schon, 'n Vektoren haben wir 'n Abstand oder einen Ähnlichkeitsmaß. Das heißt, Du kannst dann quasi die Seiten untereinander vergleichen, wo steht denn ungefähr scheinbar was Ähnliches wie wo? Oder Du kannst vergleichen, wie ähnlich ist die Seite zu 1 bestimmten Frage? Und das ist zum Beispiel die Technik, die hinter so was wie Chat PDF und so was oder PDF GPT und wie sie alle heißen, steckt. Du stellst eine Frage, die wird, gibt einen Vektor. Du hast für jede Seite deines PDFs oder nimmst andere Stückelung, aber jede Seite deines PDFs einen Vektor und dann suchst Du dir die zu deiner Frage passendsten Vektoren, also also zum Beispiel die parallelsten Vektoren dazu aus. Und dann nimmst Du die Top 3 meinetwegen und dann musst Du dann gibst Du die 3 Seiten dem Chatbot, die passen dann in den 4000 Wörter 4000 Token Kontext. Und dann kann der dir die Frage beantworten und es wirkt für dich, als hätte der das ganze PDF durchforstet. Hat aber nicht der Chatbot durchforstet, sondern hat halt die Vektordatenbank, das war ja deine Frage, durchforstet. Eine Vektordatenbank ist halt etwas, die diese Parallelitäten dann möglichst schnell und effizient auswerten kann, damit die dir auch bei 'nem, wenn Du da meinetwegen eine zwölfbändige Enzyklopädie oder noch schlimmer drin hast, schnell deine relevantesten 3 Seiten findet. Ja. Wobei, wenn Du sagst Enzyklopädie,
Speaker0: da denk ich an einzelne also in sich abgeschlossene Schnipsel oder Artikel, für die sich dieses Junking Konzept sehr, sehr stark anbietet. Genau. Aber ich ich denk mir da grad, man kann ein pathologisches Beispiel konstruieren. Wenn ich ein Buch hab mit 10000 Seiten und auf jeder jeder einzelne in dieser Seite steht eine Zahl und ich bitte dann den Bot, den Chatbot drum, alle diese Zahlen aufzusumieren, dann wird er daran scheitern, oder? Richtig. Weil er kann ja bloß quasi eine Handvoll Seiten raussuchen und da bräuchte ich ja von jeder Seite son kleines bisschen. Das heißt, in dem, also der dieses dieses Konzept mit Vector Store
Speaker1: füttert Chatbot, das funkt, das das bricht dann zusammen, wenn ich quasi lang lange Wechselwirkungen im Buch hab. Map Reviews, ja. Vielleicht noch Map Reviews. Ja, ich mein, direkt kannst Du sicher dann wieder was anderes bauen, aber das ist dann halt schon wieder Ja, ist
Speaker0: Handarbeit, ne. Und nicht so was wie, hier ist ChatGPT,
Speaker1: liebe Menschheit, viel Spaß damit, ja. Genau. Man man wer weiß, was für man sich da alles überlegen kann, aber so geht das nicht. Mhm, mhm.
Speaker0: Ich hab noch eine 2. Hörerfrage mit dabei. Und jetzt war ist die sehr pragmatisch, ja, ja, gedacht, okay, wow, ChatGPT, aber wie ist es mitm Datenschutz und und Abhängigkeit von Open AI? Kann ich denn ChatGPT auch bei mir zu Hause im sprichwörtlichen Keller laufen lassen?
Speaker1: Also ChatGPT natürlich schon mal nicht, weil das ist ja nicht veröffentlicht, der Korrektur von. Ja, aber ich kann ja damit interagieren.
Speaker0: In inwiefern ist das nicht veröffentlicht?
Speaker1: Ah ja, okay. Ich verstehe auch auf den Aussetzen. Also ich kann damit interagieren, aber das zugrunde liegende neuronale Netz und der Programmcode und und die Gewichte vom neuronalen Netz, die sind ja OpenAI's Geheimnis. Das heißt, an die komme ich nicht ran. Ich krieg keine Kopie des Modells. Ich kann nur mit ihm chatten. Aber es gibt ja die Open Source Modelle. Die kann ich, wie das Stichwort Huggingface, mir mal anschauen, was die für eine Maschine brauchen und mir die in den Keller stellen. Und wahrscheinlich brauch ich was mit mindestens mal so, je nachdem, was Du halt willst, aber da gibt's Hungriger, weniger Hungriger, die entsprechend gut oder schlecht sind. Aber Du brauchst schon irgendwie 10, 20 Gigabyte an GPU Speicher, also an Hauptspeicher. Du könntest auch sagen, Du machst ohne GPU, machst nur mit Cpu, dann ist es halt so Faktor 5 circa langsamer, wenn Du warten kannst auf deine Antworten. Aber wenn Du dir, sag ich mal, sone schön dicke GPU Maschine in Keller stellst und da drauf lässt Du einen entsprechenden Docker Container mit irgend 'ner API Schnittstelle hören, dann könntest Du dir das auch selber zurechtstellen,
Speaker0: ja? Also eine GPU für für 5000 Euro, kleine Workstation drum rum, man ist dabei. Ich denke, ja, ja doch, das müsst reichen. Mhm. Mhm. Mhm. Modulo Stromrechnung.
Speaker1: Ja, aber Moment kurz, also diese, die also da ist natürlich im Moment son bisschen Wettrüsten im Gang auch zwischen der universitären Open Source Welt und den den Proprietären. Ich würd jetzt aber nichts erwarten, dass ich mit meinen 5000 Gpu 5000 Euro Gpu Rechner wirklich da ChatGPT like, also dass es ganz so gut ist. Aber es könnt schon da rankommen und es tut sich, kommt fast jede Woche irgendwie was Neues auch in der Open Source Welt raus, also
Speaker0: Dann nehmen wir Möglich ist es. Dann nehmen wir 2 48 Gigabyte GPUs, dann kriege ich auch das neue Lama 2 rein.
Speaker1: Ja, ich hab grad gar nicht, weiß grad gar nicht, wie viel Parameter das hat. Aber ja, dann wär das fast
Speaker0: 70000000000 noch das Große.
Speaker1: Ja. Ja, das ist schon schön. Na, wahrscheinlich braucht's dann, ne, vielleicht sogar 120 Gigabyte GPO.
Speaker0: Ich weiß Wenn jemand von den Complexity Masters, die grad zuhören, der Firma Erium einen GPU Cluster spendieren möchte, gerne mit Oh ja.
Speaker1: Müssen wir uns noch 'n bisschen über das Kühlungskonzept hier Gedanken machen. Exakt. Exakt. Wir frieren gerade hier während der Aufnahme.
Speaker0: Das war das war die 2. Hörerfrage. Maxime, wir haben jetzt echt viele Begriffe einmal abgefrühstückt. Tokenisation, Emberdings, bam. Lass uns in der nächsten Folge mal 'n machen, was all das für uns momentan in der Firma bedeutet. Wir haben unsere Data Science Plattform HALYRIUM einmal auf links gekrempelt, dann wieder auf rechts und was dabei rausgekommen ist, ultramächtig. So viel sei vorab verraten, es geht darum, insbesondere ein intuitives Gefühl für all diese Begriffe durchs konkrete Benutzen zu bekommen. Also, Interface für den intuitiven Gebrauch von verschiedensten Sprachmodellen. Und wir werden in der nächsten Folge genauer drauf eingehen. So viel sei aber verraten, wir werden in den verlinken den Link zur, nämlich einem exklusiven Kreis von ersten Testern Zugang zu gewähren zu diesem neuen Halerium. Und natürlich haben wir uns was überlegt, nämlich
Speaker1: Ja, wenn ihr bei dem eintragt eintragt, kommt ihr in den Fast Track, weil ihr unsere Complexity Masters seid. Hervorragend.
Speaker0: Maxim, vielen, vielen Dank für den Austausch. Auf Spaß gemacht. Auf zu den nächsten Folgen. Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.