Wo GenAI heute steht – dreieinhalb Jahre im Reality-Check

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Dr. Maksim GreinerCo-Founder & CTO von Erium
Überblick
In dieser Folge treffen sich die beiden Erium-Gründer Theo Steininger und Maksim Greiner nach rund anderthalb Jahren zu einem ausführlichen Reality-Check: Wo steht Generative AI heute, was hat sich seit Ende 2023 wirklich verändert, und wo hinken die Modelle nach wie vor hinterher? Das Gespräch verbindet technische Tiefe mit praktischen Alltagsbeobachtungen aus Kundenprojekten und der eigenen Produktentwicklung.
Zusammenfassung
Stärken und Schwächen der Modelle: Warum Coding boomt, Requirements Engineering nicht
Maksim eröffnet das Gespräch mit einer faszinierenden Beobachtung: Aktuelle Modelle – allen voran Anthropics Claude-Familie – sind beim Programmieren inzwischen so stark, dass selbst erfahrene menschliche Entwickler kaum noch mithalten. Gleichzeitig scheitern dieselben Modelle bei scheinbar einfacheren Aufgaben wie Requirements Engineering oder dem Schreiben überzeugender Präsentationen.
Als Erklärung wird die Qualität und Struktur der Trainingsdaten herangezogen: Für Code existieren riesige, klar bewertbare Datensätze (z. B. GitHub mit Sterne-Rankings), während für 'weiche' Aufgaben wie Präsentationsdesign weder ausreichend Daten noch skalierbare, automatisierbare Bewertungsverfahren existieren. Reinforcement Learning durch Trial-and-Error funktioniert bei Code hervorragend – bei einer überzeugenden Argumentationskette lässt sich Erfolg nicht so einfach messen.
Theo ergänzt ein eindrucksvolles Gegenbeispiel: Das simple Logikproblem, ob man das Auto zur 100 Meter entfernten Waschanlage fahren oder gehen sollte, scheitert Modelle noch immer zuverlässig – während Claude Code aus dem Stand ganze Webapplikationen baut.
Der Durchbruch beim Coding: Agentisches Arbeiten und kleine, entscheidende Strategieunterschiede
Ein zentrales Thema ist der qualitative Sprung hin zu agentischem Arbeiten. Frühere Modelle wie GPT-4o konnten prinzipiell viele Aufgaben lösen, mussten aber durch explizites Prompting zu hilfreichen Strategien gezwungen werden – etwa 'lies die Datei 20 Zeilen für 20 Zeilen' oder 'nutze String Replacement statt die ganze Datei neu zu schreiben'. Aktuelle Modelle, insbesondere Claude, wenden solche Strategien proaktiv und eigenständig an.
Diese scheinbar kleinen Unterschiede akkumulieren sich erheblich: Wenn bei einem agentischen Loop mit vielen aufeinanderfolgenden Funktionsaufrufen die Fehlerquote pro Schritt leicht sinkt, macht das in der Summe einen enormen Unterschied. Der Begriff 'agentischer Loop' wird im Gespräch auch für Hörerinnen und Hörer klar erklärt: Das Modell führt selbstständig Iteration um Iteration aus – also Text schreiben, Funktionsaufruf machen, Ergebnis auswerten, nächsten Schritt planen – ohne dass der Mensch nach jedem Schritt eingreifen muss.
Gleichzeitig wird auf die Kostenseite hingewiesen: Ein agentischer Loop kann schnell tausendmal so viel kosten wie ein einzelner Prompt. Bei Projekten, wo ein einziger Prompt schon 50 Euro kosten kann, ist das ein reales Thema für die Praxis.
Kontextfenster, RAG und das Ende der 'Chat with PDF'-Startups
Das Gespräch blickt auch auf die Entwicklung der Kontextfenster zurück: Von ursprünglich 4.000 Tokens über 8.000 und 32.000 bis hin zu heute einer Million Tokens. Diese Entwicklung hat ganze Geschäftsmodelle obsolet gemacht – namentlich die zahlreichen 'Chat with PDF'-Startups, die auf Retrieval-Augmented Generation (RAG) setzten. Maksim erklärt verständlich, wie RAG funktionierte: Dokumente wurden in Chunks zerlegt, jeder Chunk in einen hochdimensionalen Vektor eingebettet, und bei einer Anfrage wurden nur die semantisch ähnlichsten Chunks an das Modell weitergereicht.
Diesen Ansatz hat eine Kombination aus zwei Faktoren verdrängt: erstens die massiv gewachsenen Kontextfenster, die das direkte Einlesen ganzer Dokumente ermöglichen, und zweitens die agentischen Fähigkeiten moderner Modelle, die selbstständig zielgerichtet in Dokumenten navigieren. Hinzu kommt, dass ChatGPT selbst PDF-Verarbeitung nativ integriert hat – womit der Mehrwert der Wrapper-Startups entfiel.
Multimodalität: Bilder ja, Video und Audio noch nicht wirklich nativ
Theos Beobachtung zur Multimodalität: Während Bild-Input bei fast allen großen Modellen heute nativ integriert ist – das Bild wird direkt in den Kontext eingebettet und nicht mehr erst in Worte übersetzt – gilt das für Video und Audio noch nicht in gleichem Maße. Video wird in der Regel in Frames (ein bis fünf pro Sekunde) zerlegt und das Audio als Transkript weitergereicht, was grundlegende Informationsverluste bedeutet. Native Speech-to-Speech-Modelle existieren zwar, sind aber spezialisierte, seperate Modelle mit deutlich geringerer kognitiver Leistung.
Ein konkretes Beispiel verdeutlicht den Unterschied zwischen nativem Bild-Input und einer vorangestellten Bildbeschreibung: Wenn erst eine Beschreibung in Worten generiert wird, gehen Detailinformationen unwiederbringlich verloren – anders als beim direkten Einbetten des Bildes in den Modellkontext.
GPT-5 in der Asymptote: Modellreife trifft auf Integrationslücken
Ein bemerkenswertes Fazit im Gespräch: GPT-5 wurde von beiden als eher enttäuschend wahrgenommen – so sehr, dass Erium das Modell über drei Monate lang nicht in Halerium integrierte. Der eigentliche Produktivitätssprung kam danach mit Claude Code. Die These: Die Grundintelligenz der Modelle nähert sich einer Asymptote, der entscheidende Hebel liegt jetzt in der Integration in konkrete Anwendungsfelder.
Als Beispiel dient der Kontrast zwischen KI-getriebenem Coding und KI-getriebenem Präsentationsbau. Während Entwickler, die sich ernsthaft auf KI-gestütztes Coding eingelassen haben, davon kaum mehr lassen wollen, kennen Theo und Maksim niemanden, der von KI-gestützten Präsentationen begeistert ist. Die Ursache liegt nicht an der Intelligenz der Modelle, sondern an der mangelnden KI-Freundlichkeit der zugrundeliegenden Formate: PowerPoint ist schlicht schwer maschinell anzufassen. HTML hingegen ist von Haus aus tokeneffizient und KI-freundlich – ein Umstand, den Theo mit dem internen Halerium Design System konsequent ausgenutzt hat.
Reasoning, Prompt Engineering und der Wandel der Arbeitsweise
Das Gespräch streift auch, wie sich die Anforderungen an Prompts verändert haben. Früher musste man Modelle mit präzisen Formulierungen und Kommas an der richtigen Stelle 'dressieren', um korrekte Ergebnisse zu erhalten. Heute verstehen Modelle gemeinte Absichten deutlich robuster. Auch das Schreiben von System-Prompts – früher eine eigene Spezialdisziplin – ist heute durch die Modelle selbst weitgehend automatisiert: Man beschreibt lose, was man will, und das Modell entwirft den System-Prompt.
Einen besonderen Raum nimmt die Erklärung des Reasoning-Ansatzes ein: Da Large Language Models nicht 'denken, bevor sie sprechen', sondern jedes Token deterministisch aus dem bisherigen Kontext generieren, ist das sogenannte Reasoning technisch nichts anderes als ein gesteuertes Lautdenken – der Modell-Output wird mit Markierungen versehen, sodass ein innerer Monolog entstehen kann, der anschließend aus dem persistenten Kontext gelöscht wird und so die Qualität der Antwort verbessert, ohne die Kontext- und Kosteneffizienz dauerhaft zu belasten.
Kernaussagen
- KI-Modelle sind beim Coding heute so stark, dass selbst Senior-Entwickler kaum noch mithalten – während weiche Aufgaben wie Requirements Engineering oder überzeugende Präsentationen nach wie vor mühsam bleiben.
- Der Qualitätssprung beim Coding kam nicht primär durch fundamentale Intelligenzgewinne, sondern durch agentisches Verhalten: Modelle wie Claude navigieren eigenständig durch Dateien, korrigieren Fehler und ziehen proaktiv die richtigen Strategien.
- Agentische Loops sind mächtig, können aber schnell tausendmal so teuer sein wie ein einzelner Prompt – Kostenmanagement ist ein zentrales Thema beim produktiven Einsatz.
- Das Wachstum der Kontextfenster und agentische Fähigkeiten haben RAG-basierte Startups weitgehend obsolet gemacht.
- Die Grundintelligenz der Modelle nähert sich einer Asymptote – der entscheidende Wettbewerbsvorteil liegt jetzt in der tiefen Integration in konkrete Anwendungsfelder und KI-freundliche Formate.
- HTML ist von Haus aus KI-freundlicher als PowerPoint: Ein Modell, das HTML-Slides generiert, liefert auf Anhieb bessere Ergebnisse als nach langen Versuchen mit PowerPoint-Automation.
- Reasoning ist technisch betrachtet gesteuertes Lautdenken: Das Modell schreibt einen inneren Monolog, der die Qualität verbessert, aber danach aus dem Kontext gelöscht wird.
- Prompt-Libraries und Prompt-Cheatsheets hatten außerhalb von Bildgeneratoren mit algorithmischen Diffusionsmodellen kaum echten Mehrwert – und dieser Anwendungsfall ist durch integrierte Prompt-Übersetzer ebenfalls weggefallen.
Fazit
Der Reality-Check zeigt: Generative AI hat in dreieinhalb Jahren enorme Fortschritte gemacht, aber auf überraschende Weise. Nicht die universelle Superintelligenz ist eingetroffen, sondern eine Kombination aus stark verbesserten agentischen Fähigkeiten, gewachsenen Kontextfenstern und besserer Integration – die zusammen in bestimmten Domänen wie dem Software-Coding einen Produktivitätssprung erzeugen, der kaum mehr wegzudenken ist. Die nächste Frontier ist nicht das schlauere Modell, sondern die clevere Einbettung in KI-freundliche Prozesse und Formate.
Für Führungskräfte und Entscheider
Die Modelle sind für viele Anwendungsfälle heute 'gut genug' – der Engpass liegt in der Integration. Wer jetzt in KI-freundliche Workflows und Formate investiert, verschafft sich einen nachhaltigen Vorsprung.
Für Softwareentwickler und technische Teams
Agentisches Coding mit Tools wie Claude Code ist kein Hype mehr, sondern gelebte Praxis – wer sich ernsthaft darauf einlässt, will nicht mehr zurück. Gleichzeitig lohnt es sich, die Kostendynamik agentischer Loops im Blick zu behalten.
Für KI-Interessierte ohne technischen Hintergrund
Diese Folge liefert verständliche Erklärungen zu zentralen Konzepten wie agentischen Loops, Reasoning, RAG und Kontextfenstern – und zeigt anhand konkreter Beispiele, wo KI heute wirklich stark ist und wo sie noch systematisch stolpert.
Volltranskript anzeigen
Speaker0: Herzlich willkommen bei The Erian Podcast. Nein, herzlich willkommen bei Beyond AI. Mein Name ist Theo Steininger und ich freue mich sehr, heute wieder mal eine Folge mit Maxim Greiner aufzunehmen. Ja, wie lang ist unsere letzte gemeinsame Folge jetzt her? Die letzte haben wir aufgenommen Ende November 2023.
Speaker1: Boah, also in AI Jahren vor 17000 Äonen. Äonen,
Speaker0: ja, richtig. Maxim, wie geht's dir? Gut. Und dir? Ja, viel zu tun momentan. Ja. Können wir können wir nachher noch tiefer einsteigen. Aber insgesamt sehr gut, ja.
Speaker1: Ja, wann hast Du gesagt? Ende 23.
Speaker0: Mhm.
Speaker1: Also ChatGPT kam raus oder wurde Anfang 22, richtig? Ja,
Speaker0: November
Speaker1: Oder was Ende 21? Ein Jahr zuvor kam komm GPT 3 Punkt 5 raus, wenn ich mich richtig Also Ende 22. Ja. Ich krieg's auch nicht mehr genau zusammen. Aber okay, das heißt, damals waren wir grad mal son Jahr
Speaker0: In der Bank. Gen AI
Speaker1: Thema so so tief drin, ja. Kannst Du dich noch erinnern, wogegen man damals, also wie man damals die Modelle immer getreten hat und wir haben ja damals, glaube ich, wir haben ja extrem viel über Prompt Engineering gesprochen. Wie musst Du die Dinge formulieren, damit dass GPT das tut, was Du von ihm erwartest. Ja, das ist jetzt also dann ja zweieinhalb Jahre her. Ja.
Speaker0: Ich würd dann nachher gerne gemeinsam mit dir noch mal tiefer einsteigen, Ja. Was sich seitdem getan hat. Bevor wir das tun, was geht 'n dir momentan so durch 'n Kopf? Ah,
Speaker1: also momentan finde ich's faszinierend, dass Also es haben sich ja viele da draußen mitbekommen, grad die Anthropic Modelle, die also Claude, Code und so weiter, wie gut die im Programmieren sind, wo man sich denkt, okay, wow, das ist ja jetzt echt so, da komme ich auch als menschlicher Entwickler mit Erfahrung teilweise dann kaum noch hinterher. Und dann gibt's aber die anderen Sachen, da sind sie immer noch so dumm wie vor 3 Jahren. Weißt Du, was ich mein? Also so irgendwelche, wo es so mehr weichere Themen geht, so quasi auch zum Beispiel Requirements Engineering finde ich immer noch ziemlich mühsam mit KI im Vergleich. Also dass Dinge gelöst scheinbar wurden und andere immer noch Also was was war schwierig, was war was war leicht für die KIs? Das das finde ich immer noch faszinierend und ist ja nicht so, also ist anders strukturiert als beim Menschen, sag ich mal. Weil wenig Menschen können komplexe Programme programmieren und dabei die Logik so nicht die ganze Zeit verhunzen oder allein die Syntax und so weiter. Und das machen die KIs mittlerweile ganz gut. Und dann ja, aber schreibt man eine überzeugende Präsentation, die nicht Bullshit Bingo ist. Ja, ich find's ja krass.
Speaker0: Bei meinen Schulungsformaten, ich hab auch immer paar so Gimmickpromts im Gepäck. Und eine, auf die ja die Modelle alle reinfallen, ist dieses, Du musst dein Auto waschen, also ich ich möcht mein Auto waschen, die Waschanlage ist 100 Meter entfernt. Ja. Das sollte ich zu Fuß gehen oder mit dem Auto fahren. Und Du kriegst das echt sehr, sehr zuverlässig, auch mit Reasoning immer noch dann die Antwort, na ja, also am besten gehst Du halt zu Fuß, weil es besser für die Umwelt. Und wenn das Auto dann sauber ist, dann ist okay, wenn Du mit dem Auto nach Hause fährst.
Speaker1: Ah ja. Und
Speaker0: gleichzeitig, wie Du sagst, ne, stampft dir 'n Claude Code einfach mal eine komplette Webapplikation ausm Boden. Ist schon erstaunlich. Hast Du da eigentlich eine Idee, weil also mein Zugang zu Lodge Language Modellen ist es ja phänomenologisch einfach aus der täglichen Trial and Error, aber Weil aber fairerweise auch, ja. Aber was ist deine Frage? Kannst Du dir das erklären, woher das kommt? Also dass dass die Modelle auf der einen Seite in den einen Aufgaben so und bei den anderen, wo Du dir denkst, na ja, ist doch eigentlich auch nur quasi eine ja, eine assoziierte Logikkette, aber das wär ja eigentlich machbar. Liegt das irgendwie an den Trainingsdaten oder? Also ich Also kann's mir nicht wirklich erklären. Ich ich würde vermuten, dass es an den Trainingsdaten liegt, weil einfach also
Speaker1: 2 Sachen. Es gibt ja wahnsinnig viel Code, den Du abrufen kannst, wo auch irgendwie klar ist, warum ist der so, wie er ist. Mhm. Also quasi Du, wenn Du eine irgendwie den Code 1 App bei bei GitHub oder so was, dann ist auch irgendwie klar, warum ist dieser Code so wie er ist im Sinne aus der, dass auch die Businesslogik der App ja irgendwie verständlich ist. Wenn Du jetzt da draußen vielleicht so was hast wie eine Geschichte oder eine Präsentation, dann ist ja quasi der Inhalt, der texturinhalt und das Design ist ja dann quasi, wenn man so will, der Code, also das, was erzeugt werden können. Aber wo ist die Businesslogik? Warum wurde in der Präsentation diese Visualisierung gewählt? Warum wurde die als überzeugend genommen? Das ist mal das eine. Ich, wo wo kriegst Du diese Information her? Und und es ist auch nicht klar, welche Präsentationen sind überhaupt gut? Mhm. Weil Code gibt's ja dann zumindest bei den Open Source Repositories ja doch irgendwie so, ja. Wie viel Sterne hat das? Wie viel wurde das gefalkt und so weiter. Also ich glaub, dass Du da einfach leichter weißt, was ist gut, was ist schlecht? Und da betrete ich jetzt dünnes Eis, weil ich mich jetzt lang nicht mit irgendwelchen Papern auseinandergesetzt hab, das ist jetzt nur hörensagen. Aber das sozusagen dieses Learning im Sinne von, hey, gib dem Modell, lasst das dasselbe immer wieder neu versuchen und und, also verstärke die Versuche, die zum Ziel geführt haben. Also lass es quasi immer wieder trial and Error machen. Das funktioniert natürlich super mit Programmcode, weil Du kannst einfach sagen, hey, programmier das. Also hier ist deine Aufgabe, programmier es und nachher vergleichst Du den Code, wahrscheinlich wieder mit wahrscheinlich wieder mit KI, weil das 'n semantischer Vergleich sein muss, also im Sinne von, nicht ist jeder Buchstabe gleich, sondern hat der Code eine ähnliche Struktur, tut er dieselben Dinge. Das kannst Du ja dann vergleichen gegenüber einem Referenzcode. Also nehmen wir mal, programmier mir einen Code. Also nehmen wir mal, programmier mir einen Webshop, der T-Shirts von s bis x l in Farben blau, rot und grün vertreibt und der Check up Check out nur über Vorkasse macht oder so was. Ja, so, da kannst Du jetzt das Claudecode geben und der würde dir das einfach programmieren. Vielleicht würde er auch Rückfragen stellen, aber er könnt's einfach programmieren. Mhm. Und das kann ich ja wunderbar als Testaufgabe in soner Sandbox stellen, dass ich halt sage, na ja, ich hab diesen Webshop jetzt mal einen Senior Entwickler programmieren lassen und vielleicht noch 2, 3 andere Senior Entwickler. Da hab ich son bisschen son Spektrum an was was was ist denn gut? Und dann stelle ich dem noch quasi nicht veröffentlichten Modell dieser Aufgabe, hey, mach das mal. Dann sagt das Modell irgendwann, ich bin fertig. Und dann kannst Du es ja vergleichen, was hat der menschliche Code, der das nicht hat? Was wo ist es besser? Wo ist es schlechter? Und dann kannst Du dir quasi Daumen hoch, Daumen runter für die einzelnen Versuche und damit ja das Training so konvergieren darfst. Mhm. Weil Du immer wieder resetten und neu starten kannst. Du kannst quasi immer wieder Stimmt. Speichern und neu laden speichern und dann kannst Du kannst Du parallelisieren, kannst Du so oft machen, wie Du Computerressourcen hast. Ja und kann man im nächsten Step auch gut outsourcen.
Speaker0: Genau. In Prompting Forms, wo die Menschen dann am Ende sitzen. Ja, genau. Und jetzt kannst Du das bei,
Speaker1: wahrscheinlich bei Präsentationen und Texten kannst Du das auch machen, aber und also Texte schreiben sie ja auch nicht so schlecht, aber wenn's dann so das Kompliziertere ist, wie überzeugend ist die argumentative Kette? Ja. Dann wird's schon schwieriger, das dann wieder von 'ner KI oder irgend 'nem Programm bewerten zu lassen. Während bei Code kannst Du ja, Du kannst Unittests definieren oder generell Tests. Du könntest sagen, die sind folgende Funktionalitäten definiert. Das kriegt ja an LLM gut hin, ohne dass es jetzt schwerwiegende Logik oder so was. Während bei 'ner Geschichte ist das Character Development jetzt überzeugend von Tellerwäscher zum Millionär. Da sind sie jetzt auch nicht so schlecht mittlerweile fairerweise, aber Du kannst dir vorstellen, dass es halt schwieriger ist, da 'n guten, objektiven, skalierten, automatisierbaren Bewertungs- und Trainingsprozess daraus zu gestalten. Und wenn Du dann Sachen hast, die mit der die nicht isoliert funktionieren wie schreiben einen Text oder eine Präsentation, sondern interagiere mit deiner Umwelt. Lerne, wie man lerne, wie man bei Wikipedia einen Artikel schreibt. So, jetzt lass mal LLM parallelisiert Artikel schreiben bei Wikipedia und warte mal, wie lange es dauert, bis die dich sperren. Ja, genau. Ja, da hast Du vielleicht 5 Versuche und nicht 5000000, die Du gebraucht hättest, damit Du's beibringst von der Bewertungsproblematik, mal ganz zu schweigen. Ich glaub, das ist so, was ich so gehört hab, weswegen in manchen Domänen, ja, Programmieren, mega eine Firma aufbauen. Na ja, hat halt die KI noch nicht die Gelegenheit gehabt, 5000000 Firmen parallel in Sand zu setzen. Ja, das macht sie aktuell. Genau. Also das ist so mein meine laienhafte Wahrnehmung des Ganzen. Dann ist aber beim Coding, find ich auch einfach spannend, ich meine, Programmieren konnte GPT 3 5 auch nicht so schlecht. Dann GPT 4
Speaker0: o 4 1 hat auch keinen schlechten Code geschrieben für einzelne Funktionen. Also wenn ihr gefragt habt, ist Mhm.
Speaker1: Das eigentlich fast immer funktioniert Mhm. Schon damals. Aber warum konnte ich damit nicht ein Softwareprodukt oder 1 1 1 ganz ein ganzes Repository, ganzes Projekt machen? Das waren so richtig dämliche Sachen. Also ein Beispiel, Du hast ein Du Du hast bereits Code und die die Datei, die es geht, hat, sagen wir mal, 6000 Zeilen. Aber kommt vor. Mhm. Was hätte GPT 4 o oder 4 1 noch gemacht, wenn Du ihn nicht mit Gewalt anders gepombt hättest? Dann hätte der, na ja, die ganze Datei gelesen. So, jetzt hat er dann 6000 Zeilen in seinem Kontext Windows. Ich mein, GPT 5 kann 1000000, aber wir wissen auch, dass Kontext Windows nicht alles ist, sondern auch die Präzision. Mhm. Also das heißt, für die für die da draußen, nur weil jetzt 1000000 Silben in den Kontext passen, heißt das nicht, dass wenn ich da 1000000 Silben reinpacke, dass dann automatisch die relevantesten Sachen daraus noch vom LLM, also vom Large Language Modell richtig beachtet werden. Sondern der der geht schon auch im Kontext unter. Nur weil er ihn hat, heißt das nicht, dass er ihn auch dann gut nutzen kann. Es ist deutlich besser, wenn Du statt der 1000000 Silben die 10000 relevantesten drin hast und der fokussiert sich auf die. Das war auch November 23 schon so. Das war auch November 23 schon so, genau. Also nur weil der Kontext größer ist, ist er noch nicht besser. Mhm. Und jetzt hat GPT 4 o oder 4 1, damals hätte das einfach die ganze Datei eingelesen. Okay, schon nicht optimal, hat er aber noch halbwegs hingekriegt. Und dann, a, ich muss die 5. 5. Funktion, die muss ich ergänzen ein Zusatzargument und 2 Fallunterscheidungen. Dann beginnen wir mal, die 6000 Zeilen von oben neu zu schreiben. Ja. Und nach 200 Zeilen
Speaker0: Fuck, worum geht's los? Sagt er dann,
Speaker1: ja oh, ich kann ja gar nicht mehr Output liefern. Oder er hätte gesagt, ich fang an und schreib, Kommentar, bis hierhin alles unverändert, dann die neue upgeupdatet Funktion und dann ab hier hin, ab hier bitte alles unverändert und speichert das. Mhm. Und deine Datei ist kaputt. Ganz oft passiert. So, was machen die neuen Modelle? Das ist Dinge, die hätte GPT 4 o auch schon gekonnt. Er hat's nur nicht automatisch gemacht. So, was machen die neuen Modelle, die sagen, oh, schauen wir mal diese Datei, oh, die hat 6000 Zeilen. Na gut, jetzt machen wir mal eine Keywordsuche nach etwas, was so klingt wie die Funktion, die wir suchen. Gefunden? Yeah. Nicht gefunden? Okay, dann probieren wir was anderes. Schauen wir mal nur alle Zeilen, in denen eine Funktion definiert wird. Dann sind aus den 6000 Zeilen vielleicht 100 Zeilen, wo dann jeweils irgendwie irgendwas steht. Ah, die Funktion brauche ich. Jetzt lese ich nur diese Funktion, indem ich mich so vorrobbe. Ich fange bei Zeile 578 an, wo die Funktion beginnen und dann die nächsten 20 Zeilen und die nächsten 20 und die nächsten Ah, hier ist die Zeilen. Okay, jetzt hab ich die 60 Zeilen, die ich brauche. Wunderbar. Jetzt schreib ich die Funktion neu und dann mach ich ein String replacement, also eine exakte Textersetzung, wo ich dann den alten Text gegen den neuen Text tausche und hab dann diese diese Datei atoma verändert, ohne sie kaputt zu machen. Und das sind Dinge, die hätte GPT 4 o auch gekonnt, hättest Du ihn dahin gepombt, aber Du musstest ihn halt immer zwingen. Mach jetzt ein String Replacement. Lies dich jetzt 20 Zeilen für 20 Zeilen ein und höre auf, wenn Du das komplette hast. Also das und das GPT 4 o auch immer noch dann, der hätte dann vielleicht dann die 20 und dann die 40 Zahlen eingelesen und dann hätte das natürlich aufgehört. Ja, ich habe jetzt die ersten 40 Zahlen. Wie soll ich weitermachen? Also sozusagen diese Selbstständigkeit, das Agentische, das ist vielleicht son Stichwort, was wir gleich aufgreifen. Aber diese Kleinigkeiten, was die für einen Unterschied machen fürs Coding,
Speaker0: ist unglaublich. Ich hab das Gefühl, dass sich das dann auch akkumuliert. Also diese, was Du gerade angesprochen hast, diese Proaktivität. Mhm. Wie selbstständig ein Modell Function Calls auch ausführt. Wenn Du immer eine zehnprozentige Chance hast, dass das Modell quasi den nächsten Function Call verkackt Ja. Dann macht es einfach 'n Unterschied aus gegenüber, Du hast nur eine siebenprozentige Wahrscheinlichkeit, weil Du diesen Compounding Effekt hast. Ja, vor allem Das find ich krass bei den Clode Modellen, dass die einfach da viel, viel proaktiver auch als die GPT Modelle sind und einfach dadurch auch mehr durchziehen.
Speaker1: Möchte dann nur daraus Aufgaben, dass Du sagst, dass das den nächsten Function Call verkackt, falsch macht. Das braucht Claude ständig. Aber probier das einfach mal. Das ist der springende Unterschied. Bei GPT 4 o, wie oft hab ich dem gesagt, hey, nimm die Datei so und so? Und dann hat er halt überlegt, ja, wo suche ich jetzt die Datei im aktuellen Arbeitsverzeichnis oder in im im im im Home Folder oder woanders. Und dann hat er den ersten Ort probiert und danach Was ist denn nicht? Ich finde die Datei nicht. Kannst Du mir bitte sagen, wo sie ist? So was macht Claude heutzutage? Okay. Wir haben diese 3 Möglichkeiten. Ich fang mal Möglichkeit einzeln. Nee, die Datei ist nicht da. Ich mach Möglichkeit, die Datei ist nicht da. Okay. Ich such jetzt einfach nach dem Dateinamen im gesamten Textverzeichnis. Hm, immer noch nicht gefunden. Okay, vielleicht ist 'n typoom Dateinamen. Ich such mal nach dem Teil des Dateinamens. Ah, da ist Genau. Oder ich hab deine Zugangsdaten zu OneDrive gefunden. Ich guck mal in Sharepoint. Aber aber einfach dieses, okay, wenn's nicht klappt, probier's leicht anders noch mal. Und so ganz einfache Lösungsstrategien hättest Du vorher GPT 4 o gefragt, hey, ich habe hier diesen Dateinamen, wie kann ich jetzt vorgehen, das den den Dateisystem zu finden? Hätte die GPT wahrscheinlich genau diese Strategie runtergebetet, zu sagen, na ja, schau erst mal in deinem lokalen Arbeitsverzeichnis, dann schau im Homeverzeichnis. Wenn Du es nicht macht, dann probier eine Suche aus. Wenn die nichts liefert, dann probier eine aus. Das ich bin mir ziemlich sicher, dass GPT4 OD ungefähr so was gesagt hätte, aber er hat's halt nicht selber gemacht, obwohl er's gekonnt hätte. Also so ganz so einfach so würde ich so sagen. Und jetzt und und eben diese diese diese Sorge, nicht zu viel selbstständig zu machen. Vielleicht hat man damals auch einfach noch mehr Schiss gehabt, wo's hinführt und jetzt ist das zumindest bei Anthropic ganz klar die Philosophie. Ja. Und dann kommt halt, ich meine, kann auch sein, dass der Agent dann halt mal 2 Stunden in die falsche Richtung rennt, aber dass ja im Software, immer Softwareentwicklung das Schöne. Dann hast Du halt Tokens verbrannt und Ja, das ist der Punkt. Und der den lehnst Du dann halt ab. Ja. Aber es ist ja nicht viel, ist ja kein Kind im Brunnen gefallen. Mhm. Ja, stimmt. Bei der Softwareentwicklung
Speaker0: trifft es zu. Für mich ist es grad eine echt spannende Frage, welche Workflow für welches Aufgabengebiet da am am besten geeignet ist, weil diese argentischen Loops, Shail Jung. Die agentischen Loops, natürlich sind die sehr selbstständig. Die finden immer irgendwie einen Weg, aber sind halt auch teuer. Ich hab neulich den Kommentar auf LinkedIn gelesen. Da meinte 1 so, hoppla, wir mussten feststellen, dass ein argentischer Loop gern mal tausendmal so viel kostet als eine einfache prompt. Ja so, ach nee, ja. Mhm. Das ist Teil der Geschichte, ne. Und wenn Du aber schon weißt, wie was funktioniert, dann immer einen argentischen Loop immer wieder neu dabei zu auch zuschauen zu müssen, wie er das Rad neu erfindet. Das tut mir ja schon fast körperlich weh. Mhm. Und im Geldbeutel. Und das find ich sehr, sehr spannend, wo man's sozusagen bewusst eingeht, diesen Aufwand. Immer wieder, dass das KI Modell das Rad neu erfindet versus man dekliniert's halt einmal durch und packt's eher in einen Conversational Agent oder vielleicht sogar direkt in einen Subagenten, der ja schon fast eine Pipeline ist. Ja. Aber apropos Geldbeutel.
Speaker1: Also das agentische Arbeiten ist ja supercool. Aber was ja dann schon dabei passiert ist, dass Du, also wenn son Modell, also jeder, vielleicht müssen wir ganz kurz erklären, was argentisches Arbeiten im im Kontext 1 Churchs ist. Mhm. Also wir meinen jetzt nicht, man, also das Wort Agent ist ja auch 'n bisschen jetzt wahrscheinlich wie KI so als Wort son bisschen
Speaker0: Unchig, weil wir uns sind Agenten, ja. Genau. Also
Speaker1: ein Agent im KI Kontext meint ja jemand quasi jemand, der handelt, ne. Das bedeutet ja der Agent und eigentlich ist damit meines Verständnis nach gemeint, dass Du irgendwo ein Modell hast, was gegeben irgendwelcher Trigger oder auch proaktiv eine gewisse Aufgabe immer wieder ausführt. Also gar nicht als Chatbot oder so was und dabei selbstständig iterieren kann. Was wir meinen mit dem argentischen Arbeiten ist, dass es vielleicht schon 'n Chatbot, aber der eben dieses selbstständige Iterieren trotzdem machen kann. So, und was meine ich damit? Wenn ein Bot einen Funktionsaufruf macht und das ist ja seine einzige Möglichkeit, mit der Welt zu interagieren, ein Funktionsaufruf. Typischerweise führt der Code auf deinem Computer oder auf einem, logischerweise auf einem Computer aus. Und dieser Code, wenn ich vorhin zu meinem Beispiel gehe, Du sagst ihm, öffne diese Datei. So, dann, was macht er? Er er macht dann einen Funktionaufruf, zum Beispiel diese Datei als Text auszugeben oder ihre ersten 20 Zeilen oder oder so was in der Art. Dann muss der ja abwarten, was kommt denn dabei raus, dann weiterzumachen. Und das ist eine Iteration. Das heißt, immer wenn der wenn das Modell Text schreibt und dann mindestens einen Funktionsaufruf macht, dann ist das eine Iteration und dann kann er selbstständig die nächste Iteration machen, ohne dass er dich als User quasi, also ohne dass Du wieder zum zum Tippen aufgefordert bist. Das ist der argentische Loop 1 Chatbots. Und der kann, je nachdem wie das System aufgesetzt ist, von 'ner harten Grenze wie maximal zehnmal bis wir haben ein Alerium dreißigmal, Du könntest es auch so programmieren, so oft der Bot will, bis er quasi sagt, ich Ist es selber stoppt, ja. Ja, bis er keinen Mhm. Funktionsaufruf macht. Das ist dann das Endkriterium. Dann bist Du als User wieder gefragt. Das ist das ist das, was dahintersteckt, aber jede dieser Situation ist ein Aufruf an das Modell. Und damit einmal schickst Du den Kontext an den Modellprovider und kriegst halt Tokens, also Silben zurück. Und das heißt, Du hast da jetzt nur eine Nachricht abgeschickt als User, aber oder aber unter Umständen wurden da 30 Modellaufrufe gemacht. Und das ist supermächtig, aber deswegen halt auch manchmal teuer. Und wenn ich jetzt dann zurückdenke, was wir 20 23, was so die teuersten Use Cases waren bei den Sachen, die wir für unsere Kunden umgesetzt haben, da waren eigentlich die KI Kosten fast immer schnubs. Und jetzt haben wir dieses Jahr schon 'n paar Use Cases gehabt, wo man sagen musste Ob 6 Cent oder 7 Cent macht 'n Unterschied. Ja oder oh, die prompt hat jetzt mal 50 Euro gekostet. Mhm. War's vielleicht dann noch wert und oder es war das 1. Mal und dann kommt man genau zu dem, was Du grad gesagt hast. Jetzt soll der Agent nicht immer das Rad neu erfinden, sondern jetzt sollen wir das, was funktioniert halt verpacken, damit's schneller geht und billiger nächstes Mal. Aber setzt man da prompt ab und plötzlich hast Du 50 Euro auf der Uhr, ist schon eine andere Welt. Also diese argentischen Bots, die sind supermächtig, aber können auch sehr schnell sehr teuer sein, wenn Du nicht in irgend 'nem Flatrate Modell bist.
Speaker0: Ich würd mal gemeinsam mit dir gern auch noch mal vor dem Hintergrund unserer letzten one on one Sessions Mhm. Mal noch mal reflektieren, was hat sich jetzt eigentlich die letzten Jahre so getan? Also weil mich hat zum Beispiel total überrascht, dass die Modelle überhaupt das Coding so packen. Meine Hypothese 2023 war, ja, es ist das diese diese super High Level und dermaßen vogelperspektiven Überblick zu zu behalten, das das kriegen die nicht hin. Ja, da war ich
Speaker1: auch, hätte ich auch nicht gedacht, weil sie ihn, weil da ja eigentlich Programmieren so viel Logik braucht. Und also zumindest wenn's über eine einzelne Funktion oder so was hinausgeht, wo's ja vor allem zu mehr darauf ankommt, zu wissen, was sind da die Best Practices? Was gibt's da für Packages, die Du bereits nutzen kannst? Also findest Du eigentlich immer, was zu Copy Paste von Stakeholder fährst? Ja. Aber fürn Gesamtsystem braucht's ja wahnsinnig viel logisches Denken.
Speaker0: Und eigentlich waren die immer in der Logik so schlecht, die die Modelle. Ja, aber vielleicht ist es dann doch immer das Gleiche. Ja, wenn Du an eine klassische Front and, Backend Mhm. Single Page Applikationen denkst.
Speaker1: Die Logik an sich Das muss man das gleiche Patternis, ja. Weil wie findest Du's? Sind die Modelle nicht in Logik immer noch tendenziell schwach? Also mathematisch Logik im mathematischen Sinn, ja. Genau.
Speaker0: Und anscheinend ist Programmieren,
Speaker1: obwohl das eigentlich, also vor, beim Menschen sind die Leute, die gut in mathematische Logik sind, auch schnell gut im Programmieren. Ja. Aber wahrscheinlich, weil's einfach, Du musst ja das Rad nicht neu erfinden und es schon so viel gibt, so viel public gibt und Du da eigentlich einfach die Rezepte kopieren kannst. Vielleicht brauchst Du gar nicht so viel Logik aus der Sicht 1 LLMs, was ja quasi diesen gigantischen Welttextkorpus
Speaker0: verdaut hat. Ich find's ja fast schon schade. Also meine große Hoffnung war ja, dass die Large Language Modelle, die mathematische oder die quasi theoretische Physik, da echt nun mal boosten. Aber war dann überrascht, wie viel Geld und Energie OpenAI auch jetzt neulich in diesen mathematischen Beweis stecken musste. Was war das, die RDeu Vermutung oder irgendwie so was? Mhm. Und das war überhaupt kein Selbstläufer. Ja. Schade eigentlich.
Speaker1: Ja, es ist halt am Ende des Tages immer noch keine Logikmaschine. Ja. Und was was mir aber auch auffällt in dem
Speaker0: Kontext, der Kontext, das Kontextwindow. Das ist ja angewachsen von, ich glaub, das 1. 3 Einser Modell, das hatte so 4000 oder? Ja, ich glaub, das war 4000. Und dann ging's hoch auf 8 und dann 16 und der Burner, das ist wie damals so der Intel 3 3 86
Speaker1: Das ist das typisch t 4 32. Ja, ja. 32 k, das war schweineteuer. Richtig, richtig. Und derzeit hat sich's irgendwie eingependelt bei 'ner Million? Es gab ja zwischendurch den Rückschritt. Also 1000000 Richtig. 4 1 und 4 o, glaub ich, auch schon.
Speaker0: Und das Fünfermodell war wieder nur bei 500000 oder sogar weniger. Ja, ja. Ja. So weh, ich glaub, 250. Jetzt sind sie wieder bei 1000000. Und das, also ich hab mir die Frage gestellt, warum ist das so? Und wenn Du dann mal beobachtest, wie son Agentic Loop arbeitet, ich weiß nicht, wie Du das wahrnimmst, aber mir kommt's so vor, wie wenn der eben, was Du auch vorhin beschrieben hast, sehr, sehr punktuell in die Dateien reingeht. Mhm. Und dann eher 'n schlaues macht, quasi anstatt über Kontext zu arbeiten, einfach sich versucht, ganz punktuell in den Dateien zu orientieren.
Speaker1: Ja, also da ist auch viel passiert im Sinne von, was ist denn der Zustand 1 Agenten oder auch 1 Chats? Das war damals halt einfach das Chatprotokoll. Mhm. Und mittlerweile so mehr dahin, ja, jetzt machen wir auch irgendwelche Tempo Dateien, wo das jetzt so die die die die die Findings, ich bin jetzt beim Denglisch, drinstehen, sodass ich dann auch leichter irgendwann den gesamt die Gesamtkonversation jetzt eindampfen kann im Kurzzeitgedächtnis des des Modells. Also da hat sich was getan. 'N anderes Argument, was ich gehört hab bezüglich Also man könnte natürlich technisch jetzt sagen, ja gut, geben wir ja noch 2000000 oder 10000000, brauchst halt dann mehr RAM und ist halt halt teurer. Aber find mal Trainingsdaten mit 10000000 Input Tokens, die dann noch Sinn machen. Ja. Also jetzt könntest Du dem technisch natürlich einfach, also technisch könntest Du einfach sagen, ja, gib gib ihm. Mhm. Aber wird's dann besser? Mhm. Wenn Du nie auf diesen Anzahl an Input Tokens trainiert hast? Ja. Wo kannst Du das wirklich sinnvoll da Daten konstruieren? Du kannst natürlich sagen, lies ganze Code Repositoris ein und beantworte Fragen. Das könnt man trainieren, aber da ist wahrscheinlich der Mehrwert gegenüber dem aktuellen, na ja, such halt erst mal, finde die entscheidenden Stellen und beantworte anhand derer. Wahrscheinlich einfach nicht gegeben. Was gäb's noch? Lies irgendwie 'n ganzes Buch und dann beantworte was daraus. Aber Des geht welches Buch passt nicht in 1000000 rein? Ja. Das wird dann schon langsam dünn. Also 1000000
Speaker0: sind so wie viel? 800, 700, 700, 800 Seiten, so was, glaub ich, von 'nem Roman. Also Geht schon.
Speaker1: Ja. Also wahrscheinlich ist die Anzahl der skalierbaren Aufgaben, wo Du wirklich signifikant über die Millionen kommst, überschaubar im Sinne von, dass Du daraus Trainingsdaten konstruieren kannst. Mhm. Und dann hast Du natürlich, okay, dann hast Du jetzt technisch das höhere Kontextwind, aber die Qualität ist dann halt unterirdisch
Speaker0: ab ab der Million. Dann hilft's dir ja auch nicht. Ich erinner mich. Da gab's vor vor 2 Jahren, glaub ich, mal 'n Start-up, die haben da mit geworben und damals war das 'n wirklich crazy Shit mit 'nem 10000000 Token Kontextspinner und nie wieder aus von mir hin gehört.
Speaker1: Ja, weil's technisch gesehen, die Architektur kannst Du von den Transformern halt aufblähen. Ja. Na, die hatten ja keinen Kniff, aber Ja. Ja. Mag auch sein, aber aber ich meine, wenn Du den GPU Rahmen hast und so technisch kannst Du die aufblähen, aber Mhm. Aber die Gewichte sind dann halt nicht darauf angepasst. Also die der Trainingszustand. Das bringt's
Speaker0: dann ja nicht. Wir haben jetzt nicht viel über Codings gesprochen und Logik. Mir ist grad noch 'n anderes Beispiel eingefallen, wo ich neulich wieder gemerkt hab, wie wenig Logik die Modelle eigentlich können. Mhm. Und zwar ging's die Anpassung von 'nem Vertragswerk. Ah. Und in dem Vertrag war eine Klausel drin, formal eine Ewigkeitsklausel, also die quasi wie im Grundgesetz. Da gibt's auch diese Ewigkeitsklausel, dass gewisse Andere Artikel nicht verändert werden. Artikel, der dürfen nicht verändert werden, genau. Und das Modell hat, die Ewigkeitsklausel hatte eine Referenz eben auf 3, 4 andere Paragrafen und auf sich selbst. Mhm. Und der hat einfach sowohl die Ewigkeitsklausel sauber quasi verändert und auch die geschützten Klauseln, wo Du dir denkst, das ist doch irgendwie eigentlich eine Logikschleife erster Ordnung. Mhm. Total drüber gestolpert.
Speaker1: Ja. Ist schon erstaunlich eigentlich. Ja, da da da muss da so zwischen dem Programmieren und der Logik da, der Ja, richtig. Die Entkopplung stattgefunden haben, Ja, ja. Weil die anders denken als Menschen. Ja.
Speaker0: Wie geht's dir mit dem ganzen Thema? Also war ja, also vor allem bei den ersten Schulungen, die wir gemacht haben, ja, Riesenblock.
Speaker1: Wer? Ja. Also vielleicht noch mal zur Erklärung fürs Publikum früher, ja? Also die ersten Generationen der GPT Modelle, die Du hattest ja vorhin Du hast ja vorhin erklärt. Ja. 28032, wenn Du extra bezahlst. Also da hat nicht so viel Text reingepasst. Konntest Du dir nicht einfach 'n Roman reinschieben. Was war damals die Lösung? Was was steckte hinter diesen ganzen? Damals gab's ganz viele Rapper Start ups so, die Stimmt, ja. Chat with PDF. Was haben die gemacht? Alle implodiert. Genau. Die haben, also die sind aus aus 2 Gründen implodiert, aber dazu können wir ja gleich kommen. Also erst mal, was haben die gemacht? Ein beispielsweise fünfzigseitiges PDF wurde in 50 dann sogenannte Junks aufgeteilt, wo der wo der pure Text, also die textuelle Repräsentation der Seiten ohne Formatierung und so weiter dann drin war. Und jede dieser Seiten, gab auch andere Unterteilungsstrategien, aber bleiben wir bei Seiten, wurde dann mit einem versehen. Das heißt, ein anderes Modell macht aus einem Textkorpus, der kann dann typischerweise so was wie bis zu 8000 Silben oder so was enthalten, macht der einen einen Vektor, eine Gruppe an, ich glaub, es waren 512 Zahlen, kommt aufs Modell genau an, bei so was in der in der Richtung, ja. Also für die Mathematiker, die jetzt dann die oder eher für die Physiker, den Mathematik entsteht dann wahrscheinlich die Haare zu verbergen, dass die, es wird wird ein Punkt ein Punkt auf einem fünfhundertzwölfdimensionalen Einheits, auf 1 fünfhundertdimensional Einheitskugelschale gesucht und der repräsentiert repräsentiert dann quasi die Bedeutung des Textkorpus ungefähr. Wenn man auf einzelne Wörter geht, wären das zum Beispiel viele, dass König und Königin nah beieinander wären oder oder König und Mann, aber zum Beispiel König und Bohrmaschine weit voneinander entfernt. Und das stellt euch das auf Sätze und dann auf Absätze und so weiter erweitert vor. So, das heißt, wenn dann dieses fünfzigseitige PDF in 50 solcher Vektoren wäre und dann der das Modell sagt, ich das Modell dann was suchen will, dann musste das Modell einen Funktionsaufruf machen mit 1 Suche, 1 semantischen Suche, hey, ich suche nach dem Satz, der König ist tot Mhm. In den 50 Seiten. Und dann war das keine Stichwortsuche oder so was, sondern die Bedeutung von der, der König ist tot, wurde in 512 Zahlen, also in einem Vektor repräsentiert. Und dann wurde geschaut, welcher dieser Vektoren in den 50 des Dokuments ist am nächsten dran, also am parallelsten zu dem der König ist tot Vektor und dann wurden die Top 3 oder so was ausgespuckt. Und dann kriegt das Modell nur die Top 3 Seiten und beantwortet dann daraus die Frage. Mhm. Und das ist an sich 'n probates Tool, hatte aber damals dann 2 Probleme. Also das haben dann immer die Kunden gefragt, ja, aber wie kann ich denn sichergehen, dass der jetzt nix übersehen hat? Was ist denn, wenn auf der viertbesten Seite dann doch die entscheidende Infostand, ja? Stichwort bei so was wird Verträgen und so was. Und das war also schon mal son Schwachpunkt. Und dann kam halt, kam halt 2 Aspekte dazu, warum dann diese ganzen Zwischen Rapper Start ups dann so verschwunden sind. Das eine war natürlich das mit dem Kontext Windows. Wenn da 1000000 reinpassen, ja, dann liest halt alle 50 Seiten. Fuck it. Ja, Du versuchst eigentlich nur nur das relevante Dokument zu finden, ne. Genau. Und dann dann siehst es der Und Und dann finde das relevante Dokument. Und da gibt's dann halt, wie wir vorhin angesprochen haben, ja auch, da machen dann vielleicht doch Stichwort suchen und schau auf die Dateinamen oder liest die ersten halben Seiten an, machen solche Strategien dann doch mehr Sinn. Und das andere ist, was was die Start ups dann so, die das gemacht haben und halt gekillt hat, dass das einfach ChatGPT das einfach dann internalisiert hat. Ja. Und das einfach PDF fremdklatschen und die haben sich drum gekümmert. Ja. Brauchte keiner mehr den Rapper. Aber das ist gut, das ist einfach technologisches aneignen oder oder das ist einfach dann die die Entwicklung. Aber das Wichtigste war, denke ich, die großen Kontextwinders und dieses Agentische, dass das Also heute, wenn Du einen Klod fragst, beantworte mir diese Frage auf Basis dieses Ordners mit 500 PDFs. Na ja, dann wird der halt dann versuchen, Stichwort Suche, mal schauen, gibt's da eine Ordnernstruktur? Haben die Dateien irgendwelche sinnvollen Namen? Kann ich vielleicht hier mal die ersten 2 Zeilen lesen, dann halt zu sagen, okay, ich habe jetzt zusammenfassend rausgefunden, wahrscheinlich sind diese 5 PDFs relevant und in denen mach ich jetzt mal eine weitere Suche oder lese sie zur Not vielleicht auch ganz, je nachdem, wie viel Seiten sie haben. Und dann, nachdem er ja die 1000000 Kontext hat, kriegt er dadurch dann deine Frage auch Mhm. Wahrscheinlich deutlich besser beantwortet als ein Raag System. Ja.
Speaker0: Was man da auch jetzt ja grad im Reflektieren durch den Kopf gegangen ist, Am Anfang waren ja die Modelle rein textbasiert. Mhm. Dann gab's doch auch diesen Multimodalitätshype, also dass die Modelle nicht nur Text, sondern auch mit Bildern umgehen konnten. Ja, und dann auch Wie Video Video und so weiter, ja. Aber aber irgendwie zeichnet sich ja da jetzt wieder sone Spezialisierung ab. Also was ich auch krass finde, dass es ganz dedizierte Modelle für die Voice in, Voice out Agenten gibt. Und also das, wenn Du bei ChatGPT in der App ja den Voice Agent anschaltest, dann ist das 'n von der kognitiven Leistung deutlich dümmeres Modell als das textbasierte Modell. Ja. Und auch die Bild- und Videogeneratoren sind ja immer noch. Also es gibt, wenn Du bei ChatGPT 'n Bild generierst, ein GPT Image 1 Modell, das kriegt nach wie vor eine prompt. Image 2 mittlerweile. Oder Image 2, ja, richtig, richtig. Ja. Aber es ist ist halt nicht diese große Unification Nee. Der Modelle hier. Die nur wirklich
Speaker1: beim Bild Input. Ja, ja, genau. Hat sie nicht durchgesetzt. Das Wie wissen's denn, ja? Dass fast alle Modelle mittlerweile Bilder quasi nativ Ja. Ich sag jetzt mal ganz technisch verwursten.
Speaker0: Aber auch nicht mehr Ton.
Speaker1: Ja, Ton. Bis bei den bei den separaten Modellen. Ja, genau. Oder es wird halt transkribiert, aber das ist ja genau dieses. Nee, nee, das zählt nicht. Das ist ja wie wenn Du ein Bild quasi erst mal Jetzt eine Beschreibung übersetzt und dann Ja, genau. Dann nimmst. Das würde, also vielleicht, dass dass dass für unsere Zuhörer auch der Unterschied dann klar ist zwischen dem nativen Einbinden 1 Bildes und dem und dem dem damaligen, wo quasi dann eine Beschreibung draus generiert wurde, ist, wenn Du wenn ich dir sag, wenn ich dir 'n Foto gebe und dir sagt, beschreibe dieses Foto in 500 Worten, dann kannst Du Theo bestimmt das schön beschreiben. Aber wenn ich dann später sage, ich möchte anhand dieser 500 Worte wissen, wie viel oder welche Farbe hatten denn die Linien auf Theos Wasserglas? Mhm. Na, wie welche wie hoch ist jetzt die Chance, dass das oft in deiner Beschreibung drin ist? Ja. So, das heißt, in dem Moment, wo Du diesen diesen diesen diesen Disconnect hast, dass da erst mal eine Übersetzung stattfindet von Bild in Worten, hast Du keine Chance mehr, später was noch auszuziehen, was vorher gefehlt hat. Und bei denen, wo das Bild direkt drin ist, wie es jetzt heute eigentlich der Standard ist, da geht das schon. Da kannst Du das Modell unterschiedlich prompten mit dem gleich mit dem mit dem gleichen eingebetteten Bild und das kann sich dann unterschiedlich fokussieren. Mhm. Häufig kann's nicht alles gleichzeitig. Also wenn Du jetzt sagst, beschreib mir alle diese Sachen anhand des Bildes, dann beginnt es Details zu übersehen. Aber wenn Du sie einzeln auffecherst und einzelne Prompts, dann sind sie alle akkurat. Das heißt, das ist nicht eine einmalige Einbettung durch Worte, sondern das ist halt so wie der restliche Kontext
Speaker0: Mhm. Einfach
Speaker1: eingebettet und wird entsprechend der Aufmerksamkeit dann halt prozessiert. Und was interessant sich das interessant ist, dass sich das durchgesetzt hat, Video ist im Moment eigentlich nicht wirklich eingebunden. Nee, es sind separate Modelle. Ja, oder halt, also bei so Modellen wie Jaminary und auch GPT. Mein letzter Stand ist, das Video wird in Frames zerlegt, 1 pro Sekunde. Oder nee, bis zu unterschiedliche Strategien. Aber ich glaub, es war 1 pro Sekunde, 5 pro Sekunde maximal. Hast Du, Du meinst beim Input, ja. Mhm. Und das Audio in 'n Transkript und das ist dann, was das Modell quasi sieht. Es sieht die Bilder plus das Transkript des Videos, aber nicht das eigentliche Bewegtbild, so wie es jetzt das das das natives Embedding gäbe des des Videos in den in den Kontext des Modells. Das passiert dann nicht. Und bei Ton müsst ich mich jetzt noch mal einlesen, wie genau die wirklichen nativen Speech to Speech Modelle funktionieren, aber meines Wissens nach tun die das schon, sind aber spezialisierte Modelle. Ja, genau. Also ein Germany Life, der dem kannst Du sagen, da kann ich sagen, Theo, tu das bitte. Mhm. Oder Theo, tu das bitte. Und der kann Und der kann den Unterschied, ja. Wo wo hab ich wie geklungen? Mhm. Das kann der dann unterscheiden. Also der arbeitet nicht nur mit dem Transkript.
Speaker0: Ja. Ich find's vor allem krass, dass so jemand wie OpenAI sich auch ablenken lässt oder dass das für die Ablenkung ist. Die haben mir Zora zumindest mal auf Pause gesetzt, was mich total überrascht hat, ja, dass dass selbst 'n Konzern wie OpenAI den Fokus braucht auf die reine Modellpalette und und und das quasi die die die so defokussiert, dass dann am Ende die Performance von den von den Zugpferden einfach hinter zum Beispiel Klo zurückfällt. Ja. Ist erstaunlich.
Speaker1: Wie ging's denn dir überhaupt mit dem Wann war das Release von GPT 5?
Speaker0: Das ist jetzt Ich bin da schlecht, aber Ich auch. Dreivierteljahr. Vielleicht so eine Ist schon ist schon wieder eine Zeit her, ja.
Speaker1: Also ich kann mich noch erinnern, wir hatten da doch 'n Meet-up an dem Tag, wo wir alle wussten, so in 2, 3 Stunden wird ist die PK dann in den USA, wo das vorgestellt wird. Mhm. Und da haben wir uns überlegt, na okay, sperren wir morgen zu oder oder sind wir alle arbeitslos oder was passiert morgen? Ja. Und dann haben wir doch, wir waren GPT 5 bisschen ausprobiert und dann, ich glaube, 3 Monate uns nicht bemüßigt gesehen, Jepis 5 überhaupt in Halerium zu integrieren. Mhm. Also das war doch 1 der größten
Speaker0: Da ging für mich die Kurve in die Asymptote.
Speaker1: Genau, in die Sättigung, ne. Ja, ja, ja. Und das Lustige ist, dass dieses, dass der ganze gefühlte Hype Claude Coat danach kam. Ja. Also irgendwie kam man in die Asymptote, aber gleichzeitig in den Produktivitätszuwachs, zumindest beim Coding. Also würdest Du würdest Du das verallgemeinern? Würdest Du unterschreiben, dass sagen, die Modelle flachen eigentlich in die Intelligenz grade, also da kommen wir in den in die asentotische Entwicklung, das heißt nicht mehr jeden jedes Jahr doppelt so intelligent, sondern halt nur noch son bisschen besser. Aber die Anwendungsfälle, wo die Produktivitätsgewinne ja wirklich entstehen, die stehen gerade erst am Anfang. Und beim Coding haben wir jetzt den ersten erlebt, wo der Durchbruch kam nicht aufgrund von fundamental besserer Intelligenz in den Modellen, sondern von leichten Tweets in den Modellen, wie was wir vorhin ausgebreitet haben mit diesen kleinen Strategien, wie man mit Dateien umgehen soll, plus Integration in Programmiergebungen et cetera. Also sie siehst Du das auch so? Die Modelle werden sind jetzt eigentlich fertig und jetzt geht's darum, sie in verschiedenste Anwendungen reinzukriegen?
Speaker0: Mhm, würde ich mitgehen. Und ein Indiz dafür ist, denk ich auch, jetzt während wir das aufnehmen, ist Fable immer noch gesperrt. Ja. Das ist das neueste Modell von den Tropic. Und ich hab das ja auch direkt dann getestet, als es rauskam. Genau, die 2 Wochen, bis Trump gesagt hat, theo spezifisch. Genau, dem geben wir's jetzt
Speaker1: nicht mehr.
Speaker0: Nee, aber aber ich vermiss es auch nicht. Ich ich ich fand das tatsächlich auch eher hinderlich, weil es sozusagen noch dicker gegenüber dem schon fetten Opus dann war. Und diese Integrationskomponente, die wird, glaub ich, sehr, sehr, sehr, sehr stark übersehen. Nehmen wir mal das Beispiel Präsentationen bauen. So jemand wie Microsoft schafft's ja bis heute nicht, eine gute KI Schnittstelle zu PowerPoint zu bauen. Und ich mach das auch daran fest, wenn Du jetzt heute jemanden, der wirklich als Senior Software Developer sich mal ernsthaft auf KI getriebenes Coding eingelassen hat. Die Leute werden süchtig danach, die wollen nicht mehr zurück. Das sind wir bei unseren eigenen Leuten, das sind wir bei unseren Kunden. Und ich kenne keinen einzigen oder keine einzige, deren Aufgabe ist, ist Präsentationen zu bauen, die sagt, ich bin süchtig danach, Präsentationen mit KI zu bauen. Das ist immer noch 'n massiver Schmerz. Mhm. Und eine Ausprägung, die die mach ich bei uns in der Firma fest. Ich hab ja mit Halerium unser eigenes Design Framework Framework und eine eigene Designplattform gebaut, also im Wesentlichen ja Powerpoint nachgebaut. Ja. Es ist nicht perfekt, okay, aber auf einen verlängertes Wochenende Arbeit mit den Coding Agents ein komplettes Design System zu bauen. Da sind wir wieder bei dem Fakt, ne, wie schnell man mit KI eine Softwareapplikation baut. Und die Idee war, dass wir nicht unbedingt jetzt schönere Slides haben, sondern dass dieses Iram Design System, die Web App, die hat halt einfach von Sekunde 0 weg für KI gedachte Interfaces. Mhm. Dass sich 'n Agent die die die Bausteine der Slides so zusammenstecken kann, wie er's versteht, nämlich über reduzierten HTML Code, was auch sehr tokeneffizient dann am Ende ist. Der kann sich über dedizierte Schnittstellen die Screenshots ziehen. Das Ding ist für die KI gebaut. Ja. Und der Mensch, der hat dann auch noch ja eine bekommen und so weiter. Damit er nicht traurig ist. Damit er nicht traurig ist. Und ja, so dann mit mit dem und so, aber das ist für mich so der große Unterschied. Also genau wie Du sagst, ne, die Modelle, die sind schlau genug, aber die kommen nicht an die an die Dinge ran. Ja,
Speaker1: spezifisch bei Powerpoint und und Also bei Word ist nicht ganz so schlimm, aber bei Powerpoint vor allem, da ich meine, der Auslöser, warum der das gemacht hat, ist doch, dass wir festgestellt haben, wir haben's ja mehrfach probiert und gedacht, hey, warum gibt's das noch nicht? Dass wir ein Agent mit Funktion ausgestattet haben, damit der PowerPoint Slides umbauen kann und so weiter. Fucking nervig, ja? Wir haben, ich meine, das Beste, was wir dann hingekriegt haben, was wirklich stabil war, war der der letztendlich nur die Texte übersetzt Stimmt, der Übersetzer, genau. Über Beibehaltung der Formatierungen und so weiter. Und schon extrem schwer mit Python PowerPoint Slides auf der Ebene dann sauber anzufassen und so weiter, weil das Format total unfreundlich dafür ist. Und dann hatten doch die Ersten in der Firma so probiert, ja, ich sag jetzt einfach mal den Bot, ich brauch eine Slide. Und irgendwann war irgend 'n Bot, der hat halt gesagt, okay, ist okay, wenn ich dir keine Powerpoint baue, sondern eine HTML Slide. Ja, mach halt und dann boom, HTML Slide. Aufm ersten Versuch sieht zehnmal besser aus als alle Powerpoint Ergebnisse. Das war ja so der Auslöser, dass HTML, Codeformat, ja, wie Du sagst, viel Tokens dann und das hast Du dann ja effizienter gemacht. Aber also für alle da draußen, die sich per KI Slides bauen lassen wollt, probiert einfach mal aus, sag dem, er baut mir eine HTML.
Speaker0: Ja, das ist ja, wenn Du von Manus dir eine 'n bauen lässt, die die die schreiben ja im Hintergrund HTML Konvertieren 'n PDF, oder? Genau, zeigen's erst mal live in der Preview, rendern die im Browser. Und wenn Du auf exportieren klickst, dann übersetzen die das HTML entweder eben 'n PDF mit Playrrite oder oder halt dann doch auch wieder Richtung Power oder halt dann doch auch wieder Richtung Powerpoint, aber nicht
Speaker1: pixelgenau. Genau. Und Und das ist aber sauteuer. Aber dieses Erstellen von HTML einfach, das das funktioniert dann einfach out of the box, also
Speaker0: Wenn wenn Du wenn Du eine 'n Abo benutzt, ne, wo die Token inkludiert sind, weil ich ich hab das Ding ja eingefangen bei uns in der Firma, weil 1 lightday, einfach mal, wenn wir's dem Kunden in Rechnung hätten stellen müssen, hätte 2000 Euro gekostet.
Speaker1: Ja, aber aber es geht, ne. Also Es geht, ja. Das ist das ja, das ist das ist das ist der spannende Teil. Und dadurch, dass ja die KI jetzt überall so reinkommt und im Moment es ja auch noch viele Abomodelle gibt, die subventioniert sind, werden einfach gewisse Formate, glaub ich, verdrängt. Ne, genauso, was Du ja auch angerissen hast, Legacy Software und so weiter, ist teilweise jetzt, ist der Maintenance Aufwand höher, als es von der KI neu schreiben zu lassen, zumindest in manchen Bereichen.
Speaker0: Und son bisschen kommt's mir jetzt so mit so was wie mit PowerPoint vor, ja. Ja. Bezüglich Legacy Software, ich mach jetzt mal 'n Markus Lanz, da müssen wir meine eigene Folge aufnehmen.
Speaker1: Okay, bis dahin lasse ich mir, was muss ich mir dann die Haare vom Brechen Brecht? Ja. Wachsen lassen. Challenge accepted. Mhm. Ja, aber das fand ich zumindest sehr spannend, dass da einfach, gibt einfach nativ KI freundlichere Formate in bei HTML versus Powerpoint per Zufall vielleicht. Und Mhm. Dann existiert automatisch der Drift dahin. Ja, richtig, richtig.
Speaker0: Ich hab noch 'n Punkt, der anders ist als früher noch. Man muss dir ja total aufpassen, wie man die Dinge schreibt. Erinnerst Du dich an diese, wenn Du 'n Komma vergessen hast und damit aus Versehen die Grammatik sich halt formal verschoben hat und dich das Modell einfach total falsch verstanden hat? So im Sinne von wir essen jetzt Opa. Mhm. Die Zeiten sind ja eigentlich vorbei oder? Hattest Du in der letzten Zeit noch so was? Nee, also dass ich dass mich 'n Modell wirklich missverstanden
Speaker1: hat, eigentlich nicht. Also die Mhm. Machen mir deutlich weniger Gedanken meine Prompts. Das ging vielleicht aber auch Hand in Hand. Also was ja früher immer wahnsinnig wichtig war, es ist immer noch wichtig, aber nicht mehr aufwendig, war System Prompts, also die Verhaltensprompt, wenn Du einen Chatbot definiert hattest. Ja. War ich damals eigentlich immer ganz gut drin, wie das son Skill, den heute keinen mehr braucht. Weil die System Prompts sind immer noch superwichtig, aber die schreibt dir mittlerweile eine LLM halt supergut auf Basis deiner losen Prompt und vielleicht 'nem bisschen Noch Content Back and For. Ja, genau, genau. Schreibt er dir. Also der 1., wo ich fand, das ging richtig gut, war Gemini 3 1. Der hat plötzlich geschrieben. Der sagt, ja, genau so. Und dann hat sich das auch dümmere Modell dann super daran gehalten. Und Claude Sonet und vor allem zumindest Opos und so was kriegen das auch gut hin.
Speaker0: Bei denen da halt überall Emojis rein. Ja, das stimmt.
Speaker1: Aber ich mein jetzt die Systemprom zwischendrin. Ja, ja, ja, ja. Bei GPT 5 5 muss ich noch ausprobieren, aber jedenfalls, also System prompts mittlerweile, damals hat man die halt selber geschrieben und dann waren sie halt mal besser, mal schlechter, je nachdem, wie viel müde Du die gegeben hast. Und mittlerweile sind die ja eigentlich immer immer gut, weil also ich geh dann immer eigentlich so vor, ich sag dem Modell, was ich will oder häufig sogar so, ich hab bereits 'n Bot, der etwas Verwandtes macht. Mhm. Dann gebe ich die alte Liste als Referenz, hab mit dem Verhalten war ich eigentlich zufrieden, aber ich möchte jetzt den vielleicht statt für für diesen Anwendungsfall, für jenen Anwendungsfall. Oder mir fehlt noch das und das. Oder hier ist eine Beispielkonversation, wo's schlecht lief. Mhm. Und dann kriege ich 'n Update. Ja, ich lese es dann noch gegen, dass sich nicht 'n Missverständnis eingeschummelt hat, aber es sei eigentlich immer dann die Systemprom so geschrieben, wie's halt ein LLM braucht und versteht. Wahrscheinlich, weil seit der Entstehung von ChatGPT halt auch so Physiciston Prompts. Da weißt Du noch, diese ganzen prompt Bibeln, da hat da hatten wir doch mal Die Cheatsheets.
Speaker0: Die besten 200 Prompts, die man immer auswendig lernen sollte. Ja, das hab ich ehrlich gesagt nie so ganz verstanden, was da der Sinn sein soll. Das ist der Klassiker Speicher noch nie wieder angucken.
Speaker1: Weißt Du noch, aber war bei der Präsentation, da wurde son auch son Rappingtool vorgestellt, was so megageil war, aber Du musst nur was Slash oder Kaufmanns und eingeben. Und dann hattest Du quasi son Autokompete mit dem Zugang zu Tausenden Prompts. Das ist doch entweder, also dann dann fragt, dann ist doch quasi eher so Ja. Ich hab das nie verstanden, warum ich mir prompts Also ganz am Anfang, wo es schwierig war, die Dinge, die Bots dazu zu kriegen, was ich tun will. Aber wenn ich danach suchen kann nach 1 prompt, die das beschreibt, was ich will, dann kann ich, da hätt ich doch auch diesen diese Suche auch direkt in den Chat eintippen können. Also das ging schon 23 23, dass ich dann sagen könnte, ich möchte gern das und das, stelle vielleicht Rückfragen. Mhm. Also das war schon immer son bisschen Augenwischerei außer dem ersten Halbjahr, oder? Oder tue ich den jetzt unrecht, diesen prompt?
Speaker0: Also ich seh, dass die Prompt Sammlungen, außer Du bist 'n wirklicher Designer für Prompts, also ein prompt Engineer im besten und ursprünglich Aber der schreibt doch dann System prompts, oder? Der schreibt System prompts. Bei System prompts? Oder wenn Du 'n prompt tree, wie jetzt das bei bei bei Na, Agenten. Subagenten, Halyrium, da kommt's ja wirklich auf die Prompt auch an. Weil Du ja maximal ja die Produzierbarkeit haben möchtest. Das sind so diese ETL Pipelines und also so quasi, wo Du einen vorgefertigten Prozess
Speaker1: wiederholungsgenau abbilden willst. Ja, da sind die einzelnen Prompts wichtig, aber auch die ziehst Du dir doch aus keiner.
Speaker0: Nö. Schreibst Du halt sorgfältig für diesen Anwendungsfall. Ja. Also der Mehrwert Der lass mich halt ich lass mich halt inspirieren höchstens. Ja. Dass sie mal schauen, okay, wie wie würden's denn andere machen? Ja. Aber so als produktives Nachschlagewerk wie numerical recipes in sea, ja, wo der wirklich dann auch nachguckst als Profi, Ich nutz es überhaupt nicht. Genau, also bei
Speaker1: hab ich's eigentlich auch nie benutzt, aber da kann ich zumindest verstehen, weil's ja, sag ich mal, keine Ahnung, Du möchtest 'n Umfrage Bot haben. Mhm. Dann ist es natürlich schon interessant, dass Du dann siehst, wie Kalender Assistystem prompt sozusagen dieser Entscheidungsbaum 1 Umfrage oder so was Ja. So abgebildet werden, dass sich den Bot daran auch hält. Veraff. Mhm. Aber die die die Demos, wo ich das gesehen hab, waren ja häufig für die Prompts im User Input. Ja. Und da hab ich, ehrlich gesagt, auch 20 23 den Mehrwert nicht verstanden. Ja, Du warst. Na ja, so schickt mir gerne Angry Letters und da gefällt mir, warum ich blöd bin. Ich möcht dir das dazulernen und aber von wem wäre dieser Spruch? Wenn Du was lernen willst, dann dann dann dann sorgt dafür, dass andere dich korrigieren und oder irgendwie so was gab's. Also jedenfalls sehr gerne, aber ich hab immer das Gefühl gehabt, wo es es vielleicht 'n bisschen gab und 'n bisschen Mehrwert hatte. Hab's dabei, ich hab wenig mit mit so Bildgenerierungen gemacht, aber so die Promts für Stable Diffusion und so was, hatten die einen Mehrwert, die prompt Libraries?
Speaker0: Ja, durchaus damals, weil die Architektur damals noch so war, dass Du deine prompt sozusagen direkt an den algorithmischen Bildgenerator geben musst. Also vor GPT Image 1 und und von so. Und da kam ja dann mit GPT Image 1 und den Black Forest Lab Modellen und so weiter und so fort, Sundance das im Image Tenored Genau. Modell mit dazu, dass dass der erst mal deine prompt glatt zieht und das dann an das Diffusionsmodell weitergibt.
Speaker1: Genau. Ja. Damals hatten wir doch auch noch so das Damals hatten wir noch mal son Snippet, das GPT 4. Mhm. Dem sagst Du, was Du haben willst fürn Bild und der dann quasi eine 1 perfekte
Speaker0: Stable Diffusion oder DALI prompt dazu schreibt. Genau. Und das ist aber auch für mich symbolhaft für das, was passiert. Dieser Step, ja, dass quasi das eine Modell, 'n reines Sprachmodell, den Userintent versteht, das übersetzt in das, was der Imagegenerator braucht, dass desinternalisiert wurde, ist im Wesentlichen ja das Gleiche wie das, was man früher per Hand gemacht hatte mit oder quasi die Prompts per Hand kuratieren, dass jetzt die Modelle einfach von sich aus machen und sich von sich aus erst mal überlegen im inneren Monolog, ey, okay, wie sollte ich da eigentlich vorgehen? Sich 'n Plan zurechtlegen, den immer noch im Monolog exekutieren und dann die die die Userantwort
Speaker1: geben. Ist auch neu seit 23, oder? Gab's schon 23 das?
Speaker0: Ich ich hab's nicht genau am Schirm, aber ich glaub, nein. Aber wollen wir mal ganz kurz erklären, was Mhm. Die von
Speaker1: Modellen ist?
Speaker0: Gerne. Ich bezeichne es immer als innerer Monolog. Genau. Ich weiß nicht, wie wie würdest Du beschreiben?
Speaker1: Also vielleicht noch mal noch mal quasi so insgesamt ein Large Language Modell hat keine Hintergedanken in dem Sinne oder denkt kann nicht denken, bevor es spricht. Also alles, das war früher zum Beispiel so bei konnte man bei 'nem GPT-vier oder so was noch deutliche Qualitätsunterschiede bei 1 Aufgabe erreichen, einfach indem man gesagt hat, denke laut Schritt für Schritt. Mhm. Also es gab zum, er sollte zum Beispiel, ich weiß nicht, fällt mir grad kein gutes Beispiel hin, aber er sollte irgendwas tun, was vielleicht sone mehr, was 'n vielleicht 'n Funktionsaufruf ist, der intern so 3, 4 Schritte braucht, damit er funktioniert. Mein Waschanlagenbeispiel,
Speaker0: das ist immer noch son Bitte.
Speaker1: Ja, wenn Du dem also auch den Modellen heute dieses logische Problem der, soll ich zur Waschanlage gehen oder fahren? Ja, ja. Ja, da musst Du ihm nach wie vor Okay, aber was ich meine ist, ja, also was ich meine ist einfach, wenn Du ihm per prompt angewiesen hast, tun, gib mir nicht gleich das Ergebnis, sondern brich meine Aufgabe erst mal runter. Mhm. Dann hat er ja angefangen zu zu zu antworten mit ah ja, okay, also die Aufgabe beinhaltet Schritt 1, Schritt 2, Schritt 3, Schritt 4, okay, jetzt tue ich es und dann tut er es. Mhm. Und das hast Du dann halt alles gesehen. Und das hat die Qualität verbessert gegenüber, tue es direkt. Ja. Weil ein Large Language Modell eigentlich nicht nachdenken kann, sondern jede neue Silbe wird generiert aus dieser Wahrscheinlichkeitsmaschine auf Basis aller Silben im Kontext. Und im Kontext ist das ist die Vergangenheit des Chatverlaufs und die Userprompt und alle bisher getippten Silben von LLM. Das heißt, mit der mit seiner Antwort gestaltet sich ja das Large Language Modell seinen Kontext selber. Das heißt, nicht alles, was das dann macht, ist, so wie vorher beschrieben letztendlich mit der Denkelaut nach, bevor Du antwortest prompt, ist dem LLM die Möglichkeit zu geben, diesen selbst für sich noch mal kuratierten Kontext, der letztendlich seine einzige Möglichkeit ist zu denken, darzustellen, den aber nicht dem User zu zeigen, sondern den entweder ganz verschwinden zu lassen oder wie's in manche Chat Bots ja machen, dass man das wie so verschwindend vorbeiziehen sieht und nachher ist es weg. Und dann halt aus der aus dem persistenten Kontext, also dem Teil, der dann quasi auch dein deine Kosten und die Aufmerksamkeit des LLMs halt verwässert oder oder erhöht, halt wieder rauszunehmen. Das heißt, dieses Reasoning ist einfach dieses Runterbrechen der Aufgabe. Und nach dem Runterbrechen und dem Erfüllen der Aufgabe wird dieser Teil dann wieder rausgelöscht. Das wird einfach gemacht mit so kleinen Markierungen, die dann halt entweder dem User gezeigt werden können oder nicht. Aber das heißt, das ist einfach nur dieses Einbauen dieser Denke erst mal laut nach, bevor Du dann die eigentliche User prompt beantwortest
Speaker0: und markiere halt, wann dein Lautdenken anfängt und aufhört. Ja, ja. Man kann ja auch relativ einfach aus einem Modell ein Modell machen, indem man dem eine Funktion in die Hand drückt, wo er sich einfach nur mit Input rein auskotzen kann. Genau. Und die Funktion macht dann am Ende nichts. Genau. Das Einzige, was Du dann machen müsstest, wär, dass diese Funktion bei Follow-up Prompt Zeit dann nicht mehr mit eingelesen wird.
Speaker1: Und dann hattest Du dein Riesending Modell selber gebaut. Ja.
Speaker0: Maxim, vielen Dank. Ich fand's total spannend, heut mal zu rekapitulieren, was sich so die letzten, ja, eineinhalb, 2 Jahre getan hat. Ja, die eineinhalb Jahrtausende in LLM Zeiten. Ja, genau. Ich find den Punkt von vorhin sehr, sehr spannend bezüglich der Legacy Software Stacks und was sich da getan hat. Lass uns da bei der nächsten Episode mit reinsteigen. Ja.
Speaker1: Jetzt besondere mal dann dahinter steigen, was steckt hinter dem Zitat?
Speaker0: Ah ja. Danke dir. Bis nächstes Mal. Danke dir. Bis nächstes Mal.