Wo GenAI heute steht – dreieinhalb Jahre im Reality-Check

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
Overview
In this episode, Erium co-founders Theo Steininger and Maksim Greiner reunite after roughly a year and a half for an in-depth reality check: Where does Generative AI stand today, what has genuinely changed since late 2023, and where are the models still falling short? The conversation blends technical depth with practical, everyday observations drawn from client projects and their own product development.
Summary
Model strengths and weaknesses: Why coding is booming but requirements engineering is not
Maksim opens the conversation with a fascinating observation: current models - most notably Anthropic's Claude family - have become so capable at programming that even experienced human developers can barely keep up. At the same time, those very same models struggle with seemingly simpler tasks such as requirements engineering or writing compelling presentations.
The quality and structure of training data is offered as an explanation: for code, there are vast, clearly evaluable datasets (e.g. GitHub with star rankings), whereas for 'soft' tasks like presentation design neither sufficient data nor scalable, automatable evaluation methods exist. Reinforcement learning through trial and error works brilliantly for code - but success is far harder to measure for a persuasive line of argument.
Theo adds a striking counterexample: the simple logic problem of whether one should drive or walk to a car wash 100 metres away still reliably trips up the models - while Claude Code builds entire web applications from scratch.
The coding breakthrough: Agentic workflows and small but decisive differences in strategy
A central theme is the qualitative leap towards agentic working. Earlier models such as GPT-4o could in principle handle many tasks, but had to be nudged into helpful strategies through explicit prompting - for example 'read the file 20 lines at a time' or 'use string replacement instead of rewriting the whole file'. Current models, especially Claude, apply such strategies proactively and independently.
These seemingly minor differences accumulate significantly: when the error rate per step drops even slightly in an agentic loop with many successive function calls, the overall impact is enormous. The term 'agentic loop' is also explained clearly for listeners: the model independently executes iteration after iteration - writing text, making a function call, evaluating the result, planning the next step - without requiring human intervention after each step.
At the same time, the cost dimension is highlighted: an agentic loop can quickly cost a thousand times as much as a single prompt. On projects where a single prompt can already cost 50 euros, this is a very real practical concern.
Context windows, RAG, and the end of 'chat with PDF' startups
The conversation also looks back at the evolution of context windows: from an original 4,000 tokens, through 8,000 and 32,000, up to one million tokens today. This development has rendered entire business models obsolete - most notably the numerous 'chat with PDF' startups that relied on Retrieval-Augmented Generation (RAG). Maksim explains clearly how RAG worked: documents were split into chunks, each chunk was embedded into a high-dimensional vector, and when a query came in, only the semantically most similar chunks were passed to the model.
This approach has been displaced by a combination of two factors: first, the massively expanded context windows that allow entire documents to be read in directly, and second, the agentic capabilities of modern models, which can navigate documents independently and purposefully. On top of that, ChatGPT itself integrated native PDF processing - eliminating the added value of wrapper startups.
Multimodality: Images yes, video and audio not yet truly native
Theo's observation on multimodality: while image input is now natively integrated in almost all major models - the image is embedded directly into the context rather than first being translated into words - the same does not yet apply to video and audio to the same degree. Video is typically broken down into frames (one to five per second) and the audio is passed along as a transcript, which entails fundamental information loss. Native speech-to-speech models do exist, but they are specialised, separate models with considerably lower cognitive performance.
A concrete example illustrates the difference between native image input and a preceding image description: when a description is first generated in words, detailed information is irretrievably lost - unlike when the image is embedded directly into the model context.
GPT-5 approaching the asymptote: Model maturity meets integration gaps
A notable conclusion in the conversation: GPT-5 was perceived by both as rather disappointing - so much so that Erium did not integrate the model into Halerium for three months. The real productivity leap came afterwards with Claude Code. The thesis: the baseline intelligence of models is approaching an asymptote, and the decisive lever now lies in integration into concrete application domains.
The contrast between AI-driven coding and AI-driven presentation building serves as an example. While developers who have genuinely embraced AI-assisted coding can barely imagine going back, neither Theo nor Maksim knows anyone who is enthusiastic about AI-assisted presentations. The cause is not the intelligence of the models but the lack of AI-friendliness in the underlying formats: PowerPoint is simply difficult to handle programmatically. HTML, by contrast, is inherently token-efficient and AI-friendly - a fact that Theo has consistently exploited with the internal Halerium design system.
Reasoning, prompt engineering, and the changing way we work
The conversation also touches on how the demands placed on prompts have changed. In the past, models had to be 'trained' with precise formulations and commas in exactly the right place to produce correct results. Today, models understand intended meaning far more robustly. Writing system prompts - once a specialist discipline in its own right - has also been largely automated by the models themselves: you describe loosely what you want, and the model drafts the system prompt.
Particular attention is given to explaining the reasoning approach: since large language models do not 'think before they speak' but instead generate each token deterministically from the existing context, so-called reasoning is technically nothing more than controlled thinking out loud - the model output is marked up so that an inner monologue can emerge, which is subsequently deleted from the persistent context, thereby improving the quality of the response without permanently burdening context efficiency or cost.
Key takeaways
- AI models are now so capable at coding that even senior developers can barely keep up - while soft tasks such as requirements engineering or compelling presentations remain as laborious as ever.
- The quality leap in coding did not come primarily from fundamental gains in intelligence, but from agentic behaviour: models like Claude navigate files independently, correct errors, and proactively apply the right strategies.
- Agentic loops are powerful, but can quickly cost a thousand times as much as a single prompt - cost management is a central concern in productive deployment.
- The growth of context windows and agentic capabilities have rendered RAG-based startups largely obsolete.
- The baseline intelligence of models is approaching an asymptote - the decisive competitive advantage now lies in deep integration into concrete application domains and AI-friendly formats.
- HTML is inherently more AI-friendly than PowerPoint: a model generating HTML slides delivers better results straight away than after lengthy attempts at PowerPoint automation.
- Reasoning is technically controlled thinking out loud: the model writes an inner monologue that improves quality, but is then deleted from the context.
- Prompt libraries and prompt cheat sheets had little real value outside of image generators with algorithmic diffusion models - and even that use case has been superseded by integrated prompt translators.
Conclusion
The reality check shows: Generative AI has made enormous progress in three and a half years, but in surprising ways. It is not universal superintelligence that has arrived, but rather a combination of greatly improved agentic capabilities, expanded context windows, and better integration - which together produce a productivity leap in certain domains such as software coding that is now hard to imagine doing without. The next frontier is not a smarter model, but the clever embedding of AI into AI-friendly processes and formats.
For executives and decision-makers
The models are 'good enough' for many use cases today - the bottleneck lies in integration. Those who invest now in AI-friendly workflows and formats will gain a lasting competitive advantage.
For software developers and technical teams
Agentic coding with tools like Claude Code is no longer hype but lived practice - those who genuinely embrace it do not want to go back. At the same time, it is worth keeping a close eye on the cost dynamics of agentic loops.
For those interested in AI without a technical background
This episode provides accessible explanations of key concepts such as agentic loops, reasoning, RAG, and context windows - and uses concrete examples to show where AI is genuinely strong today and where it still stumbles systematically.
Show full transcript
Speaker0: Herzlich willkommen bei The Erian Podcast. Nein, herzlich willkommen bei Beyond AI. Mein Name ist Theo Steininger und ich freue mich sehr, heute wieder mal eine Folge mit Maxim Greiner aufzunehmen. Ja, wie lang ist unsere letzte gemeinsame Folge jetzt her? Die letzte haben wir aufgenommen Ende November 2023.
Speaker1: Boah, also in AI Jahren vor 17000 Äonen. Äonen,
Speaker0: ja, richtig. Maxim, wie geht's dir? Gut. Und dir? Ja, viel zu tun momentan. Ja. Können wir können wir nachher noch tiefer einsteigen. Aber insgesamt sehr gut, ja.
Speaker1: Ja, wann hast Du gesagt? Ende 23.
Speaker0: Mhm.
Speaker1: Also ChatGPT kam raus oder wurde Anfang 22, richtig? Ja,
Speaker0: November
Speaker1: Oder was Ende 21? Ein Jahr zuvor kam komm GPT 3 Punkt 5 raus, wenn ich mich richtig Also Ende 22. Ja. Ich krieg's auch nicht mehr genau zusammen. Aber okay, das heißt, damals waren wir grad mal son Jahr
Speaker0: In der Bank. Gen AI
Speaker1: Thema so so tief drin, ja. Kannst Du dich noch erinnern, wogegen man damals, also wie man damals die Modelle immer getreten hat und wir haben ja damals, glaube ich, wir haben ja extrem viel über Prompt Engineering gesprochen. Wie musst Du die Dinge formulieren, damit dass GPT das tut, was Du von ihm erwartest. Ja, das ist jetzt also dann ja zweieinhalb Jahre her. Ja.
Speaker0: Ich würd dann nachher gerne gemeinsam mit dir noch mal tiefer einsteigen, Ja. Was sich seitdem getan hat. Bevor wir das tun, was geht 'n dir momentan so durch 'n Kopf? Ah,
Speaker1: also momentan finde ich's faszinierend, dass Also es haben sich ja viele da draußen mitbekommen, grad die Anthropic Modelle, die also Claude, Code und so weiter, wie gut die im Programmieren sind, wo man sich denkt, okay, wow, das ist ja jetzt echt so, da komme ich auch als menschlicher Entwickler mit Erfahrung teilweise dann kaum noch hinterher. Und dann gibt's aber die anderen Sachen, da sind sie immer noch so dumm wie vor 3 Jahren. Weißt Du, was ich mein? Also so irgendwelche, wo es so mehr weichere Themen geht, so quasi auch zum Beispiel Requirements Engineering finde ich immer noch ziemlich mühsam mit KI im Vergleich. Also dass Dinge gelöst scheinbar wurden und andere immer noch Also was was war schwierig, was war was war leicht für die KIs? Das das finde ich immer noch faszinierend und ist ja nicht so, also ist anders strukturiert als beim Menschen, sag ich mal. Weil wenig Menschen können komplexe Programme programmieren und dabei die Logik so nicht die ganze Zeit verhunzen oder allein die Syntax und so weiter. Und das machen die KIs mittlerweile ganz gut. Und dann ja, aber schreibt man eine überzeugende Präsentation, die nicht Bullshit Bingo ist. Ja, ich find's ja krass.
Speaker0: Bei meinen Schulungsformaten, ich hab auch immer paar so Gimmickpromts im Gepäck. Und eine, auf die ja die Modelle alle reinfallen, ist dieses, Du musst dein Auto waschen, also ich ich möcht mein Auto waschen, die Waschanlage ist 100 Meter entfernt. Ja. Das sollte ich zu Fuß gehen oder mit dem Auto fahren. Und Du kriegst das echt sehr, sehr zuverlässig, auch mit Reasoning immer noch dann die Antwort, na ja, also am besten gehst Du halt zu Fuß, weil es besser für die Umwelt. Und wenn das Auto dann sauber ist, dann ist okay, wenn Du mit dem Auto nach Hause fährst.
Speaker1: Ah ja. Und
Speaker0: gleichzeitig, wie Du sagst, ne, stampft dir 'n Claude Code einfach mal eine komplette Webapplikation ausm Boden. Ist schon erstaunlich. Hast Du da eigentlich eine Idee, weil also mein Zugang zu Lodge Language Modellen ist es ja phänomenologisch einfach aus der täglichen Trial and Error, aber Weil aber fairerweise auch, ja. Aber was ist deine Frage? Kannst Du dir das erklären, woher das kommt? Also dass dass die Modelle auf der einen Seite in den einen Aufgaben so und bei den anderen, wo Du dir denkst, na ja, ist doch eigentlich auch nur quasi eine ja, eine assoziierte Logikkette, aber das wär ja eigentlich machbar. Liegt das irgendwie an den Trainingsdaten oder? Also ich Also kann's mir nicht wirklich erklären. Ich ich würde vermuten, dass es an den Trainingsdaten liegt, weil einfach also
Speaker1: 2 Sachen. Es gibt ja wahnsinnig viel Code, den Du abrufen kannst, wo auch irgendwie klar ist, warum ist der so, wie er ist. Mhm. Also quasi Du, wenn Du eine irgendwie den Code 1 App bei bei GitHub oder so was, dann ist auch irgendwie klar, warum ist dieser Code so wie er ist im Sinne aus der, dass auch die Businesslogik der App ja irgendwie verständlich ist. Wenn Du jetzt da draußen vielleicht so was hast wie eine Geschichte oder eine Präsentation, dann ist ja quasi der Inhalt, der texturinhalt und das Design ist ja dann quasi, wenn man so will, der Code, also das, was erzeugt werden können. Aber wo ist die Businesslogik? Warum wurde in der Präsentation diese Visualisierung gewählt? Warum wurde die als überzeugend genommen? Das ist mal das eine. Ich, wo wo kriegst Du diese Information her? Und und es ist auch nicht klar, welche Präsentationen sind überhaupt gut? Mhm. Weil Code gibt's ja dann zumindest bei den Open Source Repositories ja doch irgendwie so, ja. Wie viel Sterne hat das? Wie viel wurde das gefalkt und so weiter. Also ich glaub, dass Du da einfach leichter weißt, was ist gut, was ist schlecht? Und da betrete ich jetzt dünnes Eis, weil ich mich jetzt lang nicht mit irgendwelchen Papern auseinandergesetzt hab, das ist jetzt nur hörensagen. Aber das sozusagen dieses Learning im Sinne von, hey, gib dem Modell, lasst das dasselbe immer wieder neu versuchen und und, also verstärke die Versuche, die zum Ziel geführt haben. Also lass es quasi immer wieder trial and Error machen. Das funktioniert natürlich super mit Programmcode, weil Du kannst einfach sagen, hey, programmier das. Also hier ist deine Aufgabe, programmier es und nachher vergleichst Du den Code, wahrscheinlich wieder mit wahrscheinlich wieder mit KI, weil das 'n semantischer Vergleich sein muss, also im Sinne von, nicht ist jeder Buchstabe gleich, sondern hat der Code eine ähnliche Struktur, tut er dieselben Dinge. Das kannst Du ja dann vergleichen gegenüber einem Referenzcode. Also nehmen wir mal, programmier mir einen Code. Also nehmen wir mal, programmier mir einen Webshop, der T-Shirts von s bis x l in Farben blau, rot und grün vertreibt und der Check up Check out nur über Vorkasse macht oder so was. Ja, so, da kannst Du jetzt das Claudecode geben und der würde dir das einfach programmieren. Vielleicht würde er auch Rückfragen stellen, aber er könnt's einfach programmieren. Mhm. Und das kann ich ja wunderbar als Testaufgabe in soner Sandbox stellen, dass ich halt sage, na ja, ich hab diesen Webshop jetzt mal einen Senior Entwickler programmieren lassen und vielleicht noch 2, 3 andere Senior Entwickler. Da hab ich son bisschen son Spektrum an was was was ist denn gut? Und dann stelle ich dem noch quasi nicht veröffentlichten Modell dieser Aufgabe, hey, mach das mal. Dann sagt das Modell irgendwann, ich bin fertig. Und dann kannst Du es ja vergleichen, was hat der menschliche Code, der das nicht hat? Was wo ist es besser? Wo ist es schlechter? Und dann kannst Du dir quasi Daumen hoch, Daumen runter für die einzelnen Versuche und damit ja das Training so konvergieren darfst. Mhm. Weil Du immer wieder resetten und neu starten kannst. Du kannst quasi immer wieder Stimmt. Speichern und neu laden speichern und dann kannst Du kannst Du parallelisieren, kannst Du so oft machen, wie Du Computerressourcen hast. Ja und kann man im nächsten Step auch gut outsourcen.
Speaker0: Genau. In Prompting Forms, wo die Menschen dann am Ende sitzen. Ja, genau. Und jetzt kannst Du das bei,
Speaker1: wahrscheinlich bei Präsentationen und Texten kannst Du das auch machen, aber und also Texte schreiben sie ja auch nicht so schlecht, aber wenn's dann so das Kompliziertere ist, wie überzeugend ist die argumentative Kette? Ja. Dann wird's schon schwieriger, das dann wieder von 'ner KI oder irgend 'nem Programm bewerten zu lassen. Während bei Code kannst Du ja, Du kannst Unittests definieren oder generell Tests. Du könntest sagen, die sind folgende Funktionalitäten definiert. Das kriegt ja an LLM gut hin, ohne dass es jetzt schwerwiegende Logik oder so was. Während bei 'ner Geschichte ist das Character Development jetzt überzeugend von Tellerwäscher zum Millionär. Da sind sie jetzt auch nicht so schlecht mittlerweile fairerweise, aber Du kannst dir vorstellen, dass es halt schwieriger ist, da 'n guten, objektiven, skalierten, automatisierbaren Bewertungs- und Trainingsprozess daraus zu gestalten. Und wenn Du dann Sachen hast, die mit der die nicht isoliert funktionieren wie schreiben einen Text oder eine Präsentation, sondern interagiere mit deiner Umwelt. Lerne, wie man lerne, wie man bei Wikipedia einen Artikel schreibt. So, jetzt lass mal LLM parallelisiert Artikel schreiben bei Wikipedia und warte mal, wie lange es dauert, bis die dich sperren. Ja, genau. Ja, da hast Du vielleicht 5 Versuche und nicht 5000000, die Du gebraucht hättest, damit Du's beibringst von der Bewertungsproblematik, mal ganz zu schweigen. Ich glaub, das ist so, was ich so gehört hab, weswegen in manchen Domänen, ja, Programmieren, mega eine Firma aufbauen. Na ja, hat halt die KI noch nicht die Gelegenheit gehabt, 5000000 Firmen parallel in Sand zu setzen. Ja, das macht sie aktuell. Genau. Also das ist so mein meine laienhafte Wahrnehmung des Ganzen. Dann ist aber beim Coding, find ich auch einfach spannend, ich meine, Programmieren konnte GPT 3 5 auch nicht so schlecht. Dann GPT 4
Speaker0: o 4 1 hat auch keinen schlechten Code geschrieben für einzelne Funktionen. Also wenn ihr gefragt habt, ist Mhm.
Speaker1: Das eigentlich fast immer funktioniert Mhm. Schon damals. Aber warum konnte ich damit nicht ein Softwareprodukt oder 1 1 1 ganz ein ganzes Repository, ganzes Projekt machen? Das waren so richtig dämliche Sachen. Also ein Beispiel, Du hast ein Du Du hast bereits Code und die die Datei, die es geht, hat, sagen wir mal, 6000 Zeilen. Aber kommt vor. Mhm. Was hätte GPT 4 o oder 4 1 noch gemacht, wenn Du ihn nicht mit Gewalt anders gepombt hättest? Dann hätte der, na ja, die ganze Datei gelesen. So, jetzt hat er dann 6000 Zeilen in seinem Kontext Windows. Ich mein, GPT 5 kann 1000000, aber wir wissen auch, dass Kontext Windows nicht alles ist, sondern auch die Präzision. Mhm. Also das heißt, für die für die da draußen, nur weil jetzt 1000000 Silben in den Kontext passen, heißt das nicht, dass wenn ich da 1000000 Silben reinpacke, dass dann automatisch die relevantesten Sachen daraus noch vom LLM, also vom Large Language Modell richtig beachtet werden. Sondern der der geht schon auch im Kontext unter. Nur weil er ihn hat, heißt das nicht, dass er ihn auch dann gut nutzen kann. Es ist deutlich besser, wenn Du statt der 1000000 Silben die 10000 relevantesten drin hast und der fokussiert sich auf die. Das war auch November 23 schon so. Das war auch November 23 schon so, genau. Also nur weil der Kontext größer ist, ist er noch nicht besser. Mhm. Und jetzt hat GPT 4 o oder 4 1, damals hätte das einfach die ganze Datei eingelesen. Okay, schon nicht optimal, hat er aber noch halbwegs hingekriegt. Und dann, a, ich muss die 5. 5. Funktion, die muss ich ergänzen ein Zusatzargument und 2 Fallunterscheidungen. Dann beginnen wir mal, die 6000 Zeilen von oben neu zu schreiben. Ja. Und nach 200 Zeilen
Speaker0: Fuck, worum geht's los? Sagt er dann,
Speaker1: ja oh, ich kann ja gar nicht mehr Output liefern. Oder er hätte gesagt, ich fang an und schreib, Kommentar, bis hierhin alles unverändert, dann die neue upgeupdatet Funktion und dann ab hier hin, ab hier bitte alles unverändert und speichert das. Mhm. Und deine Datei ist kaputt. Ganz oft passiert. So, was machen die neuen Modelle? Das ist Dinge, die hätte GPT 4 o auch schon gekonnt. Er hat's nur nicht automatisch gemacht. So, was machen die neuen Modelle, die sagen, oh, schauen wir mal diese Datei, oh, die hat 6000 Zeilen. Na gut, jetzt machen wir mal eine Keywordsuche nach etwas, was so klingt wie die Funktion, die wir suchen. Gefunden? Yeah. Nicht gefunden? Okay, dann probieren wir was anderes. Schauen wir mal nur alle Zeilen, in denen eine Funktion definiert wird. Dann sind aus den 6000 Zeilen vielleicht 100 Zeilen, wo dann jeweils irgendwie irgendwas steht. Ah, die Funktion brauche ich. Jetzt lese ich nur diese Funktion, indem ich mich so vorrobbe. Ich fange bei Zeile 578 an, wo die Funktion beginnen und dann die nächsten 20 Zeilen und die nächsten 20 und die nächsten Ah, hier ist die Zeilen. Okay, jetzt hab ich die 60 Zeilen, die ich brauche. Wunderbar. Jetzt schreib ich die Funktion neu und dann mach ich ein String replacement, also eine exakte Textersetzung, wo ich dann den alten Text gegen den neuen Text tausche und hab dann diese diese Datei atoma verändert, ohne sie kaputt zu machen. Und das sind Dinge, die hätte GPT 4 o auch gekonnt, hättest Du ihn dahin gepombt, aber Du musstest ihn halt immer zwingen. Mach jetzt ein String Replacement. Lies dich jetzt 20 Zeilen für 20 Zeilen ein und höre auf, wenn Du das komplette hast. Also das und das GPT 4 o auch immer noch dann, der hätte dann vielleicht dann die 20 und dann die 40 Zahlen eingelesen und dann hätte das natürlich aufgehört. Ja, ich habe jetzt die ersten 40 Zahlen. Wie soll ich weitermachen? Also sozusagen diese Selbstständigkeit, das Agentische, das ist vielleicht son Stichwort, was wir gleich aufgreifen. Aber diese Kleinigkeiten, was die für einen Unterschied machen fürs Coding,
Speaker0: ist unglaublich. Ich hab das Gefühl, dass sich das dann auch akkumuliert. Also diese, was Du gerade angesprochen hast, diese Proaktivität. Mhm. Wie selbstständig ein Modell Function Calls auch ausführt. Wenn Du immer eine zehnprozentige Chance hast, dass das Modell quasi den nächsten Function Call verkackt Ja. Dann macht es einfach 'n Unterschied aus gegenüber, Du hast nur eine siebenprozentige Wahrscheinlichkeit, weil Du diesen Compounding Effekt hast. Ja, vor allem Das find ich krass bei den Clode Modellen, dass die einfach da viel, viel proaktiver auch als die GPT Modelle sind und einfach dadurch auch mehr durchziehen.
Speaker1: Möchte dann nur daraus Aufgaben, dass Du sagst, dass das den nächsten Function Call verkackt, falsch macht. Das braucht Claude ständig. Aber probier das einfach mal. Das ist der springende Unterschied. Bei GPT 4 o, wie oft hab ich dem gesagt, hey, nimm die Datei so und so? Und dann hat er halt überlegt, ja, wo suche ich jetzt die Datei im aktuellen Arbeitsverzeichnis oder in im im im im Home Folder oder woanders. Und dann hat er den ersten Ort probiert und danach Was ist denn nicht? Ich finde die Datei nicht. Kannst Du mir bitte sagen, wo sie ist? So was macht Claude heutzutage? Okay. Wir haben diese 3 Möglichkeiten. Ich fang mal Möglichkeit einzeln. Nee, die Datei ist nicht da. Ich mach Möglichkeit, die Datei ist nicht da. Okay. Ich such jetzt einfach nach dem Dateinamen im gesamten Textverzeichnis. Hm, immer noch nicht gefunden. Okay, vielleicht ist 'n typoom Dateinamen. Ich such mal nach dem Teil des Dateinamens. Ah, da ist Genau. Oder ich hab deine Zugangsdaten zu OneDrive gefunden. Ich guck mal in Sharepoint. Aber aber einfach dieses, okay, wenn's nicht klappt, probier's leicht anders noch mal. Und so ganz einfache Lösungsstrategien hättest Du vorher GPT 4 o gefragt, hey, ich habe hier diesen Dateinamen, wie kann ich jetzt vorgehen, das den den Dateisystem zu finden? Hätte die GPT wahrscheinlich genau diese Strategie runtergebetet, zu sagen, na ja, schau erst mal in deinem lokalen Arbeitsverzeichnis, dann schau im Homeverzeichnis. Wenn Du es nicht macht, dann probier eine Suche aus. Wenn die nichts liefert, dann probier eine aus. Das ich bin mir ziemlich sicher, dass GPT4 OD ungefähr so was gesagt hätte, aber er hat's halt nicht selber gemacht, obwohl er's gekonnt hätte. Also so ganz so einfach so würde ich so sagen. Und jetzt und und eben diese diese diese Sorge, nicht zu viel selbstständig zu machen. Vielleicht hat man damals auch einfach noch mehr Schiss gehabt, wo's hinführt und jetzt ist das zumindest bei Anthropic ganz klar die Philosophie. Ja. Und dann kommt halt, ich meine, kann auch sein, dass der Agent dann halt mal 2 Stunden in die falsche Richtung rennt, aber dass ja im Software, immer Softwareentwicklung das Schöne. Dann hast Du halt Tokens verbrannt und Ja, das ist der Punkt. Und der den lehnst Du dann halt ab. Ja. Aber es ist ja nicht viel, ist ja kein Kind im Brunnen gefallen. Mhm. Ja, stimmt. Bei der Softwareentwicklung
Speaker0: trifft es zu. Für mich ist es grad eine echt spannende Frage, welche Workflow für welches Aufgabengebiet da am am besten geeignet ist, weil diese argentischen Loops, Shail Jung. Die agentischen Loops, natürlich sind die sehr selbstständig. Die finden immer irgendwie einen Weg, aber sind halt auch teuer. Ich hab neulich den Kommentar auf LinkedIn gelesen. Da meinte 1 so, hoppla, wir mussten feststellen, dass ein argentischer Loop gern mal tausendmal so viel kostet als eine einfache prompt. Ja so, ach nee, ja. Mhm. Das ist Teil der Geschichte, ne. Und wenn Du aber schon weißt, wie was funktioniert, dann immer einen argentischen Loop immer wieder neu dabei zu auch zuschauen zu müssen, wie er das Rad neu erfindet. Das tut mir ja schon fast körperlich weh. Mhm. Und im Geldbeutel. Und das find ich sehr, sehr spannend, wo man's sozusagen bewusst eingeht, diesen Aufwand. Immer wieder, dass das KI Modell das Rad neu erfindet versus man dekliniert's halt einmal durch und packt's eher in einen Conversational Agent oder vielleicht sogar direkt in einen Subagenten, der ja schon fast eine Pipeline ist. Ja. Aber apropos Geldbeutel.
Speaker1: Also das agentische Arbeiten ist ja supercool. Aber was ja dann schon dabei passiert ist, dass Du, also wenn son Modell, also jeder, vielleicht müssen wir ganz kurz erklären, was argentisches Arbeiten im im Kontext 1 Churchs ist. Mhm. Also wir meinen jetzt nicht, man, also das Wort Agent ist ja auch 'n bisschen jetzt wahrscheinlich wie KI so als Wort son bisschen
Speaker0: Unchig, weil wir uns sind Agenten, ja. Genau. Also
Speaker1: ein Agent im KI Kontext meint ja jemand quasi jemand, der handelt, ne. Das bedeutet ja der Agent und eigentlich ist damit meines Verständnis nach gemeint, dass Du irgendwo ein Modell hast, was gegeben irgendwelcher Trigger oder auch proaktiv eine gewisse Aufgabe immer wieder ausführt. Also gar nicht als Chatbot oder so was und dabei selbstständig iterieren kann. Was wir meinen mit dem argentischen Arbeiten ist, dass es vielleicht schon 'n Chatbot, aber der eben dieses selbstständige Iterieren trotzdem machen kann. So, und was meine ich damit? Wenn ein Bot einen Funktionsaufruf macht und das ist ja seine einzige Möglichkeit, mit der Welt zu interagieren, ein Funktionsaufruf. Typischerweise führt der Code auf deinem Computer oder auf einem, logischerweise auf einem Computer aus. Und dieser Code, wenn ich vorhin zu meinem Beispiel gehe, Du sagst ihm, öffne diese Datei. So, dann, was macht er? Er er macht dann einen Funktionaufruf, zum Beispiel diese Datei als Text auszugeben oder ihre ersten 20 Zeilen oder oder so was in der Art. Dann muss der ja abwarten, was kommt denn dabei raus, dann weiterzumachen. Und das ist eine Iteration. Das heißt, immer wenn der wenn das Modell Text schreibt und dann mindestens einen Funktionsaufruf macht, dann ist das eine Iteration und dann kann er selbstständig die nächste Iteration machen, ohne dass er dich als User quasi, also ohne dass Du wieder zum zum Tippen aufgefordert bist. Das ist der argentische Loop 1 Chatbots. Und der kann, je nachdem wie das System aufgesetzt ist, von 'ner harten Grenze wie maximal zehnmal bis wir haben ein Alerium dreißigmal, Du könntest es auch so programmieren, so oft der Bot will, bis er quasi sagt, ich Ist es selber stoppt, ja. Ja, bis er keinen Mhm. Funktionsaufruf macht. Das ist dann das Endkriterium. Dann bist Du als User wieder gefragt. Das ist das ist das, was dahintersteckt, aber jede dieser Situation ist ein Aufruf an das Modell. Und damit einmal schickst Du den Kontext an den Modellprovider und kriegst halt Tokens, also Silben zurück. Und das heißt, Du hast da jetzt nur eine Nachricht abgeschickt als User, aber oder aber unter Umständen wurden da 30 Modellaufrufe gemacht. Und das ist supermächtig, aber deswegen halt auch manchmal teuer. Und wenn ich jetzt dann zurückdenke, was wir 20 23, was so die teuersten Use Cases waren bei den Sachen, die wir für unsere Kunden umgesetzt haben, da waren eigentlich die KI Kosten fast immer schnubs. Und jetzt haben wir dieses Jahr schon 'n paar Use Cases gehabt, wo man sagen musste Ob 6 Cent oder 7 Cent macht 'n Unterschied. Ja oder oh, die prompt hat jetzt mal 50 Euro gekostet. Mhm. War's vielleicht dann noch wert und oder es war das 1. Mal und dann kommt man genau zu dem, was Du grad gesagt hast. Jetzt soll der Agent nicht immer das Rad neu erfinden, sondern jetzt sollen wir das, was funktioniert halt verpacken, damit's schneller geht und billiger nächstes Mal. Aber setzt man da prompt ab und plötzlich hast Du 50 Euro auf der Uhr, ist schon eine andere Welt. Also diese argentischen Bots, die sind supermächtig, aber können auch sehr schnell sehr teuer sein, wenn Du nicht in irgend 'nem Flatrate Modell bist.
Speaker0: Ich würd mal gemeinsam mit dir gern auch noch mal vor dem Hintergrund unserer letzten one on one Sessions Mhm. Mal noch mal reflektieren, was hat sich jetzt eigentlich die letzten Jahre so getan? Also weil mich hat zum Beispiel total überrascht, dass die Modelle überhaupt das Coding so packen. Meine Hypothese 2023 war, ja, es ist das diese diese super High Level und dermaßen vogelperspektiven Überblick zu zu behalten, das das kriegen die nicht hin. Ja, da war ich
Speaker1: auch, hätte ich auch nicht gedacht, weil sie ihn, weil da ja eigentlich Programmieren so viel Logik braucht. Und also zumindest wenn's über eine einzelne Funktion oder so was hinausgeht, wo's ja vor allem zu mehr darauf ankommt, zu wissen, was sind da die Best Practices? Was gibt's da für Packages, die Du bereits nutzen kannst? Also findest Du eigentlich immer, was zu Copy Paste von Stakeholder fährst? Ja. Aber fürn Gesamtsystem braucht's ja wahnsinnig viel logisches Denken.
Speaker0: Und eigentlich waren die immer in der Logik so schlecht, die die Modelle. Ja, aber vielleicht ist es dann doch immer das Gleiche. Ja, wenn Du an eine klassische Front and, Backend Mhm. Single Page Applikationen denkst.
Speaker1: Die Logik an sich Das muss man das gleiche Patternis, ja. Weil wie findest Du's? Sind die Modelle nicht in Logik immer noch tendenziell schwach? Also mathematisch Logik im mathematischen Sinn, ja. Genau.
Speaker0: Und anscheinend ist Programmieren,
Speaker1: obwohl das eigentlich, also vor, beim Menschen sind die Leute, die gut in mathematische Logik sind, auch schnell gut im Programmieren. Ja. Aber wahrscheinlich, weil's einfach, Du musst ja das Rad nicht neu erfinden und es schon so viel gibt, so viel public gibt und Du da eigentlich einfach die Rezepte kopieren kannst. Vielleicht brauchst Du gar nicht so viel Logik aus der Sicht 1 LLMs, was ja quasi diesen gigantischen Welttextkorpus
Speaker0: verdaut hat. Ich find's ja fast schon schade. Also meine große Hoffnung war ja, dass die Large Language Modelle, die mathematische oder die quasi theoretische Physik, da echt nun mal boosten. Aber war dann überrascht, wie viel Geld und Energie OpenAI auch jetzt neulich in diesen mathematischen Beweis stecken musste. Was war das, die RDeu Vermutung oder irgendwie so was? Mhm. Und das war überhaupt kein Selbstläufer. Ja. Schade eigentlich.
Speaker1: Ja, es ist halt am Ende des Tages immer noch keine Logikmaschine. Ja. Und was was mir aber auch auffällt in dem
Speaker0: Kontext, der Kontext, das Kontextwindow. Das ist ja angewachsen von, ich glaub, das 1. 3 Einser Modell, das hatte so 4000 oder? Ja, ich glaub, das war 4000. Und dann ging's hoch auf 8 und dann 16 und der Burner, das ist wie damals so der Intel 3 3 86
Speaker1: Das ist das typisch t 4 32. Ja, ja. 32 k, das war schweineteuer. Richtig, richtig. Und derzeit hat sich's irgendwie eingependelt bei 'ner Million? Es gab ja zwischendurch den Rückschritt. Also 1000000 Richtig. 4 1 und 4 o, glaub ich, auch schon.
Speaker0: Und das Fünfermodell war wieder nur bei 500000 oder sogar weniger. Ja, ja. Ja. So weh, ich glaub, 250. Jetzt sind sie wieder bei 1000000. Und das, also ich hab mir die Frage gestellt, warum ist das so? Und wenn Du dann mal beobachtest, wie son Agentic Loop arbeitet, ich weiß nicht, wie Du das wahrnimmst, aber mir kommt's so vor, wie wenn der eben, was Du auch vorhin beschrieben hast, sehr, sehr punktuell in die Dateien reingeht. Mhm. Und dann eher 'n schlaues macht, quasi anstatt über Kontext zu arbeiten, einfach sich versucht, ganz punktuell in den Dateien zu orientieren.
Speaker1: Ja, also da ist auch viel passiert im Sinne von, was ist denn der Zustand 1 Agenten oder auch 1 Chats? Das war damals halt einfach das Chatprotokoll. Mhm. Und mittlerweile so mehr dahin, ja, jetzt machen wir auch irgendwelche Tempo Dateien, wo das jetzt so die die die die die Findings, ich bin jetzt beim Denglisch, drinstehen, sodass ich dann auch leichter irgendwann den gesamt die Gesamtkonversation jetzt eindampfen kann im Kurzzeitgedächtnis des des Modells. Also da hat sich was getan. 'N anderes Argument, was ich gehört hab bezüglich Also man könnte natürlich technisch jetzt sagen, ja gut, geben wir ja noch 2000000 oder 10000000, brauchst halt dann mehr RAM und ist halt halt teurer. Aber find mal Trainingsdaten mit 10000000 Input Tokens, die dann noch Sinn machen. Ja. Also jetzt könntest Du dem technisch natürlich einfach, also technisch könntest Du einfach sagen, ja, gib gib ihm. Mhm. Aber wird's dann besser? Mhm. Wenn Du nie auf diesen Anzahl an Input Tokens trainiert hast? Ja. Wo kannst Du das wirklich sinnvoll da Daten konstruieren? Du kannst natürlich sagen, lies ganze Code Repositoris ein und beantworte Fragen. Das könnt man trainieren, aber da ist wahrscheinlich der Mehrwert gegenüber dem aktuellen, na ja, such halt erst mal, finde die entscheidenden Stellen und beantworte anhand derer. Wahrscheinlich einfach nicht gegeben. Was gäb's noch? Lies irgendwie 'n ganzes Buch und dann beantworte was daraus. Aber Des geht welches Buch passt nicht in 1000000 rein? Ja. Das wird dann schon langsam dünn. Also 1000000
Speaker0: sind so wie viel? 800, 700, 700, 800 Seiten, so was, glaub ich, von 'nem Roman. Also Geht schon.
Speaker1: Ja. Also wahrscheinlich ist die Anzahl der skalierbaren Aufgaben, wo Du wirklich signifikant über die Millionen kommst, überschaubar im Sinne von, dass Du daraus Trainingsdaten konstruieren kannst. Mhm. Und dann hast Du natürlich, okay, dann hast Du jetzt technisch das höhere Kontextwind, aber die Qualität ist dann halt unterirdisch
Speaker0: ab ab der Million. Dann hilft's dir ja auch nicht. Ich erinner mich. Da gab's vor vor 2 Jahren, glaub ich, mal 'n Start-up, die haben da mit geworben und damals war das 'n wirklich crazy Shit mit 'nem 10000000 Token Kontextspinner und nie wieder aus von mir hin gehört.
Speaker1: Ja, weil's technisch gesehen, die Architektur kannst Du von den Transformern halt aufblähen. Ja. Na, die hatten ja keinen Kniff, aber Ja. Ja. Mag auch sein, aber aber ich meine, wenn Du den GPU Rahmen hast und so technisch kannst Du die aufblähen, aber Mhm. Aber die Gewichte sind dann halt nicht darauf angepasst. Also die der Trainingszustand. Das bringt's
Speaker0: dann ja nicht. Wir haben jetzt nicht viel über Codings gesprochen und Logik. Mir ist grad noch 'n anderes Beispiel eingefallen, wo ich neulich wieder gemerkt hab, wie wenig Logik die Modelle eigentlich können. Mhm. Und zwar ging's die Anpassung von 'nem Vertragswerk. Ah. Und in dem Vertrag war eine Klausel drin, formal eine Ewigkeitsklausel, also die quasi wie im Grundgesetz. Da gibt's auch diese Ewigkeitsklausel, dass gewisse Andere Artikel nicht verändert werden. Artikel, der dürfen nicht verändert werden, genau. Und das Modell hat, die Ewigkeitsklausel hatte eine Referenz eben auf 3, 4 andere Paragrafen und auf sich selbst. Mhm. Und der hat einfach sowohl die Ewigkeitsklausel sauber quasi verändert und auch die geschützten Klauseln, wo Du dir denkst, das ist doch irgendwie eigentlich eine Logikschleife erster Ordnung. Mhm. Total drüber gestolpert.
Speaker1: Ja. Ist schon erstaunlich eigentlich. Ja, da da da muss da so zwischen dem Programmieren und der Logik da, der Ja, richtig. Die Entkopplung stattgefunden haben, Ja, ja. Weil die anders denken als Menschen. Ja.
Speaker0: Wie geht's dir mit dem ganzen Thema? Also war ja, also vor allem bei den ersten Schulungen, die wir gemacht haben, ja, Riesenblock.
Speaker1: Wer? Ja. Also vielleicht noch mal zur Erklärung fürs Publikum früher, ja? Also die ersten Generationen der GPT Modelle, die Du hattest ja vorhin Du hast ja vorhin erklärt. Ja. 28032, wenn Du extra bezahlst. Also da hat nicht so viel Text reingepasst. Konntest Du dir nicht einfach 'n Roman reinschieben. Was war damals die Lösung? Was was steckte hinter diesen ganzen? Damals gab's ganz viele Rapper Start ups so, die Stimmt, ja. Chat with PDF. Was haben die gemacht? Alle implodiert. Genau. Die haben, also die sind aus aus 2 Gründen implodiert, aber dazu können wir ja gleich kommen. Also erst mal, was haben die gemacht? Ein beispielsweise fünfzigseitiges PDF wurde in 50 dann sogenannte Junks aufgeteilt, wo der wo der pure Text, also die textuelle Repräsentation der Seiten ohne Formatierung und so weiter dann drin war. Und jede dieser Seiten, gab auch andere Unterteilungsstrategien, aber bleiben wir bei Seiten, wurde dann mit einem versehen. Das heißt, ein anderes Modell macht aus einem Textkorpus, der kann dann typischerweise so was wie bis zu 8000 Silben oder so was enthalten, macht der einen einen Vektor, eine Gruppe an, ich glaub, es waren 512 Zahlen, kommt aufs Modell genau an, bei so was in der in der Richtung, ja. Also für die Mathematiker, die jetzt dann die oder eher für die Physiker, den Mathematik entsteht dann wahrscheinlich die Haare zu verbergen, dass die, es wird wird ein Punkt ein Punkt auf einem fünfhundertzwölfdimensionalen Einheits, auf 1 fünfhundertdimensional Einheitskugelschale gesucht und der repräsentiert repräsentiert dann quasi die Bedeutung des Textkorpus ungefähr. Wenn man auf einzelne Wörter geht, wären das zum Beispiel viele, dass König und Königin nah beieinander wären oder oder König und Mann, aber zum Beispiel König und Bohrmaschine weit voneinander entfernt. Und das stellt euch das auf Sätze und dann auf Absätze und so weiter erweitert vor. So, das heißt, wenn dann dieses fünfzigseitige PDF in 50 solcher Vektoren wäre und dann der das Modell sagt, ich das Modell dann was suchen will, dann musste das Modell einen Funktionsaufruf machen mit 1 Suche, 1 semantischen Suche, hey, ich suche nach dem Satz, der König ist tot Mhm. In den 50 Seiten. Und dann war das keine Stichwortsuche oder so was, sondern die Bedeutung von der, der König ist tot, wurde in 512 Zahlen, also in einem Vektor repräsentiert. Und dann wurde geschaut, welcher dieser Vektoren in den 50 des Dokuments ist am nächsten dran, also am parallelsten zu dem der König ist tot Vektor und dann wurden die Top 3 oder so was ausgespuckt. Und dann kriegt das Modell nur die Top 3 Seiten und beantwortet dann daraus die Frage. Mhm. Und das ist an sich 'n probates Tool, hatte aber damals dann 2 Probleme. Also das haben dann immer die Kunden gefragt, ja, aber wie kann ich denn sichergehen, dass der jetzt nix übersehen hat? Was ist denn, wenn auf der viertbesten Seite dann doch die entscheidende Infostand, ja? Stichwort bei so was wird Verträgen und so was. Und das war also schon mal son Schwachpunkt. Und dann kam halt, kam halt 2 Aspekte dazu, warum dann diese ganzen Zwischen Rapper Start ups dann so verschwunden sind. Das eine war natürlich das mit dem Kontext Windows. Wenn da 1000000 reinpassen, ja, dann liest halt alle 50 Seiten. Fuck it. Ja, Du versuchst eigentlich nur nur das relevante Dokument zu finden, ne. Genau. Und dann dann siehst es der Und Und dann finde das relevante Dokument. Und da gibt's dann halt, wie wir vorhin angesprochen haben, ja auch, da machen dann vielleicht doch Stichwort suchen und schau auf die Dateinamen oder liest die ersten halben Seiten an, machen solche Strategien dann doch mehr Sinn. Und das andere ist, was was die Start ups dann so, die das gemacht haben und halt gekillt hat, dass das einfach ChatGPT das einfach dann internalisiert hat. Ja. Und das einfach PDF fremdklatschen und die haben sich drum gekümmert. Ja. Brauchte keiner mehr den Rapper. Aber das ist gut, das ist einfach technologisches aneignen oder oder das ist einfach dann die die Entwicklung. Aber das Wichtigste war, denke ich, die großen Kontextwinders und dieses Agentische, dass das Also heute, wenn Du einen Klod fragst, beantworte mir diese Frage auf Basis dieses Ordners mit 500 PDFs. Na ja, dann wird der halt dann versuchen, Stichwort Suche, mal schauen, gibt's da eine Ordnernstruktur? Haben die Dateien irgendwelche sinnvollen Namen? Kann ich vielleicht hier mal die ersten 2 Zeilen lesen, dann halt zu sagen, okay, ich habe jetzt zusammenfassend rausgefunden, wahrscheinlich sind diese 5 PDFs relevant und in denen mach ich jetzt mal eine weitere Suche oder lese sie zur Not vielleicht auch ganz, je nachdem, wie viel Seiten sie haben. Und dann, nachdem er ja die 1000000 Kontext hat, kriegt er dadurch dann deine Frage auch Mhm. Wahrscheinlich deutlich besser beantwortet als ein Raag System. Ja.
Speaker0: Was man da auch jetzt ja grad im Reflektieren durch den Kopf gegangen ist, Am Anfang waren ja die Modelle rein textbasiert. Mhm. Dann gab's doch auch diesen Multimodalitätshype, also dass die Modelle nicht nur Text, sondern auch mit Bildern umgehen konnten. Ja, und dann auch Wie Video Video und so weiter, ja. Aber aber irgendwie zeichnet sich ja da jetzt wieder sone Spezialisierung ab. Also was ich auch krass finde, dass es ganz dedizierte Modelle für die Voice in, Voice out Agenten gibt. Und also das, wenn Du bei ChatGPT in der App ja den Voice Agent anschaltest, dann ist das 'n von der kognitiven Leistung deutlich dümmeres Modell als das textbasierte Modell. Ja. Und auch die Bild- und Videogeneratoren sind ja immer noch. Also es gibt, wenn Du bei ChatGPT 'n Bild generierst, ein GPT Image 1 Modell, das kriegt nach wie vor eine prompt. Image 2 mittlerweile. Oder Image 2, ja, richtig, richtig. Ja. Aber es ist ist halt nicht diese große Unification Nee. Der Modelle hier. Die nur wirklich
Speaker1: beim Bild Input. Ja, ja, genau. Hat sie nicht durchgesetzt. Das Wie wissen's denn, ja? Dass fast alle Modelle mittlerweile Bilder quasi nativ Ja. Ich sag jetzt mal ganz technisch verwursten.
Speaker0: Aber auch nicht mehr Ton.
Speaker1: Ja, Ton. Bis bei den bei den separaten Modellen. Ja, genau. Oder es wird halt transkribiert, aber das ist ja genau dieses. Nee, nee, das zählt nicht. Das ist ja wie wenn Du ein Bild quasi erst mal Jetzt eine Beschreibung übersetzt und dann Ja, genau. Dann nimmst. Das würde, also vielleicht, dass dass dass für unsere Zuhörer auch der Unterschied dann klar ist zwischen dem nativen Einbinden 1 Bildes und dem und dem dem damaligen, wo quasi dann eine Beschreibung draus generiert wurde, ist, wenn Du wenn ich dir sag, wenn ich dir 'n Foto gebe und dir sagt, beschreibe dieses Foto in 500 Worten, dann kannst Du Theo bestimmt das schön beschreiben. Aber wenn ich dann später sage, ich möchte anhand dieser 500 Worte wissen, wie viel oder welche Farbe hatten denn die Linien auf Theos Wasserglas? Mhm. Na, wie welche wie hoch ist jetzt die Chance, dass das oft in deiner Beschreibung drin ist? Ja. So, das heißt, in dem Moment, wo Du diesen diesen diesen diesen Disconnect hast, dass da erst mal eine Übersetzung stattfindet von Bild in Worten, hast Du keine Chance mehr, später was noch auszuziehen, was vorher gefehlt hat. Und bei denen, wo das Bild direkt drin ist, wie es jetzt heute eigentlich der Standard ist, da geht das schon. Da kannst Du das Modell unterschiedlich prompten mit dem gleich mit dem mit dem gleichen eingebetteten Bild und das kann sich dann unterschiedlich fokussieren. Mhm. Häufig kann's nicht alles gleichzeitig. Also wenn Du jetzt sagst, beschreib mir alle diese Sachen anhand des Bildes, dann beginnt es Details zu übersehen. Aber wenn Du sie einzeln auffecherst und einzelne Prompts, dann sind sie alle akkurat. Das heißt, das ist nicht eine einmalige Einbettung durch Worte, sondern das ist halt so wie der restliche Kontext
Speaker0: Mhm. Einfach
Speaker1: eingebettet und wird entsprechend der Aufmerksamkeit dann halt prozessiert. Und was interessant sich das interessant ist, dass sich das durchgesetzt hat, Video ist im Moment eigentlich nicht wirklich eingebunden. Nee, es sind separate Modelle. Ja, oder halt, also bei so Modellen wie Jaminary und auch GPT. Mein letzter Stand ist, das Video wird in Frames zerlegt, 1 pro Sekunde. Oder nee, bis zu unterschiedliche Strategien. Aber ich glaub, es war 1 pro Sekunde, 5 pro Sekunde maximal. Hast Du, Du meinst beim Input, ja. Mhm. Und das Audio in 'n Transkript und das ist dann, was das Modell quasi sieht. Es sieht die Bilder plus das Transkript des Videos, aber nicht das eigentliche Bewegtbild, so wie es jetzt das das das natives Embedding gäbe des des Videos in den in den Kontext des Modells. Das passiert dann nicht. Und bei Ton müsst ich mich jetzt noch mal einlesen, wie genau die wirklichen nativen Speech to Speech Modelle funktionieren, aber meines Wissens nach tun die das schon, sind aber spezialisierte Modelle. Ja, genau. Also ein Germany Life, der dem kannst Du sagen, da kann ich sagen, Theo, tu das bitte. Mhm. Oder Theo, tu das bitte. Und der kann Und der kann den Unterschied, ja. Wo wo hab ich wie geklungen? Mhm. Das kann der dann unterscheiden. Also der arbeitet nicht nur mit dem Transkript.
Speaker0: Ja. Ich find's vor allem krass, dass so jemand wie OpenAI sich auch ablenken lässt oder dass das für die Ablenkung ist. Die haben mir Zora zumindest mal auf Pause gesetzt, was mich total überrascht hat, ja, dass dass selbst 'n Konzern wie OpenAI den Fokus braucht auf die reine Modellpalette und und und das quasi die die die so defokussiert, dass dann am Ende die Performance von den von den Zugpferden einfach hinter zum Beispiel Klo zurückfällt. Ja. Ist erstaunlich.
Speaker1: Wie ging's denn dir überhaupt mit dem Wann war das Release von GPT 5?
Speaker0: Das ist jetzt Ich bin da schlecht, aber Ich auch. Dreivierteljahr. Vielleicht so eine Ist schon ist schon wieder eine Zeit her, ja.
Speaker1: Also ich kann mich noch erinnern, wir hatten da doch 'n Meet-up an dem Tag, wo wir alle wussten, so in 2, 3 Stunden wird ist die PK dann in den USA, wo das vorgestellt wird. Mhm. Und da haben wir uns überlegt, na okay, sperren wir morgen zu oder oder sind wir alle arbeitslos oder was passiert morgen? Ja. Und dann haben wir doch, wir waren GPT 5 bisschen ausprobiert und dann, ich glaube, 3 Monate uns nicht bemüßigt gesehen, Jepis 5 überhaupt in Halerium zu integrieren. Mhm. Also das war doch 1 der größten
Speaker0: Da ging für mich die Kurve in die Asymptote.
Speaker1: Genau, in die Sättigung, ne. Ja, ja, ja. Und das Lustige ist, dass dieses, dass der ganze gefühlte Hype Claude Coat danach kam. Ja. Also irgendwie kam man in die Asymptote, aber gleichzeitig in den Produktivitätszuwachs, zumindest beim Coding. Also würdest Du würdest Du das verallgemeinern? Würdest Du unterschreiben, dass sagen, die Modelle flachen eigentlich in die Intelligenz grade, also da kommen wir in den in die asentotische Entwicklung, das heißt nicht mehr jeden jedes Jahr doppelt so intelligent, sondern halt nur noch son bisschen besser. Aber die Anwendungsfälle, wo die Produktivitätsgewinne ja wirklich entstehen, die stehen gerade erst am Anfang. Und beim Coding haben wir jetzt den ersten erlebt, wo der Durchbruch kam nicht aufgrund von fundamental besserer Intelligenz in den Modellen, sondern von leichten Tweets in den Modellen, wie was wir vorhin ausgebreitet haben mit diesen kleinen Strategien, wie man mit Dateien umgehen soll, plus Integration in Programmiergebungen et cetera. Also sie siehst Du das auch so? Die Modelle werden sind jetzt eigentlich fertig und jetzt geht's darum, sie in verschiedenste Anwendungen reinzukriegen?
Speaker0: Mhm, würde ich mitgehen. Und ein Indiz dafür ist, denk ich auch, jetzt während wir das aufnehmen, ist Fable immer noch gesperrt. Ja. Das ist das neueste Modell von den Tropic. Und ich hab das ja auch direkt dann getestet, als es rauskam. Genau, die 2 Wochen, bis Trump gesagt hat, theo spezifisch. Genau, dem geben wir's jetzt
Speaker1: nicht mehr.
Speaker0: Nee, aber aber ich vermiss es auch nicht. Ich ich ich fand das tatsächlich auch eher hinderlich, weil es sozusagen noch dicker gegenüber dem schon fetten Opus dann war. Und diese Integrationskomponente, die wird, glaub ich, sehr, sehr, sehr, sehr stark übersehen. Nehmen wir mal das Beispiel Präsentationen bauen. So jemand wie Microsoft schafft's ja bis heute nicht, eine gute KI Schnittstelle zu PowerPoint zu bauen. Und ich mach das auch daran fest, wenn Du jetzt heute jemanden, der wirklich als Senior Software Developer sich mal ernsthaft auf KI getriebenes Coding eingelassen hat. Die Leute werden süchtig danach, die wollen nicht mehr zurück. Das sind wir bei unseren eigenen Leuten, das sind wir bei unseren Kunden. Und ich kenne keinen einzigen oder keine einzige, deren Aufgabe ist, ist Präsentationen zu bauen, die sagt, ich bin süchtig danach, Präsentationen mit KI zu bauen. Das ist immer noch 'n massiver Schmerz. Mhm. Und eine Ausprägung, die die mach ich bei uns in der Firma fest. Ich hab ja mit Halerium unser eigenes Design Framework Framework und eine eigene Designplattform gebaut, also im Wesentlichen ja Powerpoint nachgebaut. Ja. Es ist nicht perfekt, okay, aber auf einen verlängertes Wochenende Arbeit mit den Coding Agents ein komplettes Design System zu bauen. Da sind wir wieder bei dem Fakt, ne, wie schnell man mit KI eine Softwareapplikation baut. Und die Idee war, dass wir nicht unbedingt jetzt schönere Slides haben, sondern dass dieses Iram Design System, die Web App, die hat halt einfach von Sekunde 0 weg für KI gedachte Interfaces. Mhm. Dass sich 'n Agent die die die Bausteine der Slides so zusammenstecken kann, wie er's versteht, nämlich über reduzierten HTML Code, was auch sehr tokeneffizient dann am Ende ist. Der kann sich über dedizierte Schnittstellen die Screenshots ziehen. Das Ding ist für die KI gebaut. Ja. Und der Mensch, der hat dann auch noch ja eine bekommen und so weiter. Damit er nicht traurig ist. Damit er nicht traurig ist. Und ja, so dann mit mit dem und so, aber das ist für mich so der große Unterschied. Also genau wie Du sagst, ne, die Modelle, die sind schlau genug, aber die kommen nicht an die an die Dinge ran. Ja,
Speaker1: spezifisch bei Powerpoint und und Also bei Word ist nicht ganz so schlimm, aber bei Powerpoint vor allem, da ich meine, der Auslöser, warum der das gemacht hat, ist doch, dass wir festgestellt haben, wir haben's ja mehrfach probiert und gedacht, hey, warum gibt's das noch nicht? Dass wir ein Agent mit Funktion ausgestattet haben, damit der PowerPoint Slides umbauen kann und so weiter. Fucking nervig, ja? Wir haben, ich meine, das Beste, was wir dann hingekriegt haben, was wirklich stabil war, war der der letztendlich nur die Texte übersetzt Stimmt, der Übersetzer, genau. Über Beibehaltung der Formatierungen und so weiter. Und schon extrem schwer mit Python PowerPoint Slides auf der Ebene dann sauber anzufassen und so weiter, weil das Format total unfreundlich dafür ist. Und dann hatten doch die Ersten in der Firma so probiert, ja, ich sag jetzt einfach mal den Bot, ich brauch eine Slide. Und irgendwann war irgend 'n Bot, der hat halt gesagt, okay, ist okay, wenn ich dir keine Powerpoint baue, sondern eine HTML Slide. Ja, mach halt und dann boom, HTML Slide. Aufm ersten Versuch sieht zehnmal besser aus als alle Powerpoint Ergebnisse. Das war ja so der Auslöser, dass HTML, Codeformat, ja, wie Du sagst, viel Tokens dann und das hast Du dann ja effizienter gemacht. Aber also für alle da draußen, die sich per KI Slides bauen lassen wollt, probiert einfach mal aus, sag dem, er baut mir eine HTML.
Speaker0: Ja, das ist ja, wenn Du von Manus dir eine 'n bauen lässt, die die die schreiben ja im Hintergrund HTML Konvertieren 'n PDF, oder? Genau, zeigen's erst mal live in der Preview, rendern die im Browser. Und wenn Du auf exportieren klickst, dann übersetzen die das HTML entweder eben 'n PDF mit Playrrite oder oder halt dann doch auch wieder Richtung Power oder halt dann doch auch wieder Richtung Powerpoint, aber nicht
Speaker1: pixelgenau. Genau. Und Und das ist aber sauteuer. Aber dieses Erstellen von HTML einfach, das das funktioniert dann einfach out of the box, also
Speaker0: Wenn wenn Du wenn Du eine 'n Abo benutzt, ne, wo die Token inkludiert sind, weil ich ich hab das Ding ja eingefangen bei uns in der Firma, weil 1 lightday, einfach mal, wenn wir's dem Kunden in Rechnung hätten stellen müssen, hätte 2000 Euro gekostet.
Speaker1: Ja, aber aber es geht, ne. Also Es geht, ja. Das ist das ja, das ist das ist das ist der spannende Teil. Und dadurch, dass ja die KI jetzt überall so reinkommt und im Moment es ja auch noch viele Abomodelle gibt, die subventioniert sind, werden einfach gewisse Formate, glaub ich, verdrängt. Ne, genauso, was Du ja auch angerissen hast, Legacy Software und so weiter, ist teilweise jetzt, ist der Maintenance Aufwand höher, als es von der KI neu schreiben zu lassen, zumindest in manchen Bereichen.
Speaker0: Und son bisschen kommt's mir jetzt so mit so was wie mit PowerPoint vor, ja. Ja. Bezüglich Legacy Software, ich mach jetzt mal 'n Markus Lanz, da müssen wir meine eigene Folge aufnehmen.
Speaker1: Okay, bis dahin lasse ich mir, was muss ich mir dann die Haare vom Brechen Brecht? Ja. Wachsen lassen. Challenge accepted. Mhm. Ja, aber das fand ich zumindest sehr spannend, dass da einfach, gibt einfach nativ KI freundlichere Formate in bei HTML versus Powerpoint per Zufall vielleicht. Und Mhm. Dann existiert automatisch der Drift dahin. Ja, richtig, richtig.
Speaker0: Ich hab noch 'n Punkt, der anders ist als früher noch. Man muss dir ja total aufpassen, wie man die Dinge schreibt. Erinnerst Du dich an diese, wenn Du 'n Komma vergessen hast und damit aus Versehen die Grammatik sich halt formal verschoben hat und dich das Modell einfach total falsch verstanden hat? So im Sinne von wir essen jetzt Opa. Mhm. Die Zeiten sind ja eigentlich vorbei oder? Hattest Du in der letzten Zeit noch so was? Nee, also dass ich dass mich 'n Modell wirklich missverstanden
Speaker1: hat, eigentlich nicht. Also die Mhm. Machen mir deutlich weniger Gedanken meine Prompts. Das ging vielleicht aber auch Hand in Hand. Also was ja früher immer wahnsinnig wichtig war, es ist immer noch wichtig, aber nicht mehr aufwendig, war System Prompts, also die Verhaltensprompt, wenn Du einen Chatbot definiert hattest. Ja. War ich damals eigentlich immer ganz gut drin, wie das son Skill, den heute keinen mehr braucht. Weil die System Prompts sind immer noch superwichtig, aber die schreibt dir mittlerweile eine LLM halt supergut auf Basis deiner losen Prompt und vielleicht 'nem bisschen Noch Content Back and For. Ja, genau, genau. Schreibt er dir. Also der 1., wo ich fand, das ging richtig gut, war Gemini 3 1. Der hat plötzlich geschrieben. Der sagt, ja, genau so. Und dann hat sich das auch dümmere Modell dann super daran gehalten. Und Claude Sonet und vor allem zumindest Opos und so was kriegen das auch gut hin.
Speaker0: Bei denen da halt überall Emojis rein. Ja, das stimmt.
Speaker1: Aber ich mein jetzt die Systemprom zwischendrin. Ja, ja, ja, ja. Bei GPT 5 5 muss ich noch ausprobieren, aber jedenfalls, also System prompts mittlerweile, damals hat man die halt selber geschrieben und dann waren sie halt mal besser, mal schlechter, je nachdem, wie viel müde Du die gegeben hast. Und mittlerweile sind die ja eigentlich immer immer gut, weil also ich geh dann immer eigentlich so vor, ich sag dem Modell, was ich will oder häufig sogar so, ich hab bereits 'n Bot, der etwas Verwandtes macht. Mhm. Dann gebe ich die alte Liste als Referenz, hab mit dem Verhalten war ich eigentlich zufrieden, aber ich möchte jetzt den vielleicht statt für für diesen Anwendungsfall, für jenen Anwendungsfall. Oder mir fehlt noch das und das. Oder hier ist eine Beispielkonversation, wo's schlecht lief. Mhm. Und dann kriege ich 'n Update. Ja, ich lese es dann noch gegen, dass sich nicht 'n Missverständnis eingeschummelt hat, aber es sei eigentlich immer dann die Systemprom so geschrieben, wie's halt ein LLM braucht und versteht. Wahrscheinlich, weil seit der Entstehung von ChatGPT halt auch so Physiciston Prompts. Da weißt Du noch, diese ganzen prompt Bibeln, da hat da hatten wir doch mal Die Cheatsheets.
Speaker0: Die besten 200 Prompts, die man immer auswendig lernen sollte. Ja, das hab ich ehrlich gesagt nie so ganz verstanden, was da der Sinn sein soll. Das ist der Klassiker Speicher noch nie wieder angucken.
Speaker1: Weißt Du noch, aber war bei der Präsentation, da wurde son auch son Rappingtool vorgestellt, was so megageil war, aber Du musst nur was Slash oder Kaufmanns und eingeben. Und dann hattest Du quasi son Autokompete mit dem Zugang zu Tausenden Prompts. Das ist doch entweder, also dann dann fragt, dann ist doch quasi eher so Ja. Ich hab das nie verstanden, warum ich mir prompts Also ganz am Anfang, wo es schwierig war, die Dinge, die Bots dazu zu kriegen, was ich tun will. Aber wenn ich danach suchen kann nach 1 prompt, die das beschreibt, was ich will, dann kann ich, da hätt ich doch auch diesen diese Suche auch direkt in den Chat eintippen können. Also das ging schon 23 23, dass ich dann sagen könnte, ich möchte gern das und das, stelle vielleicht Rückfragen. Mhm. Also das war schon immer son bisschen Augenwischerei außer dem ersten Halbjahr, oder? Oder tue ich den jetzt unrecht, diesen prompt?
Speaker0: Also ich seh, dass die Prompt Sammlungen, außer Du bist 'n wirklicher Designer für Prompts, also ein prompt Engineer im besten und ursprünglich Aber der schreibt doch dann System prompts, oder? Der schreibt System prompts. Bei System prompts? Oder wenn Du 'n prompt tree, wie jetzt das bei bei bei Na, Agenten. Subagenten, Halyrium, da kommt's ja wirklich auf die Prompt auch an. Weil Du ja maximal ja die Produzierbarkeit haben möchtest. Das sind so diese ETL Pipelines und also so quasi, wo Du einen vorgefertigten Prozess
Speaker1: wiederholungsgenau abbilden willst. Ja, da sind die einzelnen Prompts wichtig, aber auch die ziehst Du dir doch aus keiner.
Speaker0: Nö. Schreibst Du halt sorgfältig für diesen Anwendungsfall. Ja. Also der Mehrwert Der lass mich halt ich lass mich halt inspirieren höchstens. Ja. Dass sie mal schauen, okay, wie wie würden's denn andere machen? Ja. Aber so als produktives Nachschlagewerk wie numerical recipes in sea, ja, wo der wirklich dann auch nachguckst als Profi, Ich nutz es überhaupt nicht. Genau, also bei
Speaker1: hab ich's eigentlich auch nie benutzt, aber da kann ich zumindest verstehen, weil's ja, sag ich mal, keine Ahnung, Du möchtest 'n Umfrage Bot haben. Mhm. Dann ist es natürlich schon interessant, dass Du dann siehst, wie Kalender Assistystem prompt sozusagen dieser Entscheidungsbaum 1 Umfrage oder so was Ja. So abgebildet werden, dass sich den Bot daran auch hält. Veraff. Mhm. Aber die die die Demos, wo ich das gesehen hab, waren ja häufig für die Prompts im User Input. Ja. Und da hab ich, ehrlich gesagt, auch 20 23 den Mehrwert nicht verstanden. Ja, Du warst. Na ja, so schickt mir gerne Angry Letters und da gefällt mir, warum ich blöd bin. Ich möcht dir das dazulernen und aber von wem wäre dieser Spruch? Wenn Du was lernen willst, dann dann dann dann sorgt dafür, dass andere dich korrigieren und oder irgendwie so was gab's. Also jedenfalls sehr gerne, aber ich hab immer das Gefühl gehabt, wo es es vielleicht 'n bisschen gab und 'n bisschen Mehrwert hatte. Hab's dabei, ich hab wenig mit mit so Bildgenerierungen gemacht, aber so die Promts für Stable Diffusion und so was, hatten die einen Mehrwert, die prompt Libraries?
Speaker0: Ja, durchaus damals, weil die Architektur damals noch so war, dass Du deine prompt sozusagen direkt an den algorithmischen Bildgenerator geben musst. Also vor GPT Image 1 und und von so. Und da kam ja dann mit GPT Image 1 und den Black Forest Lab Modellen und so weiter und so fort, Sundance das im Image Tenored Genau. Modell mit dazu, dass dass der erst mal deine prompt glatt zieht und das dann an das Diffusionsmodell weitergibt.
Speaker1: Genau. Ja. Damals hatten wir doch auch noch so das Damals hatten wir noch mal son Snippet, das GPT 4. Mhm. Dem sagst Du, was Du haben willst fürn Bild und der dann quasi eine 1 perfekte
Speaker0: Stable Diffusion oder DALI prompt dazu schreibt. Genau. Und das ist aber auch für mich symbolhaft für das, was passiert. Dieser Step, ja, dass quasi das eine Modell, 'n reines Sprachmodell, den Userintent versteht, das übersetzt in das, was der Imagegenerator braucht, dass desinternalisiert wurde, ist im Wesentlichen ja das Gleiche wie das, was man früher per Hand gemacht hatte mit oder quasi die Prompts per Hand kuratieren, dass jetzt die Modelle einfach von sich aus machen und sich von sich aus erst mal überlegen im inneren Monolog, ey, okay, wie sollte ich da eigentlich vorgehen? Sich 'n Plan zurechtlegen, den immer noch im Monolog exekutieren und dann die die die Userantwort
Speaker1: geben. Ist auch neu seit 23, oder? Gab's schon 23 das?
Speaker0: Ich ich hab's nicht genau am Schirm, aber ich glaub, nein. Aber wollen wir mal ganz kurz erklären, was Mhm. Die von
Speaker1: Modellen ist?
Speaker0: Gerne. Ich bezeichne es immer als innerer Monolog. Genau. Ich weiß nicht, wie wie würdest Du beschreiben?
Speaker1: Also vielleicht noch mal noch mal quasi so insgesamt ein Large Language Modell hat keine Hintergedanken in dem Sinne oder denkt kann nicht denken, bevor es spricht. Also alles, das war früher zum Beispiel so bei konnte man bei 'nem GPT-vier oder so was noch deutliche Qualitätsunterschiede bei 1 Aufgabe erreichen, einfach indem man gesagt hat, denke laut Schritt für Schritt. Mhm. Also es gab zum, er sollte zum Beispiel, ich weiß nicht, fällt mir grad kein gutes Beispiel hin, aber er sollte irgendwas tun, was vielleicht sone mehr, was 'n vielleicht 'n Funktionsaufruf ist, der intern so 3, 4 Schritte braucht, damit er funktioniert. Mein Waschanlagenbeispiel,
Speaker0: das ist immer noch son Bitte.
Speaker1: Ja, wenn Du dem also auch den Modellen heute dieses logische Problem der, soll ich zur Waschanlage gehen oder fahren? Ja, ja. Ja, da musst Du ihm nach wie vor Okay, aber was ich meine ist, ja, also was ich meine ist einfach, wenn Du ihm per prompt angewiesen hast, tun, gib mir nicht gleich das Ergebnis, sondern brich meine Aufgabe erst mal runter. Mhm. Dann hat er ja angefangen zu zu zu antworten mit ah ja, okay, also die Aufgabe beinhaltet Schritt 1, Schritt 2, Schritt 3, Schritt 4, okay, jetzt tue ich es und dann tut er es. Mhm. Und das hast Du dann halt alles gesehen. Und das hat die Qualität verbessert gegenüber, tue es direkt. Ja. Weil ein Large Language Modell eigentlich nicht nachdenken kann, sondern jede neue Silbe wird generiert aus dieser Wahrscheinlichkeitsmaschine auf Basis aller Silben im Kontext. Und im Kontext ist das ist die Vergangenheit des Chatverlaufs und die Userprompt und alle bisher getippten Silben von LLM. Das heißt, mit der mit seiner Antwort gestaltet sich ja das Large Language Modell seinen Kontext selber. Das heißt, nicht alles, was das dann macht, ist, so wie vorher beschrieben letztendlich mit der Denkelaut nach, bevor Du antwortest prompt, ist dem LLM die Möglichkeit zu geben, diesen selbst für sich noch mal kuratierten Kontext, der letztendlich seine einzige Möglichkeit ist zu denken, darzustellen, den aber nicht dem User zu zeigen, sondern den entweder ganz verschwinden zu lassen oder wie's in manche Chat Bots ja machen, dass man das wie so verschwindend vorbeiziehen sieht und nachher ist es weg. Und dann halt aus der aus dem persistenten Kontext, also dem Teil, der dann quasi auch dein deine Kosten und die Aufmerksamkeit des LLMs halt verwässert oder oder erhöht, halt wieder rauszunehmen. Das heißt, dieses Reasoning ist einfach dieses Runterbrechen der Aufgabe. Und nach dem Runterbrechen und dem Erfüllen der Aufgabe wird dieser Teil dann wieder rausgelöscht. Das wird einfach gemacht mit so kleinen Markierungen, die dann halt entweder dem User gezeigt werden können oder nicht. Aber das heißt, das ist einfach nur dieses Einbauen dieser Denke erst mal laut nach, bevor Du dann die eigentliche User prompt beantwortest
Speaker0: und markiere halt, wann dein Lautdenken anfängt und aufhört. Ja, ja. Man kann ja auch relativ einfach aus einem Modell ein Modell machen, indem man dem eine Funktion in die Hand drückt, wo er sich einfach nur mit Input rein auskotzen kann. Genau. Und die Funktion macht dann am Ende nichts. Genau. Das Einzige, was Du dann machen müsstest, wär, dass diese Funktion bei Follow-up Prompt Zeit dann nicht mehr mit eingelesen wird.
Speaker1: Und dann hattest Du dein Riesending Modell selber gebaut. Ja.
Speaker0: Maxim, vielen Dank. Ich fand's total spannend, heut mal zu rekapitulieren, was sich so die letzten, ja, eineinhalb, 2 Jahre getan hat. Ja, die eineinhalb Jahrtausende in LLM Zeiten. Ja, genau. Ich find den Punkt von vorhin sehr, sehr spannend bezüglich der Legacy Software Stacks und was sich da getan hat. Lass uns da bei der nächsten Episode mit reinsteigen. Ja.
Speaker1: Jetzt besondere mal dann dahinter steigen, was steckt hinter dem Zitat?
Speaker0: Ah ja. Danke dir. Bis nächstes Mal. Danke dir. Bis nächstes Mal.