Die Schattenseiten generativer KI

Season 6· 1. August 2023· 1998

Episode cover: Die Schattenseiten generativer KI
0:001998
  • Dr. Theo SteiningerCo-Founder & CEO at Erium
  • Dr. Maksim GreinerCo-Founder & CTO at Erium

Overview

In the second episode of the sixth season of the Erium Podcast, Theo Steininger and Maksim Greiner shed light on the key challenges of using generative AI in a professional context. From hallucinations and data privacy concerns to the limitations of classic pipelining tools, they discuss what users need to watch out for - and how Halerium's board approach offers concrete solutions.

Summary

Hallucinations: When AI Invents Facts

A central problem with large language models is the phenomenon known as hallucination: the model generates responses that sound plausible but are factually incorrect. The reason lies in how these models work - a language model is not a search engine; it produces likely text continuations based on statistical patterns. Earlier versions of ChatGPT, for example, would fabricate entire biographies for unknown individuals.

The hosts compare this behavior to someone who shows up to a meeting unprepared yet still comes across as competent - a 'master of bullshit bingo.' What makes it particularly insidious is that, unlike classic software errors, there is no error message - just a result that looks meaningful but may simply be wrong.

As countermeasures, Theo and Maksim recommend: breaking tasks into smaller sub-steps (prompt chaining), including concrete examples in the prompt (few-shot or one-shot learning), and deliberately checking intermediate results for factual accuracy - for instance, by using a second bot as a fact-checker.

Few-Shot and Zero-Shot Learning as Prompt Strategies

In the conversation, the two revisit a term that was missing from the first episode of the season: few-shot learning. This refers to providing the model with one or more examples of the desired output directly within the prompt - such as a well-written biography as a template. The model can quickly abstract from these examples and apply the pattern to new content, without any actual retraining taking place.

Zero-shot learning, by contrast, describes the approach of asking the model to perform a task without providing any examples at all. Both techniques are part of prompt engineering and help to noticeably improve the quality and precision of outputs.

Exploratory Use Instead of Rigid Pipelines

Classic pipelining tools such as Langchain or Langflow assume that the user already knows the solution path - they are designed for reproducibility. Generative AI chats, on the other hand, invite an exploratory approach: you start with a vague question and let yourself be surprised by where you end up.

This fundamentally different mindset - open and iterative rather than tightly scheduled - makes classic pipeline tools unsuitable for getting started. Theo and Maksim describe how they set out to close exactly this gap between the simple chat interface and complex programming frameworks with the Halerium board approach.

Halerium Boards: Orchestrating Multiple AI Bots Together

Halerium Boards work similarly to a mind map or a Miro board - an infinitely large pinboard with interconnected cards. Newly introduced cards allow users to directly control generative AI models. Using arrows, different bots can be connected to one another, so that, for example, a text-generation bot and a fact-checker bot can work together without the user having to laboriously copy and paste results between different chat windows.

A concrete example: GPT-4 generates a suitable Stable Diffusion prompt based on an image description, which is then passed directly to the image generation model. The 'bot versus bot' template goes even further: a problem-solver bot receives feedback from a critic bot and iteratively refines its answer until no further potential for improvement is apparent.

In addition, the boards enable a clean separation between the actual instruction (the imperative) and the context (such as a style guide or company facts), which structures both thinking and practical work.

Context, Timelines, and the Problem of Short-Term Memory

Another structural issue is the limited context window of language models: if a chat history becomes too long, older context drops away and the model starts to behave strangely. Halerium Boards address this by allowing users to intervene directly in past sections of a conversation and open new conversation branches from any point - similar to the concept of quicksave and quickload in video games, or opening new timelines.

In addition, bot conversations can be cloned, so that multiple parallel variants can be created from a single chat instance. Once developed, prompt chains can be reused as templates and adapted to new tasks simply by swapping out context cards.

Integrating Your Own Documents and Data Privacy

A widely discussed topic is how to incorporate your own documents - such as PDFs, Word files, or Excel spreadsheets - into AI-assisted workflows. Halerium supports dragging such files directly onto the board; in the background, the content is automatically broken down into smaller sections (chunks) and used to supply context to the bots, without the user needing to understand any technical details.

On the subject of data privacy, Theo and Maksim clearly point out that inputs submitted via the standard OpenAI interface can potentially be used to further train the model. As more privacy-friendly alternatives, they mention Microsoft's Azure interface as well as open-source models that can be run as private API endpoints via Hugging Face - ensuring that data never leaves the closed system.

Key takeaways

  • Hallucinations occur because language models are designed to generate plausible text - not to retrieve facts - and must be actively mitigated through targeted prompt strategies.
  • Few-shot learning (providing examples in the prompt) significantly improves the quality and precision of AI outputs without requiring actual retraining.
  • Classic pipelining tools assume the solution path is already known - they are unsuitable for exploratory AI use.
  • Halerium Boards allow multiple AI bots to be visually linked and orchestrated together, eliminating the need for tedious copy-pasting between chat windows.
  • The limited context window of language models can be managed deliberately through conversation branching and reusable context cards.
  • Your own documents can be dragged directly onto the board and are processed automatically, with no technical prior knowledge required.
  • For privacy-sensitive use cases, the Azure interface or self-hosted open-source models via Hugging Face are recommended.

Conclusion

Generative AI offers enormous potential, but comes with concrete pitfalls: hallucinations, limited context windows, data privacy concerns, and the complexity of orchestrating multiple models. The episode shows that many of these challenges can be managed with the right methods - thoughtful prompt engineering, an iterative approach, and suitable tools. Halerium Boards position themselves as a pragmatic bridge between the simple chat interface and complex developer frameworks.

For Beginners and AI Users

Anyone using generative AI in their day-to-day work should understand hallucinations as a systemic risk and actively counteract them with prompt chaining and concrete examples. Exploratively discovering solution paths through chat is legitimate and often the more sensible first step.

For Companies and Teams

When using generative AI professionally, data privacy and reproducibility are central concerns. Azure-hosted or self-operated open-source models offer greater control, and collaborative tools like Halerium Boards make it easier for multiple people to work together on AI-assisted workflows.

Show full transcript

Speaker0: Die Eriom Podcast.

Speaker1: Herzlich willkommen zu 1 neuen Folge von die Eriom Podcast. Mein Name ist Theo Steininger und mir gegenüber Maxim Greiner. Hi Maxim. Hi. Wir machen weiter im Text. Folge 2 der sechsten Staffel von Der EM Podcast, in der es generative KI geht. Wer die 1. Folge von Staffel 6 verpasst hat, wir haben eine ganze Latte an Begriffen abgeräumt, Vokabular geklärt, einmal klargestellt, was ist was, was ist was nicht? Und heute wollen wir uns mal genauer angucken, welche Herausforderungen das es gibt. Also ganz ehrlich, was sind die Probleme beim Einsatz von generativer KI? Worauf muss man achten? Und wir haben da zu so manchem Thema eine Lösung im petto und die stellen wir in dem Zuge gleich vor. Maxim, lass uns gleich einsteigen. Gerne. Und 1 der krassesten Themen, die vor allem ja, auch viele Shitstorms dann erzeugt hatten, das ist das Thema Halluzination von generativer KI.

Speaker0: Ja, also wenn man jetzt mal so ganz, ne, jetzt noch, ne. Also was was ist damit gemeint? Teilweise, also da arbeiten die natürlich auch dran, aber grad in den früheren Versionen von ChatGPT, Du konntest zum Beispiel irgendwie sagen, ja, wer ist und dann irgend einen Namen, ja. Und dann begann das Modell halt irgend eine Biografie, sich einfach aus den Fingern zu saugen. Das Das meint man dann mit der Halluzination. Das hat halt irgendwas zusammengesponnen, was nix mit den Fakten zu tun hat, weil das ist keine Suchmaschine. Das ist ein Sprachmodell, was daraus trainiert ist, plausible Fortsetzungen von Texten zu geben. Und wenn ich einen Namen ihm gebe, der son bisschen klingt oder vielleicht auch in der Formulierung, wie ich's frage, klingt es vielleicht bisschen wie ein Biowissenschaftler. Mhm. Na ja, dann wird's eine Biowissenschaftler Biografie erfinden. Mittlerweile ist es schon 'n bisschen weniger in die Richtung geworden, dann hat man aber wahrscheinlich extra Beispiele nachtrainiert, dass es dann sagt, diese Person kenne ich nicht oder so was in dem Dreh. Aber das sind alles, was ich war, Sachen, die man extra antrainieren muss. Grundsätzlich wird das Modell immer schauen, was ist nach dem Wahrscheinlichkeitsmodell, was es implizit hat durch das neuronale Netz, eine plausible Fortsetzung des Textes oder eine plausible Antwort auf diesen Text. Im Prinzip ist es halt wie son Master of Bullshit Bingo. Also stellt euch, ihr kennt doch bestimmt alle so Leute, die komplett unvorbereitet in ein Meeting kommen können und trotzdem total kompetent wirken können, ja. Und son bisschen ist das bei sonem Sprachmodell auch, muss man einfach vorsichtig sein, dass es nicht bei Design nur Fakten ausspuckt, sondern bei Design macht es Textextrapolation. Und da kommt natürlich das über dem Training 'n bisschen adressiert und da gibt's auch prompt Engineering Sachen dazu. Aber am Ende des Tages ist es immer eine Möglichkeit, deswegen meine Empfehlung, versucht es zu zerstückeln oder also macht macht eine prompt Kette. Also nicht einfach hier nur einmal, ich möchte gern das und das, sondern baut das son bisschen auf, dann hat das hat das Modell konkreteren Kontext. Mhm, mhm, mhm. Und dann bemerkt er auch früher an den Zwischenantworten, ob's vielleicht schon 'n bisschen spinnt.

Speaker1: Mich hat das an was erinnert, das hab ich vor etlichen Jahren mal gelesen. Andreas Eschbach, Science Fiction Autor, der hatte das mal in einem seiner Bücher so runtergebrochen, damals ging's Wahlautomaten in dem Buch. Die Menschen sind so daran gewöhnt, dass Computer das tun, was man von ihnen erwartet. Mhm. Warum? Weil einfach eine Herrscher an den ganzen Tag nix anders macht, als Bugs zu beheben, dass es für sie undenkbar ist, dass eine Maschine nicht das tut, wofür sie gebaut wurde. Mhm. Also dass 'n Computer vor allem auch so tut, als ob er funktioniert, aber in Wahrheit funktionierte er nicht. Das ist ja quasi von von Unverständnis, weil ich krieg ja keine Fehlermeldung, sondern ich krieg 'n Ergebnis, das sieht sinnvoll aus. Und in Wahrheit stimmt's aber nicht. Ja, das ist grad beim Programmieren ja meistens der, die die schlimmsten Bugs. Ja, genau, genau, genau. Nichtsdestotrotz, also ich weiß nicht, wie's dir geht, aber mich hat es schon überrascht, wie heftig das Feedback war, weil für mich war so, ja, ja. Klar.

Speaker0: Ich mein, da hast Du, was fürn Fortschritt? Du hattest hast etwas, das Du quasi nicht von einem menschlichen Chatpartner fast unterscheiden kannst. Und dann kommen aber plötzlich sofort die Ansprüche, ne. Ist halt ist halt einfach so und so weiter. Mhm, mhm.

Speaker1: Ja, lass uns mal zu den Problemen dann auch immer gleich teilen, was dagegen helfen kann. Du hast es grad schon erwähnt, Herunterbrechen von von von Chain, genau. Von Chain, richtig. Was aus meiner Erfahrung nach auch gut funktioniert, das sind Beispiele, konkrete Beispiele zu geben. Ja. Wenn ich etwas nach einem gewissen Stil formuliert haben möchte oder wenn ich mir etwas vorstelle, so und so sollt es aussehen und jetzt macht das Gleiche nur bezogen auf das neue Thema, ja. Was da rumgeistert, das sind Begriffe wie und Learning. Das hatten wir in der letzten Folge tatsächlich nicht mit drin. Das stimmt.

Speaker0: Da holen wir die Hausaufgabe am besten noch mal kurz nach. Ja, genau. Was meint man damit? Was meint man damit, ist, dass man einfach dem Modell quasi innerhalb des Prompts, also innerhalb dessen, was man eben als Anweisung gibt, gleich Beispiele gibt für das, was man will. Und das nennt man deswegen oder Zero Shot Learning, weil es ein, weil man's vergleicht mit quasi Trainieren 1 Machine Learning Modells. Also da ist man Vielleicht mal ganz kurz rausgeholt, mit mit One Shot Learning meint man, so was wie 'n Kind sieht einmal einen Tiger auf dem Bild und dann erkennt es den auch gemalt oder im Zoo oder sonst was. Da sind Menschen sehr gut drin und Machine Learning Algorithmen eigentlich nicht. Mhm. Zu Konzepte erkennen, ne? Genau, die müssen eigentlich viele, viele Beispiele sehen. Aber jetzt ist bei diesen Sprachmodellen, es ist halt schon teilweise so, dass wenn Du in dem Prompt immer ein Beispiel gibst, hier ist ein Beispiel für einen eine gut geschriebene Biografie, dann kann das das relativ schnell abstrahieren und zum Beispiel deine Biografie darauf ummünzen. Und das ist ziemlich cool. Es ist nicht Training, weil's ja innerhalb des quasi Prompts, der Shootend forget und dann auch wieder weg ist, passiert, aber es hat einen gleichen Effekt. Und mit einem Beispiel oder mehreren Beispielen hilft es. Und mit Zero Shot meinst Du, wenn Du einfach einfach nur nach fragst, mach's mach das oder das da draus ohne 'n Beispiel?

Speaker1: Ich hab für diese diese Vorlagen, ist mir grad 'n Beispiel noch eingefallen. Und zwar, dass Du ihm vorgibst, okay, der Nutzer wird dir eine Aufgabe stellen und überleg dir, was Du dazu wissen musst. Und dann mal Beispiel, angenommen Du würdest die Aufgabe bekommen, Du wirst jetzt ein E-Mail-Schreiberassistent, dann frag ihn nach, an wen geht die E-Mail? Was ist die Trinalität? Worum geht's? Oder angenommen der Nutzer, zweites Beispiel, würde fragen, gib mir bitte Kochrezepte, dann überleg dir zuerst, was ist der Geschmack und die Vorlieben des des Nutzers? Gibt's Nahrungsmittelunverträglichkeiten, also dass so Punkte abgeklappert werden? Genau. Ja. Und dann, wenn Du dann reingehst und sagst so, Du bist jetzt ein Innenarchitekt und Innenraum aus, Innenraumgestalter, dann würde er zuerst fragen, okay, was ist dein Ziel, viktorianische

Speaker0: Genau. Und da bist Du jetzt schon mitten im, und da bist Du aber auch jetzt generell mitten im Thema einfach prompt Chaining, prompt Engineering, dass man, auch dieses Thema Halluzinationen zu vermeiden, also das Ausdenken von irgendwelchen Sachen, einfach sehr, sehr strikte Anweisungen am besten schreibt und dazwischen auch mit dem Chatbot interagiert. Und man kann auch zum Beispiel in 'nem zweiten Chatbot dann bitte die Antwort auf Fakten prüfen lassen oder oder generell halt prüfen, ob das so stimmt. Und was wir da merken, ist, wir brauchen eigentlich so kleine Häppchen, Mhm. Die das Runterbrechen statt 1 großen Aufgabe irgendwie die Kleine und auch mal 'n paar Agenten miteinander, also paar Chatinstanzen miteinander in in Beziehung bringen,

Speaker1: weswegen wir ja das Ganze auf die Boards gebracht haben. Genau. Erklär das mal für die Complexity Masters. Das ist nämlich Genau. Ein Schritt, den wir so noch nicht breit in die Öffentlichkeit getragen haben 'n bisschen. Richtig. Was was sind was sind Chats auf Boards? Okay, also was

Speaker0: die, die Halerium vielleicht kennen, gut, wir haben Boards, die sind son bisschen wie sone Mindmap oder wie son Miro Board, da hast Du halt Karten auf einem auf 1 unendlich großen Pinnwand. Und was wir jetzt gemacht haben, ist, dass wir einfach die neue Karten eingeführt haben, die eben Chat Bots oder generell solche generativen KI Modelle ansteuern. Und der Vorteil ist, Du hast dann auf diesem zweidimensionalen Board die Möglichkeit, verschiedene Bots zu benutzen, quasi parallel. Und halt den Chat wird halt in aufeinanderfolgenden durch Pfeile verbundene Karten abgebildet. Und dadurch kannst Du halt ja, Bot 1 setzt Du auf, als Du bist, der skeptische Faktenchecker. Bot 2, der soll dir die Biografie zu Stefan Ohnesorg, weiß nicht, gibt's den Namen, ich hoffe nicht, schreiben. Und dann kann der r, also dann dann dann kannst Du die mit, kannst Du den das Ergebnis des Zweiten zum Faktenchecker geben und der sagt dir dann, ist das 'n Halluzinationsergebnis oder nicht? Das das haben wir deswegen gemacht, weil wir einfach gemerkt haben, man beginnt sonst, diese Sachen per Copy Paste zwischen verschiedenen ChatGPT Verläufen hin- und herzukopieren, diese Ergebnisse so zu erreichen. Und also wir hatten da, ja, weil ich verschiedene verschieden Bots brauche, damit ich zusammen ein Ergebnis erziele, was eine hohe Qualität hat und auch eine gewisse Zuverlässigkeit. Nehmen wir zum Beispiel,

Speaker1: Herr, Du möchtest ein Bild mit Stable Diffusion erzeugen und beherrscht nicht die hohe Kunst des für Stabil Diffusion. Genau. Das nimmst Du her, Du nimmst 'n GPT-vier her mit dem richtigen Preprompting,

Speaker0: Stabil Diffusion Prompts bauen zu lassen und sagst ihm, gib mir mal einen prompt für Stabil Diffusion Zum Beispiel. Eine Katze, ja. Zum Beispiel. Da kopierst Du hin und her, bist Du schwarz wirst. Genau. Und letztendlich ging's uns Haben wir dann auch gemerkt, na ja, es gibt halt diese bisschen verschiedenen auch Tools. Es gibt die ChatGPT, gibt's Stable Diffusion, dann gibt's die ganzen Open Source Agenten und so weiter. Und dann gibt's verschiedene Oberflächen dafür und wenn man dann beginnt zwischen den hin- und her Copypasten, kann man das nicht irgendwie alles in eine Oberfläche bringen. Und wir haben gemerkt, so schwer ist das gar nicht, weil das sind ja alles APIs am Ende des Tages, die hier in 'ner relativ Muster folgen, prompt 3, 'n Ergebnis raus. Und gibt da auch coole Pipeliningtools da draußen, ne, also Langchain als Programmierschnittstelle oder Langflow dann als Visualisierung, aber die sind sehr, sehr, sehr komplex. Da musst Du eigentlich schon programmieren können, die benutzen zu können. Und wir wollten das mal einfacher machen, einfach auch aus eigenem Sinn. Und das mentale Bild war son bisschen, na ja, Du hast jetzt hier den Weisen ChatGPT, meinetwegen der Sokrates, Du hast den Weisen, Du hast den, Du hast Stable Diffusion, das ist meinetwegen dein Van Gogh oder so was. Und die möchtest Du jetzt alle in einem Pantheon Tempel versammeln, wo Du sie dann wo Du sie dann einander befruchten lassen kannst. Und so sehen wir da bisschen die Rolle unserer Boards.

Speaker1: Das war für mich auch eine große Erkenntnis. Du hast gerade das erwähnt, nämlich diese Pipeliningtools. Ja. Und zwar gibt's ja Pipeliningtools wie Sand am Meer. Einmal ausgehend von den klassischen und sehr generischen Tools wie Microsoft, es gibt, es gibt, es gibt mit und dann gibt's ja auch grafische Chaining Frameworks, die eher für Programmierer ausgerichtet sind. Und mir wird dir 1 bewusst, und zwar, Du kannst ein Pipeliningtool eigentlich erst dann sinnvoll nutzen, wenn Du schon weißt, wie der Lösungsweg aussieht. Also Du hast das Problem eigentlich schon verstanden Du brauchst die Intuition schon. Und und und und musst wissen, wo Du hin möchtest. Okay und dann, ja okay, dann klopf ich's halt in den Computer rein. Und der krasse neue Ansatz von 'nem Chatbot wie der von mit GPT 4 oder 3 5 damals ist ja, dass Du einfach mal drauf loslegen kannst. Und Das ist eine Explorative, ja. Mal mal schauen, wo ich rauskomm. Und ich frag einfach mal, hey, ich brauch 'n Rezept für 'n italienisches Nudelgericht, aber ich hab folgende Nahrungsmittelunverträglichkeiten. Und am Ende komm ich bei 'nem Chatverlauf raus, bei dem ich dann asiatisch koche, ja. So, aber aber das wusst ich vorher nicht. Und das ist was komplett Konträrdes erst mal auch von der Denkweise. Und dann war's unser Ansatz zu sagen, ja, okay, lassen wir eher in diesem explorativen Denkmodus bleiben als in dem voll durchgetakteten Analytischen.

Speaker0: Genau. Ja, die die Pipeline, wenn Du's dann einmal geknackt hast, ne. Ja, genau. Du's mehrfach haben. Und wie kommst Du dahin? Ja, ja, ja. Und da fehlte uns einfach was zwischen dem linearen Chat in Chat Punkt openaria Punkt com und Langflow Pipelineingtiningtool. Okay, wenn ich ganz genau weiß schon, was ich tun will. Was mach ich dazwischen?

Speaker1: Ja und und ich stell mal auch die Frage, also wenn jemand mal in seinen Chat Punkt open a I Punkt com Chatverlauf reinguckt, ja, von den Complexity Masters benutzen es sicherlich einige im täglichen Gebrauch. Wahrscheinlich. Bin ich mal sicher. Wie oft gucke ich in alte Chatverläufe rein? Also bei mir ist es so, eigentlich fast nie, ja. Also diese Chat sind sind Wegwerfprodukte. Und dann mit 'nem Pipeliningtool draufzuschlagen, das sie auf Reproduzierbarkeit ausgelegt ist, Es beißt sich halt, ne?

Speaker0: Richtig. Ja, also man braucht 'n intuitives Gespür, deswegen braucht's eine intuitive Bedienung Bedienbarkeit, die nicht zu komplex ist. Und gleichzeitig ist es halt wahnsinnig vorteilhaft, verschiedene Bots miteinander interagieren zu lassen.

Speaker1: Wie intuitiv findest Du Stable Fusion eigentlich mittlerweile? Kannst Du das? Also da schreibst Du eine prompt für Stable Fusion und die klappt?

Speaker0: Wenn Du mit eine 50 meinst? Ah, okay, okay, okay. Na, es ist immer trial and Error.

Speaker1: Also da bin ich noch nicht so gut. Also ich bin mittlerweile so weit, auch eine Erkenntnis von unseren Usertests. Ich fand das echt interessant bei Stable Diffusion, man schreibt ja rein, was man haben möchte. Stable Diffusion, für die, die's nennen, Text zu Bild erst mal, primärer Anwendungsfall. Genau. Und Du Du Du beschreibst halt auch 'ner gewissen Strukturfolgen, was Du haben möchtest, wie's aussehen soll. Also helle Farben, starke Kontraste, keine Tiefenschärfe oder schon, ja. Und und und beschreibt das quasi im Nominalstil. Und ich hab dann ganz viele gesehen, die gewohnt waren, diesen Chatcharakter zu haben, ihn mit 'ner KI zu interagieren. Und dann schreiben die halt in das Promptfeld rein so, erzeuge mir ein Bild von, ja, bla bla bla bla bla und reden mit dem Ding. Und da kommt halt einfach nix dabei raus, weil das Tool nicht dafür gebaut wurde. Und das mussten wir das muss man erst mal Genau. Intuitiv greifen.

Speaker0: Deswegen ist es halt praktisch, sich da erst noch von ChatGPT den prompt ganz nüchtern bauen zu lassen und den dann an zu übergeben.

Speaker1: So und bei unseren Boards, wir kommen ja ursprünglich aus dem Bereich erst mal Mindmapping oder generischer, weil Mindmaps sind ja streng gesehen gerichtete Graphen. Unsere Boards waren schon immer mehr, also einfach Ja. Grafnetzwerke mit Karten. Welche Rolle spielen jetzt diese diese?

Speaker0: Ja. Das ist, da da war glückliche Führung des Schicksals, das wir dir dann nicht wegschmeißen mussten, weil wir haben 'n anderen Bedarf gemerkt, Kontext. 'nem Chat einfach Kontext zu geben, beispielsweise Du schreibst Marketing, Mhm. Würden wir natürlich nie tun, dass wir uns von ChatGPT unsere Marketing Posts schreiben lassen. Niemals. Aber wenn Du das machst, dann möchtest Du dem vielleicht so was wie 'n Styleguide oder son paar Fakten über die Firma. Das möchtest Du dem ja alles mitgeben. So. Klar, kannst wieder rein Copy, pasten, aber eigentlich ist das wiederverwertbarer Kontext, kann in seiner eigenen Karte leben und kann per Pfeil hier und da werden. Haben wir dann ausprobiert, hat war supernüßlich, wieder irgendwie Copy Paste Schlacht, 'n großen Faktor reduziert, geschaffen und auch keine Pipeline, jetzt aber so wiederverwertbares

Speaker1: wiederverwertbare Strukturen konnten wir dadurch schnell schaffen. Und mir hilft's allein, ich kann da doch 2 Dinge trennen. Und zwar den Imperativ und das Ding, womit ich arbeite. Also was mein ich damit, ja? In in das Chatfeld schreib ich rein, mach aus der Stichwortliste im Kontext einen zusammenhängenden, professionell formulierten Text. Ja. Das ist das, was ich dem sage. Das ist der Befehl? Ja, das ist der Befehl, der Imperativ, genau. Und über den Kontext, über die Informationskarte fließt der rein. Genau. Und das ist jetzt sauber separiert. Das heißt, ich kann im ordentlich arbeiten, ohne den Imperativ aus Versehen anzufassen und andersrum.

Speaker0: Ja, und vor allem beim Denken. Also ja, beim Denken. Ja, ja. Ich könnt sagen, also dass dass Du dich vertippst, aber Du denkst dann einfach auch anders. Ja, genau, genau. Klar, ich könnt alles in die prompt Karte reinschreiben. Ja. Wär von 'ner Mechaniker her äquivalent,

Speaker1: aber nur vom Denkmuster her gibt es Struktur.

Speaker0: Und das andere, wir hatten vorhin über die Halluzination gesprochen, anderes, wo das manchmal auch passiert, ist einfach, wenn dein Kontext schon zu lang wurde. Also wir hatten's ja letztes Mal angesprochen, es gibt 2 Möglichkeiten. Wenn dein Kontext länger ist als sozusagen das Kurzzeitgedächtnis des Modells, dann kann kannst Du abschneiden vom Anfang. Und dann beginnt das Modell, sich unvorher oder komisch zu verhalten, weil sozusagen der Anfang der Konversation fehlt. Oder Du kannst einfach sagen, hey, Schluss, genug genug gesprochen. Und da hat's wahnsinnig geholfen, dass man einfach sagt, hey, ich hab mich jetzt hier bisschen verrannt im Chat. Gehen wir doch mal wieder 'n paar Schritte zurück und und machen da eine Gabelung. Und das erinnert mich immer son bisschen an Ich hab leider keine bessere Analogie als dieser blöde Film 40 1. Dates, wo sozusagen der der jeden Tag noch mal die Chance kriegt, das besser zu machen. Und das wünsch ich mir oder hab ich mir für die Chats halt auch gewünscht mit so, ja, dieser Chat, okay, ganz nett, aber jetzt weiß ich jetzt, wo ich mit dir gesprochen hab, lieber Chatbot, wüsste ich eigentlich, wie ich's am Anfang hätte gleich prägnanter formulieren können. Mhm. Und das kannst Du mit Karten dann wunderbar machen, einfach eine Klarbelung erzeugen und von da an weitermachen. Oder Du modifizierst einfach eine vorangegangen Antwort Frage prompt. Da kommt er auch wirklich hinaus und lässt's noch mal durchlaufen. Ist megapraktisch, geht zu 'nem gewissen Grad, im linearen Tool natürlich auch, aber Du verlierst dann sehr schnell die Übersicht.

Speaker1: Ich hab da immer das eher weniger 40 1. Dates, sondern eher Science Fiction Bild im Kopf von von Zeitlinien. Ja, genau. Dass dass Du sagst, okay, lass mal hier 'n Tag zurückspringen und eine neue Zeitlinie aufmachen. Und die, die gut funktionieren, die dann wieder. Ja, stellt euch ja, stellt euch vor, ihr habt 'n Gespräch und ihr könnt jederzeit,

Speaker0: ah, nee, Quickload, quicksafe. Ja, quicksafe, genau. Der, die letzten 2 Minuten, die haben nicht viel gebracht. Davor war die Diskussion so schön produktiv. Gehen wir mal dahin zurück. Und dann natürlich spart ihr euch diesen diesen sonst immer länger werdenden Kontext. Da klar könnt ihr dem Chat auch sagen, hey,

Speaker1: Aber ist halt dann immer noch, irgendwann sind da trotzdem die 4000 Tokens voll. Da müssen wir jetzt dann noch mal kurz 2 Dinge auch aber auseinanderhalten. Und zwar das eine ist ja, dass ich in eine lineare Chatkette reingreife in die Vergangenheit Ja. Und dort Modifikation mach. Das kann ich ja auch mit dem normalen Chat GPT Interface. Genau. Aber Vorsicht, da verlier ich dann alle nachfolgenden Frage, Antwort. Genau, die muss ich dann neu schreiben. Die muss ich die muss ich neu durch xen. Also das ist der eine Punkt. Wir haben ganz explizit die Möglichkeit geschaffen, in die Vergangenheit reinzugreifen, ohne das zwischen vorvorgestern und heute, also das Gestern und das vorgestern modifizieren zu oder neu neu tippen zu müssen. Genau. Ja. Sieht das, glaub ich, nicht so gern, weil was man damit natürlich auch machen kann, ist dem dem Chatbot was in den Mund legen.

Speaker0: Ja, das haben wir auch extra so gemacht. Ich werd mir letztes Mal erzählt, das Ding ist States, Du schickst immer die ganze Chathistorie und die ist dann einfach das, worauf aufgebaut wird. Das kannst das heißt, Du kannst da reinschreiben, was Du willst. Also Du kannst reinschreiben, was Du willst in die Chathistorie und deswegen haben wir gesagt, na ja, dann warum nicht auch in den Antworten rum rumschreiben? Ist dann ganz lustig, wenn Du ChatGPT in den Mund legst, der hätte dich beleidigt und dann entschuldigt er sich für was, was er gar nicht gemacht hat, armer ChatGPT. Wenn die Roboter übernehmen, wird er sich rächen. Aber Na ja. Es war tatsächlich nützlich für diese sonst

Speaker1: kleinen Korrekturen der Antwort. Da hast Du die besseren Leidensgeschichten, Theo. Ich ich ich hab 'n ganz konkretes Beispiel. Und zwar, ich lass mir eine E-Mail von bauen Oder das gilt genauso auch für 'n Code, ja. Wenn ich wenn ich sag, okay, programmier mal bitte für die und die und die Fragestellung gegeben der Codevorlage im Kontext Ja. 'n Code. Und meine Erfahrung ist, es passt halt oft verdammt gut, aber noch nicht 100 Prozent. Das könnte bei der E-Mail so was sein wie ja, dass Du ganz am Ende noch deinen Namen einfügen musst. Oder dass beispielsweise eine variablen Benennung im Python Code nicht der Benennungskonvention von deinem Team entspricht, dass dass Du dort halt noch mal son bisschen reingreifen möchtest, dann aber nicht stehenzubleiben, weil ich könnt's einfach rauskopieren in Outlook oder in Studio Code und dort das modifizieren, sondern ich möcht ja weitermachen. Genau. Und dann einfach in die Antwort reinzugreifen und nicht lang rumzukopieren, sondern zu sagen, okay, jo,

Speaker0: das ich setz jetzt hier das Komma. Ja, aber sonst hättest Du sonst hättest Du's halt kopieren müssen und in deinen nächsten prompt quasi die geänderte Version, okay, Ja, ja, ja. Bla bla bla. Und dann hast Du wieder wertvollen Kontext verschwendet Topy Gedächtnis. Ja, genau. Topy belegt. Ja, genau. Also quasi Kurzzeitgedächtnis befüllt und wieder Copy und Paste gehabt und ja. Warum nicht gleich einfach korrigieren?

Speaker1: Und das 2., was ich vorhin noch von dem quasi linearen prompt Editing abgrenzen wollte, das ist ja wirklich nur mal das Thema gabeln. Also stellt's stellt's euch vor, ihr könnt eure bots beliebig klonen, ja. Also aus Alice und Bob werden auf einmal Alice und Bob 1, Bob 2 und Bob 3.

Speaker0: Genau.

Speaker1: Wenn ich mir hernehm Okay, wir haben dieses vorhin ja son bissel weggeschoben als etwas, ja, entspricht jetzt nicht so ganz dem dem dem klassischen Chatverlauf. Am Ende zeichnen sich ja aber doch wiederkehrende Muster ab. Auf jeden Fall.

Speaker0: Wenn ich mal was Cooles gebaut hab, einen coolen, eine coole Interaktion zwischen verschiedenen Bots, eine coole promptchain, dann will ich die natürlich gerne wiederverwerten und vielleicht nur Also stellt euch mal vor, ihr habt so diese ganze prompt Chain gebaut durch euren coolen Marketingpost und so weiter und jetzt möchtet ihr das Gleiche einfach nur mit 'nem neuen Style Guide. Warum denn alles noch mal neu tippen? Einfach wenn's wenn Da haben wir's deswegen so gemacht, tausche einfach die, also nimm das Ganze einfach als Vorlage, tausch deine Kontextkarte aus oder editiere den prompt und da, lass einfach alles neu durchlaufen, fertig. Also man kann's dann auch als Pipeline oder nahezu als Pipeline benutzen, sobald man einen coolen Workflow zu Board gebracht hat.

Speaker1: Ich möcht ein Beispiel nur aus der Templatelibrary herausgreifen. Und zwar ist das unser Bot versus Bot Template. Das find ich besonders lustig. Das ist nämlich 'n 'n erster Betauser von uns hat's verglichen mit, das ist ein Chat GPT Gun. Also die Idee von einem Gun, einem Network ist ja, dass Du 2 Netze gegeneinander arbeiten lässt. Und das eine versucht das andere so lange auszutricksen, bis es nicht mehr unterscheiden kann zwischen echt und von der KI generiert. Genau. Und die Idee von dem Bot versus Bot Ansatz ist, einen Problemlöser zu haben, der Feedback bekommt von dem zweiten Bot und es geht so lang im Kreis, bis der Feedbackgeber bis demnächst mehr einfällt.

Speaker0: Ja. Genau. Also das sind halt diese, Du wirst verrückt, wenn Du das mit Copy Paste machen willst. Ja, ja, richtig.

Speaker1: Cool. Was uns auch aufgefallen ist, die Zusammenarbeit an den Chat ist etwas, das ich vor allem bei komplexeren Fragestellungen ja sehr häufig hab. Also Stichwort Kollaboration, Ja. Dort eigentlich 1 zu 1 übernommen von früher, ne. Ja, das war,

Speaker0: das war ganz praktisch, weil wir hatten schon Echtzeit Kollaboration, so Google Dog Style. Und so hat man's jetzt auch in den Chats. Macht Spaß.

Speaker1: Apropos Spaß. Etwas, das massiv durch die Social Media Landschaft begeistert ist, zumindest in meinem Feed, das war das Thema nicht nur ChatGPT und Transformer und generative KI und Papst Franziskus hat jetzt irgendwelche lustigen Daunenjacken an. Das war auch insbesondere das Thema PDF.

Speaker0: Ja, ja. Als ich das das 1. Mal gesehen hab, fand ich's auch cool und, Wie machen die das? Trainieren die mit dem PDF? Nee, wir wissen ja, also haben dann einfach mal nachgeschaut, wie geht das? Und ich glaub, ich hab's auch in der letzten Folge schon kurz erklärt, ne, mit dem Vektor Store und den Im Junking. Und Junking. Ja, und ich leg doch einfach das File auch ins Board. Dann

Speaker1: Also da muss ich dazu sagen, damit man einfach son Pfeil ins Board reinlegen kann, das war 'n bissel von Maxim. Aber hey, wir haben mittlerweile immerhin den Stand erreicht. Wir können PDFs reinziehen, wir können Word reinziehen, wir können Excel reinziehen, wir können große RAW Text und MDs, also Dateien reinziehen. Ja. Es wird im Hintergrund zerlegt in Junks, und Du merkst nix davon als User. Also das ist, also, ja. Das muss man sich auch auf der Zunge zergehen lassen. Das ist quasi so nebenbei, ja. Das das fand ich persönlich extrem stark.

Speaker0: Ja, das ist halt einfach, wenn man schon son, wenn man ein Board schon hat, dann hast Du halt die, dann ist, liegt die UX auf der Hand.

Speaker1: Und dann kann man's echt relativ schnell einbauen, weil wir mit Halerium schon so viel Infrastruktur halt haben. Ja. Am Ende, das ist ja 'n Problem. Dieses, wie krieg ich jetzt meine eigenen Dokumente in die in ins Spiel hinein, das mittlerweile ja auch adressiert hat. Zumindest Oh ja. Pro Account, ich kenn nur den Pro Account, ist es ja so, Du kannst mittlerweile eigene Dateien hochladen. Mhm. Aber ich bin mir nicht sicher, ich glaube, es ist limitiert auf eine oder sind's mehrere?

Speaker0: Ich bin Nutzeralerium deswegen. Weiß ich nicht.

Speaker1: Der Punkt ist, was ich ganz nützlich finde, ist, dass Du ganz granular entscheiden kannst, okay, bei dieser Frage möcht ich gern Dokument 1, 2 und 4 mit reinfüttern. Ja. Bei der Frage nur Dokument 2 und 5, ja. Das kannst Du genau steuern über die die Connections.

Speaker0: Genau. Was Also bei bei den Boards ganz viel über die Bei den Boards. Bei

Speaker1: ist halt immer das Thema, okay, krass, ich lade jetzt hier irgendwie ein Dokument hoch, 'n Vertragsentwurf oder so. Was passiert mit dem eigentlich? Klassische Zuhörerfrage, die ich regelmäßig hör. Ah ja. Was passiert eigentlich mit meinen Daten? Werden die geklaut?

Speaker0: Also klauen würde ja, wenn's dem Enduser Agreement an Also na ja, ich, also ich würd mal davon ausgehen, die Daten werden von Open NAI verwendet, das Modell weiter zu trainieren. Ist ja logisch. Also es gibt die Azure Schnittstelle, da kannst Du da Ist es 'n Opt out oder Opt in, aber auf jeden Fall kannst Du da sagen, die Daten sollen bitte nicht in den Trainingskorpus

Speaker1: wandern. Also wenn, so wie ich's ich gesehen hab, genau. Microsoft sagte halt, okay, wir hosten für dich eine eigene Instanz von GPT 4 oder 3 5, nee, nur 3 5 bis jetzt. Stimmt.

Speaker0: Ja, ja, ja. Aber ja, also klar. Das ist halt immer das das große Privacy Thema, weswegen wir ja die Azure Schnittstelle verwenden, zumindest für 3 5, wo das geht. Und auch ja, deswegen die Open Source Modelle auch einbinden, Da nehmen wir letztendlich die Huggingface API beziehungsweise die Klassen von Huggingface, mit der man leichter eine API bauen kann, einfach die ganzen Open Source Modelle halt in 'nem geschlossenen Ökosystem, ohne dass es halt zu einem zu 'ner weiteren Partei im Internet geht, so zu verwenden und dass die Daten quasi nie irgendwo on disk gespeichert werden, außer in Halerium. Ja, also sprich, wir müssen nur noch uns selber vertrauen. Irgendwann muss man, irgendwem muss man leider immer vertrauen, ne. Magst Du noch mal kurz erklären, was ist? Was ist nicht? Aber ist eine gigantische, also auch Communitywebsite, wo halt lauter Machine Learning Modelle letztendlich angeboten werden. Das ist auch ein, die haben auch eine Menge Python Module geschrieben, die die Machine Learning Modelle rappen, quasi Standardinterfaces drumrum zu bauen. Und dann können die halt dadurch auch leicht APIs einbauen. Das heißt, Du kannst bei Hackingface zum Beispiel einfach sagen, ich hätt gern Open Source Sprachmodell x für die Aufgabe Chat meinetwegen, hätt ich gern als API Endpunkt. Dann ja klar, Kreditkarte hier, paar Optionen da und dann wird das Ding für dich halt deployed und Du kann, hast dann einen API Endpunkt, der quasi dein Privater ist, sonem Modell, Mhm. Wo auch jetzt nicht die Daten irgendwo ständig abgegriffen werden. Also die, zumindest versprechen Sie, dass Sie da auch die Privacy halt schützen und die Daten quasi nicht irgendwo noch mal zusätzlich speichern.

Speaker1: Wir haben hier im Eiltempo eine ganze Latte von Problemen durch g x, die uns unterwegs und bei der Frage, wie krieg ich Transformer generative KI eine professionelle Anwendung rein begegnet sind. Ich fänd's total spannend. Schickt uns eure Erfahrungen, die ihr erlebt habt. Was sind die Probleme beim konkreten Einsatz mit generativer KI? Ist es fehlendes intuitives Verständnis? Ist es ganz platt das Thema Datenschutz oder was ganz was Neues? Dann freuen wir uns, davon zu erfahren und bauen das gerne in eine der nächsten Folgen ein. Wir haben uns, nachdem Herr Lyrium so mächtig wurde mit der Erweiterung generative KI mal hingesetzt und versucht, das zusammenfassen zusammenzufassen. Und am Ende sind's ja 3 Punkte. Nämlich erstens, Halerium entwickelt oder gibt mir das intuitive Verständnis, ermöglicht mir 'n intuitives Verständnis zu entwickeln für generative KI. Ja. Es fühlt sich so an wie, wie an 'nem Whiteboard zu stehen mit KI Assistenten. Genau. Und wenn ich mal verstanden hab, wie ich 'n Problem löse, nimmt's mir repetitive Arbeit ab.

Speaker0: Genau.

Speaker1: Und was wir momentan tun, wir haben's in der letzten Folge am Ende schon angeteasert, wir haben momentan eine private Betaphase, für dieses neue Feature Set von Halirium Testuser anzubohren. Wir müssen auch aufpassen mit der Skalierung, dass immer alles schön smooth und stable bleibt. Und wir möchten die Komplexity Masters aber gerne einladen und verlinken deswegen in den Shownotes noch mal den Link zur Landingpage. Und wer bei dem was möchten Sie mit Halerium Thunfeld angibt, der kommt auf den. Genau. Maxim, in der nächsten Folge geht's Mythen.

Speaker0: Mythen über generative KI, ja. Dazu übernimmt sie die Weltherrschaft. Wie fühlt sich ChatGPT, wenn ich ihm eine dumme Frage stell?

Speaker1: Was können wir dagegen tun, dass KI die Weltherrschaft übernimmt und wenn nein, wie kann ich davon profitieren? Genau, ich freu mich auf die nächste Folge. Leute, schickt's uns gerne Mythen ein. Wir zerlegen 'n paar, wir decken 'n paar auf. Bis dahin. Danke dir, Maxim. Danke dir.

Speaker0: Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.

More episodes from season 6 →