Die Schattenseiten generativer KI

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Dr. Maksim GreinerCo-Founder & CTO von Erium
Überblick
In der zweiten Folge der sechsten Staffel des Erium Podcasts beleuchten Theo Steininger und Maksim Greiner die zentralen Herausforderungen beim Einsatz generativer KI im professionellen Kontext. Von Halluzinationen über Datenschutzfragen bis hin zu den Grenzen klassischer Pipeliningtools diskutieren sie, worauf Anwender achten müssen – und wie Halerium mit seinem Board-Ansatz konkrete Lösungen bietet.
Zusammenfassung
Halluzinationen: Wenn die KI Fakten erfindet
Ein zentrales Problem großer Sprachmodelle ist die sogenannte Halluzination: Das Modell generiert inhaltlich plausibel klingende, aber faktisch falsche Antworten. Der Grund liegt in der Funktionsweise – ein Sprachmodell ist keine Suchmaschine, sondern erzeugt wahrscheinliche Textfortsetzungen auf Basis statistischer Muster. Frühere ChatGPT-Versionen erfanden etwa komplette Biografien für unbekannte Personen.
Die Hosts vergleichen dieses Verhalten mit jemandem, der unvorbereitet in ein Meeting kommt und trotzdem kompetent wirkt – ein 'Master of Bullshit Bingo'. Besonders tückisch: Anders als bei klassischen Softwarefehlern gibt es keine Fehlermeldung, sondern ein Ergebnis, das sinnvoll aussieht, aber schlicht falsch sein kann.
Als Gegenmaßnahmen empfehlen Theo und Maksim: Aufgaben in kleinere Teilschritte zerlegen (Prompt Chaining), konkrete Beispiele im Prompt mitgeben (Few-Shot- bzw. One-Shot-Learning) und Zwischenergebnisse gezielt auf Fakten prüfen – etwa durch einen zweiten Bot als Faktenchecker.
Few-Shot- und Zero-Shot-Learning als Prompt-Strategie
Im Gespräch holen die beiden einen Begriff nach, der in der ersten Staffelfolge fehlte: Few-Shot-Learning. Damit ist gemeint, dem Modell direkt im Prompt ein oder mehrere Beispiele für das gewünschte Ergebnis mitzugeben – etwa eine gut formulierte Biografie als Vorlage. Das Modell kann daraus schnell abstrahieren und das Muster auf neue Inhalte anwenden, ohne dass ein echtes Nachtraining stattfindet.
Zero-Shot-Learning bezeichnet dagegen den Ansatz, ohne jedes Beispiel direkt nach einer Leistung zu fragen. Beide Techniken sind Teil des Prompt Engineerings und helfen, die Qualität und Präzision der Ausgaben spürbar zu verbessern.
Explorative Nutzung statt starrer Pipelines
Klassische Pipeliningtools wie Langchain oder Langflow setzen voraus, dass der Nutzer den Lösungsweg bereits kennt – sie sind auf Reproduzierbarkeit ausgelegt. Generative KI-Chats hingegen laden dazu ein, explorativ vorzugehen: Man startet mit einer vagen Frage und lässt sich überraschen, wo man landet.
Diese fundamental andere Denkweise – offen und iterativ statt durchgetaktet – macht klassische Pipeline-Werkzeuge für den Einstieg ungeeignet. Theo und Maksim beschreiben, wie sie genau diese Lücke zwischen dem einfachen Chatinterface und komplexen Programmier-Frameworks mit dem Halerium-Board-Ansatz schließen wollten.
Halerium Boards: Mehrere KI-Bots gemeinsam orchestrieren
Halerium Boards funktionieren ähnlich wie eine Mindmap oder ein Miro-Board – eine unendlich große Pinnwand mit vernetzten Karten. Neu eingeführt wurden Karten, die direkt generative KI-Modelle ansteuern. Über Pfeile lassen sich verschiedene Bots miteinander verbinden, sodass beispielsweise ein Textgenerator und ein Faktenchecker-Bot zusammenarbeiten können, ohne dass der Nutzer Ergebnisse mühsam per Copy-Paste zwischen verschiedenen Chat-Fenstern hin- und herkopieren muss.
Ein konkretes Anwendungsbeispiel: GPT-4 generiert auf Basis einer Bildbeschreibung einen geeigneten Stable-Diffusion-Prompt, der dann direkt an das Bildgenerierungsmodell weitergegeben wird. Das 'Bot versus Bot'-Template geht noch weiter: Ein Problemlöser-Bot erhält Feedback von einem Kritiker-Bot und verfeinert seine Antwort iterativ, bis kein weiteres Verbesserungspotenzial mehr erkennbar ist.
Darüber hinaus ermöglichen die Boards eine saubere Trennung zwischen dem eigentlichen Befehl (Imperativ) und dem Kontext (etwa einem Styleguide oder Firmenfakten), was sowohl das Denken als auch die praktische Arbeit strukturiert.
Kontext, Zeitlinien und das Problem des Kurzzeitgedächtnisses
Ein weiteres strukturelles Problem ist das begrenzte Kontextfenster von Sprachmodellen: Wird der Chatverlauf zu lang, fällt älterer Kontext weg und das Modell beginnt, sich merkwürdig zu verhalten. Halerium Boards lösen das durch die Möglichkeit, in vergangene Gesprächsabschnitte direkt einzugreifen und ab einem beliebigen Punkt neue Gesprächszweige aufzumachen – ähnlich dem Konzept von Quicksave und Quickload in Videospielen oder dem Öffnen neuer Zeitlinien.
Zudem können Bot-Konversationen geklont werden, sodass aus einer Chat-Instanz mehrere parallele Varianten entstehen. Einmal entwickelte Prompt-Chains lassen sich als Vorlage wiederverwenden und durch simples Austauschen von Kontextkarten auf neue Aufgaben anpassen.
Eigene Dokumente einbinden und Datenschutz
Ein viel diskutiertes Thema ist die Frage, wie eigene Dokumente – etwa PDFs, Word- oder Excel-Dateien – in KI-gestützte Workflows einfließen können. Halerium unterstützt das direkte Hineinziehen solcher Dateien ins Board; im Hintergrund werden die Inhalte automatisch in kleinere Abschnitte (Chunks) zerlegt und für die Kontextversorgung der Bots genutzt, ohne dass der Nutzer technische Details kennen muss.
Beim Thema Datenschutz weisen Theo und Maksim klar darauf hin, dass Eingaben über die Standard-OpenAI-Schnittstelle potenziell zum Weitertrainieren des Modells verwendet werden können. Als datenschutzfreundlichere Alternativen nennen sie die Azure-Schnittstelle von Microsoft sowie Open-Source-Modelle, die über Hugging Face als private API-Endpunkte betrieben werden können – sodass Daten das geschlossene System nicht verlassen.
Kernaussagen
- Halluzinationen entstehen, weil Sprachmodelle per Design plausible Texte generieren – nicht Fakten abrufen – und müssen durch gezielte Prompt-Strategien aktiv eingedämmt werden.
- Few-Shot-Learning (Beispiele im Prompt) verbessert Qualität und Präzision der KI-Ausgaben erheblich, ohne echtes Nachtraining zu erfordern.
- Klassische Pipeliningtools setzen voraus, dass der Lösungsweg bereits bekannt ist – für explorative KI-Nutzung sind sie ungeeignet.
- Halerium Boards ermöglichen es, mehrere KI-Bots visuell zu verknüpfen und gemeinsam zu orchestrieren, ohne mühsames Copy-Paste zwischen Chat-Fenstern.
- Das begrenzte Kontextfenster von Sprachmodellen lässt sich durch Gesprächsverzweigungen und wiederverwendbare Kontextkarten gezielt managen.
- Eigene Dokumente lassen sich direkt ins Board ziehen und werden automatisch verarbeitet, ohne technisches Vorwissen.
- Für datenschutzkritische Anwendungsfälle empfehlen sich die Azure-Schnittstelle oder selbst gehostete Open-Source-Modelle über Hugging Face.
Fazit
Generative KI bietet enormes Potenzial, bringt aber konkrete Fallstricke mit sich: Halluzinationen, begrenzte Kontextfenster, Datenschutzfragen und die Komplexität des Orchestrierens mehrerer Modelle. Die Folge zeigt, dass viele dieser Herausforderungen mit den richtigen Methoden – durchdachtes Prompt Engineering, iteratives Vorgehen und geeignete Werkzeuge – handhabbar sind. Halerium Boards positionieren sich dabei als pragmatische Brücke zwischen dem einfachen Chat-Interface und komplexen Entwickler-Frameworks.
Fuer Einsteiger und KI-Anwender
Wer generative KI im Alltag nutzt, sollte Halluzinationen als systemimmanentes Risiko verstehen und mit Prompt Chaining sowie konkreten Beispielen aktiv gegensteuern. Das explorative Erkunden von Lösungswegen im Chat ist legitim und oft der sinnvollere erste Schritt.
Fuer Unternehmen und Teams
Bei der professionellen Nutzung generativer KI sind Datenschutz und Reproduzierbarkeit zentrale Themen. Azure-gehostete oder selbst betriebene Open-Source-Modelle bieten mehr Kontrolle, und kollaborative Tools wie Halerium Boards erleichtern die Zusammenarbeit mehrerer Personen an KI-gestützten Workflows.
Volltranskript anzeigen
Speaker0: Die Eriom Podcast.
Speaker1: Herzlich willkommen zu 1 neuen Folge von die Eriom Podcast. Mein Name ist Theo Steininger und mir gegenüber Maxim Greiner. Hi Maxim. Hi. Wir machen weiter im Text. Folge 2 der sechsten Staffel von Der EM Podcast, in der es generative KI geht. Wer die 1. Folge von Staffel 6 verpasst hat, wir haben eine ganze Latte an Begriffen abgeräumt, Vokabular geklärt, einmal klargestellt, was ist was, was ist was nicht? Und heute wollen wir uns mal genauer angucken, welche Herausforderungen das es gibt. Also ganz ehrlich, was sind die Probleme beim Einsatz von generativer KI? Worauf muss man achten? Und wir haben da zu so manchem Thema eine Lösung im petto und die stellen wir in dem Zuge gleich vor. Maxim, lass uns gleich einsteigen. Gerne. Und 1 der krassesten Themen, die vor allem ja, auch viele Shitstorms dann erzeugt hatten, das ist das Thema Halluzination von generativer KI.
Speaker0: Ja, also wenn man jetzt mal so ganz, ne, jetzt noch, ne. Also was was ist damit gemeint? Teilweise, also da arbeiten die natürlich auch dran, aber grad in den früheren Versionen von ChatGPT, Du konntest zum Beispiel irgendwie sagen, ja, wer ist und dann irgend einen Namen, ja. Und dann begann das Modell halt irgend eine Biografie, sich einfach aus den Fingern zu saugen. Das Das meint man dann mit der Halluzination. Das hat halt irgendwas zusammengesponnen, was nix mit den Fakten zu tun hat, weil das ist keine Suchmaschine. Das ist ein Sprachmodell, was daraus trainiert ist, plausible Fortsetzungen von Texten zu geben. Und wenn ich einen Namen ihm gebe, der son bisschen klingt oder vielleicht auch in der Formulierung, wie ich's frage, klingt es vielleicht bisschen wie ein Biowissenschaftler. Mhm. Na ja, dann wird's eine Biowissenschaftler Biografie erfinden. Mittlerweile ist es schon 'n bisschen weniger in die Richtung geworden, dann hat man aber wahrscheinlich extra Beispiele nachtrainiert, dass es dann sagt, diese Person kenne ich nicht oder so was in dem Dreh. Aber das sind alles, was ich war, Sachen, die man extra antrainieren muss. Grundsätzlich wird das Modell immer schauen, was ist nach dem Wahrscheinlichkeitsmodell, was es implizit hat durch das neuronale Netz, eine plausible Fortsetzung des Textes oder eine plausible Antwort auf diesen Text. Im Prinzip ist es halt wie son Master of Bullshit Bingo. Also stellt euch, ihr kennt doch bestimmt alle so Leute, die komplett unvorbereitet in ein Meeting kommen können und trotzdem total kompetent wirken können, ja. Und son bisschen ist das bei sonem Sprachmodell auch, muss man einfach vorsichtig sein, dass es nicht bei Design nur Fakten ausspuckt, sondern bei Design macht es Textextrapolation. Und da kommt natürlich das über dem Training 'n bisschen adressiert und da gibt's auch prompt Engineering Sachen dazu. Aber am Ende des Tages ist es immer eine Möglichkeit, deswegen meine Empfehlung, versucht es zu zerstückeln oder also macht macht eine prompt Kette. Also nicht einfach hier nur einmal, ich möchte gern das und das, sondern baut das son bisschen auf, dann hat das hat das Modell konkreteren Kontext. Mhm, mhm, mhm. Und dann bemerkt er auch früher an den Zwischenantworten, ob's vielleicht schon 'n bisschen spinnt.
Speaker1: Mich hat das an was erinnert, das hab ich vor etlichen Jahren mal gelesen. Andreas Eschbach, Science Fiction Autor, der hatte das mal in einem seiner Bücher so runtergebrochen, damals ging's Wahlautomaten in dem Buch. Die Menschen sind so daran gewöhnt, dass Computer das tun, was man von ihnen erwartet. Mhm. Warum? Weil einfach eine Herrscher an den ganzen Tag nix anders macht, als Bugs zu beheben, dass es für sie undenkbar ist, dass eine Maschine nicht das tut, wofür sie gebaut wurde. Mhm. Also dass 'n Computer vor allem auch so tut, als ob er funktioniert, aber in Wahrheit funktionierte er nicht. Das ist ja quasi von von Unverständnis, weil ich krieg ja keine Fehlermeldung, sondern ich krieg 'n Ergebnis, das sieht sinnvoll aus. Und in Wahrheit stimmt's aber nicht. Ja, das ist grad beim Programmieren ja meistens der, die die schlimmsten Bugs. Ja, genau, genau, genau. Nichtsdestotrotz, also ich weiß nicht, wie's dir geht, aber mich hat es schon überrascht, wie heftig das Feedback war, weil für mich war so, ja, ja. Klar.
Speaker0: Ich mein, da hast Du, was fürn Fortschritt? Du hattest hast etwas, das Du quasi nicht von einem menschlichen Chatpartner fast unterscheiden kannst. Und dann kommen aber plötzlich sofort die Ansprüche, ne. Ist halt ist halt einfach so und so weiter. Mhm, mhm.
Speaker1: Ja, lass uns mal zu den Problemen dann auch immer gleich teilen, was dagegen helfen kann. Du hast es grad schon erwähnt, Herunterbrechen von von von Chain, genau. Von Chain, richtig. Was aus meiner Erfahrung nach auch gut funktioniert, das sind Beispiele, konkrete Beispiele zu geben. Ja. Wenn ich etwas nach einem gewissen Stil formuliert haben möchte oder wenn ich mir etwas vorstelle, so und so sollt es aussehen und jetzt macht das Gleiche nur bezogen auf das neue Thema, ja. Was da rumgeistert, das sind Begriffe wie und Learning. Das hatten wir in der letzten Folge tatsächlich nicht mit drin. Das stimmt.
Speaker0: Da holen wir die Hausaufgabe am besten noch mal kurz nach. Ja, genau. Was meint man damit? Was meint man damit, ist, dass man einfach dem Modell quasi innerhalb des Prompts, also innerhalb dessen, was man eben als Anweisung gibt, gleich Beispiele gibt für das, was man will. Und das nennt man deswegen oder Zero Shot Learning, weil es ein, weil man's vergleicht mit quasi Trainieren 1 Machine Learning Modells. Also da ist man Vielleicht mal ganz kurz rausgeholt, mit mit One Shot Learning meint man, so was wie 'n Kind sieht einmal einen Tiger auf dem Bild und dann erkennt es den auch gemalt oder im Zoo oder sonst was. Da sind Menschen sehr gut drin und Machine Learning Algorithmen eigentlich nicht. Mhm. Zu Konzepte erkennen, ne? Genau, die müssen eigentlich viele, viele Beispiele sehen. Aber jetzt ist bei diesen Sprachmodellen, es ist halt schon teilweise so, dass wenn Du in dem Prompt immer ein Beispiel gibst, hier ist ein Beispiel für einen eine gut geschriebene Biografie, dann kann das das relativ schnell abstrahieren und zum Beispiel deine Biografie darauf ummünzen. Und das ist ziemlich cool. Es ist nicht Training, weil's ja innerhalb des quasi Prompts, der Shootend forget und dann auch wieder weg ist, passiert, aber es hat einen gleichen Effekt. Und mit einem Beispiel oder mehreren Beispielen hilft es. Und mit Zero Shot meinst Du, wenn Du einfach einfach nur nach fragst, mach's mach das oder das da draus ohne 'n Beispiel?
Speaker1: Ich hab für diese diese Vorlagen, ist mir grad 'n Beispiel noch eingefallen. Und zwar, dass Du ihm vorgibst, okay, der Nutzer wird dir eine Aufgabe stellen und überleg dir, was Du dazu wissen musst. Und dann mal Beispiel, angenommen Du würdest die Aufgabe bekommen, Du wirst jetzt ein E-Mail-Schreiberassistent, dann frag ihn nach, an wen geht die E-Mail? Was ist die Trinalität? Worum geht's? Oder angenommen der Nutzer, zweites Beispiel, würde fragen, gib mir bitte Kochrezepte, dann überleg dir zuerst, was ist der Geschmack und die Vorlieben des des Nutzers? Gibt's Nahrungsmittelunverträglichkeiten, also dass so Punkte abgeklappert werden? Genau. Ja. Und dann, wenn Du dann reingehst und sagst so, Du bist jetzt ein Innenarchitekt und Innenraum aus, Innenraumgestalter, dann würde er zuerst fragen, okay, was ist dein Ziel, viktorianische
Speaker0: Genau. Und da bist Du jetzt schon mitten im, und da bist Du aber auch jetzt generell mitten im Thema einfach prompt Chaining, prompt Engineering, dass man, auch dieses Thema Halluzinationen zu vermeiden, also das Ausdenken von irgendwelchen Sachen, einfach sehr, sehr strikte Anweisungen am besten schreibt und dazwischen auch mit dem Chatbot interagiert. Und man kann auch zum Beispiel in 'nem zweiten Chatbot dann bitte die Antwort auf Fakten prüfen lassen oder oder generell halt prüfen, ob das so stimmt. Und was wir da merken, ist, wir brauchen eigentlich so kleine Häppchen, Mhm. Die das Runterbrechen statt 1 großen Aufgabe irgendwie die Kleine und auch mal 'n paar Agenten miteinander, also paar Chatinstanzen miteinander in in Beziehung bringen,
Speaker1: weswegen wir ja das Ganze auf die Boards gebracht haben. Genau. Erklär das mal für die Complexity Masters. Das ist nämlich Genau. Ein Schritt, den wir so noch nicht breit in die Öffentlichkeit getragen haben 'n bisschen. Richtig. Was was sind was sind Chats auf Boards? Okay, also was
Speaker0: die, die Halerium vielleicht kennen, gut, wir haben Boards, die sind son bisschen wie sone Mindmap oder wie son Miro Board, da hast Du halt Karten auf einem auf 1 unendlich großen Pinnwand. Und was wir jetzt gemacht haben, ist, dass wir einfach die neue Karten eingeführt haben, die eben Chat Bots oder generell solche generativen KI Modelle ansteuern. Und der Vorteil ist, Du hast dann auf diesem zweidimensionalen Board die Möglichkeit, verschiedene Bots zu benutzen, quasi parallel. Und halt den Chat wird halt in aufeinanderfolgenden durch Pfeile verbundene Karten abgebildet. Und dadurch kannst Du halt ja, Bot 1 setzt Du auf, als Du bist, der skeptische Faktenchecker. Bot 2, der soll dir die Biografie zu Stefan Ohnesorg, weiß nicht, gibt's den Namen, ich hoffe nicht, schreiben. Und dann kann der r, also dann dann dann kannst Du die mit, kannst Du den das Ergebnis des Zweiten zum Faktenchecker geben und der sagt dir dann, ist das 'n Halluzinationsergebnis oder nicht? Das das haben wir deswegen gemacht, weil wir einfach gemerkt haben, man beginnt sonst, diese Sachen per Copy Paste zwischen verschiedenen ChatGPT Verläufen hin- und herzukopieren, diese Ergebnisse so zu erreichen. Und also wir hatten da, ja, weil ich verschiedene verschieden Bots brauche, damit ich zusammen ein Ergebnis erziele, was eine hohe Qualität hat und auch eine gewisse Zuverlässigkeit. Nehmen wir zum Beispiel,
Speaker1: Herr, Du möchtest ein Bild mit Stable Diffusion erzeugen und beherrscht nicht die hohe Kunst des für Stabil Diffusion. Genau. Das nimmst Du her, Du nimmst 'n GPT-vier her mit dem richtigen Preprompting,
Speaker0: Stabil Diffusion Prompts bauen zu lassen und sagst ihm, gib mir mal einen prompt für Stabil Diffusion Zum Beispiel. Eine Katze, ja. Zum Beispiel. Da kopierst Du hin und her, bist Du schwarz wirst. Genau. Und letztendlich ging's uns Haben wir dann auch gemerkt, na ja, es gibt halt diese bisschen verschiedenen auch Tools. Es gibt die ChatGPT, gibt's Stable Diffusion, dann gibt's die ganzen Open Source Agenten und so weiter. Und dann gibt's verschiedene Oberflächen dafür und wenn man dann beginnt zwischen den hin- und her Copypasten, kann man das nicht irgendwie alles in eine Oberfläche bringen. Und wir haben gemerkt, so schwer ist das gar nicht, weil das sind ja alles APIs am Ende des Tages, die hier in 'ner relativ Muster folgen, prompt 3, 'n Ergebnis raus. Und gibt da auch coole Pipeliningtools da draußen, ne, also Langchain als Programmierschnittstelle oder Langflow dann als Visualisierung, aber die sind sehr, sehr, sehr komplex. Da musst Du eigentlich schon programmieren können, die benutzen zu können. Und wir wollten das mal einfacher machen, einfach auch aus eigenem Sinn. Und das mentale Bild war son bisschen, na ja, Du hast jetzt hier den Weisen ChatGPT, meinetwegen der Sokrates, Du hast den Weisen, Du hast den, Du hast Stable Diffusion, das ist meinetwegen dein Van Gogh oder so was. Und die möchtest Du jetzt alle in einem Pantheon Tempel versammeln, wo Du sie dann wo Du sie dann einander befruchten lassen kannst. Und so sehen wir da bisschen die Rolle unserer Boards.
Speaker1: Das war für mich auch eine große Erkenntnis. Du hast gerade das erwähnt, nämlich diese Pipeliningtools. Ja. Und zwar gibt's ja Pipeliningtools wie Sand am Meer. Einmal ausgehend von den klassischen und sehr generischen Tools wie Microsoft, es gibt, es gibt, es gibt mit und dann gibt's ja auch grafische Chaining Frameworks, die eher für Programmierer ausgerichtet sind. Und mir wird dir 1 bewusst, und zwar, Du kannst ein Pipeliningtool eigentlich erst dann sinnvoll nutzen, wenn Du schon weißt, wie der Lösungsweg aussieht. Also Du hast das Problem eigentlich schon verstanden Du brauchst die Intuition schon. Und und und und musst wissen, wo Du hin möchtest. Okay und dann, ja okay, dann klopf ich's halt in den Computer rein. Und der krasse neue Ansatz von 'nem Chatbot wie der von mit GPT 4 oder 3 5 damals ist ja, dass Du einfach mal drauf loslegen kannst. Und Das ist eine Explorative, ja. Mal mal schauen, wo ich rauskomm. Und ich frag einfach mal, hey, ich brauch 'n Rezept für 'n italienisches Nudelgericht, aber ich hab folgende Nahrungsmittelunverträglichkeiten. Und am Ende komm ich bei 'nem Chatverlauf raus, bei dem ich dann asiatisch koche, ja. So, aber aber das wusst ich vorher nicht. Und das ist was komplett Konträrdes erst mal auch von der Denkweise. Und dann war's unser Ansatz zu sagen, ja, okay, lassen wir eher in diesem explorativen Denkmodus bleiben als in dem voll durchgetakteten Analytischen.
Speaker0: Genau. Ja, die die Pipeline, wenn Du's dann einmal geknackt hast, ne. Ja, genau. Du's mehrfach haben. Und wie kommst Du dahin? Ja, ja, ja. Und da fehlte uns einfach was zwischen dem linearen Chat in Chat Punkt openaria Punkt com und Langflow Pipelineingtiningtool. Okay, wenn ich ganz genau weiß schon, was ich tun will. Was mach ich dazwischen?
Speaker1: Ja und und ich stell mal auch die Frage, also wenn jemand mal in seinen Chat Punkt open a I Punkt com Chatverlauf reinguckt, ja, von den Complexity Masters benutzen es sicherlich einige im täglichen Gebrauch. Wahrscheinlich. Bin ich mal sicher. Wie oft gucke ich in alte Chatverläufe rein? Also bei mir ist es so, eigentlich fast nie, ja. Also diese Chat sind sind Wegwerfprodukte. Und dann mit 'nem Pipeliningtool draufzuschlagen, das sie auf Reproduzierbarkeit ausgelegt ist, Es beißt sich halt, ne?
Speaker0: Richtig. Ja, also man braucht 'n intuitives Gespür, deswegen braucht's eine intuitive Bedienung Bedienbarkeit, die nicht zu komplex ist. Und gleichzeitig ist es halt wahnsinnig vorteilhaft, verschiedene Bots miteinander interagieren zu lassen.
Speaker1: Wie intuitiv findest Du Stable Fusion eigentlich mittlerweile? Kannst Du das? Also da schreibst Du eine prompt für Stable Fusion und die klappt?
Speaker0: Wenn Du mit eine 50 meinst? Ah, okay, okay, okay. Na, es ist immer trial and Error.
Speaker1: Also da bin ich noch nicht so gut. Also ich bin mittlerweile so weit, auch eine Erkenntnis von unseren Usertests. Ich fand das echt interessant bei Stable Diffusion, man schreibt ja rein, was man haben möchte. Stable Diffusion, für die, die's nennen, Text zu Bild erst mal, primärer Anwendungsfall. Genau. Und Du Du Du beschreibst halt auch 'ner gewissen Strukturfolgen, was Du haben möchtest, wie's aussehen soll. Also helle Farben, starke Kontraste, keine Tiefenschärfe oder schon, ja. Und und und beschreibt das quasi im Nominalstil. Und ich hab dann ganz viele gesehen, die gewohnt waren, diesen Chatcharakter zu haben, ihn mit 'ner KI zu interagieren. Und dann schreiben die halt in das Promptfeld rein so, erzeuge mir ein Bild von, ja, bla bla bla bla bla und reden mit dem Ding. Und da kommt halt einfach nix dabei raus, weil das Tool nicht dafür gebaut wurde. Und das mussten wir das muss man erst mal Genau. Intuitiv greifen.
Speaker0: Deswegen ist es halt praktisch, sich da erst noch von ChatGPT den prompt ganz nüchtern bauen zu lassen und den dann an zu übergeben.
Speaker1: So und bei unseren Boards, wir kommen ja ursprünglich aus dem Bereich erst mal Mindmapping oder generischer, weil Mindmaps sind ja streng gesehen gerichtete Graphen. Unsere Boards waren schon immer mehr, also einfach Ja. Grafnetzwerke mit Karten. Welche Rolle spielen jetzt diese diese?
Speaker0: Ja. Das ist, da da war glückliche Führung des Schicksals, das wir dir dann nicht wegschmeißen mussten, weil wir haben 'n anderen Bedarf gemerkt, Kontext. 'nem Chat einfach Kontext zu geben, beispielsweise Du schreibst Marketing, Mhm. Würden wir natürlich nie tun, dass wir uns von ChatGPT unsere Marketing Posts schreiben lassen. Niemals. Aber wenn Du das machst, dann möchtest Du dem vielleicht so was wie 'n Styleguide oder son paar Fakten über die Firma. Das möchtest Du dem ja alles mitgeben. So. Klar, kannst wieder rein Copy, pasten, aber eigentlich ist das wiederverwertbarer Kontext, kann in seiner eigenen Karte leben und kann per Pfeil hier und da werden. Haben wir dann ausprobiert, hat war supernüßlich, wieder irgendwie Copy Paste Schlacht, 'n großen Faktor reduziert, geschaffen und auch keine Pipeline, jetzt aber so wiederverwertbares
Speaker1: wiederverwertbare Strukturen konnten wir dadurch schnell schaffen. Und mir hilft's allein, ich kann da doch 2 Dinge trennen. Und zwar den Imperativ und das Ding, womit ich arbeite. Also was mein ich damit, ja? In in das Chatfeld schreib ich rein, mach aus der Stichwortliste im Kontext einen zusammenhängenden, professionell formulierten Text. Ja. Das ist das, was ich dem sage. Das ist der Befehl? Ja, das ist der Befehl, der Imperativ, genau. Und über den Kontext, über die Informationskarte fließt der rein. Genau. Und das ist jetzt sauber separiert. Das heißt, ich kann im ordentlich arbeiten, ohne den Imperativ aus Versehen anzufassen und andersrum.
Speaker0: Ja, und vor allem beim Denken. Also ja, beim Denken. Ja, ja. Ich könnt sagen, also dass dass Du dich vertippst, aber Du denkst dann einfach auch anders. Ja, genau, genau. Klar, ich könnt alles in die prompt Karte reinschreiben. Ja. Wär von 'ner Mechaniker her äquivalent,
Speaker1: aber nur vom Denkmuster her gibt es Struktur.
Speaker0: Und das andere, wir hatten vorhin über die Halluzination gesprochen, anderes, wo das manchmal auch passiert, ist einfach, wenn dein Kontext schon zu lang wurde. Also wir hatten's ja letztes Mal angesprochen, es gibt 2 Möglichkeiten. Wenn dein Kontext länger ist als sozusagen das Kurzzeitgedächtnis des Modells, dann kann kannst Du abschneiden vom Anfang. Und dann beginnt das Modell, sich unvorher oder komisch zu verhalten, weil sozusagen der Anfang der Konversation fehlt. Oder Du kannst einfach sagen, hey, Schluss, genug genug gesprochen. Und da hat's wahnsinnig geholfen, dass man einfach sagt, hey, ich hab mich jetzt hier bisschen verrannt im Chat. Gehen wir doch mal wieder 'n paar Schritte zurück und und machen da eine Gabelung. Und das erinnert mich immer son bisschen an Ich hab leider keine bessere Analogie als dieser blöde Film 40 1. Dates, wo sozusagen der der jeden Tag noch mal die Chance kriegt, das besser zu machen. Und das wünsch ich mir oder hab ich mir für die Chats halt auch gewünscht mit so, ja, dieser Chat, okay, ganz nett, aber jetzt weiß ich jetzt, wo ich mit dir gesprochen hab, lieber Chatbot, wüsste ich eigentlich, wie ich's am Anfang hätte gleich prägnanter formulieren können. Mhm. Und das kannst Du mit Karten dann wunderbar machen, einfach eine Klarbelung erzeugen und von da an weitermachen. Oder Du modifizierst einfach eine vorangegangen Antwort Frage prompt. Da kommt er auch wirklich hinaus und lässt's noch mal durchlaufen. Ist megapraktisch, geht zu 'nem gewissen Grad, im linearen Tool natürlich auch, aber Du verlierst dann sehr schnell die Übersicht.
Speaker1: Ich hab da immer das eher weniger 40 1. Dates, sondern eher Science Fiction Bild im Kopf von von Zeitlinien. Ja, genau. Dass dass Du sagst, okay, lass mal hier 'n Tag zurückspringen und eine neue Zeitlinie aufmachen. Und die, die gut funktionieren, die dann wieder. Ja, stellt euch ja, stellt euch vor, ihr habt 'n Gespräch und ihr könnt jederzeit,
Speaker0: ah, nee, Quickload, quicksafe. Ja, quicksafe, genau. Der, die letzten 2 Minuten, die haben nicht viel gebracht. Davor war die Diskussion so schön produktiv. Gehen wir mal dahin zurück. Und dann natürlich spart ihr euch diesen diesen sonst immer länger werdenden Kontext. Da klar könnt ihr dem Chat auch sagen, hey,
Speaker1: Aber ist halt dann immer noch, irgendwann sind da trotzdem die 4000 Tokens voll. Da müssen wir jetzt dann noch mal kurz 2 Dinge auch aber auseinanderhalten. Und zwar das eine ist ja, dass ich in eine lineare Chatkette reingreife in die Vergangenheit Ja. Und dort Modifikation mach. Das kann ich ja auch mit dem normalen Chat GPT Interface. Genau. Aber Vorsicht, da verlier ich dann alle nachfolgenden Frage, Antwort. Genau, die muss ich dann neu schreiben. Die muss ich die muss ich neu durch xen. Also das ist der eine Punkt. Wir haben ganz explizit die Möglichkeit geschaffen, in die Vergangenheit reinzugreifen, ohne das zwischen vorvorgestern und heute, also das Gestern und das vorgestern modifizieren zu oder neu neu tippen zu müssen. Genau. Ja. Sieht das, glaub ich, nicht so gern, weil was man damit natürlich auch machen kann, ist dem dem Chatbot was in den Mund legen.
Speaker0: Ja, das haben wir auch extra so gemacht. Ich werd mir letztes Mal erzählt, das Ding ist States, Du schickst immer die ganze Chathistorie und die ist dann einfach das, worauf aufgebaut wird. Das kannst das heißt, Du kannst da reinschreiben, was Du willst. Also Du kannst reinschreiben, was Du willst in die Chathistorie und deswegen haben wir gesagt, na ja, dann warum nicht auch in den Antworten rum rumschreiben? Ist dann ganz lustig, wenn Du ChatGPT in den Mund legst, der hätte dich beleidigt und dann entschuldigt er sich für was, was er gar nicht gemacht hat, armer ChatGPT. Wenn die Roboter übernehmen, wird er sich rächen. Aber Na ja. Es war tatsächlich nützlich für diese sonst
Speaker1: kleinen Korrekturen der Antwort. Da hast Du die besseren Leidensgeschichten, Theo. Ich ich ich hab 'n ganz konkretes Beispiel. Und zwar, ich lass mir eine E-Mail von bauen Oder das gilt genauso auch für 'n Code, ja. Wenn ich wenn ich sag, okay, programmier mal bitte für die und die und die Fragestellung gegeben der Codevorlage im Kontext Ja. 'n Code. Und meine Erfahrung ist, es passt halt oft verdammt gut, aber noch nicht 100 Prozent. Das könnte bei der E-Mail so was sein wie ja, dass Du ganz am Ende noch deinen Namen einfügen musst. Oder dass beispielsweise eine variablen Benennung im Python Code nicht der Benennungskonvention von deinem Team entspricht, dass dass Du dort halt noch mal son bisschen reingreifen möchtest, dann aber nicht stehenzubleiben, weil ich könnt's einfach rauskopieren in Outlook oder in Studio Code und dort das modifizieren, sondern ich möcht ja weitermachen. Genau. Und dann einfach in die Antwort reinzugreifen und nicht lang rumzukopieren, sondern zu sagen, okay, jo,
Speaker0: das ich setz jetzt hier das Komma. Ja, aber sonst hättest Du sonst hättest Du's halt kopieren müssen und in deinen nächsten prompt quasi die geänderte Version, okay, Ja, ja, ja. Bla bla bla. Und dann hast Du wieder wertvollen Kontext verschwendet Topy Gedächtnis. Ja, genau. Topy belegt. Ja, genau. Also quasi Kurzzeitgedächtnis befüllt und wieder Copy und Paste gehabt und ja. Warum nicht gleich einfach korrigieren?
Speaker1: Und das 2., was ich vorhin noch von dem quasi linearen prompt Editing abgrenzen wollte, das ist ja wirklich nur mal das Thema gabeln. Also stellt's stellt's euch vor, ihr könnt eure bots beliebig klonen, ja. Also aus Alice und Bob werden auf einmal Alice und Bob 1, Bob 2 und Bob 3.
Speaker0: Genau.
Speaker1: Wenn ich mir hernehm Okay, wir haben dieses vorhin ja son bissel weggeschoben als etwas, ja, entspricht jetzt nicht so ganz dem dem dem klassischen Chatverlauf. Am Ende zeichnen sich ja aber doch wiederkehrende Muster ab. Auf jeden Fall.
Speaker0: Wenn ich mal was Cooles gebaut hab, einen coolen, eine coole Interaktion zwischen verschiedenen Bots, eine coole promptchain, dann will ich die natürlich gerne wiederverwerten und vielleicht nur Also stellt euch mal vor, ihr habt so diese ganze prompt Chain gebaut durch euren coolen Marketingpost und so weiter und jetzt möchtet ihr das Gleiche einfach nur mit 'nem neuen Style Guide. Warum denn alles noch mal neu tippen? Einfach wenn's wenn Da haben wir's deswegen so gemacht, tausche einfach die, also nimm das Ganze einfach als Vorlage, tausch deine Kontextkarte aus oder editiere den prompt und da, lass einfach alles neu durchlaufen, fertig. Also man kann's dann auch als Pipeline oder nahezu als Pipeline benutzen, sobald man einen coolen Workflow zu Board gebracht hat.
Speaker1: Ich möcht ein Beispiel nur aus der Templatelibrary herausgreifen. Und zwar ist das unser Bot versus Bot Template. Das find ich besonders lustig. Das ist nämlich 'n 'n erster Betauser von uns hat's verglichen mit, das ist ein Chat GPT Gun. Also die Idee von einem Gun, einem Network ist ja, dass Du 2 Netze gegeneinander arbeiten lässt. Und das eine versucht das andere so lange auszutricksen, bis es nicht mehr unterscheiden kann zwischen echt und von der KI generiert. Genau. Und die Idee von dem Bot versus Bot Ansatz ist, einen Problemlöser zu haben, der Feedback bekommt von dem zweiten Bot und es geht so lang im Kreis, bis der Feedbackgeber bis demnächst mehr einfällt.
Speaker0: Ja. Genau. Also das sind halt diese, Du wirst verrückt, wenn Du das mit Copy Paste machen willst. Ja, ja, richtig.
Speaker1: Cool. Was uns auch aufgefallen ist, die Zusammenarbeit an den Chat ist etwas, das ich vor allem bei komplexeren Fragestellungen ja sehr häufig hab. Also Stichwort Kollaboration, Ja. Dort eigentlich 1 zu 1 übernommen von früher, ne. Ja, das war,
Speaker0: das war ganz praktisch, weil wir hatten schon Echtzeit Kollaboration, so Google Dog Style. Und so hat man's jetzt auch in den Chats. Macht Spaß.
Speaker1: Apropos Spaß. Etwas, das massiv durch die Social Media Landschaft begeistert ist, zumindest in meinem Feed, das war das Thema nicht nur ChatGPT und Transformer und generative KI und Papst Franziskus hat jetzt irgendwelche lustigen Daunenjacken an. Das war auch insbesondere das Thema PDF.
Speaker0: Ja, ja. Als ich das das 1. Mal gesehen hab, fand ich's auch cool und, Wie machen die das? Trainieren die mit dem PDF? Nee, wir wissen ja, also haben dann einfach mal nachgeschaut, wie geht das? Und ich glaub, ich hab's auch in der letzten Folge schon kurz erklärt, ne, mit dem Vektor Store und den Im Junking. Und Junking. Ja, und ich leg doch einfach das File auch ins Board. Dann
Speaker1: Also da muss ich dazu sagen, damit man einfach son Pfeil ins Board reinlegen kann, das war 'n bissel von Maxim. Aber hey, wir haben mittlerweile immerhin den Stand erreicht. Wir können PDFs reinziehen, wir können Word reinziehen, wir können Excel reinziehen, wir können große RAW Text und MDs, also Dateien reinziehen. Ja. Es wird im Hintergrund zerlegt in Junks, und Du merkst nix davon als User. Also das ist, also, ja. Das muss man sich auch auf der Zunge zergehen lassen. Das ist quasi so nebenbei, ja. Das das fand ich persönlich extrem stark.
Speaker0: Ja, das ist halt einfach, wenn man schon son, wenn man ein Board schon hat, dann hast Du halt die, dann ist, liegt die UX auf der Hand.
Speaker1: Und dann kann man's echt relativ schnell einbauen, weil wir mit Halerium schon so viel Infrastruktur halt haben. Ja. Am Ende, das ist ja 'n Problem. Dieses, wie krieg ich jetzt meine eigenen Dokumente in die in ins Spiel hinein, das mittlerweile ja auch adressiert hat. Zumindest Oh ja. Pro Account, ich kenn nur den Pro Account, ist es ja so, Du kannst mittlerweile eigene Dateien hochladen. Mhm. Aber ich bin mir nicht sicher, ich glaube, es ist limitiert auf eine oder sind's mehrere?
Speaker0: Ich bin Nutzeralerium deswegen. Weiß ich nicht.
Speaker1: Der Punkt ist, was ich ganz nützlich finde, ist, dass Du ganz granular entscheiden kannst, okay, bei dieser Frage möcht ich gern Dokument 1, 2 und 4 mit reinfüttern. Ja. Bei der Frage nur Dokument 2 und 5, ja. Das kannst Du genau steuern über die die Connections.
Speaker0: Genau. Was Also bei bei den Boards ganz viel über die Bei den Boards. Bei
Speaker1: ist halt immer das Thema, okay, krass, ich lade jetzt hier irgendwie ein Dokument hoch, 'n Vertragsentwurf oder so. Was passiert mit dem eigentlich? Klassische Zuhörerfrage, die ich regelmäßig hör. Ah ja. Was passiert eigentlich mit meinen Daten? Werden die geklaut?
Speaker0: Also klauen würde ja, wenn's dem Enduser Agreement an Also na ja, ich, also ich würd mal davon ausgehen, die Daten werden von Open NAI verwendet, das Modell weiter zu trainieren. Ist ja logisch. Also es gibt die Azure Schnittstelle, da kannst Du da Ist es 'n Opt out oder Opt in, aber auf jeden Fall kannst Du da sagen, die Daten sollen bitte nicht in den Trainingskorpus
Speaker1: wandern. Also wenn, so wie ich's ich gesehen hab, genau. Microsoft sagte halt, okay, wir hosten für dich eine eigene Instanz von GPT 4 oder 3 5, nee, nur 3 5 bis jetzt. Stimmt.
Speaker0: Ja, ja, ja. Aber ja, also klar. Das ist halt immer das das große Privacy Thema, weswegen wir ja die Azure Schnittstelle verwenden, zumindest für 3 5, wo das geht. Und auch ja, deswegen die Open Source Modelle auch einbinden, Da nehmen wir letztendlich die Huggingface API beziehungsweise die Klassen von Huggingface, mit der man leichter eine API bauen kann, einfach die ganzen Open Source Modelle halt in 'nem geschlossenen Ökosystem, ohne dass es halt zu einem zu 'ner weiteren Partei im Internet geht, so zu verwenden und dass die Daten quasi nie irgendwo on disk gespeichert werden, außer in Halerium. Ja, also sprich, wir müssen nur noch uns selber vertrauen. Irgendwann muss man, irgendwem muss man leider immer vertrauen, ne. Magst Du noch mal kurz erklären, was ist? Was ist nicht? Aber ist eine gigantische, also auch Communitywebsite, wo halt lauter Machine Learning Modelle letztendlich angeboten werden. Das ist auch ein, die haben auch eine Menge Python Module geschrieben, die die Machine Learning Modelle rappen, quasi Standardinterfaces drumrum zu bauen. Und dann können die halt dadurch auch leicht APIs einbauen. Das heißt, Du kannst bei Hackingface zum Beispiel einfach sagen, ich hätt gern Open Source Sprachmodell x für die Aufgabe Chat meinetwegen, hätt ich gern als API Endpunkt. Dann ja klar, Kreditkarte hier, paar Optionen da und dann wird das Ding für dich halt deployed und Du kann, hast dann einen API Endpunkt, der quasi dein Privater ist, sonem Modell, Mhm. Wo auch jetzt nicht die Daten irgendwo ständig abgegriffen werden. Also die, zumindest versprechen Sie, dass Sie da auch die Privacy halt schützen und die Daten quasi nicht irgendwo noch mal zusätzlich speichern.
Speaker1: Wir haben hier im Eiltempo eine ganze Latte von Problemen durch g x, die uns unterwegs und bei der Frage, wie krieg ich Transformer generative KI eine professionelle Anwendung rein begegnet sind. Ich fänd's total spannend. Schickt uns eure Erfahrungen, die ihr erlebt habt. Was sind die Probleme beim konkreten Einsatz mit generativer KI? Ist es fehlendes intuitives Verständnis? Ist es ganz platt das Thema Datenschutz oder was ganz was Neues? Dann freuen wir uns, davon zu erfahren und bauen das gerne in eine der nächsten Folgen ein. Wir haben uns, nachdem Herr Lyrium so mächtig wurde mit der Erweiterung generative KI mal hingesetzt und versucht, das zusammenfassen zusammenzufassen. Und am Ende sind's ja 3 Punkte. Nämlich erstens, Halerium entwickelt oder gibt mir das intuitive Verständnis, ermöglicht mir 'n intuitives Verständnis zu entwickeln für generative KI. Ja. Es fühlt sich so an wie, wie an 'nem Whiteboard zu stehen mit KI Assistenten. Genau. Und wenn ich mal verstanden hab, wie ich 'n Problem löse, nimmt's mir repetitive Arbeit ab.
Speaker0: Genau.
Speaker1: Und was wir momentan tun, wir haben's in der letzten Folge am Ende schon angeteasert, wir haben momentan eine private Betaphase, für dieses neue Feature Set von Halirium Testuser anzubohren. Wir müssen auch aufpassen mit der Skalierung, dass immer alles schön smooth und stable bleibt. Und wir möchten die Komplexity Masters aber gerne einladen und verlinken deswegen in den Shownotes noch mal den Link zur Landingpage. Und wer bei dem was möchten Sie mit Halerium Thunfeld angibt, der kommt auf den. Genau. Maxim, in der nächsten Folge geht's Mythen.
Speaker0: Mythen über generative KI, ja. Dazu übernimmt sie die Weltherrschaft. Wie fühlt sich ChatGPT, wenn ich ihm eine dumme Frage stell?
Speaker1: Was können wir dagegen tun, dass KI die Weltherrschaft übernimmt und wenn nein, wie kann ich davon profitieren? Genau, ich freu mich auf die nächste Folge. Leute, schickt's uns gerne Mythen ein. Wir zerlegen 'n paar, wir decken 'n paar auf. Bis dahin. Danke dir, Maxim. Danke dir.
Speaker0: Wenn ihr uns unterstützen wollt, gebt uns eine 5 Sterne Bewertung auf Apple Podcasts, folgt uns auf Spotify und empfehlt uns weiter. Bis zum nächsten Mal bei The IRIUM Podcast.