Vergiss “Second Brains”! So baust du ECHTES KI-Wissensmanagement (KOMPLETTKURS) — Transcript
Full transcript
- 0:00In diesem ultimativen Komplettkurs
- 0:01lernst du komplett kostenfrei, wie du
- 0:03dein Wissen so speicherst, auffindbar
- 0:06machst und jeder KI zu Verfügung
- 0:08stellst, dass du nicht nur selbst
- 0:10deutlich mehr aus KI herausholst,
- 0:12sondern die wohl wertvollste und
- 0:14gefragteste Fähigkeit der nächsten Jahre
- 0:17erlernst und zwar KI Wissensmanagement.
- 0:20Denn während 99% bei KI immer nur an das
- 0:23nächste noch größere Modell oder KI Tool
- 0:26denken, entscheidet in Wahrheit etwas
- 0:28ganz anderes darüber. ob KI im
- 0:30Unternehmen wirklich funktioniert und
- 0:32zwar das Wissen, auf das sie zugreifen
- 0:35kann.
- 0:40Schau nur, wie viel Wissen allein in
- 0:42deinem Unternehmen jeden einzelnen Tag
- 0:45ungenutzt herumliegt oder schlicht
- 0:47verloren geht in irgendwelchen E-Mails,
- 0:49in alten PDFs, in den Köpfen von
- 0:51Menschen und in tausenden Dokumenten,
- 0:54die niemand mehr findet. Eine aktuelle
- 0:56Atlesan Studie aus dem Jahr 2025 mit
- 0:5912000 Wissensarbeitern und 200
- 1:01Führungskräften zeigt, dass Teams und
- 1:03Führungskräfte im Schnitt 25%
- 1:07ihrer Zeit allein damit verbringen, nach
- 1:09Antworten zu suchen. Bei einer 40
- 1:11Stunden Woche sind das rund 10 Stunden
- 1:14pro Woche. Es ist also so, als würde ein
- 1:17Unternehmen vier Mitarbeiter einstellen,
- 1:19aber nur drei erscheinen wirklich zur
- 1:22Arbeit, weil der vierte permanent nur
- 1:24nach Informationen sucht, anstatt
- 1:26tatsächlich wertzuschaffen. Jetzt wirst
- 1:28du sicherlich sagen, aber Moment mal, es
- 1:30gibt doch schon KI. Ich kann doch
- 1:32einfach all mein Wissen, meine Dokumente
- 1:34und im Zweifel auch meine Mails, meinem
- 1:37KI Assistenten, sei es chat GBT, Clod
- 1:39Code oder was auch immer freigeben und
- 1:43vielleicht in ein paar Markdown Files
- 1:44ablegen, wenn ich gut bin, dann ist doch
- 1:46das Problem längst gelöst und für kleine
- 1:50Use Casases funktioniert das natürlich
- 1:52auch. Doch in der Praxis wirst du
- 1:54schnell vor diese fünf Grenzen dabei
- 1:57stoßen. Erstens laut der aktuellen
- 1:58McKinsey State of AI Studie setzen
- 2:01mittlerweile 88% aller Unternehmen KI in
- 2:04irgendeiner Form bereits ein. Doch
- 2:06gerade einmal 7% haben es geschafft, KI
- 2:09wirklich flächendeckend im Betrieb
- 2:11auszurollen. Das heißt, fast jeder hat
- 2:13KI inzwischen mal ausprobiert, aber nur
- 2:16ein verschwinden kleiner Bruchteil
- 2:18bekommen sie so zum Laufen, dass sie im
- 2:20ganzen Unternehmen wirklich echten
- 2:22Mehrwert liefert. Die Wahrscheinlichkeit
- 2:24liegt also gerade bei über 90%, dass
- 2:27dein Unternehmen es noch nicht geschafft
- 2:29hat, KI optimierte Wissenssysteme für
- 2:32alle Mitarbeiter auszurollen. Zweitens,
- 2:35aktuelle KI Chatbots wie ChatGBT oder
- 2:37auch Agenten wie Cloud Code und Codex
- 2:39selbst mit einer Vielzahl von Dokumenten
- 2:42können das, was Unternehmen brauchen,
- 2:43überhaupt gar nicht. Sie schauen ja auf
- 2:45dein Unternehmenswissen wie durch ein
- 2:47Schlüsselloch in eine riesige
- 2:49Bibliothek. Was genau in diesem
- 2:51Sichtfeld liegt, das können Sie
- 2:53beeindruckend gut analysieren, aber
- 2:55alles links und rechts davon bleibt
- 2:57unsichtbar und das zeigt sich dann in
- 3:00ganz realen Problemen wie Halluzination
- 3:03in schlicht falschen Aussagen,
- 3:04Ergebnissen, die plötzlich immer
- 3:06schlechter werden und Antworten, die
- 3:08sich ständig ändern. Grenze Nummer 3,
- 3:11das ist natürlich der Datenschutz und
- 3:12Geschäftsgeheimnisse. Du kannst
- 3:14natürlich nicht einfach all deinen
- 3:16Firmwissen an irgendwelche USKI Systeme
- 3:19übergeben. Genauso wenig können
- 3:21Unternehmen es aber einfach verbieten.
- 3:22Stand heute nutzen laut Walkme und uns
- 3:25SAP ca. 80% aller Mitarbeiter Schattenki
- 3:29Systeme, sprich fast von 10
- 3:31Mitarbeitern, blasen dein gesamtes
- 3:34Firmenwissen, Geschäftsgeheimnisse und
- 3:36personbezogene Daten gerade einfach in
- 3:38irgendwelche kostenfreien Chatt Pläne
- 3:41und von dort aus landen sie nahtlos in
- 3:44den Trainingsläufen den nächsten
- 3:45Modelle, auf die gesamte Welt Zugriff
- 3:48hat. Viertens, selbst wenn Open AI in
- 3:50Tropic meinetwegen auch Microsoft
- 3:52Copilot irgendwann mal all diese
- 3:54Probleme lösen sollten, will doch
- 3:56niemand von diesen Unternehmen abhängig
- 3:59sein. Erstens entwickelt sich der Markt
- 4:00dafür einfach viel zu schnell, als sich
- 4:02auf einen einzigen Spieler festzulegen.
- 4:04Und zweitens willst du dein
- 4:06Unternehmenswissen doch bei dir haben
- 4:08und auch mit lokalen Modellen, also
- 4:10offline und sicher wirklich produktiv
- 4:13darauf zugreifen können. Und fünftens
- 4:15einfache Basteleinen mit Nat Chatboards
- 4:17oder Vektordatenbanken sind schlicht ein
- 4:20Fass ohne Bohen. Jeder, der schon
- 4:22versucht hat, sich mit RAC und
- 4:23Wissensmanagement auseinanderzusetzen,
- 4:25gibt nach kurzer Zeit entmutigt auf, da
- 4:28es zu komplex ist und am Ende mehr Zeit
- 4:31kostet, als es dann doch einfach wieder
- 4:33händisch zu machen. Also, du bist nicht
- 4:35mal schuld daran, wenn ihr jetzt noch
- 4:36kein Wissensmanagement im Unternehmen
- 4:38habt. Die großen können oder wollen es
- 4:41nicht für euch lösen und es selbst zu
- 4:43machen erfordert einen enormen Aufwand,
- 4:45den sich aktuell oft nicht mal große
- 4:47Konzerne leisten. Das Potenzial, wenn du
- 4:49es aber beherrscht und das wirst du in
- 4:51dieser Komplettleitung hier lernen, ist
- 4:53auf der anderen Seite gewaltig. Nur mal
- 4:56ein ganz kurzer Überblick, was dir das
- 4:58ganz konkret bringt. Erstens, du kannst
- 5:00mit all deinen Dateien mit wichtig allen
- 5:03KI Modellen chatten, egal ob mit PDFs,
- 5:05mit Worddokumenten oder sogar
- 5:07technischen Zeichnungen und das Modell
- 5:09unabhängig. Also egal welches KI Tool
- 5:11diese Woche führend ist, dein System
- 5:13bleibt immer bestehen und du wechselst
- 5:15die Modelle einfach per einem Klick.
- 5:18Zweitens, du sparst reale Arbeitszeit
- 5:20und wie wir vorhin gesehen haben sogar
- 5:22ganze Stellen, die aktuell nur Zeit mit
- 5:24der Wissenssuche verschwenden. Und diese
- 5:26Zeit, die kann doch viel Gewinnbringer
- 5:28eingesetzt werden, sodass ihr mit dem
- 5:30gleichen Personaleinsatz mehr Umsatz und
- 5:32mehr Gewinn macht. Drittens, klingt
- 5:34banal, aber Mitarbeiter sind tatsächlich
- 5:36motivierter, nicht nur, weil sie endlich
- 5:39nicht mehr andere Menschen ständig
- 5:40nerven müssen, um einfache Informationen
- 5:42zu bekommen, sondern weil sie endlich
- 5:44ein KI System haben, dass sie wirklich
- 5:47produktiv und rechtssicher im
- 5:49Arbeitsalltag nutzen können, ohne auf
- 5:51die Stärke und die Leistung von Cloud,
- 5:54ChatBT und Gemini zu verzichten.
- 5:56Viertens, die Einarbeitung neuer
- 5:57Mitarbeiter wird massiv beschleunigt. In
- 5:59vielen Unternehmen ist es Standard, dass
- 6:01die Einarbeitung neuer Leute mindestens
- 6:03mal 6 bis 12 Monate dauert, bis die
- 6:05Person wirklich wirtschaftlich ist.
- 6:07Stell dir nur mal vor, du kannst das
- 6:09einfach nur halbieren. Bei uns ist nicht
- 6:11mal einen zehntel dieser Zeit notwendig,
- 6:13aber sagen wir, du halbierst es nur,
- 6:16dann ist jeder neue Mitarbeiter Monate
- 6:18früher produktiv und verursacht weniger
- 6:20Rückfragen, was wiederum auch
- 6:22Führungskräfte noch produktiver macht.
- 6:25Fünftens natürlich trifft dein
- 6:26Unternehmen viel bessere Entscheidungen,
- 6:28weil ihr nicht mehr entweder nur einen
- 6:30Menschen nach seinem Bauchgefühl oder
- 6:32ein LM, welches euer Unternehmen gar
- 6:35nicht kennen fragt, sondern ein LM, das
- 6:37euer gesamtes Firmwissen und alle Daten
- 6:41in Entscheidungsprozesse mit einbezieht.
- 6:43Natürlich ist das ein
- 6:44Wettbewerbsvorteil, der gleichzeitig
- 6:47eine einheitliche Qualität sowie
- 6:49ausschließlich Datenbasierte
- 6:51Entscheidungen sicherstellt. Mit
- 6:53Everlast AI habe ich gemeinsam mit
- 6:54meinem 35 köpfigen Team allein in den
- 6:56letzten 12 Monaten über 600 Unternehmen
- 6:59von mittelständischen
- 7:00Familienunternehmen bis hin zu
- 7:01europäischen Weltmarktführern bei der
- 7:03Einführung von genau solchen KI
- 7:05Wissensmanagementsystemen unterstützt.
- 7:07Und daher habe ich mir die Frage
- 7:08gestellt, wieso es eigentlich so wenig
- 7:12Content zu diesem Thema gibt. In den USA
- 7:14gibt es wirklich nicht ein Video,
- 7:16welches das Thema mal wirklich sinnvoll
- 7:18aufarbeitet und erst dadurch bin ich
- 7:20wirklich auf den Hauptgrund gekommen,
- 7:22wieso das Ganze für mich persönlich
- 7:25mittlerweile ein großes Anliegen ist,
- 7:28dass ich ihm ein ganzes Video hier
- 7:30widme. Gerade hier zu Lande, kann man
- 7:31sich ja oft gar nicht vorstellen, dass
- 7:33jemand so viel Zeit in kostenfreie
- 7:35Videos investiert, ohne irgendwelche
- 7:37Hintergedanken zu haben oder nur etwas
- 7:40verkaufen zu wollen. Und deswegen will
- 7:42ich gleich klarstellen, dass ich ein
- 7:43riesiges egoistisches Eigeninteresse
- 7:46daran habe, dass es unseren Unternehmen
- 7:48speziell in Deutschland, Österreich und
- 7:50der Schweiz, die unsere Großeltern und
- 7:52Urgroßeltern mit harter Arbeit aufgebaut
- 7:55haben, wirtschaftlich gut geht. Je
- 7:57besser es dem deutschen Mittelstand
- 7:59geht, desto besser geht es mir und uns
- 8:01allen. Und das, was mir persönlich eben
- 8:03so große Sorge bereitet momentan, dass
- 8:05das Fundament, auf dem der gesamte
- 8:08deutsche Mittelstand seit Jahrzehnten
- 8:10seinen weltweiten Erfolg aufgebaut hat,
- 8:12gerade dabei ist, lautlos zu
- 8:15zerbröckeln. Und das liegt jetzt nicht
- 8:17an der Politik oder makroökonomischen
- 8:19Auseinandersetzung, denn der gesamte
- 8:21Erfolg des Deutschmittelstands, der
- 8:23immerhin 99,2%
- 8:25aller deutschen Unternehmen, über 53%
- 8:28aller Beschäftigten und ganze 69% aller
- 8:31Ausbildungsplätze stellt, basiert eben
- 8:33nicht auf besonders günstigen Steuern,
- 8:36nicht auf günstigen Rohstoffen, nicht
- 8:38auf billigem Kapital und auch nicht auf
- 8:40irgendeiner staatlichen Förderung,
- 8:42sondern auf einem einzigen weltweit
- 8:45Konkur konkurrenzlosen Asset und zwar
- 8:47extrem tiefen, oft über drei oder vier
- 8:50Generationen verfeinerten Spezialwissen
- 8:53in radikal engen Nischen. Genau das ist
- 8:55doch der Zellkern der sogenannten Hidden
- 8:58Champions. Nehmen wir nur mal das
- 8:59Unternehmen Vakuumschmelze als Beispiel.
- 9:02Wieso holt Donald Trump ein deutsches
- 9:04mittelständisches Familienunternehmen
- 9:06aus Hanno? Ein hässischer Ort mit nicht
- 9:08mal 100.000 Einwohnern für über 500
- 9:11Millionen US-Dollar in die USA, damit
- 9:14dieser eine deutsche Mittelständler
- 9:16Amerika auf dem Weg endlich aus der
- 9:18vollständigen chinesischen Abhängigkeit
- 9:20bei strategischen Hochleistungsmagneten
- 9:22und elektromagnetischen
- 9:24Spezialwerkstoffen
- 9:25befreit. Ja, weil dort seit jetzt über
- 9:27100 Jahren ein metallurgisches
- 9:29Spezialwissen aufgebaut wurde, dass die
- 9:32USA mit eigener Forschung und eigenem
- 9:34Kapital schlicht nicht in vertretbarer
- 9:36Zeit selbst nachbauen können. Und genau
- 9:39dieses Spezialwissen, das über
- 9:40Generationen aufgebaut und weitergegeben
- 9:43wird, das ist jetzt dabei in einer
- 9:45Geschwindigkeit zu verschwinden, die
- 9:47einfach kaum jemand wahrhaben möchte.
- 9:49Deutschland steckt mitten in dem größten
- 9:51demografischen Umbruch der Geschichte.
- 9:53Laut dem Statistischen Bundesamt werden
- 9:55allein in den nächsten 15 Jahren rund
- 9:5713,4 Millionen Erwerbstätige in Rente
- 10:00gehen. Das sind knapp ein Drittel aller
- 10:03heutigen Erwerbspersonen. Laut dem Kfw
- 10:06Nachfolgemonitoring aus Januar sind
- 10:08mittlerweile 57% aller Mittelständler,
- 10:12halte ich fest, 55 Jahre oder älter,
- 10:15während es vor 20 Jahren noch 20% waren
- 10:19und während aktuell jährlich rund 109
- 10:21000 dieser Unternehmen aktiv nach einem
- 10:23Nachfolger suchen, planen 114 000
- 10:26Mittelständler pro Jahr ihre Firma
- 10:28einfach zu schließen, weil sie überhaupt
- 10:31niemanden mehr finden, der sie
- 10:33übernehmen kann. Ja, und das noch viel
- 10:35größere Problem, das ist die
- 10:36Geburtenrate, die 2024 auf nur noch 1,35
- 10:41Kinder pro Frau gefallen ist und nach
- 10:43den vorläufigen Zahlen für 2025 sogar
- 10:45auf dem niedrigsten Stand der
- 10:48Nachkriegsgeschichte abgerutscht ist.
- 10:50Nur mal zum Einordnen, damit eine
- 10:52Bevölkerung rein rechnerisch sich
- 10:54überhaupt selbst erneuern kann, bräuchte
- 10:56es eigentlich 2,1 Kinder pro Frau. Bis
- 11:002050 schrumpft die deutsche
- 11:02Erwerbsbevölkerung selbst bei moderater
- 11:04Zuwanderung von 51 auf nur noch 48
- 11:08Millionen und gleichzeitig wächst die
- 11:10Zahl der über 67-jährigen um ein volles
- 11:13Viertel, also auf rund 20 Millionen. Auf
- 11:15100 Arbeitende kommen heute bereits 33
- 11:18Rentner und bis 2070 kommen auf 100
- 11:21erwerbstätige 61 Rentner. Bereits heute
- 11:25verlassen jeden einzelnen Werktag rund
- 11:274000 erfahrene Köpfe den deutschen
- 11:29Arbeitsmarkt und nehmen ihr Wissen
- 11:32einfach mit. Wir erleben damit den
- 11:34ersten Moment in der deutschen
- 11:36Wirtschaftsgeschichte, indem der
- 11:37Wissenstransfer von Mensch zu Mensch
- 11:40demographisch und mathematisch einfach
- 11:43unmöglich geworden ist. Und genau
- 11:45deswegen sind all die anderen Themen,
- 11:47über die wir eingangs gesprochen haben,
- 11:49also Datenschutz, Produktivität oder die
- 11:51Abhängigkeit von amerikanischen
- 11:53Anbietern im Vergleich zu dem, was hier
- 11:55im Hintergrund gerade passiert, fast
- 11:56schon Nebenkriegsschauplätze. Denn wenn
- 11:58dieses Wissen, das unsere
- 12:00mittelständischen Weltmarktführer
- 12:01überhaupt erst zu Weltmarktführern
- 12:03gemacht hat, einfach unbemerkt mit in
- 12:05den Ruhestand wandert, ohne dass es
- 12:07jemand vorher gesichert hat, dann haben
- 12:09wir hier am Ende schlicht nichts mehr,
- 12:12was uns von der Konkurrenz aus China
- 12:14oder den USA überhaupt noch
- 12:16unterscheidet. So und da du nun weißt,
- 12:19wieso dieses Thema ja für uns alle so
- 12:22existentiell ist und warum ich hier so
- 12:24viel Zeit investiere, schauen wir uns
- 12:25jetzt gemeinsam diese fünf Kapitel an,
- 12:28in denen du lernst, wie du Wissen nicht
- 12:30nur sicherst, sondern mit KI wirklich
- 12:33nutzbar machst. Erstens, die Grundlagen.
- 12:35Zunächst gehen wir noch mal ganz
- 12:37grundlegend Frage nach, was KI
- 12:39Wissensmanagement eigentlich ist, was es
- 12:41bedeutet und was es von früheren
- 12:43Ansätzen fundamental unterscheidet.
- 12:45Zweitens, darauf aufbauen gehen wir
- 12:47Begriff für Begriff alles durch, was
- 12:49technisch dahinter steckt. Also RCK,
- 12:51Embedings, Vektordatenbanken, Chunking,
- 12:53semantische Suche, Reranking, bis hin zu
- 12:55Knowledge Grahs und Graph und was du
- 12:58davon auch wirklich brauchst und was du
- 13:01ignorieren kannst. Selbst wenn du bisher
- 13:02noch nie etwas davon gehört hast, wirst
- 13:05du nach diesem Kapitel besser mitrehen
- 13:07können als 99% aller Manager und Berater
- 13:10da draußen. Drittens, die Umsetzung. Wir
- 13:12bauen gemeinsam von A bis Z eine
- 13:14vollständige Rack Pipeline auf, die du
- 13:17eins zu eins in dein Unternehmen
- 13:19einsetzen kannst. Du schaust mir dabei
- 13:21live über die Schulter, siehst jeden
- 13:23einzelnen Schritt und kannst direkt
- 13:25mitmachen. Viertens sprechen wir über
- 13:27Cases, also wir gehen noch mal
- 13:28zahlreiche konkrete Anwendungsfälle
- 13:30durch, wie wir und unsere Kunden KI
- 13:32Wissenssysteme wirklich in der Praxis
- 13:34nutzen, am Beispiel eines echten
- 13:36Corporate LLMs und fünftens die
- 13:38Monetarisierung. Also, wie verwandelst
- 13:40du selbst dieses ganze Wissen jetzt in
- 13:42Umsatz? Mehr Gehalt oder einen echten
- 13:45Wettbewerbsvorteil? Du bekommst von mir
- 13:47einen klaren Fahrplan, wie du als
- 13:48Angestellter, als selbständiger oder
- 13:50KI-Agentur einen der heißesten B2B Us
- 13:53Cases der nächsten Jahre verkaufst und
- 13:55wie du als Unternehmer dein eigenes
- 13:58Firmenwissen zum vielleicht stärksten
- 14:00Wettbewerbsvorteil deiner Branche
- 14:02machst, damit auch dieses Wissen hier am
- 14:04Ende nicht nur in deinem Kopf bleibt,
- 14:06sondern sich direkt in deinem Geldbeutel
- 14:08bemerkbar macht.
- 14:13Also fangen wir noch mal ganz vorne an.
- 14:16Was ist KI Wissensmanagement jetzt
- 14:19eigentlich genau? Stell dir vor, du
- 14:20betrittst eine Bibliothek von
- 14:22unendlicher Größe mit sechseckigen
- 14:25Räumen, hohen Regalen und Büchern in
- 14:27jeder einzelnen Wand. In dieser
- 14:29Bibliothek steht jedes nur denkbare
- 14:31Buch, das geschrieben werden könnte.
- 14:34Jede Wahrheit, jede Lüge und jede
- 14:37Kombination aus Buchstaben. Genau diese
- 14:39Bibliothek hat der argentinische
- 14:40Schriftsteller Jé Luis Borch schon 1941
- 14:45in seiner heute weltberühmten Erzählung
- 14:48die Bibliothek von Babel beschrieben.
- 14:50Borches Bibliothekare verbringen ihr
- 14:52ganzes Leben damit durch die endlosen
- 14:54Gänge zu wandern auf der Suche nach
- 14:56einem Buch, das ihre Frage beantwortet.
- 14:58Sie finden aber nie etwas, weil zwischen
- 15:00den unendlich vielen Wahrheiten genauso
- 15:02viele Variationen davon stehen, die sich
- 15:04nur durch ein einziges Wort oder
- 15:06einziges Komma unterscheinen. Diese
- 15:08Bibliothek von Babel enthält also die
- 15:10ganze Wahrheit der Welt, aber niemand
- 15:13kann sie finden. Wissensmanagement an
- 15:15sich ist also keineswegs ein neues
- 15:17Thema. Im Juli 1945, nachdem der Zweite
- 15:20Weltkrieg gerade vorbei ist,
- 15:21veröffentlicht Veniva Bush. Das ist
- 15:23derselbe Mann, der zuvor das gesamte
- 15:25amerikanische Manpjekt wissenschaftlich
- 15:27koordiniert hatte. im US-Magazin The
- 15:29Atlantic einen Aufsatz mit dem
- 15:31unscheinbaren Titel As we may Think.
- 15:35Darin formuliert ein Gedanken, der den
- 15:36gesamten weiteren Verlauf der Computer
- 15:38und Informationsgeschichte
- 15:40substanziell prägen wird. Das
- 15:42eigentliche Problem unserer Zeit,
- 15:44schreibt Busch sei längst nicht mehr
- 15:45neues Wissen zu erzeugen, sondern dieses
- 15:48gewaltige bereits existierende Wissen im
- 15:50richtigen Moment überhaupt
- 15:52wiederzufinden. Es braucht also nicht
- 15:54einmal die Bibliothek von Babel. Bereits
- 15:56das verfügbare Wissen vor 80 Jahren ist
- 15:59so gewaltig, dass sich die US-Regierung
- 16:01intensiv damit beschäftigt. Busch selbst
- 16:03entwirft dann als Lösung eine fiktive
- 16:05Maschine namens Memex, das ein
- 16:07Schreibtisch, der über Mikrofilm das
- 16:09gesamte Wissen eines einzelnen Forscher
- 16:11speichern und über klickbare
- 16:13Verknüpfungen, also das, was wir heute
- 16:15Hyperlinks nennen, blitzschnell abrufbar
- 16:17machen sollte. Aus diesem Aufsatz aus
- 16:191945 ist am Ende fast alles entstanden,
- 16:23was wir heute völlig selbstverständlich
- 16:24benutzen, also vom Internet über jede
- 16:26Suchmaschine, über jedes Wiki bis hin zu
- 16:30Rack Pipelines mit der moderne KI
- 16:32Systeme im Hintergrund arbeiten. Auch
- 16:34Bches selbst hat das 1945 noch mal
- 16:37aufgegriffen, allerdings spiegelverkehrt
- 16:39in einer zweiten weltberühmten Erzählung
- 16:41namens das Alef. Das Alef ist bei
- 16:43Borches einziger Punkt in einem dunklen
- 16:46Kellergewölbe in Berners Iris. indem die
- 16:48gesamte Information des Universums
- 16:50simultan versammelt ist. Also jede
- 16:52Bibliothek, jedes Gesicht, ja, jede
- 16:54einzelne Sekunde der Weltgeschichte,
- 16:57alles ist dort auf einmal sofort
- 16:59abrufbar. An einem einzigen Punkt, wo
- 17:01die Bibliothek von Babel ja das
- 17:03ohnmächtige Wandern durch unendliche
- 17:05Regale formuliert, beschreibt es ALF,
- 17:07also das Gegenteil. Alles Wissen ist
- 17:09verdichtet, sofort zugänglich, exakt
- 17:11geordnet im Augenblick der Frage. Genau
- 17:14dieses ALF technisch herzustellen, also
- 17:16einen Punkt zu bauen, von dem aus die KI
- 17:19in deinem Unternehmen in Millisekunden
- 17:21auf jede relevante Information zugreifen
- 17:23kann, ist im Kern alles, was KI
- 17:25Wissensmanagement zu leisten versucht
- 17:27und was heute mit KI erstmals wirklich
- 17:30realisierbar ist. Und um zu verstehen,
- 17:32wie konkret das nun technisch
- 17:34funktioniert, ist zunächst wichtig zu
- 17:36verstehen, was kein wirkliches
- 17:38Wissensmanagement ist und welche
- 17:40typischen Fehler die meisten dabei
- 17:42machen. Den wirklich bis heute
- 17:43häufigsten Fehler hat auch Borches schon
- 17:46ein Jahr nach der Bibliothek von Babel,
- 17:48also 1942, mit einer eigenen Figur
- 17:51erfunden, namens Ireneo Funes. Fess ist
- 17:54ein junger Uruguay, der nach einem Sturz
- 17:57vom Pferd die unheimliche Fähigkeit
- 17:59erhält, sich an jedes einzelne Detail
- 18:01seines Lebens vollkommen
- 18:03zurückzuerinnern. Egal, ob der Schatten
- 18:04einer vorbeiziehenden Wolke, jede
- 18:06Maserung eines Holzbretts oder jede
- 18:09einzelne Sekunde der letzten 20 Jahre.
- 18:11Das klingt zunächst wie das perfekte
- 18:14Alef ist in Wahrheit aber das genaue
- 18:16Gegenteil. Funess ist unfähig zu denken,
- 18:19weil sein Gedächtnis ihn mit Detail
- 18:21flutet und er weder abstrahieren noch
- 18:24unterscheiden kann, was relevant ist und
- 18:26was nicht. Einfach gesagt, Funes weiß
- 18:28alles und versteht doch nichts. Genau
- 18:31dieses Funest Problem nennt sich heute
- 18:33Kontext Stuffing. Einfach gesagt
- 18:35bedeutet das immer, wenn du deinem
- 18:37Agenten eine riesige clot.md MD oder
- 18:39agits.md, also eine zentrale
- 18:41Anweisungsdatei schreibst, custom GBTs
- 18:44oder Ordner mit 50 PDFs
- 18:46bereitstellenlange
- 18:48Systempromps vorsetzt, du dein Modell
- 18:51exakt in diese Funessfalle drückst. Es
- 18:53bekommt alles auf einmal vorgesetzt und
- 18:55kann im Moment deiner Frage aber nicht
- 18:57mehr unterscheiden, was jetzt wirklich
- 18:58relevant ist und liefert dir entweder
- 19:00schwammige, halluzinierte oder
- 19:02schlichtfalsche Anforderen. Sicherlich
- 19:04hast du das schon mal erlebt. Stell dir
- 19:05das doch mal ganz konkret vor. Du
- 19:06stellst deinem internen KI System, egal
- 19:08ob Cloud, CPot oder was auch immer, eine
- 19:11einzige simple Frage. Welches unserer
- 19:14Angebote aus den letzten 12 Monaten
- 19:16haben wir an einen ähnlichen Kunden mit
- 19:17vergleichbarem Volumen verschickt und zu
- 19:19welchen Konditionen? Die Antwort auf
- 19:21diese Frage steckt irgendwo verstreut in
- 19:24800 PDS auf dem SharePoint in den Mails
- 19:26von vier verschiedenen Vertrieblern und
- 19:28in einer Exceliste, die jemand mal
- 19:30angefangen und nach drei Wochen wieder
- 19:32aufgegeben hat. Jetzt kannst du das LM
- 19:34auf all diese Informationen senden. Doch
- 19:37du hast faktisch deine eigene kleine
- 19:38Bibliothek von Babel gebaut, denn im
- 19:40naivsten Fall geht dieser KI
- 19:43Bibliothekar jetzt los und liest jede
- 19:45einzelne PDF komplett von vorne bis
- 19:48hinten durch, nur um die paar Sätze
- 19:50herauszufischen, die deine Frage
- 19:52tatsächlich beantworten. Genau, das ist
- 19:54Context Stuffing. Also dein Modell
- 19:56bekommt das gesamte Material in seinen
- 19:58Kontext gestopft und muss alles selbst
- 20:01durchwühlen. Dadurch wird es langsam, es
- 20:03wird teuer und es verliert die Mitte,
- 20:05also der sogenannte Lost in the Middle
- 20:07Effekt und antwortet im besten Fall mit
- 20:10dem, was zufällig oben lag. Wenn du
- 20:12besonders pfiffig bist, dann würdst du
- 20:14jetzt zurecht einwenden. Moment doch
- 20:15mal, das geht doch schon längst besser.
- 20:17Der Bibliothekar, der kann doch einfach
- 20:19nach Schlagworten suchen. Insbesondere
- 20:21Coding Agents wie Claud Cord haben ja
- 20:23Zugriff auf Bashbe Befehle wie Grab, die
- 20:25genau das machen. Das ist im Kern auch
- 20:27der viel zitierte Ansatz, den Andrew
- 20:29Kapfi als seine persönliche LM Knowledge
- 20:32Base vorgestellt hat. Das LM nutzt im
- 20:34Wesentlichen simple Grabbefehle und
- 20:36Volltextsuche auf einer riesigen Anzahl
- 20:39Markdownfalls. Für Kapfis eigene
- 20:41Forschung mit rund 100 Artikeln und 4000
- 20:44Wörtern funktioniert das tatsächlich
- 20:46auch überraschend gut. Doch er
- 20:47positioniert seinen Ansatz selbst
- 20:49ausdrücklich als persönliches
- 20:51Wissenssetups für die eigene Recherche,
- 20:53nicht als Lösung für echtes
- 20:55Unternehmenswissen mit tausenden
- 20:57verteilten Dokumenten in 50
- 20:59verschiedenen Formaten. Wer schon einmal
- 21:00in einem 50seitigen Vertragspf nach z.B.
- 21:03Force Mayur gesucht hat, weiß genau
- 21:05warum. Die wirklich relevante Klausel
- 21:08heißt im Dokument oft ganz anders als
- 21:10wir es im Kopf hatten und spätestens
- 21:12dann scheitert dieser Grabansatz. Zudem
- 21:14dauert in der Praxis sehr lange und ist
- 21:16auf Dauer super ineffizient. Die
- 21:18eigentliche Lösung ist also eine andere.
- 21:20Du gibst deinem Bibliothekar nicht nur
- 21:22die Bücher, sondern zusätzlich noch ein
- 21:25Verzeichnis und zwar nicht irgendein
- 21:27alphabetisches Stichwortverzeichnis,
- 21:29sondern eins, in dem vorab nach
- 21:31Bedeutung katalogisiert wurde, auf
- 21:33welcher Seite, welche Akte, welche
- 21:36Information thematisch und sinngemäß
- 21:38verankert ist. Stellst du jetzt deine
- 21:40Frage, schlägt dieser Bibliothekar weder
- 21:42in den Büchern selbst noch in einem
- 21:44reinen Wortindex nach, sondern direkt in
- 21:47diesem Bedeutungsverzeichnis? Er zieht
- 21:49in Sekundenbuchteilen exakt die drei
- 21:51Seiten heraus, die deine Frage
- 21:53tatsächlich beantworten und nutzt allein
- 21:55diese drei Seiten, um dir eine präzise
- 21:58Antwort zu liefern. Das ist im
- 21:59Wesentlichen der Kern von echtem R. Also
- 22:03noch mal auf einen Satz auf den Punkt
- 22:04gebracht, Wissensmanagement ist das, was
- 22:06du in deinem Unternehmen weißt und wie
- 22:08du es ordnest. Wack ist die Maschine,
- 22:11die im richtigen Moment das richtige
- 22:13Stück herausfindet und es deiner KI in
- 22:16die Hand drückt. Und wie du siehst, das
- 22:17eine ohne das andere bringt nichts. Du
- 22:20brauchst immer beide dieser Dinge.
- 22:26Glückwunsch, du weißt schon mal eine
- 22:27ganze Menge und zwar was KI
- 22:29Wissensmanagement wirklich ist, wieso
- 22:31einfache Markdown oder PDF-Dateien nicht
- 22:34ausreichen und dass es also ein
- 22:36richtiges RSystem braucht. Nun schauen
- 22:38wir uns noch mal übersichtlich an,
- 22:39welche Arten von Rack es gibt, was der
- 22:41Unterschied z knowledge Graphs und Graph
- 22:43Rack ist und wie das technisch im Detail
- 22:46funktioniert, so dass du es selbst
- 22:48implementieren kannst. Im Kern ist RAG,
- 22:50also Retrieval Augmented Generation,
- 22:52nichts anderes als die technische
- 22:53Auflösung unseres Angebotsbeispiels von
- 22:56vorhin. Statt deer KI vor jeder
- 22:58einzelnen Anfrage erst die kompletten
- 23:00800 PDFs samt aller Mails und der
- 23:02angefangenen Excelliste in den Kontext
- 23:04zu kippen, schlägt RA deine Frage in
- 23:06einem separat angelegten
- 23:07Bedeutungsverzeichnis nach und übergibt
- 23:09dem Modell anschließend nur die drei
- 23:11oder vier Stellen, die deine konkrete
- 23:14Angebotsfrage tatsächlich beantworten.
- 23:16Dadurch verschwinden auf einen Schlag
- 23:18drei Probleme. Das Modell halluziniert
- 23:20nicht mehr. Zumindest kann es auf bis zu
- 23:23null reduziert werden. Das werden wir
- 23:24uns gleich anschauen, welche Hebel du
- 23:26dafür hast, weil es seine Antwort auf
- 23:27konkrete Belege aus deinen tatsächlichen
- 23:30Angeboten stützen muss. Zweitens, es
- 23:32bleibt schnell und tokeneffizient, weil
- 23:34es nicht für jede Frage tausende Seiten
- 23:36neu verarbeiten muss und es bleibt immer
- 23:38aktuell, weil neue Angebote, neue
- 23:40Verträge oder Protokolle einfach in den
- 23:42Wissenspeicher nachgepflegt werden
- 23:44können, ohne dass das Modell jemals neu
- 23:47trainiert werden müsste. Doch RAC ist
- 23:48heute längst nicht mehr gleich RA. Es
- 23:51gibt mittlerweile eine ganze Glaviatur
- 23:53an Ansätzen, um Wissensmanagement zu
- 23:55lösen. Architektonisch unterscheidet die
- 23:57Praxis mittlerweile mindestens sieben
- 23:59eigenständige Varianten. Das klassische
- 24:01Vector Rack, Hybrid Rck, Knowledge Graph
- 24:04Rack oder Kurz Graph Rack, Gentic Rack,
- 24:06Hierarchisches Rack, Selfreflective Rack
- 24:09und Iterative bzw. Multihop R. Innerhalb
- 24:13dieser Architekturen kommt dann noch
- 24:14eine Reihe spezialisierte
- 24:16Optimierungstechniken zum Einsatz, mit
- 24:17denen sich die Qualität jeder Variante
- 24:19deutlich steigern lässt, wie Reranking,
- 24:22Contextual Retrieval, Querry Expansion,
- 24:25Multiquerry, Late Chunking, Context Aray
- 24:28Chunking und Fine Tuned Embeddings. In
- 24:31ernsthaften Produktivsystemen werden
- 24:32typischerweise eine Architektur plus
- 24:35drei bis fünf dieser
- 24:36Optimierungstechniken sinnvoll
- 24:38miteinander kombiniert. Und genau davon
- 24:40sollte man sich jetzt nicht erschlagen
- 24:41lassen, denn im Kern lässt sich jedes
- 24:43dieser Systeme auf zwei klar getrennte
- 24:46Phasen herunterbrechen, die wir jetzt
- 24:48gemeinsam durchgehen und doch umsetzen.
- 24:50Erstens, die Indexierungsphase, in der
- 24:52dein Wissen einmalig vorab aufbereitet
- 24:54und durchsuchbar gemacht wird. Und
- 24:56zweitens die Retrieval und
- 24:57Generierungsphase, die bei jeder
- 25:00einzelnen Frage live abläuft. Innerhalb
- 25:02dieser zwei Phasen werden konkret
- 25:04folgende Begriffe immer wieder begegnen:
- 25:06Chunking, Embedding, Embeddingmodell,
- 25:08Dimensionen, Vektordatenbank,
- 25:10semantische Suche, BM25, Hybrid Search
- 25:13und Reranking. Das klingt erstmal auch
- 25:15noch viel auf einmal. Doch keine Sorge,
- 25:18in den nächsten Minuten gehen wir genau
- 25:19diese zwei Phasen Schritt für Schritt
- 25:21durch und du wirst die einzelnen
- 25:23Begriffe danach sicherer einordnen
- 25:25können als 99% selbst aller KI Gurus da
- 25:28draußen. Beginnen wir also mit der
- 25:29Indexierungsphase. Die zentrale Frage
- 25:32dieser ersten Phase lautet ganz simpel:
- 25:35Wie speichern wir unser
- 25:36Unternehmenswissen eigentlich so ab,
- 25:38dass eine KI ist am Ende überhaupt
- 25:40verstehen und durchsuchen kann? Und
- 25:42hierbei ist ein zentraler Punkt zunächst
- 25:44elementar wichtig zu verstehen. Ein
- 25:46neuronales Netz, also auch jedes
- 25:48Sprachmodell wie ChatGBT oder Cloud,
- 25:50versteht ganz grundsätzlich keine Wörter
- 25:53oder Buchstaben, so wie wir Menschen das
- 25:55tun. Es arbeitet ausschließlich auf
- 25:57Zahlen. Den Begriff Talken hast du in
- 25:59dem Zusammenhang sicher schon mal
- 26:00gehört. Und ein Talken ist im Kern genau
- 26:03das, also ein Wort oder ein kleines
- 26:05Wortbruchstück, das vom Modell intern in
- 26:07eine Zahl umgewandelt wird, mit der es
- 26:10dann tatsächlich mathematisch rechnen
- 26:12kann.
- 26:16Einer der einfachsten Wege zu verstehen,
- 26:18was das in der Praxis bedeutet, ist
- 26:19einfach auf Google Open AI Talkenizer
- 26:22einzugeben und dann wird dir auch gleich
- 26:25die erste Seite und zwar Talkenizer Open
- 26:27AI API vorgeschlagen. Ja, und in dieses
- 26:29Talkenizer Feld kannst du einen Text
- 26:31jegliche Art reinschreiben. Z.B. die
- 26:33Nordmark Arbeitstechnik GmbH ist seit
- 26:352001 nach ISO 9001 zertifiziert. Und
- 26:38hier siehst du sofort, was damit gemeint
- 26:40ist. Wenn wir uns nämlich mal anschauen,
- 26:41wie viel Wörter dieser Sitz hat. Der hat
- 26:42nur 11 Wörter. Allerdings wurde er in 25
- 26:45Tokens verarbeitet. Du siehst die
- 26:47Aufteilung der einzelnen Talkens, die
- 26:49ist hier farblich markiert. Es ist
- 26:51relativ vergleichbar mit Silm. Es sind
- 26:53aber nicht genau Silm, denn du siehst,
- 26:55sie können auch teilweise einfach
- 26:56Leerzeichen enthalten oder eben
- 26:58entsprechend anders abgeschnitten
- 26:59werden. Und in den Token IDs siehst du
- 27:01jetzt genau diese Zahlen Repräsentation,
- 27:04also die Repräsentation des
- 27:05Wortbereichs, die hier an dieser Stelle
- 27:07ist der Tokenwert 8796
- 27:10und hier steht auch der hilfreiche
- 27:12Richtwert und zwar 100 Tokens sind etwa
- 27:1475 Wörter. Diese Info, die hat auch
- 27:16schon ganz reale Implikation. Du kennst
- 27:18ja wahrscheinlich schon das Context
- 27:19Window, also neue Modelle haben ein
- 27:21Kontextfenster von einer Million
- 27:23heutzutage. Das bedeutet 750 000 Wörter
- 27:26kannst du innerhalb eines solchen
- 27:27Kontextfensters verarbeiten. Ja, und
- 27:28diese einzelne Talkenummer sagt noch
- 27:30überhaupt nichts darüber aus, was dieses
- 27:33Wort nun eigentlich bedeutet. Deshalb
- 27:35wird jedem dieser Wortstücke zusätzlich
- 27:37eine ganze Liste von Zahlen zugewiesen,
- 27:40die seine Bedeutung im Verhältnis zu
- 27:42allen anderen Wörtern der Sprache
- 27:44abbildet. dass Wörter mit ähnlicher
- 27:46Bedeutung in diesem Zahlenraum
- 27:47nahbeieinander liegen und Wörter mit
- 27:49völlig anderer Bedeutung weit
- 27:51voneinander entfernt sind. Und genau
- 27:53diese Zahlen die nennt man Vektor. So
- 27:55und das zeige ich dir jetzt auch direkt
- 27:56mal in der Praxis. Und zwar arbeite ich
- 27:58hier an der Stelle mit Cloud Code. Du
- 27:59kannst auch mit Codex arbeiten. Du
- 28:01kannst auch mit Cloud über die Desktop
- 28:02App arbeiten. Mein bevorzugter Weg ist
- 28:04hier das Arbeiten mit Cloud Code übers
- 28:06Terminal. Das macht uns das Ganze jetzt
- 28:07deutlich einfacher. Und zwar will ich
- 28:09dir jetzt zeigen, wie sieht so ein
- 28:10Vektor denn überhaupt aus? Dafür nutze
- 28:12ich so wie alles weitere NateN. Ich
- 28:13werde dir alle Ressourcen auch in der
- 28:15Videobeschreibung verlinken, sodass du
- 28:16es jetzt kostenlos auch mit nachmachen
- 28:18kannst. Und nein, wir werden diesen NN
- 28:20Workflow jetzt nicht händisch
- 28:22zusammenklicken, sondern dafür nutze ich
- 28:23einen MCP und zwar den Schlonkowski N8N
- 28:26MCP. Das ist nämlich mittlerweile auch
- 28:28der einzige Weg, mit dem ich empfehle
- 28:29mit N8N zu arbeiten. Ja, also du
- 28:32brauchst eben nicht mehr über das
- 28:33visuelle Dashboard auch irgendwas
- 28:34machen, aber wie gesagt, das machen wir
- 28:36in diesen Demos jetzt gleich parallel
- 28:37mit. Das heißt, ich empfehle dir einmal
- 28:39diesen NAN MCP zu installieren. Und hier
- 28:41gehst du jetzt wahrscheinlich in diese
- 28:43Sektion. Dort findest du die Setup
- 28:45Anweisung. Die kannst du dir einfach in
- 28:46Cloud Code kopieren. Das einzige, was du
- 28:48brauchst, ist die Domain deiner N8N
- 28:51Instanz und dein N8N API Key. Wie
- 28:53gesagt, beides findest du einerseits
- 28:55über die URL, über die dein Nat gehostet
- 28:57wird und über Settings und dann NN API
- 28:59Key. Beides hinterlegst du in dieser
- 29:01Nachricht. Ich zeig dir das noch mal
- 29:02ganz kurz. Dann startest du einfach eine
- 29:04neue Terminal Session und drückst auf
- 29:06Enter und der MCP funktioniert. So und
- 29:08Cloud ist jetzt in dem Moment auch schon
- 29:09fertig geworden. Er sagt, der Workflow
- 29:11ist fertig gebaut und bereits zum Start.
- 29:13Das schauen wir uns jetzt mal an. Wenn
- 29:14ich jetzt hier auf Overview klicke, dann
- 29:16sehe ich jetzt hier das genau wollte ich
- 29:18haben, ne? Kursvektorbeispiel vor 2
- 29:20Minuten, das hat er gebaut und das
- 29:21testen wir jetzt mal aus und zwar
- 29:23Execute Workflow. Ja, sieht do schon mal
- 29:25gut aus. Das scheint funktioniert zu
- 29:26haben. Ja, schauen wir uns noch mal kurz
- 29:27an, was der Prompt überhaupt gemacht
- 29:29hat. Einfach gesagt, haben wir den
- 29:30Begriff Hund, den Begriff Katze und den
- 29:32Begriff Auto als Vektoren gespeichert.
- 29:35Und hier bekommen wir das Ergebnis
- 29:36angezeigt. Das sind die Vektoren, also
- 29:38diese Zahlen, Repräsentationen von
- 29:40Wörtern. Ja, und hier siehst du nun die
- 29:42Vektoren, also der Bedeutungsraum dieser
- 29:45Wörter. Ja, und hier sehen wir auch den
- 29:47Vergleich dieser Wörter, was
- 29:48entsprechend Sinn macht, dass Hund und
- 29:50Katze bei einer vereinfacht, ich spreche
- 29:51jetzt vereinfacht, bei einer Ähnlichkeit
- 29:53von 0,71 liegen und Hund und Auto liegen
- 29:56bei 0,65
- 29:58in diesem zahlenbasierten Bedeutungsraum
- 30:00und das macht demnach auch super viel
- 30:02Sinn, weil Hund und Katze ja von der
- 30:05Bedeutung näher beieinander liegen als
- 30:07Hund und Auto. Das sind also Vektoren
- 30:10und nehmen wir uns jetzt mal als
- 30:11konkretes Beispiel ein einziges
- 30:12Dokument, sagen wir das QMHbuch nach ISO
- 30:149001 der Nordmarkt GmbH mit dutzenden
- 30:17nummerierten Abschnitten auf rund 40
- 30:19Seiten. Ich habe das Ganze auch noch mal
- 30:20in Codex hier parallel geöffnet. Hier
- 30:22siehst du das Dokument zu
- 30:23Arbeitssicherheit mit 11 Seiten zu
- 30:25ITenschutz, also wirklich PDFDien
- 30:28formatiert aus dem Word Dokument. Streng
- 30:30vertraulich natürlich. Und hier haben
- 30:32wir das QMHbuch mit 44 Seiten. In Summe
- 30:34haben wir es hier also mit sechs
- 30:35PDF-Dateien im Rahmen des QManagement zu
- 30:37tun mit hunderten Seiten. Und jetzt
- 30:39schauen wir uns an, was eigentlich
- 30:40passieren muss, damit die KI dieses
- 30:42Dokument überhaupt sinnvoll benutzen
- 30:44kann. Und im allerersten Schritt muss
- 30:46dieses QM Handbuch nun von seiner
- 30:48Wortform in seine Vektorform übersetzt
- 30:51werden. Und für diese Übersetzung gibt
- 30:52es eine ganz eigene Klasse
- 30:54spezialisierter KI Modelle, die
- 30:56sogenannten Embedding Modelle. Dazu gebe
- 30:59ich, das ist jetzt der gleiche Ordner,
- 31:00den du gerade schon gesehen hast. Und
- 31:01hier habe ich wie gesagt Cloud offen.
- 31:02Ich gebe ihm jetzt schon mal den
- 31:03nächsten Prompt und zwar soll Cloud die
- 31:05gesamte Rack Pipeline inklusive Embeding
- 31:07Modell jetzt schon mal initialisieren.
- 31:08Clud hat aber auch von dem Workflow von
- 31:10vorhin automatisch ein Embeddingmodell
- 31:12genutzt, weil er weiß, um das Thema
- 31:14Vektoren zu erklären, macht es Sinn ein
- 31:15Embeddingmodell zu nutzen. Und in dem
- 31:17Beispiel, wie man hier sieht, hat er ein
- 31:19Embeddingmodell von Mistral, also dem
- 31:21französischen KI Unternehmen genommen
- 31:23und davon gibt's eben auch eine ganze
- 31:25Menge. Wenn du z.B. zu Open Router gehst
- 31:27und dann auf Modelle. Also Open Router
- 31:29ist wesentlichen einfach nur ein API
- 31:30Provider, der deine Anfragen an alle KI
- 31:33Modelle, die es so gibt, weiterleitet.
- 31:35Und hier hast du zum einen die ganz
- 31:36normalen textbasierten KI Modelle, die
- 31:38du alle auch kennst, also die Cloud
- 31:40Modelle, Gemini Modelle, Chat GBT
- 31:42Modelle, Nvidia Modelle und hier siehst
- 31:44du nun auch die Embeddings. Also, wenn
- 31:46du hier auf Embeddings klickst, dann
- 31:48sieht man, es gibt eine ganze Vielzahl
- 31:50von Embeding Modellen hier. Wir haben
- 31:51ein Gemini Embeding Modell, auch Open AI
- 31:53hat Texembedding Modelle und da gibt's
- 31:55auch ganze Leaderboards zu. Also das
- 31:57prominenteste ist das MTEB Leaderboard.
- 31:59Hier siehst du also eine ganze Vielzahl
- 32:01solcher Embeding Modelle wie Quen,
- 32:03Gemini und die wir gerade gesehen haben,
- 32:05die eben gegeneinander getestet werden
- 32:07in verschiedenen Aufgaben, also so wie
- 32:08man es auch bei den klassischen LMs tut,
- 32:10nur eben um zu sehen, wie gut diese
- 32:12einzelnen Modelle Wörter in Vektoren im
- 32:15Ben. Ja, und Cloud ist in derzeit auch
- 32:17schon fertig geworden mit dem nächsten
- 32:18Prompt. Es handelt sich noch nicht um
- 32:19einen NN Workflow. Ich habe jetzt
- 32:21erstmal nur eine Superbase Tabelle
- 32:23erstellen lassen. Das kannst du auch per
- 32:24Superbase MCP extrem einfach mit Cloud
- 32:27verbinden. Deswegen brauche ich das gar
- 32:28nicht jetzt zeigen. Das kann auch Cloud
- 32:29die erklären. Im Wesentlichen hat er
- 32:30jetzt erstmal nur eine Tabelle erstellt
- 32:33und zwar die Kursdocuments Tabelle. Das
- 32:35wie du siehst ist eine komplett leere
- 32:37Tabelle, die wir jetzt gleich brauchen
- 32:39werden, denn wir können jetzt nicht
- 32:40einfach so unsere PDF-Dateien und unser
- 32:42QMHbuch durch embedding Modelle laufen
- 32:44lassen. Dabei stoßen wir sofort auf ein
- 32:47doppeltes Problem. Erstens hat jedes
- 32:49Bedding Modell ein festes Context Limit,
- 32:51also eine maximale Anzahl an Tokens, die
- 32:53es in einem einzigen Durchlauf
- 32:55verarbeiten kann. Bei Text im Beding 3
- 32:57Large von Open AI beispielsweise liegt
- 32:59dieses Limit bei 819
- 33:01Tokens, was im Schnitt rund 12 bis 15
- 33:04dicht beschriebene Seiten sind. Unser
- 33:06QMHbuch mit den ja rund 40 Seiten passt
- 33:09damit niemals als ganzes in einen
- 33:12einzigen embedding Durchlauf. Also
- 33:14dieser Ansatz hier, der würde gar nicht
- 33:16mehr funktionieren. Zweitens, und das
- 33:17ist eigentlich der noch wichtigere
- 33:19Punkt, würde einziger Gesamtvektor über
- 33:22das gesamte kmh Handbuch die spezifische
- 33:24Bedeutung einzelner Abschnitte komplett
- 33:26verwässern, weil das Modell die
- 33:28gemittelte Bedeutung des kompletten
- 33:30Textes dann berechnet und damit wichtige
- 33:32Sätze in dieser Gesamtbedeutung verloren
- 33:34gehen. Und genau deshalb wird jedes
- 33:36längere Dokument vor dem Einbenden in
- 33:38kleinere sinnvollere Stücke
- 33:39zerschnitten. geht es davon
- 33:41typischerweise im Umfang von einem bis
- 33:43drei Absätzen oder einem einzelnen
- 33:44Abschnitt und genau diesen Vorgang nennt
- 33:46man Chunking. Bevor wir das Dokument
- 33:49aber jetzt chunken, also zerschneiden
- 33:50können, müssen wir noch eine Sache
- 33:52machen, denn in der Praxis liegen
- 33:53Unternehmensdokumente fast nie als
- 33:56sauberer Text vor und die Beispiel PDFs
- 33:58hier, die sind schon relativ sauber. In
- 34:00der Praxis haben wir oft Tabellen, Scans
- 34:02und so weiter und daran scheitert dann
- 34:04simple Textextraktion dieser Embeding
- 34:06Modelle und deshalb schalten wir an den
- 34:08Anfang ein OCR Modell, das jede PDF in
- 34:11unserer Indexierungsphase in ein
- 34:13sauberes strukturiertes Mark. Ich habe
- 34:16ihm jetzt noch mal das Grundproblem der
- 34:17Praxis beschrieben und ihm gesagt, wir
- 34:19wollen das Mistral OCR Modell dafür
- 34:22verwenden. Denn tatsächlich kann MRAL
- 34:24zwar bei den klassischen LMs nicht
- 34:26mithalten, aber mit Mal hat Mistral
- 34:29tatsächlich eines der besten OCA Modelle
- 34:31für genau diesen Schritt einer jeden
- 34:33Rack Pipeline. So, also Cloud arbeitet
- 34:35schon an dem neuen Workflow und ich gebe
- 34:36ihm auch schon mal direkt den nächsten
- 34:38Prompt mit. Den brauchen wir dann
- 34:39nämlich, um die in Marktdown
- 34:40umgewandelte PDF in die Chunks
- 34:43aufzuteilen. So, Cloud ist fertig, hat
- 34:45alles erledigt. Schauen wir jetzt mal in
- 34:46NNN. Ich lade die Seite einmal neu.
- 34:48Jetzt sollte der neue Workflow
- 34:49auftauchen. Da ist der Kurs Indexierung.
- 34:52Ja, das ist der neue Workflow. Also, wie
- 34:54man sieht, ja, den Mistual OC Schritt
- 34:56und das ist übrigens auch der Grund,
- 34:57dass ich hier NN verwende. Du kannst das
- 34:58theoretisch alles auch komplett cen,
- 35:00aber so ist das jetzt visuell einfacher
- 35:02verständlich, wenn ich dir das alles
- 35:03zeige und erkläre. Im nächsten Schritt
- 35:05fügt eine Codenote dann den extren
- 35:07Markdown Text zusammen. So, machen wir
- 35:09das auch einfach mal. Execute Workflow.
- 35:11Ja, hier kann ich nun eine Datei
- 35:13hochladen. Da er die Pipeline im Prompt
- 35:15getestet hat mit dem Produktkatalog,
- 35:17nehme ich jetzt was anderes und zwar das
- 35:18QM Handbuch. Klicke auf öffnen. Die PDF
- 35:21ist hochgeladen. Dann klicke ich auf
- 35:22Submit. Kann das wieder schließen und
- 35:24nun sehen wir, dass die OCR Pipeline
- 35:26durchgelaufen ist. Ja, das Markdown ist
- 35:28durchgelaufen. Wenn ich hier drauf
- 35:29klicke, dann sieht man jetzt hier auch
- 35:31den aus der PDF extrahierten Markdown
- 35:33Text. Ich habe den Output hier schon mal
- 35:35gepinnt, damit wir den gleich wieder
- 35:36verwenden können und damit beim
- 35:37Zerschneiden an den Grenzen dieser
- 35:39Chunks jetzt keine Information verloren
- 35:42gehen, weil das natürlich zufällig
- 35:43passiert, also einfach an einer festen
- 35:45Grenze wird quasi geschnitten und
- 35:47deswegen wird zwischen aufeinander
- 35:48folgenden Chuns oft ein Überlap, also
- 35:51Overlap eingebaut, so dass z.B. die rund
- 35:5310% eines Chunks am Anfang des nächsten
- 35:56noch einmal auftauchen und das hat Claud
- 35:58hier auch schon eingestellt mit zum
- 35:59einen dem Default Data Loader, der lädt
- 36:01sich im Kern einfach nur den Markdown
- 36:03Text und dem Recursive Character Text
- 36:06Splitter. In unserem Fall wurde die
- 36:08Chunk Size, also die Chungröße von 1000
- 36:11Zeichen festgelegt und ein Chunk Overlap
- 36:13von 100 Zeichen. H und dieser Recursive
- 36:16Character Splitter hier, der ist noch
- 36:18mal ein Stück intelligenter und zwar
- 36:19versucht er einfach gesagt ein bisschen
- 36:20mitzudenken, z.B. will, dass er eher
- 36:22nach solchen Absätzen hier den Text
- 36:24splittet und nicht mitten in einem Wort.
- 36:27Manche meinen sogar, man soll 50%
- 36:29Overlap haben, also in diesem Fall 500
- 36:31Zeichen. Doch meiner Erfahrung nach ist
- 36:32es ein völliger Overkill aus den simplen
- 36:35Gründen, die wir im Kern schon, du
- 36:36erinnerst dich an Funess, ja, besprochen
- 36:38haben, weshalb wir in unseren Pipelines
- 36:40sogar oft mit sogenanntem Semantic
- 36:42Chunking arbeiten. Das bedeutet, dass
- 36:44wir tatsächlich null Overlap haben, da
- 36:46versucht wird semantisch ideal ja
- 36:49abzuschneiden und jeder dieser Chunks,
- 36:51der wird jetzt einzeln durch das
- 36:52Embeding Modell geschickt und daraus
- 36:54dann genau ein Vektor berechnet. Im
- 36:57Inneren passiert dabei folgendes. Das
- 36:58Modell zerlegt den Chunk zuerst in
- 37:01einzelne Tokens und schickt diese Token
- 37:03ID Folge dann anschließend durch ein
- 37:06eigenes vortrainiertes neuronales Netz,
- 37:08die Embedding Modelle, das aus der
- 37:10gesamten Tokenfolge eine lange
- 37:12Zahlenliste berechnet. Also genauso wie
- 37:14wir das ja gerade schon bei den
- 37:15einzelnen Wörtern Hund, Katz und Auto
- 37:17gesehen haben, nur diesmal eben für den
- 37:19gesamten Chunk. Und diese Zahlenliste,
- 37:21die hat dabei eine feste Länge, die man
- 37:23Dimensionen des Embeddings nennt. Das
- 37:26Open AI Text Embeding 3 Large erzeugt
- 37:28z.B. Vektoren mit 3072
- 37:31Dimensionen, also Zahlenlisten mit über
- 37:333000 einzelnen Worten. Das ist jetzt
- 37:36auch der nächste Schritt in unserer
- 37:37Pipeline. Und zwar muss hier nun noch
- 37:39ein Embeding Modell angeschlossen
- 37:41werden. Das ist genau das, was Cloud
- 37:42jetzt macht. Und zwar nutzt er dafür
- 37:44wieder das Mysterial Embed Modell. Ich
- 37:46habe das im Prompt jetzt schon
- 37:46vorgegeben, dass er das Mistral Modell
- 37:48mit 1024
- 37:50Dimension verwenden soll. Er ist jetzt
- 37:51in diesem Moment hier auch schon fertig
- 37:53geworden. Ich will dir das noch mal
- 37:54zeigen, weil bei den meisten Anbietern,
- 37:56wie z.B. hier bei Kohier siehst du das
- 37:58auch. Ja, so dass z.B. das gleiche
- 37:59Modell wie in dem Fall das Embed English
- 38:02Version 3 einmal mit Dimensionen in 1024
- 38:06vorhanden ist und einmal in Dimensionen
- 38:08mit 384.
- 38:10Ja, und darauf muss man eben achten,
- 38:11wenn man seine Rack Pipeline baut. Ja,
- 38:12das Mysteryal Embeding Modell ist hier
- 38:14jetzt auch entsprechend mit eingebunden.
- 38:16Und wenn ich das Ganze jetzt noch mal
- 38:17durchlaufen lasse, ich nehme jetzt mal
- 38:19wieder das OM Handbuch. So, sieht man
- 38:21nun hat jetzt auch schon funktioniert,
- 38:23dass alles geklappt hat. Im letzten
- 38:24Schritt hat eben das Mysteryal Betell
- 38:26gefehlt, deswegen wurden die Chunks noch
- 38:27nicht vollständig gespeichert. Ja, hier
- 38:29sieht man nun zum ein auch die Chunks
- 38:30mit den jeweils 1000 Zeichen, so wie wir
- 38:32sie haben wollten. Und wenn ich jetzt
- 38:34nur noch mal in den Missal Schritt hier
- 38:35reinklicke und dann auf Show Data, ja,
- 38:38dann siehst du hier entsprechend auch,
- 38:39das geht natürlich jetzt ziemlich
- 38:41ziemlich lang, diese Liste. Ja, aber im
- 38:43Wesentlichen sind das alles jetzt die
- 38:44Vektoren, die wiederum unsere Chuns
- 38:47repräsentieren. Ja, und grundsätzlich
- 38:49gilt eben, je mehr Dimensionen einem
- 38:51Beddingmodell verwendet, desto feiner
- 38:52kann es Bedeutungsunterschiede zwischen
- 38:54den Texten abbilden. Jetzt würde man
- 38:56erstmal denken, je mehr Dimensionen,
- 38:58desto besser. Aber auch das hat wieder
- 39:00reale Auswirkung auf dein ganzes System,
- 39:02denn am Ende je mehr Dimensionen, desto
- 39:04mehr Speicherbedarf pro Vektor hast du
- 39:06natürlich und desto höher sind die
- 39:08Rechenkosten bei jeder einzelnen Suche.
- 39:10Ja, was ganz konkret am Ende wiederum
- 39:12auch die Verzögerung, also die Latenz
- 39:13deines Chatboots z.B. beeinflussen kann.
- 39:16Also auch das ist tatsächlich ein
- 39:17entscheidender Hebel innerhalb deiner
- 39:19Rack Pipeline. Ja, und nun stellt sich
- 39:21die Frage, wo speichern wir jetzt
- 39:23eigentlich diese ganzen Vektoren so ab,
- 39:25dass die KI blitzschnell die richtigen
- 39:27findet? Und dafür gibt es eine spezielle
- 39:29Art von Datenbank. Wenn du gut
- 39:31aufgepasst hast, hast du sie gerade
- 39:32schon gesehen, die sogenannte
- 39:34Vektordatenbank, das ist eine ganz
- 39:35normale SQL Datenbank wie MySQL oder
- 39:38PostgressQL würde an dieser Aufgabe
- 39:40völlig scheitern, weil sie immer nur
- 39:42nach exakten Werten suchen kann. Aber
- 39:44bei einer 3000 diimensionalen
- 39:46Zahlenliste gibt es niemals eine exakte
- 39:49Übereinstimmung. Und deine
- 39:50Vektordatenbank ist deshalb genau darauf
- 39:52optimiert, in einem Vektorraum aus
- 39:54Millionen oder Milliarden solcher
- 39:55gespeicherter Vektoren in wenigen
- 39:57Millisekunden die Vektoren
- 39:59herauszufinden, die in einem gegebenen
- 40:01Suchvektor am ähnlichsten sind, gemessen
- 40:04über die geometrische Nähe in diesem
- 40:06Bedeutungsraum. Also das haben wir im
- 40:08Kern schon bei unserem Hundkatze Hunduto
- 40:10Beispiel gesehen und die bekanntesten
- 40:12Vertreter, die man nach kurzer Recherche
- 40:14schnell findet, das sind Pinecon oder
- 40:16QDR für reine Vektorsysteme sowie PG
- 40:19Vektor, mit dem du deine bestehende
- 40:20Postcrest Datenbank einfach um genau
- 40:22diese Funktion erweitern kannst. Ja, und
- 40:25genau das machen wir jetzt noch mal mit
- 40:27dem nächsten Prompt bzw. haben wir das
- 40:28vorher schon gemacht und zwar haben wir
- 40:30den Superbase Vector Store bereits
- 40:32angeschlossen. Superbase basiert ja auch
- 40:33auf Postgress ist open source, ja, und
- 40:36nutzt daher PG Vector für die
- 40:38Vektordatenbank. Und das was der Prompt
- 40:40jetzt macht ist er schießt jetzt noch
- 40:42mal alle Dokumente durch den NN Workflow
- 40:44durch so dass ich das jetzt nicht selbst
- 40:46machen braucht, damit wir dann
- 40:47tatsächlich auch gleich alle unsere
- 40:49Dokumente in der Tabelle vektorisiert
- 40:52gespeichert haben. Hier unter
- 40:53Kursdokumente und da kommen auch schon
- 40:54einige rein, wie wir hier gerade sehen.
- 40:56Also in den einzelnen Contents siehst du
- 40:58entsprechend auch die Chunks. Also im
- 41:00Wesentlichen ist das jetzt genau das,
- 41:01was wir gerade in Nadn gesehen haben.
- 41:03Wir haben hier den einen Chunk z.B. zu
- 41:04die Geschäftsführung trägt die
- 41:06Verantwortung für die
- 41:06Sicherheitsarchitektur. Ja, und dieser
- 41:08Zahlenwert hier, das ist im Kern der
- 41:09Vektor, der diesen Chunk hier
- 41:12repräsentiert. Ja, und wenige Sekunden
- 41:13später hat Cloud jetzt auch jedes
- 41:15Dokument gespeichert. Schamanterweise
- 41:17sehen wir auch, wie viel Chunks die
- 41:18einzelnen Dokumente bedeutet haben. In
- 41:19Summe haben wir nun 638
- 41:22Chunks und somit 638
- 41:25Vektoren hier in unserer Tabelle
- 41:27gespeichert. Ja, und jetzt könnte der
- 41:29eine oder andere vielleicht sagen, ja,
- 41:30Moment mal, das kann doch nicht sein,
- 41:32dass ich das alles wirklich selbst bauen
- 41:34sollte, weil es gibt doch bestimmt große
- 41:36Cloudanbieter wie AWS mit Amazon Bedrock
- 41:38Knowledge Basis oder auch Microsoft
- 41:40Asure mit Asure AI Search die komplette
- 41:43Rack Pipelines als fertige All-inone
- 41:46Lösung anbieten und damit versprechen
- 41:47dir die gesamte Komplexität dieser
- 41:50Indexierungsphase und der Suche auf
- 41:52einen Schlag abzunehmen. Doch von all
- 41:54diesen Dingen, ja, auch von solchen wie
- 41:56Qrend ganz speziell würde ich dringend
- 41:59abraten und diese unter keinen Umständen
- 42:01wirklich produktivsystem bei dir
- 42:03verwenden. Das ist zwar kurzfristig
- 42:05erstmal verlocken klingt, dir
- 42:06langfristig aber massiv zum Verhängnis
- 42:09werden kann, da du deine Vektoren ja
- 42:11dort niemals sauber wieder
- 42:12herausbekommst. Und jetzt stell dir vor,
- 42:14du machst das für tausende ztausende
- 42:15Dokumente, dann bist du einfach gefangen
- 42:18bei einem dieser Cloud Provider. Und wie
- 42:20in unserem Beispiel jetzt hier, wenn
- 42:21Superbase uns einfach rausschmeißen
- 42:23sollte, kein Problem, weil das Ganze ist
- 42:25open source und wir können es im Zweifel
- 42:27einfach komplett selbst hosten. Ja, und
- 42:29damit kommt jetzt die zweite Phase, die
- 42:31bei jeder einzelnen Frage dann am Ende
- 42:33abläuft und zwar die Retrieval und
- 42:35Generierungsfrage. Stellt der Nutzer
- 42:36jetzt also die konkrete Frage, wie z.B.
- 42:38was sagt denn unser QMHbuch zu den
- 42:41internen Audits? Dann wird genau diese
- 42:43Frage als allererstes durch dasselbe
- 42:45Embedding Modell geschickt und das ist
- 42:47wichtig. Also immer das gleiche
- 42:48Embeddingmodell im Retrieval Prozess
- 42:50verwenden, wie im Indexierungsprozess
- 42:52und auch die Anfrage, also der Prompt
- 42:53wird dann ebenfalls in einen Vektor
- 42:55übersetzt und anschließend stellt die
- 42:57Vektordatenbank dann eine simple
- 42:58geometrische Frage. Also welche der
- 43:00gespeicherten Dokumentenvektoren liegen
- 43:03diesem Suchvektor im Bedeutungsraum am
- 43:05nächsten? Ja, und die Datenbank liefert
- 43:07daraufhin in der Regel die drei bis zeh
- 43:09ähnlichsten Vektoren zurück, samt der
- 43:11Originalchance, aus denen sie
- 43:13ursprünglich erzeugt wurden. Und genau
- 43:15dieser Vorgang, der nennt sich
- 43:16semantische Suche. Dafür brauchen wir
- 43:18jetzt einen zweiten Workflow. Dafür
- 43:20nutze ich diesen Prompt hier. Bau in NN
- 43:22einen neuen Workflow für den Chatbot,
- 43:24der vorerst nur eines tut. Er nimmt eine
- 43:26Frage entgegen und holt mit demselben
- 43:28Superbase Vector Stone Note. Diesmal im
- 43:30Such Retrieval Modus mit demselben
- 43:32Mystery Bed im Bedding. Die fünf
- 43:34inhaltlich ähnlichsten Chunks aus der
- 43:36Tabelle. Ja, Cloud ist damit fertig. Ich
- 43:38lade die Seite noch mal neu. Wir sollten
- 43:39jetzt wieder einen neuen Workflow
- 43:40bekommen haben. Da ist er auch also Kurs
- 43:42Chatboard vor 2 Minuten. Ja, ein simpler
- 43:44Workflow mit einer Chatingabe. So wie
- 43:46wir das haben wollten, so wie dem
- 43:48gleichen Mysteryal Embeding Modell.
- 43:50Schauen wir jetzt mal in die Dokumente
- 43:51rein ins kmh Handbuch, was wir hier
- 43:52fragen könnten. Nehmen wir was
- 43:54einfaches. Was ist der Standort der
- 43:56Nordmark GmbH? Ja, so die Abfrage ist
- 43:58sofort durchgelaufen und jetzt wurden
- 44:00entsprechend die fünf Chunks, darauf
- 44:02haben wir es ja begrenzt zurückgegeben.
- 44:04Ja, in diesen etwas zu dieser Frage
- 44:07steht und das sieht auf den ersten Blick
- 44:08auch ganz gut aus. Also hier steht auf
- 44:10jeden Fall etwas zum Standort drin. Im
- 44:12zweiten Schrank steht nichts drin, so
- 44:14wie ich es erkennen kann. Und bei den
- 44:16anderen, beim letzten steht, wie es
- 44:19aussieht, glaube ich, noch mal was drin
- 44:20oder könnte etwas drin stehen. Ja, jetzt
- 44:22ist das wie gesagt die schlicht nackte
- 44:24Vektordatenbankabfrage.
- 44:26In der Praxis schalten wir noch ein LM
- 44:28dazu. Das machen wir nämlich gleich,
- 44:30weil mir jetzt erstmal wichtig ist
- 44:31festzuhalten, dass du an dieser Stelle
- 44:33bereits den klassischen RAC Anansatz
- 44:35vollständig verstanden und auch
- 44:36umgesetzt hast. Also damit erstmal
- 44:38herzlichen Glückwunsch und damit bist du
- 44:40jetzt tatsächlich schon tiefer drin als
- 44:4199% aller ja wahrscheinlich sogar ITiler
- 44:45da draußen und ich will mit dir jetzt
- 44:47ein bisschen tiefer gehen an der Stelle,
- 44:48denn das was wir jetzt gemacht haben,
- 44:49das ist die semantische Suche und dieser
- 44:51hat in der Praxis eine entscheidende
- 44:53Schwäche. Die ist nämlich hervorragend
- 44:55darin, wenn man Bedeutungsähnlichkeiten
- 44:57erkennen möchte, aber sie ist eben
- 44:59schwach dabei, regelmäßig exakte
- 45:01Begriffe, also Eigennamen oder spezielle
- 45:03Fachbegriffe zu finden. Also, wenn wir
- 45:05jetzt in unserem Produktalog z.B. nach
- 45:07ganz konkreten Produkten suchen, dann
- 45:10hast du ja einen Produktnamen dafür und
- 45:12die semantische Suche, ja, die kann
- 45:14dabei eben kontraproduktiv sein. Selbst
- 45:16wie in dem einfachen Fall, wie wir
- 45:17gerade gesehen haben, hat die
- 45:18semantische Suche ja nicht nur die
- 45:20richtigen Chunks gefunden. Und gerade
- 45:22für solche Fälle gibt es die alte
- 45:24bewährte Stichwortsuche, die in ihrer
- 45:26modernsten und mathematischen saubersten
- 45:28Form unter dem Namen BM25 läuft. Das ist
- 45:32eine Abkürzung für Best Matching 25. Oft
- 45:35wird das auch lexikalische Suche
- 45:37genannt. Und BM25 bewertet den Treffer
- 45:39nicht nach der Bedeutungsnähe sowie die
- 45:41semantische Suche, sondern danach, wie
- 45:43oft der Suchbegriff in einem Chunk
- 45:45vorkommt, wie selten dieser Begriff
- 45:47insgesamt in deinem Gesamtkorpus
- 45:49auftaucht, ja, und wie lang der
- 45:51jeweilige Chunk ist. Und das ist das,
- 45:53was wir jetzt umsetzen. Ich gebe Cloud
- 45:55auch exakt diesen Kontext mit, damit er
- 45:57versteht, warum wir das machen und dass
- 45:59er jetzt einen sogenannten Hybrid Search
- 46:01Ansatz implementieren soll. Das
- 46:03bedeutet, ich möchte weiterhin mit den
- 46:04klassischen semantischen Suche arbeiten
- 46:06und zusätzlich mit der lexikalischen,
- 46:09also BM25 artigen Suche für die gleichen
- 46:13Chunks. So, Cloud hat die Hybrid Search
- 46:15implementiert. Er hat den alten
- 46:16Workflow, du siehst, das ist noch der
- 46:18gleiche von ihm, weil da vorher noch die
- 46:20Superbase Note war. Die hat er jetzt
- 46:21ersetzt. gegen die Hybrid Search. Das
- 46:23ist auch super simpel. Im Endeffekt
- 46:25haben wir hier zunächst das Embeding
- 46:26Modell. Das heißt, die Frage wird wieder
- 46:28einmal an das Embeding Modell geschickt
- 46:29und dann führt in diesem Schritt die
- 46:30Hybrid Search aus. Das hat er auch hier
- 46:32mit dieser Artikelnummer getestet und
- 46:34diese Artikelnummer, die steht für das
- 46:36Produkt Schneckenradsatz. Und wie man
- 46:38hier sieht, ist bei der semantischen
- 46:40Suche der richtige Chunk, also das
- 46:42Produkt mit der ID 283, nur auf Platz 3
- 46:46gelandet und wäre somit nicht in der
- 46:49Antwort erschienen. Und bei der Hybrid
- 46:51Search ist die richtige ID, also auch
- 46:52die 283, auf Platz 1 des WCK Outputs
- 46:56gelandet und damit funktioniert jetzt in
- 46:57diesem Fall die Hybrid Search bzw. Also
- 47:00die lexikalische Suche deutlich besser
- 47:02als die rein semantische Suche und
- 47:05technisch gesehen ist das letztlich
- 47:07einfach nur eine SQL Function. Also
- 47:09Cloud hat das ganze hier unter Database.
- 47:11Wenn du dann auf Functions, auf Database
- 47:12Functions gehst, dann hat er hier
- 47:14entsprechend diese zwei ja SQL Functions
- 47:16angelegt, mit denen die Hybrid Search
- 47:19ausgeführt wird. Technisch gesehen
- 47:20laufen bei der Hybrid Search beide
- 47:22suchen parallel auf denselben Chunks und
- 47:24jede produziert jeweils ihre eigene
- 47:26Trefferliste und am Ende werden diese
- 47:28zwei Listen dann mit einem
- 47:29mathematischen Verfahren namens
- 47:31Reciprocal Rank Fusion oder kurz RFF,
- 47:34das sage ich dir, weil das liest du
- 47:36immer wieder, aber im Endeffekt ist es
- 47:38einfach nur das, also dieses
- 47:39Zusammenfügen zu einer gemeinsamen
- 47:41Reihenfolge, das ist RFF und ein Chunk,
- 47:44der sowohl semantisch zu Frage passt,
- 47:46als auch die richtigen exakten Begriffe
- 47:48enthält, der gewinnt fast immer immer
- 47:50gegen einen Chunk, der in nur einer der
- 47:52beiden Dimensionen punktet. Ja, doch
- 47:53selbst die beste Hybrid Search liefert
- 47:55dir immer noch eine grobe Vorauswahl von
- 47:58vielleicht 20 oder 50 möglicherweise
- 48:00relevanten Chance zurück. Und genau hier
- 48:03kommt jetzt das Reranking ins Spiel. Das
- 48:05ist wirklich die letzte Qualitätsstufe
- 48:07einer jeden ernsthaften Rack Pipeline.
- 48:09Ein Reeranker ist tatsächlich wieder ein
- 48:12spezialisiertes KI Modell, welches die
- 48:14Originalfrage und jeden der
- 48:17vorausgewählten Chunks paarweise
- 48:19gleichzeitig liest und dann eine sehr
- 48:21präzise Bewertung abgibt, wie gut genau
- 48:23dieser Chunk aus der Hybrid Search genau
- 48:26diese Frage tatsächlich beantwortet. Ja,
- 48:28genau. Das, also das Einbinden dieses
- 48:30Reranking Modells, ja, in die Retrieval
- 48:32Phase, das ist genau die Aufgabe, die
- 48:34Cloud jetzt bekommen hat. Und wie es
- 48:36gerade eben schon sagte, es handelt sich
- 48:37wirklich um eigene Modelle. Das heißt,
- 48:39du kannst bei Open Router hier bei
- 48:40Reerank findest du tatsächlich aktuell
- 48:42drei Modelle, die auf das Reranking
- 48:45spezialisiert sind. In dem Fall sind das
- 48:47jetzt ausschließlich die Modelle von
- 48:49Kohier. Das hatten wir uns gerade schon
- 48:50angeschaut. Die haben Embeding Modelle
- 48:52sowie auch dedizierte Reranking Modelle.
- 48:55Aber die Reranking Modelle, das können
- 48:57wie gesagt auch andere sein. Ja, und
- 48:59dieser Reranking Ansatz, das ist eben
- 49:01aktuell auch wirklich der, mit dem
- 49:03professionelle Racksysteme arbeiten. Und
- 49:05damit sind wir jetzt auch am finalen und
- 49:07letzten Schritt angekommen. Die drei bis
- 49:09vier Chunks aus dem Reranker werden
- 49:11jetzt nämlich im nächsten Schritt mit
- 49:12der Originalfrage des Nutzers in den
- 49:15Kontext des Sprachmodells geladen. Also
- 49:17hier wird die Antwort dann final
- 49:19generiert, also den Prompt von ChatGBT,
- 49:21Claud oder welchem LM auch immer. Und
- 49:24das LLM bekommt damit alles, was es für
- 49:26eine präzise und belegbare Antwort
- 49:28braucht. Zum einen die Frage des
- 49:29Nutzers, inklusive die wenigen
- 49:31Textstellen, die genau für die Frage
- 49:33konkret relevant sind. Und daraus
- 49:35generiert es dann seine Antwort und kann
- 49:37dabei sogar genau angeben, aus welchem
- 49:39Abschnitt oder welcher Seite dieser Satz
- 49:42stammt. Das ist auch das, was jetzt der
- 49:43letzte Prompt hier schon mal parallel
- 49:44gemacht hat. Und zwar hat er den finalen
- 49:46Chatboard jetzt inklusive Hybrid Search
- 49:48und Reranking mit Kohier erstellt. Wenn
- 49:51ich die Seite jetzt hier noch mal neu
- 49:52lade bzw. den Workflow, dann sollten wir
- 49:54das Ganze jetzt auch sehen. Genau, da
- 49:56ist jetzt auch der gesamte Workflow. Das
- 49:58können wir jetzt ja noch mal testen.
- 49:59Schauen wir mal ins QM Handbuch rein,
- 50:01was es hier denn so für interessante
- 50:03Punkte gibt. Nehmen wir z.B. mal
- 50:05Schulung und Kompetenz. Hier gibt es
- 50:07nämlich einige Dinge bzw. Kompetenzen,
- 50:09die Mitarbeiter nachweisen sollen. Das
- 50:11kann ich jetzt mal fragen. Und zwar
- 50:13welche Kompetenzen müssen Mitarbeiter
- 50:16laut QMH Handbuch nachweisen? Ja, für
- 50:18die ganze Spracheingabe, die ich hier
- 50:19ständig mache, einfach weil ich die
- 50:20Frage immer wieder lese. Das mache ich
- 50:22übrigens mit Voicley. An Voicley bin ich
- 50:23selbst mitbeteiligt und das ist eben die
- 50:25Nummer 1 Spracheingabe mittlerweile für
- 50:27den deutschsprachigen Raum, weil eben
- 50:29alles über EU-Server wird oder auch
- 50:32lokal nur bei dir auf der Maschine
- 50:33laufen kann. Und ich arbeite also mit
- 50:35all diesen Spracheingaben mit Voicle und
- 50:37das hat auch funktioniert, wie man
- 50:39sieht. steht hier jetzt. Da war ein
- 50:41Problem bei der Execution des Workflows,
- 50:43aber der Workflow lief trotzdem
- 50:44erfolgreich durch, wie man hier sieht
- 50:46und hat hier auch entsprechend die
- 50:47Antwort ausgegeben. Er hat sie jetzt nun
- 50:48nicht hier an das Chatmodul
- 50:50zurückgeliefert. Ja, das müssen wir
- 50:51jetzt einfach einmal selbst machen über
- 50:53den Response Mode und dann wenn when
- 50:55Last Note finishes, wir können es jetzt
- 50:58mal testen. Ja, die gleiche Frage läuft
- 50:59jetzt einfach noch mal durch. Ja, und
- 51:01jetzt siehst du, das hat auch geklappt.
- 51:03Die Antwort wurde hier entsprechend
- 51:04zurückgeliefert im Jason Format, aber
- 51:05das sind jetzt wie gesagt einfach die
- 51:07Kleinigkeiten, die darauf ankommen.
- 51:08Willst du das Ganze in Microsoft Teams,
- 51:10in Slack, auf deiner Website oder wo
- 51:12auch immer. Hier wurde im übrigen auch
- 51:14wieder mit Open Router gearbeitet und
- 51:16das Cloud Sonnet 4.6 Modell hat jetzt
- 51:18geantwortet an der Stelle. Ja, im
- 51:20Endeffekt ist das hier alles
- 51:21heruntergebrochen. Genau der Ansatz, den
- 51:23du im professionellen Corp LM System
- 51:25verwendest. Du hast gesehen, an welchen
- 51:26kleinen Stellschrauben du überall
- 51:28optimieren und verbessern kannst. Aber
- 51:30wenn du jetzt beispielsweise in Corpit
- 51:31LLM, also bei corpitalm.de, woran ich
- 51:34auch mitbeteiligt bin, reingehst und
- 51:36dann Wissen hochlädst. Also, wenn du
- 51:38jetzt hier in die Wissensablage gehst
- 51:39und einfach eine PDF-Datei oder ein
- 51:41ganzen Ordner mit hochlädst, lass uns
- 51:43doch einfach mal das kmh Handbuch wieder
- 51:45nehmen, dass wir jetzt eh schon die
- 51:46ganze Zeit hatten. Dann auf Datei
- 51:47hochladen klicken und dann siehst du
- 51:49hier, dass das Ganze einen kleinen
- 51:51Moment dauert. Hier habe ich z.B. einen
- 51:5220seitigen Vertrag hochgeladen und
- 51:54dieser Vertrag wird dann im Hintergrund
- 51:56über so eine Rack Pipeline verarbeitet.
- 51:58Also, wenn ich jetzt hier einen neuen
- 51:59Chat starte, dann die Wissensuche
- 52:01aktiviere. Jetzt gebe ich noch mal das
- 52:03Dokument ein, jetzt suche ich hier noch
- 52:05mal nach dem Dokument, das wird hier eh
- 52:06auch schon vorgeschlagen und stell mal
- 52:07so eine Frage, wie was sind die
- 52:10Vertragsparteien hier in diesem Vertrag?
- 52:12Und ich nehme jetzt hier auch mal wieder
- 52:13das Opus 4.7 bzw. Son 4.6. Das hatten
- 52:17wir gerade ja auch. Das sollte absolut
- 52:18ausreichen. Ja, und im Hintergrund lief
- 52:20jetzt diese ganze Rack Pipeline. Du
- 52:21siehst, dass es ziemlich schnell
- 52:22gegangen ist mit einer ausführlichen
- 52:24Antwort. Die Quelle wurde entsprechend
- 52:25mit angegeben und die PDF-Datei wird
- 52:27auch entsprechend mit angezeigt. Also,
- 52:29wenn du all das nicht komplett selbst
- 52:31bauen möchtest oder wenn du mal deinen
- 52:32ersten Test mit einer RCK Pipeline
- 52:34machen möchtest, dann ist es in jeden
- 52:35Fall mal ein einfacher Ansatz hier mit
- 52:37dem Corporate LM zu arbeiten. Ja,
- 52:39herzlichen Glückwunsch. Damit hast du
- 52:40nun Rack nicht nur erfolgreich
- 52:42verstanden, sondern auch in der Praxis
- 52:43umgesetzt. Ja, und ganz konkret gibt es
- 52:45klassischerweise drei Stufen. Das Nivea
- 52:48Rack, das haben wir ganz zu Beginn
- 52:50gemacht mit der semantischen Suche. Das
- 52:52Advanced Rack, das war das, was wir
- 52:54jetzt gemacht haben mit Hybrid Search
- 52:56und Reranking. Und dem nächsten Schritt,
- 52:58den man in der Praxis auch immer wieder
- 53:00sieht, kommt das Gentic Rag. Im Kern ist
- 53:03das aber auch das gleiche, nur dass wir
- 53:04für komplexere Anfragen einen Agenten
- 53:06dazwischen schalten würden, anstatt
- 53:08einfach nur ein LM. Und damit hast du am
- 53:11Ende dieser Pipeline jetzt eben auch
- 53:12genau das aufgebaut, was Veniva Bush vor
- 53:1480 Jahren als Memix und was Borches als
- 53:17ALF skizziert hat. Also einen einzigen
- 53:20Punkt, an dem du dein gesamtes
- 53:22Firmwissen geordnet, durchsuchbar und im
- 53:24richtigen Moment in Sekundenbruchteilen
- 53:26abrufen kannst und das ohne die KI zu
- 53:29überfordern. Damit hast du jetzt
- 53:31wirklich eine Menge gelernt. Doch
- 53:32tatsächlich war das maximal die eine
- 53:35Hälfte der ernsthaften Rwelt, denn neben
- 53:37Vectorck existiert eine fundamental
- 53:40andere Architektur, die für bestimmte
- 53:42Wissensbestände dem reinen Vektoransatz
- 53:45fast immer sogar überlegen ist. Der
- 53:47sogenannte Knowledge Graft. Das aber
- 53:49jetzt wirklich nur in aller Kürze, da
- 53:51ich auch ehrlich sagen muss, dass viele
- 53:53Berater dir das Ganze am Ende auch nur
- 53:54unnötig kompliziert machen, damit du
- 53:56irgendwelche Kurse kaufst. Am Ende
- 53:58gewinnen immer die smarten, aber simplen
- 54:01Lösung. Aber dass du trotzdem Bescheid
- 54:03weißt, ein Knowledge Graph speichert
- 54:04dein Wissen nicht als unstrukturierte
- 54:06Textstücke mit dazugehörigen
- 54:08Bedeutungsvektoren,
- 54:10also das, was wir gerade eben gemacht
- 54:11haben, sondern als explizites Netz aus
- 54:15Entitäten und ihren Beziehungen
- 54:16zueinander. In unserem QMHbuch Beispiel
- 54:18könnte das so aussehen, dass die Entität
- 54:21interne Audits mit der Entität Abschnitt
- 54:238.4 verlinkt ist. Dieser Abschnitt
- 54:25wiederum gehört zu Entität QM-System
- 54:27nach ISO 9001 und dieses QM-System als
- 54:30ganzes hängt an der Entität QM Handbuch
- 54:32selbst. Diese strukturierte Speicherform
- 54:35ist immer dann massiv überlegen, wenn
- 54:37deine Fragen mehrere logische Hops
- 54:39zwischen verschiedenen Entitäten
- 54:40überspringen müssen. Also Fragen wie:
- 54:42"Welcher Mitarbeiter war 2023 für ein
- 54:45Projekt bei Kunde X verantwortlich,
- 54:48indem ein Vertrag mit einer Force
- 54:50Mayurlausel zum Einsatz kam?" An denen
- 54:53scheitert nämlich auch die reine
- 54:55Bedeutungsähnlichkeit. Suche auch dafür
- 54:57gibt es Ansätze mit Multihop. Ja, aber
- 55:00Knowledge Grafts sind hier in aller
- 55:02Regel überlegen. Genau diese zwei
- 55:04Ansätze, also Vector Rag und Knowledge
- 55:06Graphs können nun auch zu einer dritten
- 55:08Architektur kombiniert werden, die
- 55:10deswegen unter den Namen Grafreck
- 55:12bekannt geworden ist und vor allem von
- 55:13Microsoft vorangetrieben wird. Bei
- 55:15Graphreck läuft im Hintergrund ein
- 55:17eigenes Sprachmodell, das aus deinen
- 55:19Dokumenten automatisch die wichtigsten
- 55:21Entitäten und ihre Beziehung extrahiert
- 55:23und daraus einen Knowledge Grab aufbaut,
- 55:25parallel zu den klassischen
- 55:27Vektorembeddings. Bei einer konkreten
- 55:28Frage kann das System dann also beide
- 55:30Wege gleichzeitig nutzen. Tja, aber das
- 55:33ist auch das, was ich meine. Viele
- 55:34dieser Ansätze klingen erstmal
- 55:36unglaublich logisch, scheitern in der
- 55:38Praxis dann aber wieder an der
- 55:40Komplexität und dem damit einhergehenden
- 55:43Wartungsaufwand, den viele schlicht gar
- 55:45nicht brauchen. Von daher reicht mal
- 55:47das, was du jetzt hier gelernt hast,
- 55:49absolut aus, um KI Wissensmanagement
- 55:51Systeme im Unternehmen einzuführen. Und
- 55:53jetzt zeige ich dir noch mal ein paar
- 55:55Use Casases, was du ganz konkret damit
- 55:56dann auch in der Praxis machen kannst.
- 56:02Ja, der nahlinkste Use Case ist es jetzt
- 56:04erstmal den Chatbot, den du mit N8N
- 56:07jetzt bereits gebaut hast, die Rag
- 56:09Pipeline und mit Superbase Vector Store,
- 56:11diesen jetzt auch wirklich auf eine
- 56:13schöne Art und Weise nutzbar zu machen.
- 56:15Und dadurch, dass du ja mit dem
- 56:16Schlonkowski NN MCP arbeitest, brauchst
- 56:19du auch all selbst programmieren,
- 56:22sondern du sagst Cloud Code einfach bau
- 56:25mir ein schönes Frontend für diesen
- 56:27Chatboard. Ich habe das jetzt schon
- 56:28gemacht. Das war wie gesagt jetzt nur
- 56:30einziger Prompt. Ja, bau mir ein
- 56:32Frontend. Bekommst du auch mit den
- 56:33Ressourcen, damit du es einfach kopieren
- 56:35kannst. Aber wie gesagt, super simpel
- 56:36mit dem MCP und darüber kannst du jetzt
- 56:40mit deinem NN RC Chatbot ja chatten. Ich
- 56:43habe das jetzt so gemacht, dass ihr mir
- 56:45sogar ein paar Beispielfragen gibt, wie
- 56:46z.B. welche Meldefrist gibt es bei einer
- 56:49Datenpanne? Dann sehen wir jetzt, dass
- 56:51die Pipeline durchläuft. Das sollten wir
- 56:53jetzt auch hier in den Executions sehen.
- 56:54Und zwar steht's hier auch running. Ja,
- 56:56das bedeutet, die Pipeline läuft jetzt
- 56:58durch und ist jetzt entsprechend auch
- 57:00succeeded. Das bedeutet, jetzt sollten
- 57:01wir die entsprechende Antwort bekommen
- 57:03und da kommt die Antwort auch schön
- 57:04formatiert und die Antwort lautet
- 57:07maximal 6 Stunden nach Entdeckung der
- 57:08Datenpanel schriftlich über das Formular
- 57:11NMKSI11
- 57:13abrufbar im Sicherheitsportal
- 57:16Nordtravel. Das ist jetzt die Antwort.
- 57:18Man sieht entsprechend die Quelle, das
- 57:19ist das ITenschutz Clean PDF und sogar
- 57:22die Chunks, welche dabei verwendet
- 57:24wurden. Und die Soll an Ford, die habe
- 57:26ich statisch einprogrammiert in dieses
- 57:28Frontend, damit wir jetzt abgleichen
- 57:29können. Stimmt das denn auch? Und das
- 57:31sieht jetzt auch schon auf den ersten
- 57:32Blick direkt richtig aus, ne? Also hier
- 57:34steht maximal 6 Stunden und das
- 57:36Formular, das hat auch exakt den
- 57:37gleichen Namen und Aussichtsbehörde
- 57:39innerhalb von 72 Stunden. Das steht hier
- 57:42auch gleich mit drin. Schauen wir uns
- 57:43noch mal eine komplexere Frage an.
- 57:46Nehmen wir z.B. mal welches
- 57:47Schmiermittel und welche Füllmenge
- 57:49braucht der NMK 240C?
- 57:52Es ging jetzt auch relativ schnell. Die
- 57:54Sollwort ist Küber GE 1220N.
- 57:58Was kommt hier als Anwort zurück? Ist
- 58:00jetzt nicht perfekt formatiert, aber das
- 58:03scheint ja auch richtig zu sein mit dem
- 58:05Klüber GEM 1220N, der Füllmenge von 2,1
- 58:09l und der Produktkatalog als Quelle.
- 58:11Also auch das ist korrekt. Nehmen wir
- 58:13noch mal was wirklich sehr komplexes.
- 58:15Ich bin neu in der Dreischichtfertigung.
- 58:17Wie viel Urlaubstage habe ich und welche
- 58:19Zuschläge gelten. Warum ist das jetzt
- 58:21komplex? Weil wahrscheinlich mehrere
- 58:22Dokumente, verschiedenste Chunks genutzt
- 58:25werden dafür bzw. sieht man es auch. Das
- 58:27Personalhandbuch ist zwar maßgeblich,
- 58:28aber es sind eben verschiedene Chance zu
- 58:30Urlaubsanspruch, zu Zulagen, zu
- 58:32Schichtmodellen und die Antwort, wenn
- 58:34wir es jetzt hier noch mal nachschauen,
- 58:3532 Arbeitstage pro Jahr und die Antwort
- 58:38kam entsprechend auch zurück und das ist
- 58:39entsprechend hier die Stärke, die man
- 58:41sieht, ja, bei Hybrid Search und dem
- 58:42Reranking Ansatz selbst komplexe Fragen
- 58:44werden gut beantwortet und damit ist
- 58:45jetzt ja erstmal jeder Wissensassistent
- 58:48für dein Unternehmen denkbar. In dem
- 58:50Fall ist es jetzt im Bereich
- 58:51Qualitätssicherung oder das kannst du
- 58:53natürlich auch fürs Onboarding, für die
- 58:54Einarbeitung neuer Bitarbeiter
- 58:56verwenden. Und das ganze kannst du
- 58:58natürlich auch, damit du jetzt diese
- 58:59ganzen Flows nicht bauen brauchst, weil
- 59:01der nächste Schritt ist ja dann
- 59:03eigentlich der komplexe, wie rolle ich
- 59:04das jetzt wirklich aus mit
- 59:05Zugriffsberechtigung, Rollenmanagement
- 59:07und so weiter. Das ist ja die wahre
- 59:09Komplexität, die dann kommt und genau
- 59:11dafür kannst du dann auch wieder
- 59:12Corporate LM nutzen. Dafür haben wir
- 59:14z.B. die Agenten mit drin. Du kannst dir
- 59:16hier jetzt z.B. für einen neuen Agenten
- 59:18anlegen, wie beispielsweise einen
- 59:19Agenten nur zum Thema Onboarding. Nennen
- 59:21wir den jetzt mal Onboarding Agent und
- 59:24dann eine kurze Beschreibung. Dieser
- 59:26Agent hilft bei der Einarbeitung neuer
- 59:28Mitarbeiter. Wir haben hier direkt die
- 59:30Besitzzuweisung. Also wem gehört dieser
- 59:32Agent? Demo Admin, das ist jetzt mein
- 59:34Nutzer oder die Demo Team GmbH. Das ist
- 59:36also die Firma. Ich möchte jetzt die
- 59:38Firma haben. Ich mache eine ganz
- 59:39einfache Anweisung da einfach mal rein.
- 59:41Dieser Agent soll Mitarbeiter bei der
- 59:44Einarbeitung unterstützen, indem er
- 59:46Quellenbasierte Antworten liefert. Und
- 59:48hier können wir noch eine Startnachricht
- 59:50mit reinpacken. Hallo, ich bin dein
- 59:51Onboarding Agent, wobei darf ich dir
- 59:54helfen? Und hier können wir noch
- 59:55Beispielpromps mit reinnehmen. Z.B. gib
- 59:58mir die wichtigsten Infos zur
- 1:00:00Einarbeitung oder erkläre mir die
- 1:00:02Homeoffice Richtlinie. Und hier hast du
- 1:00:05jetzt noch die Möglichkeit Aktion mit
- 1:00:06beizufügen. Die Bildgenerierung in dem
- 1:00:08Fall können wir weglassen. Die Websuche,
- 1:00:11das lasse ich jetzt mal an. Du kannst
- 1:00:13das Ganze aber auch nur auf die
- 1:00:14Wissensuche beschränken. Und ich habe
- 1:00:15jetzt hier eben schon entsprechend, ich
- 1:00:17zeig dir das auch noch mal. Ich
- 1:00:18dupliziere mir kurz den Tab. Unter
- 1:00:20Wissen siehst, du habe ich ganze Ordner
- 1:00:21hochgeladen. Ich habe einen ganzen
- 1:00:23Ordner für die Personalabteilung. Also
- 1:00:24im Endeffekt ähnlich wie das, was wir
- 1:00:26manuell mit Superbase vorhin selbst
- 1:00:28gemacht haben. All das läuft hier
- 1:00:29automatisch für dich im Hintergrund,
- 1:00:30also dass du dich selbst nicht drum
- 1:00:31kümmern brauchst und einfach einen
- 1:00:33Abteilungsordner erstellen kannst oder
- 1:00:34ein Ordner für die Marketingabteilung
- 1:00:36z.B. Und diese zwei würde ich jetzt mal
- 1:00:38eben auch nehmen, sagen wir ein
- 1:00:39Onboarding Agent, der Marketing
- 1:00:40Mitarbeitern hilft. Dann nehmen wir hier
- 1:00:42den Marketing Ordner mit rein und ich
- 1:00:44nehme den Personalabteilungsordner mit
- 1:00:46rein. Und hier sehe ich auch die
- 1:00:47einzelnen Dokumente. Könnte auch nur
- 1:00:48einige dieser Dokumente mit reinnehmen
- 1:00:50und nicht alle. Und dann können wir
- 1:00:53sogar noch Skills mit festlegen. Das
- 1:00:54lasse ich jetzt mal weg. Und das Modell
- 1:00:56festlegen. In dem Fall nehme ich mal
- 1:00:58Opus 4.7. Und die Kreativität will ich
- 1:01:01runtermachen, weil der Agent relativ ja
- 1:01:03wirklich wissensgetreu antworten soll
- 1:01:05und nicht zu viel selbst
- 1:01:07hineinterpretieren soll. Und der Agent
- 1:01:09wurde jetzt hier entsprechend auch
- 1:01:10erstellt. Und wenn ich jetzt hier auf
- 1:01:11chatten klicke, dann wird mir zunächst
- 1:01:13der Beispielprompt vorgeschlagen. Und
- 1:01:15hierüber kann ich jetzt mit dem Wissen,
- 1:01:16das auch automatisch aktiviert ist,
- 1:01:18chatten und dies entsprechend eben auch
- 1:01:20über die Einstellungen an die jeweiligen
- 1:01:23Mitglieder freigeben, sowie auch über
- 1:01:24das Zukunftsmanagement kann ich diese
- 1:01:26Agenten jetzt einzelnabteilung oder
- 1:01:28einzelnen Mitarbeitern zuweisen. Und
- 1:01:30damit noch mal zu einem Punkt, der
- 1:01:31elementar wichtig ist zu verstehen und
- 1:01:33zwar Rag ist nicht das allerheimmittel
- 1:01:36und es braucht auch nicht immer die
- 1:01:38Wissenssuche ganz allgemein, also
- 1:01:40bezieht sich nicht auf Scorp und lm
- 1:01:42sondern ganz grundsätzlich ist R nicht
- 1:01:44immer der richtige Weg. Gerade dadurch,
- 1:01:46dass die Kontextfenster immer größer
- 1:01:48werden. Bei Modellen wie Opus 4.7 auch
- 1:01:51schon Sonic 4.6hst du, wir haben ein
- 1:01:53Kontextfenster von einer Million Tokens.
- 1:01:55Das heißt, du kannst ganz normale
- 1:01:57Standarddokumente im normalen
- 1:01:59Kontextfenster verarbeiten und das macht
- 1:02:00an einigen Stellen sogar noch mehr Sinn.
- 1:02:04Lass uns das mal an einem konkreten
- 1:02:06Beispiel machen. Ich habe hier einen
- 1:02:07Ordner mit wirklich ähm ja ein paar
- 1:02:09hundert Dokumenten. Ja, ich habe hier
- 1:02:11Verträge jeglicher Art innerhalb dieses
- 1:02:14Ordners. Hier siehst z.B. für ein
- 1:02:15Vertrag, die haben alle ungefähr 20 bis
- 1:02:1740 Seiten. Und nehme ich diesen Vertrag
- 1:02:19jetzt mal hier rein, ja, dann arbeite
- 1:02:21ich eben nicht mit der Wissensuche,
- 1:02:23sondern ein 20seitiger Vertrag, der ist
- 1:02:25in aller Regel besser zu verarbeiten
- 1:02:28direkt im Kontextfenster des LMS. Dafür
- 1:02:30brauchst du dann kein RAG. Ja, wenn ich
- 1:02:32hier z.B. sowas frage, wie wer sind denn
- 1:02:34die Vertragsparteien und wann wurde
- 1:02:36dieser Vertrag geschlossen, dann sind
- 1:02:38das alles Dinge, also sehr spezifische
- 1:02:41Fragen zum Vertrag an sich. Man sieht
- 1:02:43hier wurd sogar nur das kleine Haiku 4.5
- 1:02:46Modell gewählt und schauen wir mal, ob
- 1:02:48das ganze richtig ist. Also, die
- 1:02:49Vertragsparteien, das sollten wir jetzt
- 1:02:51hier auch noch mal nachschauen können.
- 1:02:52Das sieht direkt schon richtig aus. Also
- 1:02:54es waren auf jeden Fall diese zwei und
- 1:02:56wann wurde der Vertrag geschlossen und
- 1:02:57da kommt dann das sind wieder so
- 1:02:59Kleinigkeiten, die in der semantischen
- 1:03:00Racksuche gar nicht mal so trivial sind,
- 1:03:03also so exakte Daten zu bekommen. Also
- 1:03:05auch klassisches Rack, das liefert dir
- 1:03:07nie 100% anforderen und erhöht die
- 1:03:10Komplexität im Wissensmanagement
- 1:03:12durchaus. Und deswegen ist es wichtig zu
- 1:03:14wissen, wann brauchst du es überhaupt
- 1:03:15und wann brauchst du es nicht. Weil im
- 1:03:17Chatten zu Einzeldokumenten ist es oft
- 1:03:20besser direkt mit dem Dokument zu
- 1:03:22chatten. Selbst wenn wir hier noch fünf
- 1:03:23Verträge hätten, wäre es wahrscheinlich
- 1:03:24noch besser, die einfach reinzuladen ins
- 1:03:26Kontextfenster und eben nicht mit RAC zu
- 1:03:28arbeiten. Schauen wir noch mal ganz
- 1:03:29kurz, ob das Datum hier stimmt. Er sagt
- 1:03:31ja auch Seite 2: Agreement ist made on.
- 1:03:33Sollten wir sofort nachprüfen können.
- 1:03:35Genau. Disagreement ist made on 90th of
- 1:03:38May 2010. Das heißt, diese beiden Fragen
- 1:03:41wurden jetzt wirklich richtig
- 1:03:42beantwortet mit einem kleinen Modell
- 1:03:44Haiku 4.5 ist wirklich kein gutes
- 1:03:46Modell. Weil das Kontextfenster hier
- 1:03:48genau hier seine Stärken hat, also die
- 1:03:50direkte rohe Verarbeitung übers LM. Und
- 1:03:53das ist ein essentieller Punkt. Wann
- 1:03:55brauchst du R dann wirklich? Also ohne R
- 1:03:57funktioniert alles. Ja, wenn du einen
- 1:03:59Vertrag hast, vielleicht auch noch fünf,
- 1:04:00vielleicht sogar noch zehn Verträge
- 1:04:02Protokolle, du eine einmalige Frage
- 1:04:04hast, kein Dauerbetrieb, du willst
- 1:04:06spezifische Information haben, also auch
- 1:04:08einfach die normale Datenextraktion.
- 1:04:11Machen wir noch mal ein weiteres
- 1:04:12Beispiel, denn das ist ja auch ein
- 1:04:13klarer Usecase. Einfach Daten DSGVO
- 1:04:15konform aus Dokument zu extrahieren. Ich
- 1:04:17habe hier ein Sozialversicherungsausweis
- 1:04:19hochgeladen. Bitte extrahiere mir alle
- 1:04:21Daten aus diesem
- 1:04:22Sozialversicherungsausweis.
- 1:04:24Und dies ist jetzt auch ein Use Case, in
- 1:04:26den es deutlich mehr Sinn macht. Wir
- 1:04:27haben jetzt hier, du siehst, zwei
- 1:04:29Seiten. Sozialversicherungsausweis,
- 1:04:31relativ ja simpel und banal. Und auch in
- 1:04:34diesen Fällen ist es immer besser mit
- 1:04:36dem rohen LM und dem Kontextfenster zu
- 1:04:39arbeiten. Also hier würdest du jetzt
- 1:04:40explizit nicht diesen
- 1:04:41Sozialversicherungsausweis ins Wissen
- 1:04:43hochladen und dann mit dem Wissen
- 1:04:44chatten, weil das einfach nur die
- 1:04:46Komplexität, du hast ja die ganzen
- 1:04:47Workpipeline gesehen, unnötig erhöht und
- 1:04:49sogar auch die Fehleranfälligkeit
- 1:04:51erhöhen kann. Wie man hier sieht, ist es
- 1:04:53alles auch schon richtig. Er erkennt
- 1:04:54sogar, dass der Geburtsname Dokument
- 1:04:57geschwärzt ist. Also hier sieht man äh,
- 1:04:59dass es alles stimmt, was er hier sagt.
- 1:05:01Und also eine perfekte Datenextraktion
- 1:05:03reicht sogar Autoselect, ne? So muss man
- 1:05:05nicht mal nachdenken. Und hierfür
- 1:05:06würdest du jetzt kein Wissen verwenden.
- 1:05:09Das brauchst du dann gar nicht. Und das
- 1:05:10ist eben noch mal ein ganz wichtiger
- 1:05:12Unterschied, ja, auch für dieses ganze
- 1:05:14Video hier. Wann brauchst du es denn
- 1:05:15wirklich? Also immer dann, wenn der
- 1:05:17Kontext einfach das Kontextfenster
- 1:05:19sprengt. Also wenn du es wirklich mit
- 1:05:21mindestens paar Dutzend Hunderten,
- 1:05:22vielleicht sogar tausenden Dokumenten zu
- 1:05:24tun hast. Deswegen auch mein Beispiele
- 1:05:25eingangs mit den 800 ja Dokumenten und
- 1:05:28nicht im eins. Wenn alles mitzuschicken
- 1:05:30einfach zu teuer und zu langsam wäre,
- 1:05:32wenn sich dein Wissen auch immer wieder
- 1:05:33ändert. Also wenn du z.B. einen
- 1:05:34SharePoint Ordner hast, den du einfach
- 1:05:36immer aktualisieren möchtest und nicht
- 1:05:38immer wieder das Wissen neu reinlädst.
- 1:05:40Ja, wenn du nur eine Passage und gerade
- 1:05:42bei diesen semantischen Suchen, da ist
- 1:05:45Rack wirklich gut. Das zeigt sich auch
- 1:05:46noch mal an dem Beispiel bei Cloud
- 1:05:49selbst und zwar ich zeig dir das noch
- 1:05:50mal. Ja, wenn du einen Ordner anlegst,
- 1:05:52also ein Projekt anlegst. Ich habe jetzt
- 1:05:53hier mal ein Beispielprojekt und da
- 1:05:55geht's über paar Informationen zum
- 1:05:57Silicon Valley, ein paar Videoaufnahmen,
- 1:05:59die wir dort gemacht haben und hier
- 1:06:00siehst du jetzt im Projekt haben wir 9%
- 1:06:03des Projektwissens ausgeschöpft und hier
- 1:06:05wird der Suchmodus aktiviert. Das heißt,
- 1:06:07das Projektwissen ist über das
- 1:06:09hinausgewachsen, was Cloud auf einmal
- 1:06:11lesen kann und selbst Enhropic arbeitet
- 1:06:13hier mit einem klassischen Ragansatz,
- 1:06:15also genau das, was du jetzt gelernt
- 1:06:16hast und beschreibt es hier auch
- 1:06:18entsprechend, wann sie das nutzen. Also
- 1:06:20Rack wird automatisch aktiviert, wenn
- 1:06:22dein Projektkontext zu groß wird, das
- 1:06:25normale Kontextfenster entsprechend
- 1:06:27ausreiz. Erst dann wird RAG aktiviert
- 1:06:29und eben nicht, wenn du jetzt einfach
- 1:06:31nur ein zwei Dokumente hochlädst und mit
- 1:06:33Einzeldokumenten chattest. Also nehmen
- 1:06:35wir mal Notebook LM als Beispiel, ne?
- 1:06:37Sollten mittlerweile die meisten kennen.
- 1:06:39Ist auch definitiv ein Rackansatz, wie
- 1:06:41ganz genau Notebook LM im Hintergrund
- 1:06:43funktioniert technisch gesehen, das legt
- 1:06:44Google leider nicht offen, aber es ist
- 1:06:46relativ klar, dass hier mit Rack
- 1:06:48gearbeitet wird. Ich erstelle jetzt hier
- 1:06:49noch mal neues Notebook. Ja, und nehmen
- 1:06:50wir hier jetzt wirklich mal die ganzen
- 1:06:53PDFDien, die ich mir vorhin
- 1:06:55heruntergeladen habe, ne? Also diese
- 1:06:56ganzen rechtlichen Dokumente und
- 1:06:58Verträge und die hauen wir jetzt hier
- 1:06:59alle rein. Man sieht sogar, dass es gar
- 1:07:01nicht funktioniert. Also alle
- 1:07:03funktionieren nicht. Ja, und das dauert
- 1:07:04jetzt auch ein kleinen Moment, bis all
- 1:07:06diese PDFs wirklich in Nordburg LM
- 1:07:08hochgeladen sind. So, Verträge sind
- 1:07:09hochgeladen. Man sieht, es sind 300
- 1:07:11Verträge, die wir jetzt hier hochgeladen
- 1:07:12haben. 300 Dokumente. Damit kann ich
- 1:07:14jetzt alle möglichen tollen Dinge
- 1:07:15machen. Ich kann mir ein Audio Podcast
- 1:07:17dazu erstellen lassen, ich kann mir
- 1:07:18Videoübersichten erstellen lassen, ich
- 1:07:20kann mir Mindmaps erstellen lassen mit
- 1:07:22Notebook LM. Aber jetzt geht es darum
- 1:07:24mal zu verstehen, wann Rack dann
- 1:07:26tatsächlich Sinn macht. Wenn wir z.B.
- 1:07:27Fragen stellen, wie bitte finde alle
- 1:07:29Verträge, in denen US-Recht vereinbart
- 1:07:31ist, anstatt z.B. englisches Recht. Ja,
- 1:07:34das bedeutet, ich habe eine Suchanfrage
- 1:07:37über viele Dokumente hinweg, dann macht
- 1:07:40dieser Wissensmanagementansatz exakt
- 1:07:43Sinn. Deswegen auch das Beispiel des
- 1:07:44Onboardings beispielsweise hier greifen
- 1:07:46viele Dokumente oder wenn ich halt zu
- 1:07:49einem Wissenspool eine Abteilung
- 1:07:51wirklich chatten möchte, dann macht R
- 1:07:53super viel Sinn. oder wenn ich eben
- 1:07:54Muster aus vielen Verträgen herausfinden
- 1:07:56möchte oder wenn ich gar nicht weiß in
- 1:07:58welchem Vertrag steht denn was drin wie
- 1:08:00in diesem Fall, also welcher Vertrag hat
- 1:08:01den US-recht, dann macht Drag sehr viel
- 1:08:04Sinn. Ja, also die Faustregel ist, dass
- 1:08:06der normale Standardansatz immer sein
- 1:08:08sollte, deine Datei erstmal einfach ins
- 1:08:11LM hochzuladen, wenn du schon eine
- 1:08:13spezielle Datei hast und nur wenn es zu
- 1:08:16groß wird oder das ein wiederkehrender
- 1:08:18Anwendungsfall ist oder das Wissen
- 1:08:20dynamisch sich immer weiter updaten
- 1:08:22soll, z.B. über eine SharePoint
- 1:08:23Integration. Dann erst macht RAC erst
- 1:08:26wirklich Sinn, die Aufbereitung dieses
- 1:08:27ganzen Wissens in einem Wissensspeicher,
- 1:08:30das macht unabhängig davon Sinn. Das
- 1:08:32haben wir einmal hier in dem
- 1:08:33Vektoransatz gemacht. Jetzt kann man
- 1:08:35natürlich auch noch mal eine SQL
- 1:08:37Datenbank bauen und dann z.B. ein
- 1:08:38Chatboard, das machen wir auch sehr
- 1:08:39regelmäßig, mit denen ich jetzt
- 1:08:41einerseits SQL Querries schreiben kann,
- 1:08:44andererseits aber auch semantische
- 1:08:46Abfragen machen kann und das macht z.B.
- 1:08:48im Vertrieb super viel Sinn, also einen
- 1:08:50Vertriebsbot zu haben, mit dem du zu
- 1:08:52deinen Unternehmenszahlen chatten
- 1:08:54kannst. Genau, dafür brauchst du diese
- 1:08:56zentrale Infrastruktur und da möchtest
- 1:08:58du natürlich auch nicht mit Nordburg LM
- 1:09:00arbeiten. Zum einen siehst du dauert
- 1:09:01auch bei Google ziemlich lange. Zum
- 1:09:03anderen sei noch auf eine Sache
- 1:09:04hingewiesen, die viele nicht verstehen.
- 1:09:06Und zwar, wenn du mal in die Privacy
- 1:09:08Policy gehst von Nordbogel und dann
- 1:09:10einfach nur mal nach Human suchst, dann
- 1:09:11wirst du eine ganz entscheidende Passage
- 1:09:13finden und zwar, dass sie menschliche
- 1:09:16Reviews durchführen, wenn du dich im
- 1:09:18normalen Plan, also auch im kostenlosen
- 1:09:20Plan bei Nordburg Lem befindest, so wie
- 1:09:22die meisten. Und das ist einer der
- 1:09:23größten Fehler, den Unternehmen gerade
- 1:09:25machen, dass theoretisch Google
- 1:09:27jederzeit menschlich in all deine Daten
- 1:09:29reingucken kann. Ich meine, das ist
- 1:09:31eigentlich gesunder Menschenverstand,
- 1:09:32aber trotzdem sehe ich es viel zu
- 1:09:33häufig, dass Unternehmen meinen, sie
- 1:09:35könnten ja einfach mit Notebook ElM
- 1:09:37arbeiten, um mit ihrem
- 1:09:38Unternehmenswissen zu chatten. Und das
- 1:09:40ist natürlich höchstgradig fahrlässig.
- 1:09:42Das macht wirklich nur Sinn, ja, wenn
- 1:09:43ich Recherchen mache, die nichts mit dem
- 1:09:46Unternehmen zu tun haben, aber alles was
- 1:09:47Firmwissen betrifft, auf keinen Fall.
- 1:09:49Und so sieht man jetzt hier auch
- 1:09:51wirklich eine große Power von RAC. Er
- 1:09:53ist jetzt wirklich jeden Vertrag
- 1:09:54durchgegangen. Also da ist Notebook L
- 1:09:56schon stark. hat hier erstmal alle New
- 1:09:58York Verträge herausgefunden. Alle
- 1:10:00Kalifornien Verträge, alle Delaware,
- 1:10:02Texas, Pennsylvania, Illinois, Florida,
- 1:10:05Virgina, Washington, Tennessee und so
- 1:10:07weiter. Und hat tatsächlich alle ja
- 1:10:09US-Verträge. Ich kann es jetzt natürlich
- 1:10:11nicht nachprüfen, aber in Nordburg LM
- 1:10:12siehst du hier entsprechend auch die
- 1:10:14Quelle, die dir mit angezeigt wird, wenn
- 1:10:15du da drauf klickst und hier sollt es
- 1:10:17dann entsprechend auch stehen, ja, das
- 1:10:19US Recht anwendbar ist, ja, bei diesem
- 1:10:21Vertrag. Das heißt, Nordbook LM ist
- 1:10:23natürlich ein Uscase, gerade wenn du
- 1:10:25weißt, wie. Ja, Einspannender US Case
- 1:10:27sind natürlich auch Voice Agents, also
- 1:10:29solche Wissensspeicher und Systeme
- 1:10:31kannst du natürlich auch deinen Voice
- 1:10:33Agents anheften. Und hier findest du
- 1:10:35sogar eine Knowledge based Funktion. in
- 1:10:37diese Knowledge Base. Du siehst es hier
- 1:10:38steht auch wieder RAC, also auch 11 Labs
- 1:10:40Voice Agents und jegliche Voice Agents
- 1:10:42arbeiten mit Rack als Knowledge Basis im
- 1:10:45Kern mit einem ähnlichen Ansatz, den wir
- 1:10:46gerade eingerichtet haben. Wichtig ist
- 1:10:48hierbei auch immer mit Mark Dokumenten
- 1:10:50zu arbeiten. Also du willst hier niemals
- 1:10:52PDFs hochladen, weil die meisten dieser
- 1:10:55Tools nicht so eine optimierte OC
- 1:10:58Pipeline tatsächlich dahinter haben, wie
- 1:10:59wir es jetzt mit Mysteryal gebaut haben.
- 1:11:01Und die Qualität solltest du demnach
- 1:11:03immer selber sicherstellen, wenn du z.B.
- 1:11:05Voice Agents baust, dass du gleich
- 1:11:06bereinigte Markdown Files in den
- 1:11:08Wissensspeicher reinlädst. Auch das kann
- 1:11:10die Qualität deiner Telefonassistenten
- 1:11:12maßgeblich beeinflussen. Ganz
- 1:11:13interessant ist sich aber mal
- 1:11:14anzuschauen, wie arbeitet 11 Labs mit
- 1:11:16Rack, weil die dann noch mal ganz eigene
- 1:11:18Ansätze fahren. Das zeigt einfach nur
- 1:11:20noch mal, welch kleine
- 1:11:21Optimierungsmöglichkeiten es gibt. Ja,
- 1:11:22da Voice Agent Rag natürlich noch mal
- 1:11:24deutlich schneller funktionieren muss
- 1:11:26als normales Chatbot Rack. Und hier
- 1:11:29haben sie nämlich noch mal einige
- 1:11:30Ansätze hineingeschrieben, wie sie damit
- 1:11:32arbeiten. Zum einen haben sie
- 1:11:33herausgefunden, dass sie QR
- 1:11:35umzuschreiben, so wie es die meisten
- 1:11:36RAätze machen, 80% der gesamten Latenz
- 1:11:40gekostet hat und sie das wie folg gefixt
- 1:11:43haben. Und zwar arbeiten sie mit
- 1:11:44mehreren Modellen parallel. Eine Voice
- 1:11:46Agent R Pipeline ist nämlich auch ein
- 1:11:47bisschen länger als die, die wir jetzt
- 1:11:48umgesetzt haben, weil wie man hier
- 1:11:50sieht, man erst einmal ein Speech to
- 1:11:52Textmodell hat, dann hat man das rohe
- 1:11:54Transkript. Dieses rohe Transkript, das
- 1:11:56muss jetzt erstmal bereinigt werden bzw.
- 1:11:58Also die Frage muss herauskristallisiert
- 1:12:00werden, bevor wir es dann überhaupt in
- 1:12:01die Rack Pipeline schicken, da wir jetzt
- 1:12:03nicht so eine dedizierte Frage haben,
- 1:12:05wie bei dem Chatbot, sondern ja, ein
- 1:12:06ganzes Gespräch und hier arbeiten sie
- 1:12:08jetzt mit multiple LMS, also sie haben
- 1:12:11hier z.B. einen extern gehostetes LM.
- 1:12:13Sie schreiben das hier ja auch welche
- 1:12:15das sind. sogar mit Quen wird
- 1:12:16beispielsweise gearbeitet mit einer
- 1:12:18Selfhosted Quen Variante, sogar zwei
- 1:12:21Stück an der Stelle und dann lässt man
- 1:12:23diese drei parallel laufen und die
- 1:12:24Antwort des schnellsten LMS, die schickt
- 1:12:26man dann weiter in der Rack Pipeline und
- 1:12:28dadurch hat man es geschafft, die Latenz
- 1:12:30von 326 Millisekunden auf 155
- 1:12:34Millisekunden zu senken. Und das muss
- 1:12:36manlaps mal durchaus zu gut halten.
- 1:12:38Also, es ist sehr löblich, wie
- 1:12:40transparent sie damit sind, weil man
- 1:12:42auch sagt, so 200 Millisekunden für
- 1:12:44Voice Agent Riel sind und alles da
- 1:12:46drüber macht den Gesprächsfluss einfach
- 1:12:48zu langsam. Also auch das ist ein ganz
- 1:12:50konkretes Beispiel, wie du Rackets
- 1:12:51einsetzen kannst im Rahmen deiner Voice
- 1:12:54Agents und der einfachste Weg ist
- 1:12:55sicherlich auch mal mit Corp LM zu
- 1:12:57starten. Es gibt hier wie gesagt noch
- 1:12:58eine Vielzahl an Uscases. Du kannst hier
- 1:13:00Wissensagentin einrichten. Du kannst wie
- 1:13:02gesagt hier all deinen wissenden Ordnern
- 1:13:04hochladen mit der Berücksichtigung. Wann
- 1:13:06brauchst du es wirklich und in welchen
- 1:13:07Fällen? Kannst du auch einfach in DSGVO
- 1:13:09konform die Dateien hochladen und direkt
- 1:13:12mit der Datei chatten. Wie gesagt, das
- 1:13:13haben wir uns gerade angeschaut. Spaces
- 1:13:15sind sicherlich noch spannend. Also, du
- 1:13:16kannst hier z.B. in einem Hub, das ist
- 1:13:19relativ ähnlich zu den Cloud Projekten,
- 1:13:21nur dass die Hubs dir eben noch
- 1:13:22gezielter dabei helfen, dein Wissen
- 1:13:24wirklich zu optimieren und dir auch
- 1:13:25Vorschläge machen, also welche Dateien
- 1:13:27z.B. noch hilfreich werden. Du siehst
- 1:13:29hier in dem Hub ist z.B. Marketing
- 1:13:31Ordner eingebunden und der Space macht
- 1:13:33jetzt z.B. ein Vorschlag, welche Dateien
- 1:13:35du noch hochladen könntest, wie z.B.
- 1:13:37Dateien zu Buyer Persona, um das Wissen
- 1:13:40des Projektes für dein Team noch weiter
- 1:13:42zu verbessern und dir hier eben auch
- 1:13:44vorschlägt, du könntest hier z.B. jetzt
- 1:13:45noch weitere Dokumente hinzufügen, aber
- 1:13:47der Space ist jetzt auch schon auf gut,
- 1:13:49also 75 von 100. Und so kannst du dann
- 1:13:51auch mit dem Marketing Wissen innerhalb
- 1:13:53dieses Spaces nicht nur chatten, sondern
- 1:13:55auch arbeiten. Also alle deine Marketing
- 1:13:57Aktivitäten über Skills. Hier habe ich
- 1:13:59z.B. gefragt, ne, was ist unsere
- 1:14:00Marketingstategie? Abfragen oder ne?
- 1:14:03erstellen eine einfache HTML Website zu
- 1:14:05Übersicht, die er hier jetzt erstellt
- 1:14:06hat, die man sich dann auch anzeigen
- 1:14:08lassen kann und das ist letztlich dann
- 1:14:10auch noch mal ein Vorteil von Spaces,
- 1:14:12genauso wie das Arbeiten mit Skills,
- 1:14:14welches du nahtlos darüber machen kannst
- 1:14:16und das Beste eben wirklich alles DSG
- 1:14:18konform, selbst mit lokalen Modellen
- 1:14:20kannst du mit deinem Unternehmenswissen
- 1:14:22innerhalb von Corporate LLM arbeiten.
- 1:14:24Von daher reicht das jetzt mal, was du
- 1:14:25hier gelernt hast, absolut aus, um KI
- 1:14:27Wissensmanagement Systeme im Unternehmen
- 1:14:30einzuführen.
- 1:14:35Ja, damit sind wir wahrscheinlich beim
- 1:14:36wichtigsten Punkt noch mal von allen und
- 1:14:38zwar wie verwandelst du dieses Wissen,
- 1:14:41dass du dir jetzt angeeignet hast, ganz
- 1:14:43konkret den Umsatz, mehr Gehalt oder
- 1:14:45einen echten Wettbewerbsvorteil, denn in
- 1:14:48der KI trennt sich die Spreu vom Weizen
- 1:14:50nicht mehr daran, wer was weiß, sondern
- 1:14:52ausschließlich daran, wer wie schnell
- 1:14:55ins Handeln kommt. Und wir befinden uns
- 1:14:57aktuell noch in der Phase, in der du mit
- 1:14:58diesem ganzen Wissen jetzt sicher zu den
- 1:15:00nicht mal 0,1% in ganz Deutschland
- 1:15:02gehörst. Und das im Verhältnis zu der
- 1:15:05Nachfrage, die ja praktisch jedes
- 1:15:07Unternehmen hier draußen ist, das ist
- 1:15:08schlicht der Wahnsinn. Also, wenn du
- 1:15:10Arbeitnehmer bist, KI Wissensmanagement
- 1:15:12ist der vielleicht nah liegendste US
- 1:15:14Case überhaupt, um dich intern als KI
- 1:15:17Experte deines Unternehmens zu
- 1:15:18positionieren und zwar nicht mit
- 1:15:20irgendeiner experimentellen Spielerei,
- 1:15:22sondern mit einem echten System, dass
- 1:15:24jedes ernsthafte Unternehmen in den
- 1:15:26nächsten 12 Monaten ohnehin einführen
- 1:15:28muss, ob freiwillig oder unter Druck der
- 1:15:30Konkurrenz. Du kannst mit dem Corp LM
- 1:15:33z.B. will jetzt bereits 100% kostenfrei
- 1:15:35mit lokalen Modellen Wissensagenten für
- 1:15:38deine Firma bauen. Und wer das in seiner
- 1:15:40Firma als erstes aufsetzt, ja, der wird
- 1:15:42ja in den nächsten zwei Jahren entweder
- 1:15:43befördert oder kann sich am Arbeitsmarkt
- 1:15:45praktisch frei seinen Arbeitgeber
- 1:15:47aussuchen, weil genau dieses Profil
- 1:15:49aktuell quer durch alle Branchen hinweg
- 1:15:52känderingend gesucht wird. Falls du
- 1:15:54dieses Wissen darüber hinaus staatlich
- 1:15:55zertifiziert haben möchtest, kannst du
- 1:15:57dich auch hier unter diesem Video für
- 1:15:58unseren akkreditierten AI Automations
- 1:16:01Manager Lehrgang bewerben. Ja, wenn du
- 1:16:03gerade selbständig wirst oder eine KI
- 1:16:05Agentur aufbaust, dann hast du hier
- 1:16:07wahrscheinlich den besten B2B Usase der
- 1:16:10nächsten Jahre entdeckt und kein
- 1:16:12Businessguru da draußen redet darüber.
- 1:16:14Ja, weil sie selbst seit Jahren immer
- 1:16:17nur den Markt hinterher rennen und die
- 1:16:19Dinge erst 2 d Jahre zu spät erfahren,
- 1:16:22wenn das Thema schon längst wieder
- 1:16:23gesättigt ist. Und während die meisten
- 1:16:25KI Agenturen da draußen weiter mit Voice
- 1:16:27Agents oder KI Mitarbeitern haussieren
- 1:16:29gehen, die in der Realität oft schon ja
- 1:16:31völlig gesättigte Märkte sind, ist KI
- 1:16:34Wissensmanagement genau das, was jedes
- 1:16:36Unternehmen zwingend braucht und wofür
- 1:16:37auch jedes Unternehmen demnach bereit
- 1:16:39ist fünf, sechs oder sogar
- 1:16:41siebenstellige Beträge auszugeben,
- 1:16:43sobald der Mehrwert Glasklar auf dem
- 1:16:46Tisch liegt. Und das ist eben wichtig.
- 1:16:48Du verkaufst hier keinen Hype oder
- 1:16:49irgendwelche fancy Tools, sondern eine
- 1:16:51ganze Infrastruktur, die in den nächsten
- 1:16:54Jahren in genau derselben
- 1:16:55Geschwindigkeit geschäftskritisch wird,
- 1:16:57in der vor 20 Jahren die ersten ERPS
- 1:16:59Systeme und Intranets in den Unternehmen
- 1:17:02waren. Und wenn du wissen willst, wie
- 1:17:03genau du diesen US Case in einer eigenen
- 1:17:06KI Agentur aufsetzt, aber auch vor allem
- 1:17:08verkaufst und das richtige Marketing
- 1:17:10dafür machst, hier in der
- 1:17:11Videobeschreibung findest du ebenfalls
- 1:17:13den Link zu unserem AI Agency Kickstart.
- 1:17:15Genau, dabei haben wir hunderten
- 1:17:17Agenturen in den letzten Jahren
- 1:17:18geholfen. Du kannst dich einfach auf
- 1:17:20aagentur.de bewerben und wir schauen uns
- 1:17:23das Ganze mit dir gemeinsam an. Ja, und
- 1:17:25wenn du Unternehmer bist, dann bitte
- 1:17:27renn jetzt nicht einfach blind drauf los
- 1:17:28und führstbeste Red Tool da draußen ein,
- 1:17:30dass dir irgendein Berater auf dem Tisch
- 1:17:32knallt. Die teuerste Variante ist
- 1:17:34nämlich nicht die, in der du gar nichts
- 1:17:36machst, sondern die, in der du ein
- 1:17:38halbwertiges System einführst oder dich
- 1:17:41am Ende verhaften lässt in irgendwelchen
- 1:17:43Lösungen, aus denen du dann so schnell
- 1:17:45nicht mehr rauskommst. Der erste Schritt
- 1:17:46ist also erstmal die Bestandsaufnahme.
- 1:17:48Wo liegt euer Wissen aktuell? In welchem
- 1:17:51Zustand ist es? Welche zwei oder drei
- 1:17:53konkreten Wissensmanagement Use Cases
- 1:17:56wür in eurem Unternehmen gerade den
- 1:17:57größten Hebel bringen? Und genau das ist
- 1:17:59auch im Kern das, was wir bei Everlast
- 1:18:01AI alleine in den letzten 12 Monaten mit
- 1:18:03über 600 Unternehmen gemacht haben von
- 1:18:05klassischen Mittelständern überhind
- 1:18:07Champions bis hin zu europäischen
- 1:18:08Weltkonzernen. Und wenn du Lust hast
- 1:18:10dieses Thema jetzt einmal unverbindlich
- 1:18:12in einem Strategiegespräch zu lösen,
- 1:18:14dann findest du den Link dazu auf
- 1:18:16kiberatung.de.
- 1:18:18Das Verrückte an KI Wissensmanagement
- 1:18:20ist nämlich genau das. Es ist kein Hype
- 1:18:23oder ja spektakuläre Schlagzeile und
- 1:18:26auch kein neues Modell, das eh bald
- 1:18:28schon wieder veraltet ist, sondern es
- 1:18:30ist es einfach nur gesunder
- 1:18:31Menschenverstand und das ist auch der
- 1:18:33Grund, weshalb es so wenig Menschen da
- 1:18:34draußen machen. Während sich die gesamte
- 1:18:36KI Welt immer nur auf die neuesten Tools
- 1:18:38und Agenten stürzt, fliegt der
- 1:18:40eigentliche Engpass, an dem aktuell in
- 1:18:42der Praxis fast jedes ernsthafte KI
- 1:18:44Projekt scheitert, vollständig unter dem
- 1:18:47Radar und das ist der produktive Zugriff
- 1:18:50auf das eigene Wissen. Und genau deshalb
- 1:18:52ist KI Wissensmanagement die
- 1:18:54wahrscheinlich größte unentdeckte Chance
- 1:18:56der nächsten Jahre und gleichzeitig der
- 1:18:58perfekte Einstieg, um KI wirklich
- 1:19:00gewinnbringend für Unternehmen
- 1:19:03auszurollen. Und wenn du tatsächlich bis
- 1:19:05hierhin noch dabei bist, dann möchte ich
- 1:19:06mich jetzt wirklich von Herzen noch mal
- 1:19:08bei dir bedanken. Im Schnitt bleiben bis
- 1:19:10an diese letzte Minute hier eines
- 1:19:12solchen langen Videos. Nur noch rund 1%
- 1:19:15aller Zuschauer übrig und dass du diesen
- 1:19:17kompletten Kurs hier bis zum Ende
- 1:19:18durchgehalten und durchgearbeitet hast.
- 1:19:20Das beweist ganz deutlich, du gehörst
- 1:19:23nicht zur breiten Masse und bist mit
- 1:19:25deinem Wissen jetzt schon 99% aller KI
- 1:19:28Berater und Agenturen und Manager da
- 1:19:30draußen Meilenweit voraus. Du darfst ja
- 1:19:32an dieser Stelle also wirklich einmal
- 1:19:34selbst auf die Schulter klopfen und das
- 1:19:36hier auch mal ehrlich feiern. Und wenn
- 1:19:39dir dieser Kurs hier gefallen hat,
- 1:19:40findest du auf diesem Kanal hier bereits
- 1:19:41eine ganze Reihe weiterer solcher
- 1:19:43Megakurse in genau dieser Tiefe, etwa zu
- 1:19:45Corporate LMS, zu eigenen KI Apps, zu
- 1:19:48Cloud Code, zu Workflow Automations und
- 1:19:50vielen weiteren Themen, die ich dir an
- 1:19:52dieser Stelle wirklich noch mal von
- 1:19:53Herzen empfehle. Ich freue mich riesig,
- 1:19:55dich dort wieder zu sehen. Bis dahin
- 1:19:57bleib am Ball, hol das Maximum aus dem
- 1:19:59Gelten hier heraus und wir sehen uns
- 1:20:01dann dort drüben. Leo.
About this transcript
This page contains the full transcript of Vergiss “Second Brains”! So baust du ECHTES KI-Wissensmanagement (KOMPLETTKURS) by Everlast AI, generated from the public captions YouTube serves with the video. The transcript has 13,873 words across 2,387 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.