Es beginnt: KI verbessert sich SELBST! DAS passiert jetzt wirklich (Sakana AI, Robert Lange) — Transcript
Full transcript
- 0:00In der Deep Learning Forschung wird sehr
- 0:02sehr häufig quasi das Gehören und unser
- 0:04zentrales Nervensystem als Inspiration
- 0:07für Intelligenz genommen, aber recht
- 0:09selten wird Evolution als Inspiration
- 0:12wirklich genommen. Der einzige Prozess,
- 0:14von dem wir wissen in der Geschichte der
- 0:16Menschheit, der dazu geführt hat, dass
- 0:17wir Intelligenzen, die unser Gehirn
- 0:19momentan haben, auf ganz viele
- 0:20verschiedene Arten und Weisen im
- 0:22Tierreich, ist die Evolution. Wie wie
- 0:25hat Evolution es geschafft, ein Medium
- 0:27zu generieren in der DNA, das gut
- 0:30langfristig darin ist, Evolution zu
- 0:32befeuern? Wenn man uns vor 10 Jahren
- 0:35gesagt hätte, dass es in 10 Jahren
- 0:36Systeme gibt, die es äh die wir jetzt ja
- 0:38tagtäglich benutzen, Sprachmodell,
- 0:40Agenten und so weiter, dann hätten viele
- 0:41gesagt, okay, das ist generelle
- 0:43künstliche Intelligenz für sie. Das ist
- 0:45ein Tool, [musik] das uns einfach
- 0:46erlauben wird, sehr sehr viel mehr
- 0:48Hypothesen als anzugucken und sehr viel
- 0:50schneller Fortschritt zu machen in den
- 0:52Problemen, die wirklich wichtig sind.
- 0:54Der Standard Frontalunterricht, den man
- 0:55aus Schule und Studium gewöhnt ist, der
- 0:58wird keine Relevanz mehr haben in dem
- 1:00Sinne, als das Fakten zu wissen nicht
- 1:02mehr fundamental sein wird, sondern es
- 1:04wird fundamental sein, quasi neugierig
- 1:05zu sein. Also es ist einfach so, die
- 1:08Technologie verändert sich so so
- 1:09schnell, dass wir gar nicht wirklich
- 1:11durchatmen können, um quasi alles zu
- 1:13verarbeiten.
- 1:14Welche Ansätze stehen da gerade bei euch
- 1:16im Fokus? Ich glaube, bevor ich über
- 1:18Ansätze rede, äh würde ich erstmal,
- 1:20glaub ich, eine Minute nehmen, um über
- 1:21Probleme zuen.
- 1:29Robert, du bist Gründungsmitglied bei
- 1:31Sakana AI, dem wertvollsten KI
- 1:33Forschungslabor [schnauben] Japans. Wie
- 1:35kam es dazu und was genau macht Sakana
- 1:38AI?
- 1:39Hi, Leo, erstmal vielen Dank, dass ich
- 1:40hier sein darf. Freut mich sehr mit dir
- 1:42reden zu dürfen. Ja, wie gesagt, ich bin
- 1:44Robert. Ich bin Gründungsmitglied und
- 1:47Staff Research Scientist bei Sakana AI,
- 1:50einem äh sogenannten Neolab, so wird es
- 1:52heutzutage geschimpft in Japan und
- 1:55Sakana AI arbeitet an AI für Japan, aber
- 2:00auch quasi mit globaler Forschung und
- 2:03dort sitze ich mich primär mit der
- 2:06Automatisierung von AI Forschung selber
- 2:08auseinander. So, heutzutage ähm wird
- 2:11dieses dieser Begriff rekursive
- 2:12Selbstverbesserung sehr sehr viel
- 2:14benutzt und ähm quasi während meiner
- 2:16Promotion und jetzt weitergehend habe
- 2:18ich äh bereits an quasi äh ähnlichen
- 2:21Themen gearbeitet, bevor Sprachmodelle
- 2:22groß geworden sind. Und jetzt äh im Zuge
- 2:25der Sprachmodellrevolution arbeiten wir
- 2:27weiter da dran auf einer größeren Skala.
- 2:30Und noch mal zurückkommt darauf, was äh
- 2:32Sakana AI äh tatsächlich macht. Äh wir
- 2:35sind äh ja unterteilt in in ein großes
- 2:37Forschungsteam und äh ein noch größeres
- 2:40äh Applied Team, das quasi mit
- 2:42japanischen Unternehmen
- 2:43zusammenarbeitet. Dazu gehören äh große
- 2:45Banken wie MUFG, ähm aber auch äh quasi
- 2:50die Regierung und wir haben quasi sowas
- 2:52wie eine Art ähm Forward deplied
- 2:54Engineering und Parantier System, wo wir
- 2:58quasi AI Technologien nach Japan und in
- 3:01große japanische Konzerne bringen.
- 3:02Ja, rekursive Selbstverbesserung, da
- 3:04werden wir gleich auch noch in aller
- 3:05Tiefe drüber sprechen, genauso wie die
- 3:06Evolution von KI. Jetzt zunächst noch
- 3:09mal zu Sakana. Ihr habt jetzt insgesamt
- 3:12rund 412 Millionen US-Dollar an Funding
- 3:14erhalten bei einer Bewertung von 2,65
- 3:17Milliarden US-Dollar. Das reicht, wenn
- 3:18es gut läuft, vielleicht gerade mal für
- 3:20einen Trainingslauf von Open AI oder
- 3:22Tropic. Also was genau ist ist euer
- 3:24Ansatz und was macht ihr anders als die
- 3:27US Labs?
- 3:28Ja, äh ist ein guter Punkt. Also, wir
- 3:30haben relativ früh und von Anfang an in
- 3:32der so sozusagen Forschungsphilosophie
- 3:35des Unternehmens gesagt, dass sie nicht
- 3:38Denture Capital Geld verbrennen werden,
- 3:40indem wir quasi Trainingsläufe machen,
- 3:43die dann vielleicht für eine Woche State
- 3:44of the Art sind, aber dann recht schnell
- 3:47ja wertlos sind. Unser Geschäftsführer
- 3:49David H sagt quasi immer: "Large
- 3:52language models are the fastest
- 3:54depreciating asset in human history." In
- 3:57dem Sinne als, dass diese Investitionen
- 4:00neben PR nicht sonderlich viel
- 4:02langfristig mit sich bringen und daher
- 4:04haben wir recht früh auf quasi
- 4:05alternative Forschungseansätze ähm
- 4:08gesetzt. Und äh wenn man sich Sakanas
- 4:10Logo anguckt, ähm da sind das ist quasi
- 4:13ein Fischschwarm und Sakana heißt auch
- 4:15auf Japanisch Fisch und da gibt's einen
- 4:17roten Fisch, der quasi gegen den Strom
- 4:18schwimmt und so ein bisschen ist unsere
- 4:20Forschungsphilosophie ähm quasi Wetten
- 4:23oder äh Lotterietickets in der Forschung
- 4:26zu lösen, die äh ein wenig gegen den
- 4:29Strom schwimmen und alternative ähm ja
- 4:32Ansätze verfolgen. Also nicht nur an die
- 4:34Skalierung von Transformermodellen,
- 4:36sondern quasi auch äh ja die
- 4:38Automatisierung des gesamten Prozesses,
- 4:39aber auch ähm ja mehr naturinspirierte
- 4:42evolutionäre Algorithmen und so weiter.
- 4:44Ja, das ist sehr spannend. Das wäre
- 4:45jetzt nämlich genau meine Frage auch
- 4:47gewesen bezüglich dem Namen Sakana, der
- 4:49für Fisch steht. Ich bin das erste Mal
- 4:50aufmerksam geworden auf euch. Das war
- 4:52jetzt gut vor 2 Jahren, August 2024 und
- 4:55da ist mir dann gleich dieses prominente
- 4:58Cyborg oder Roboter Fischbild ins
- 5:00Gesicht gesprungen. Damals ging es um
- 5:02den AI Scientist, da sprechen wir gleich
- 5:04drüber. Mich würde da interessieren,
- 5:06weil du sagtest, es geht darum gegen den
- 5:08Strom zu schwimmen. Meine Überlegung
- 5:09war, hat es auch schon zu tun, z.B.
- 5:12damit, dass ich Fische ja auch oftmals
- 5:14in Schwärmen organisieren und gerade
- 5:16solche Ansätze ja auch von euch verfolgt
- 5:18werden mit Multiagent System
- 5:20beispielsweise. Also gibt das vielleicht
- 5:22auch schon Hinweis darauf, worauf ihr
- 5:24unter anderem fokussiert seid? Ja, also
- 5:26ein Kernmotiv des Unternehmens ist
- 5:28kollektive Intelligenz und quasi die
- 5:31Arbeit äh die wir groß rausgebracht
- 5:33hatten bevor den AI Scientist war äh
- 5:35eine Methode, die nannte sich
- 5:36Evolutionary Model Merging. Und da ging
- 5:38es quasi darum, wie man aus ganz vielen
- 5:41verschiedenen Open Source Modellen, die
- 5:42alle ihre eigenen Stärken haben, äh ein
- 5:45System bauen kann, das quasi diese
- 5:46Stärken miteinander vereint. Und dafür
- 5:48haben wir quasi ja äh Schamintelligenz,
- 5:51aber auch evolutionäre äh
- 5:53Optimierungsmethoden benutzt, um quasi
- 5:54diese Bausteine der einzelnen Modelle
- 5:56zusammenzusetzen und ähm ja quasi äh den
- 6:00Weg zu verfolgen, dass man äh ja ganz
- 6:02viel unterschiedliche diverse
- 6:04Intelligenz auf dieser Welt hat, die man
- 6:05irgendwie äh zusammensetzen kann in ein
- 6:08äh größeres äh Gesamtbild.
- 6:10Kannst du die Idee von diesem AI
- 6:12Scientist noch mal tiefer erklären? Das
- 6:14ganze wurde jetzt auch im März noch mal
- 6:16publiziert in Nature sogar. Also da ging
- 6:18es noch mal weiter, nachdem August 2024
- 6:21das erste Malig dann Thema war und
- 6:23damals war das ja wirklich für mich
- 6:24zumindest was sehr Neues. Also heute
- 6:26sagt gefühlt jedes Opi and Tropic, ja,
- 6:29jedes Unternehmen autonomes AI
- 6:31Researching ist jetzt so das Fokusthema.
- 6:34Damals war das noch was, finde ich,
- 6:35etwas exotischeres. Kannst du das noch
- 6:38mal erklären? Was ist überhaupt die Idee
- 6:40von dem AI Scientist? Was hat er
- 6:42vielleicht auch schon ähm entdeckt
- 6:44seitdem und was hat sich wie hat sich
- 6:46das Projekt entwickelt?
- 6:47Um den EI Scientist zu erklären, muss
- 6:49ich einen Schritt zurück machen und ähm
- 6:51der geht quasi auch auf äh diesen
- 6:53Kernpunkt meiner Forschung, nämlich
- 6:54Evolution. Und ähm relativ früh während
- 6:58meiner Promotion hatte ich äh quasi so
- 7:00die Perspektive, dass unsere
- 7:02wissenschaftliche Methode eigentlich
- 7:03auch im Kern äh etwas mit Evolution zu
- 7:06tun hat. Also jetzt nicht mit
- 7:07biologischer Evolution, sondern mit den
- 7:08Prinzipien der Evolution. Also in dem
- 7:10Sinne als das ja wie Hypothesen
- 7:12aufstellen, ähm die die häufig
- 7:14häufigerweise Mutationen von vorherigen
- 7:16Ideen ähm sind diese dann testen und
- 7:19dann gucken, ob sie standhalten, dann
- 7:21quasi Survival of the Fitest betreiben
- 7:23in dem Sinne als dass die Ideen, die am
- 7:25meisten empirische Evidenz finden, sich
- 7:28quasi verstärken. Und dann in meiner
- 7:30Promotion, bevor Sprachmodelle quasi
- 7:33fähig geworden sind, äh habe ich dort
- 7:35verschiedene Themen ähm beforscht, wo
- 7:38man quasi evolutionäre Algorithmen, so
- 7:40klassische numerische
- 7:41Optimierungsalgorithmen dazu benutzt
- 7:43hat, um andere Algorithmen zu
- 7:45optimieren. Das nannte sich dann
- 7:47Metalearning, also wie kann man äh ja
- 7:49Methoden benutzen, um Lernnalgorithmen
- 7:51zu entdecken, also und in dem Fall mit
- 7:53evolutionären Methoden. Und dann ähm in
- 7:562024 sind äh ja Sprachmodelle zum ersten
- 7:59Mal wirklich fähig geworden äh ja
- 8:01robusten Code zu schreiben. Und ähm
- 8:05zusammen mit einem Freund von mir Chris
- 8:07Lou, mit dem ich damals
- 8:08zusammengearbeitet hatte, hatten wir
- 8:09geguckt, ob man quasi diesen diese
- 8:11evolutionäre Perspektive auf Forschung
- 8:13auch mit äh ja Sprachmodellen äh
- 8:16verbinden kann. Und um sich das konkret
- 8:18vorzustellen, haben wir ein
- 8:20wissenschaftliches Papier geschrieben,
- 8:21wo wir versucht haben, die äh
- 8:24Kostenfunktion oder die Optimierungs äh
- 8:26Fitnessfunktion in Anführungstrichen von
- 8:28Sprachmodellen ähm von Sprachmodellen
- 8:31programmieren zu lassen. Äh haben die
- 8:33dann genutzt, um ein Sprachmodell zu
- 8:34trainieren und das dann quasi in einem
- 8:36geschlossenen äh Kreislauf getan. Das
- 8:39heißt, ein Sprachmodell hat selber
- 8:41vorgeschlagen, wie es ähm trainiert
- 8:44werden sollte. So. Und damals war es so,
- 8:46dass wir dann zum ersten Mal gezeigt
- 8:48haben, dass das äh für äh ja sp äh
- 8:51spezifische Aufgaben gut funktioniert.
- 8:53Und ähm damals war es so, dass wir als
- 8:55Menschen immer noch quasi die das
- 8:57wissenschaftliche Papier darum
- 8:59geschrieben haben. Also, wir haben zwar
- 9:00Sprachmodelle benutzt, um ähm quasi
- 9:02Sprachmodelle zu verbessern, aber alles
- 9:05drumherum, die Idee, ähm das Schreiben
- 9:07des Manuskripts, das war immer noch
- 9:09menschlich. Aber äh wir hatten dort
- 9:11quasi dann ähm das erste Mal Blut gelckt
- 9:13und äh identifiziert, dass es möglich
- 9:15ist, eventuell sogar den gesamten
- 9:17Prozess mit Sprachmodellen zu
- 9:19automatisieren in dem Kontext von ähm ja
- 9:22Informatik und äh computergestützten
- 9:24Experimenten. Und der AI Scientist war
- 9:27quasi die Manifestierung dieser äh äh
- 9:30dieser Entdeckung oder dieser
- 9:32Feststellung, dass Sprachmodelle jetzt
- 9:34so gut und so robust an dem Punkt sind,
- 9:36dass mit äh einer äh ja nötigen ähm mit
- 9:40einem nötigen Scaffold oder Hanes, also
- 9:42in einem Workflow, den
- 9:43Gerundsprachmodell rumgebaut haben, ähm
- 9:46ja, wir gesamte wissenschaftliche
- 9:48Papiere schreiben könnten oder konnten.
- 9:51Und der Scientist ähm äh ist quasi
- 9:54dieses System, das wir damals im August
- 9:562024 rausgebracht haben, das äh zum
- 9:59einen neue Forschungsideen entwickelt im
- 10:02Bereich Sheenlearning, dann diese Ideen
- 10:05in Code implementiert, autonom
- 10:08Experimente fahren lässt, sich quasi die
- 10:10Evidenz von diesen Experimenten anguckt,
- 10:12die einbindet, wissenschaftliche
- 10:14Figures, also quasi Illustrationen
- 10:16generiert und dann am Endenden Papier
- 10:18schreibt. Und als wir das in 2024 getan
- 10:21haben, waren diese Papiere noch nicht
- 10:23quasi publikationswürdig
- 10:27in sich selbst. Aber es war das erste
- 10:30Mal, wo man quasi Glimpses of und Sparks
- 10:33of the Future gesehen hat. Also in dem
- 10:35Sinne als dass ähm die Robustheit da war
- 10:38ähm quasi diesen gesamten Prozess äh von
- 10:41Anfang bis zum Ende zu automatisieren.
- 10:43Was ist die äh Idee dahinter oder wieso
- 10:46ist das überhaupt so so ein wesentlicher
- 10:48Fokus von euch, aber mittlerweile
- 10:50natürlich auch von von einigen anderen?
- 10:52Was was verspricht man sich davon? Also
- 10:54es geht ja nicht nur darum irgendwie die
- 10:56eigene Forschungsarbeit ein bisschen
- 10:58zeitsparender zu gestalten, sondern die
- 11:00Idee dahinter, die ist ja schon deutlich
- 11:02deutlich größer. Also vielleicht kannst
- 11:04du das noch mal erläutern. Was genau
- 11:06ringt das und was was verspricht man
- 11:08sich davon? Zum einen ähm als als
- 11:10individueller Forscher äh ist es so,
- 11:13dass es äh ganz viele Ideen gibt, die
- 11:14ich gerne verfolgen würde, aber ich
- 11:16immer quasi äh gucken muss, wie ähm
- 11:18benutze ich meine Zeitressourcen und
- 11:20meine Geldressourcen und meine äh
- 11:22Hardware Ressourcen. Und ähm in dem
- 11:25Sinne äh wäre es toll oder find es
- 11:27persönlich sehr sehr schön, quasi meine
- 11:29eigene Arbeit automatisieren zu können
- 11:31und beschleunigen zu können, indem ich
- 11:32ganz viele meiner persönlichen
- 11:34Hypothesen einfach automatisiert
- 11:36getestet bekomme. weiterblickend auf die
- 11:38die Industrie selber und darauf, dass
- 11:40dieses Thema momentan so enorm gehyped
- 11:43und aktuell ist, ist es so, dass viele
- 11:45dieser dieser Labs sei Sentropic Open AI
- 11:48an quasi AI Scientist System arbeiten,
- 11:52um ja quasi ihren eigenen
- 11:54Entwicklungsprozess automatisieren zu
- 11:55können. Und am Ende des Ganzen steht
- 11:57dann quasi äh eine Gleichung, die heißt,
- 12:00dass man Geld und ähm Comput äh in quasi
- 12:03neue Forschung und neue Effizienz
- 12:06reinstecken kann und gewinnen kann. So.
- 12:08Und das hat am Ende des Tages äh
- 12:11eventuell ähm quasi
- 12:12selbstbeschleunigende Effekte. Also
- 12:14nicht nur, dass man das System äh von
- 12:17einem zum anderen Schritt besser und
- 12:19schneller macht, sondern dass quasi
- 12:20diese Verwässerung, diese äh
- 12:22Beschleunigung auch dazu führt, dass der
- 12:23nächste Schritt wiederum schneller und
- 12:25besser sein kann. So, und das ist
- 12:27natürlich ähm wichtig, um quasi Systeme
- 12:30zu schaffen, die äh Probleme lösen
- 12:32können, die für uns Menschen enorm
- 12:34fundamental sind. Sei es äh
- 12:36Krebsforschung, ähm ja, sei es
- 12:39gesellschaftliche Probleme, sei es
- 12:40Umweltproblemen und so weiter.
- 12:41Ja, ich hatte neulich mit dem Professor
- 12:44Markus Hutter gesprochen über das
- 12:45Deepmind Paper from AGI to ACI, also zur
- 12:48Superintelligenz. Wie kommen wir von der
- 12:50allgemeinen künstlichen Intelligenz zur
- 12:51Superintelligenz? Und die beschreiben
- 12:52dort vier Wege und zwar erstens die
- 12:55Scaling Laws, zweitens algorithmische
- 12:57Evolutionen, dann drittens rekursive
- 12:59Selbstverbesserung und viertens
- 13:01Multiagentenorganisationen.
- 13:03Und das ist ja finde ich sehr
- 13:05interessant mal ein Überblick darüber zu
- 13:07schaffen. Also was sind denn eigentlich
- 13:08die Strategien an denen gerade parallel
- 13:11Händering gearbeitet wird und für meine
- 13:13Begriffe und von meinem Verständnis ist
- 13:15dein Fokus und ist euer Fokus dann
- 13:17dieser Bereich rekursive
- 13:19Selbstverbesserung und Multiagent
- 13:21Systeme und du sagtest ja auch schon
- 13:22Scaling Laws und so weiter. Das lasst
- 13:25dir dann eher die anderen noch mal
- 13:27ausreizen. Verstehe ich das so richtig?
- 13:29Ähm, also man muss sagen, ä ein ähm
- 13:32Pillars oder Punkte, die du gerade eben
- 13:33aufgezählt hast, ähm die sind nicht in
- 13:35Isolation zu betrachten. So, also Coding
- 13:37Agenten heutzutage sind bereits zum
- 13:39großen Teil Multient Systems. So, und
- 13:43Eskalierung ist sicher auch wichtig.
- 13:45Ähm, ich glaube, unsere Perspektive ist
- 13:46primär, dass ähm es noch ganz ganz viel
- 13:49Potenzial auszureizen gibt ähm mit den
- 13:52den aktuellen Modellen, die wir haben,
- 13:54ohne weiter zu skanieren. Es ist
- 13:56natürlich sicher auch eine äh Richtung,
- 13:58die man weiter verfolgen sollte und man
- 14:00sollte auch gleichzeitig versuchen,
- 14:02alternative Ideen ähm äh sich
- 14:04anzugucken, weil in Anführungsstrichen
- 14:06ähm der Transformer zwar super super
- 14:09erfolgreich gewesen ist in den äh
- 14:10letzten 6 10 Jahren, ähm aber es sicher
- 14:14nicht in Anführungstrichen das Ende der
- 14:16Architekturforschung und ähm ja, der
- 14:19Entwicklung im Bereich und also auf eine
- 14:22gewisse Art und Weise äh muss man dort
- 14:23auch Diversität
- 14:25äh ähm äh an den Tag legen oder fördern
- 14:28und eine Art und Weise, wie man es z.B.
- 14:30tun könnte, wäre indem man viel der
- 14:33diversen Exploration auch an den EI
- 14:35Scientist oder AI Scientist Systeme
- 14:37outsourced. Nicht einmal 5% aller KI
- 14:40Nutzer weltweit arbeiten mit Cloud und
- 14:43von diesen 5% nutzt nur ein Bruchteil
- 14:46Cloud Code. Dabei ist es das mächtigste
- 14:48KI Tool, das es aktuell gibt. Tropic,
- 14:50das Unternehmen hinter Cloud, hat selbst
- 14:52nicht einmal damit gerechnet, dass nicht
- 14:54nur Softwareentwickler ihr Leben mit
- 14:56Cloud Code dramatisch vereinfachen,
- 14:57sondern dass gerade nicht Programmierer
- 14:59damit Dinge bauen, die vorher ein ganzes
- 15:01Entwicklerteam erfordert hätten. Doch
- 15:03das Problem ist, Cloud Code ist so
- 15:05mächtig und so individualisierbar, dass
- 15:08die meisten schlicht überfordert sind
- 15:09und nicht wissen, worauf es wirklich
- 15:11ankommt, um echte Ergebnisse zu
- 15:13produzieren. dir als Zuschauer von
- 15:15Everlast daher die Abkürzung zu liefern,
- 15:17haben mein Team und ich die letzten
- 15:19Wochen einen umfassenden 7 Stunden
- 15:21Komplettkurs aufgenommen, der dir von A
- 15:23bis Z alles einfach erklärt von den
- 15:25Grundlagen über konkrete Us Casases,
- 15:27Vorlagen und Templates, die du eins zu
- 15:29eins perlick übernehmen kannst. Du
- 15:31kannst dir den Kurs jetzt noch unter
- 15:33cloudcodekurs.de
- 15:35sichern oder direkt über den Link unter
- 15:37diesem Video. Während die meisten immer
- 15:39noch ihre Zeit mit ChatGT verschwenden,
- 15:41kannst du dir jetzt einen enormen
- 15:43Wettbewerbsvorteil sichern. Also gehe
- 15:45jetzt auf cloudcodekurs.de und damit
- 15:47zurück ins Video.
- 15:48Um über ein paar weitere Ideen zu
- 15:50sprechen, die die verfolgt werden auch
- 15:52von euch. Die hat ein anderes Projekt,
- 15:54das heißt Darwin Gödel Maschine, da
- 15:57steckt ja auch schon der evolutionäre
- 15:59Tenor mit drin, also eine KI, die ihren
- 16:01eigenen Code umschreibt, um besser zu
- 16:03werden. Wie funktioniert das und wie
- 16:06weit kommt man damit schon? Ich muss
- 16:08sagen, der EI Scientist und auch die
- 16:10Double Günel Machine ist eine
- 16:12Kollaboration mit ähm äh Forschern an
- 16:15der University of British Columbia und
- 16:17in dem Projekt haben wir Inspiration von
- 16:20einem äh alten Interviewgast, den du
- 16:22gehabt hast, genommen, nämlich Jürgen
- 16:24Schmidtuber und haben uns angeguckt, ob
- 16:26Sprachmodelle bereits in der Lage sind
- 16:30ihre eigenen ähm Hnesses zu schreiben.
- 16:33Also um das vielleicht ein bisschen
- 16:35verständlicher zu machen, wenn man heute
- 16:37von Cloud Code und von Codex redet, also
- 16:39den Coding Agenten von den Tropic und
- 16:41Open AI, dann sind das immer die
- 16:43Kombination aus Sprachmodell und einem
- 16:46Programm, das um dieses Sprachmodell
- 16:48rumgeschrieben worden ist. Das
- 16:49bezeichnen die häufig als Scaffold oder
- 16:51als Hannes und das macht es z.B. wie
- 16:53möglich für diese Sprachmodelle ähm
- 16:55schnell Code auf einem Computer
- 16:57ausführen zu können, die Ergebnisse zu
- 16:59lesen und die in Sicherheit zu fühlen.
- 17:01Und diese Scaffolds, die sind
- 17:02mittlerweile recht komplex geworden.
- 17:05Also Cloud Code ist nicht nur Opos,
- 17:07Febel oder Mythos, sondern es ist auch
- 17:10quasi diese Codebase, die um dieses
- 17:12Sprachmodell herumgeschrieben worden
- 17:13ist.
- 17:14Und ähm in der Daving Gödel Maschine
- 17:17haben wir versucht äh zu sehen, ob quasi
- 17:19Sprachmodelle mit einem einfachen Hannes
- 17:22in der Lage sind äh ihr eigenes Hannes
- 17:24zu verbessern in einer
- 17:26selbstrefferentiellen Art und Weise. Um
- 17:28es genau zu nehmen, haben wir es so
- 17:29gemacht, dass wir quasi
- 17:30Programmieraufgaben genommen haben und
- 17:32dann geguckt haben, kann ein
- 17:34Sprachmodell mit einem Hannes diese
- 17:36Aufgabe lösen und wenn sie es nicht
- 17:38gekonnt hat, haben wir quasi die Logs,
- 17:40also die Aufzeichnung, warum es nicht
- 17:42geklappt hat, genommen. von dem
- 17:43Sprachmodell und dem Hes analysieren
- 17:45lassen und dann eine Verbesserung zu
- 17:47sich selbst vorschlagen lassen. Und wir
- 17:49konnten quasi zeigen, dass dieser
- 17:50selbstreferentielle Prozess in der Lage
- 17:53ist, quasi die Performance dieser
- 17:55Sprachmodelle und Scaffolds auf diesen
- 17:57äh diesen Aufgaben äh zu verbessern. Und
- 18:01ein Kernprinzip, das quasi dahinter
- 18:02steht, ist dass der open-ended ist. Also
- 18:06ähm in äh der äh Deep Learning Forschung
- 18:10wird sehr sehr häufig quasi äh das
- 18:12Gehören und unser zentrales Nervensystem
- 18:14als Inspiration für Intelligenz
- 18:16genommen, also für Neural Networks, für
- 18:18Neuronen und so weiter. Ähm aber recht
- 18:22selten wird Evolution ähm als
- 18:24Inspiration wirklich genommen. Und für
- 18:26mich war das auch schon während meiner
- 18:28Promotion immer ein bisschen
- 18:29frustrierend, weil der der einzige
- 18:31Prozess, von dem wir wissen, in der
- 18:33Geschichte der Menschheit ähm der dazu
- 18:36geführt hat, dass wir Intelligenz wie
- 18:38unser Gehirn momentan haben auf ganz
- 18:40viele verschiedene Arten und Weisen in
- 18:41im Tierreich äh ist die Evolution.
- 18:44Und dieses Evolutionsäh Prinzip haben
- 18:47wir quasi der Davin Gödelmaschine ähm
- 18:49genutzt, um äh eine diverse Population
- 18:52an Sprachmodell Hnesseskombination zu
- 18:54haben, die sich dann über die Zeit
- 18:56hinweg verbessert haben und ähm ja quasi
- 19:00sich auch gegenseitig ähm befruchtet
- 19:02haben, wenn man möchte.
- 19:03Wie genau funktioniert das? Also es gibt
- 19:05ja oder was ich jetzt mittlerweile
- 19:06gemeinhin mehr oder weniger durchgesetzt
- 19:08hat, sind ja diese Agent Loops, also
- 19:10dass man ein Endziel definiert,
- 19:12vielleicht ein hartes Kriterium und dem
- 19:15Sprachmodell oder Agenten im Zweifel
- 19:17sagt, so lange bis du es nicht erreicht
- 19:19hast, musst du eben weiter an der
- 19:21Aufgabe arbeiten. Geht das in diese
- 19:23Richtung? Wie kann man sich das genau
- 19:24vorstellen? Also was genau vielleicht
- 19:26das ein Beispiel, was gibt ihr da so für
- 19:27ein Ziel vor und was für eine Art
- 19:30Verbesserung am Hannes nehmen diese
- 19:33Modelle dann vor? Also äh diese Agent
- 19:35Loops äh das ist genau das, was T Code
- 19:38Codex diese Hnesses quasi ähm dem
- 19:41Benutzer ähm ja geben. Und ähm in den
- 19:45Aufgaben, die wir uns angeguckt haben,
- 19:46da ging es z.B. darum, es gibt einen
- 19:48Benchmark, der heißt SBCH. Ähm da sind
- 19:51ganz klassische Programmierprobleme
- 19:54implementiert, die von GitHub genommen
- 19:56worden sind. Also quasi dieser
- 19:57Plattform, wo ganz viel Code momentan äh
- 20:00ja publiziert wird und der Agent kriegt
- 20:02quasi die Aufgabe, ein Isse. Ein Issue
- 20:05ist quasi ein Problem, das in dieser
- 20:06Gitubseite quasi äh dokumentiert worden
- 20:09ist äh zu lösen. Und es gibt dann quasi
- 20:11auch die Lösung, die quasi Menschen
- 20:14früher historisch implementiert haben.
- 20:16Und der Agent muss es quasi schreiben,
- 20:17den Code quasi schaffen, den Code so
- 20:19umzuschreiben, dass die Lösung, die dort
- 20:21rauskommt, dann das Problem löst und
- 20:24gewisse Tests äh lösen kann. Und ähm
- 20:29dann haben wir quasi genau unser
- 20:31autonomes System genommen und gefragt,
- 20:33kannst du diese Aufgaben lösen? Äh wenn
- 20:35nein, dann schlag bitte eine
- 20:36Selbstverbesserung vor. Und oftmals
- 20:38waren das Selbstverbesserungen, die
- 20:40quasi dazu geführt haben, äh dass der
- 20:42Agent besser verschiedene Codeile lesen
- 20:44konnte, also sich Dinge mehr im Detail
- 20:46angucken konnte, äh Dinge länger in
- 20:48seinem Gedächtnis behalten konnte, also
- 20:50quasi in dem Kontext des Sprachmodells,
- 20:52ähm oder aber auch äh besser quasi Logs
- 20:56äh analysiert hat über warum es davor
- 20:59gescheitert hat. Also äh die Dinge waren
- 21:01sehr interpretierbar und ähm das war
- 21:04auch schon vor fast zwei Jahren jetzt,
- 21:07also äh dass wir genau da an hart
- 21:09gearbeitet haben mit noch sehr viel
- 21:10schwächeren Modellen als äh die man
- 21:12jetzt zur Verfügung kannt. Und ähm was
- 21:16wichtig dazu zu sagen ist, ist, dass
- 21:18diese Selbstverbesserung, die wir uns
- 21:19dort angeguckt haben, wirklich sich nur
- 21:21quasi das Scaffolding und den
- 21:23Agentenloop angeguckt hat und nicht die
- 21:26Gewichte des Sprachmodells selber. Also
- 21:28äh das Sprachmodell selber ähm hat ja
- 21:31ganz ganz viele Milliarden von
- 21:32Gewichten, wenn ich sogar Billiarden äh
- 21:34Billionen ähm die quasi in den
- 21:37Pretraining, Mittraining, Posttraining
- 21:39selbst trainiert werden und äh die so
- 21:41kosten ähm ja hungrig sind. Äh aber das
- 21:45Scaffold selber ist in Anführungstrichen
- 21:47etwas, dass man mit dem Prozess, den wir
- 21:48beschrieben haben, sehr sehr gut selbst
- 21:50verbessern kann.
- 21:51Ja, das ist höchst interessant. Du hast
- 21:52ja schon mehrfach diesen evolutionären
- 21:55Ansatz von dir und auch von von euch bei
- 21:58Sakana betont. Was sind aktuell die
- 22:00vielversprechendsten Ansätze oder eben
- 22:02auch die Ansätze, auf die du gerade ganz
- 22:04besonders fokussiert bist? Was ja ist
- 22:06für dich da gerade am
- 22:07vielversprechendsten. Ihr habt ja auch
- 22:08das RCI Laabs im April gegründet unter
- 22:11anderem. Also das ist ja so der
- 22:13wesentliche Fokus rekursive
- 22:15Selbstverbesserung, den ihr jetzt auch
- 22:17verfolgt. Welche Ansätze stehen da
- 22:19gerade bei euch im Fokus? Ich glaube,
- 22:21bevor ich über Ansätze rede,
- 22:23würde ich erstmal, glaub ich, eine
- 22:24Minute nehmen, um über Probleme zu
- 22:25reden. So. Und ich glaube ein großes
- 22:28Problem ähm dass man mittlerweile immer
- 22:31mehr sieht, ist nachdem wir den EI
- 22:33Scientist rausgebracht haben und auch
- 22:35die Nature Publikation gehabt haben,
- 22:37sind ganz ganz viele auf dieses Thema
- 22:39eingestiegen, also auch auf was Andrei
- 22:42als Auto Research bezeichnet, also quasi
- 22:44Agenten zu benutzen, um autonomen
- 22:45Forschung zu betreiben. Und äh was man
- 22:48sieht ist, dass dieses System bis jetzt
- 22:50noch nicht kosteneffizient genug ist.
- 22:52Also, es heißt, wenn man als Unternehmen
- 22:54quasi ähm ja, Preraining betreibt und
- 22:57ein Sprachmodell fragt, gibt ihr mal
- 22:59eine neue Idee, die wir dann validieren
- 23:01und ein Experiment laufen lassen, dann
- 23:03sind diese Ideen meistens nicht gut und
- 23:07smart genug, um quasi die Kosten zu ähm
- 23:10justifizieren.
- 23:12Das heißt, ähm
- 23:14die die Qualität der Ideen, die aus
- 23:16diesen Sprachmodellen kommt, ist noch
- 23:18nicht an einem Punkt, wo ich sagen
- 23:19würde, dass das ähm ja voll mit
- 23:22menschlicher Intelligenz und Kreativität
- 23:25ähm ja deckungsgleich ist, wenn ich
- 23:27sogar besser ist.
- 23:29Und ein großes Problem, warum das ähm
- 23:31der Fall sein könnte, ist, dass wenn man
- 23:34sich überlegt, als menschlicher Forscher
- 23:36verbringt man oftmals 80% seiner Zeit
- 23:38damit ähm ja, Ideen zu testen, die die
- 23:42nicht funktionieren und die man dann in
- 23:44Anführungstrichen benutzt, um die
- 23:45nächste Idee zu informieren. Und dann am
- 23:48Ende findet man eine Idee, die die
- 23:50funktioniert und für die verbringt man
- 23:52dann die letzten 20% damit sie
- 23:55auszureifen, ein Papier zu schreiben und
- 23:56so weiter. Aber dann, dass man
- 23:58veröffentlicht und mit der Gemeinschaft
- 24:00quasi teilt, ist nur dieses letzte
- 24:02Artefakt. Also quasi der gesamte
- 24:04Prozess, wie man bei diesem ähm bei
- 24:07dieser funktionierenden Idee ankommt,
- 24:09ähm ist einer, der in Anführungstrichen
- 24:11ähm weggeschissen wird. Der lebt zwar
- 24:14noch in den Köpfen der Forschung weiter
- 24:15und wird vielleicht auf Präsentationen
- 24:17geteilt, aber nicht in dem Artefakt, das
- 24:20letztendlich dafür benutzt wird, um
- 24:22Sprachmodelle zu trainieren. Also, wenn
- 24:24wenn Sprachmodelle auf den Papieren
- 24:25trainiert werden, dann sehen Sie häufig
- 24:27gar nicht den gesamten Prozess, der dazu
- 24:28geführt hat, äh dass eine Idee zum Leben
- 24:30gekommen ist.
- 24:32Und das sieht man quasi auch, wenn man
- 24:34sich äh anguckt, wie Sprachmodelle
- 24:36Forschungsautonomen betreiben, nämlich,
- 24:38dass oftmals ähm die Integration von
- 24:41Informationen, die daher kommen, dass
- 24:43das Sprachmodell selber ein Experiment
- 24:44hat laufen lassen, äh nicht wirklich gut
- 24:46funktioniert. Das heißt, oftmals werden
- 24:49die gleichen Ideen mehrfach ausprobiert,
- 24:51ähm mit ganz ganz kleinen
- 24:52Modifikationen, wo wir als menschliche
- 24:54Forscher schon im Vorhinein wüssten,
- 24:56okay, äh unser mentales Modell sagt uns,
- 24:58das wird nicht reichen, um das Problem
- 25:00zu lösen.
- 25:02Das heißt, auf eine gewisse Art und
- 25:03Weise müssen Sprachmodelle erstmal viel
- 25:06mehr Daten über den wissenschaftlichen
- 25:08Prozess äh selber bekommen und zweitens
- 25:12müssen sie den auch diese Daten auch
- 25:13selber in ihrem Trainingsprozess ähm
- 25:16finden, so oder selber entdecken. So,
- 25:18das heißt, auf eine gewisse Art und
- 25:20Weise äh fehlt den jetzigen
- 25:23Sprachmodellen
- 25:24noch ähm ein wissenschaftliches
- 25:27Gesamtverständnis, dass man als Forscher
- 25:29auch nur über Jahre selber aufbaut. Also
- 25:31am Anfang meiner Promotion wusste ich
- 25:33auch noch nicht, wie man äh richtig
- 25:35effizient Hypothesen testet. Und an dem
- 25:37Punkt sind wir jetzt mit mit
- 25:38Sprachmodellen selber. Das heißt,
- 25:40häufig, wenn wir von ähm quasi Erfolgen
- 25:43von Sprachmodellen in der KI Forschung
- 25:45selber reden, also wo Sprachmodelle
- 25:47Beiträge geleistet haben, dann ist es
- 25:49nicht klar, ob diese Sprachmodelle nicht
- 25:51einfach aus Zufall eine Idee
- 25:53vorgeschlagen haben oder ob sie wirklich
- 25:55in der Lage gewesen sind, Wissen zu
- 25:57integrieren in quasi ein Gesamtbild, das
- 25:59dann zu einer Verbesserung geführt hat.
- 26:01sehr interessante Feststellung, also,
- 26:02dass wir so eine Art Survivor Bias in
- 26:04aktuellen Sprachmodellen haben und Ihnen
- 26:06das Wissen darüber fehlt, wieso die
- 26:08erfolgreichen Ansätze eigentlich vorher
- 26:10zehn mal gescheitert sind, finde ich
- 26:12sehr interessant. Und nun die Frage,
- 26:16wenn du sagst z.B. Das scheitert an der
- 26:17Kosteneffizienz im Bezug auf die
- 26:20Verbesserung, im Bezug auf die Ideen.
- 26:23Könnte man dann nicht einfach genau im
- 26:25Kontext von so einem Agent Loop dem
- 26:27Modell das vorgeben und sagen, okay,
- 26:28dein Ziel ist mindestens x%
- 26:30Kosteneffizienz oder minimal oder
- 26:33maximal Kosten zu erreichen und so lange
- 26:35iterieren zu lassen, bis die Idee selbst
- 26:38validiert wurde oder wo würde das
- 26:40scheitern? Also, erstmal muss ich dazu
- 26:41sagen, ähm funktionieren tut das Ganze,
- 26:44wenn das eigentliche Problem, dass
- 26:46dieser Agent lösen soll, sehr schnell zu
- 26:48ähm kalkulieren ist oder sehr schnell zu
- 26:50verifizieren ist. Das heißt, z.B. ähm
- 26:53wir hatten an äh an dem Projekt
- 26:55gearbeitet, über das wir auch noch reden
- 26:56können, Shinker Evolve, äh das quasi von
- 26:59Alpha Evolve, dem Google Dein Projekt
- 27:01inspiriert worden ist, wo wir auch quasi
- 27:02evolutionäre Ansätze und Sprachmodelle
- 27:04benutzt haben, um ähm Programme zu
- 27:07optimieren. So. Und ähm dort ist ein
- 27:10Teilgebiet, wo diese Systeme viel
- 27:11benutzt werden. Ähm ja, Mathematik bzw.
- 27:15angewandte Mathematik. Und dort lassen
- 27:18sich häufig Lösungen innerhalb von
- 27:19wenigen Minuten verifizieren. Also
- 27:22Sprachmodell schreibt einen Programm,
- 27:23man lässt dieses Programm laufen und
- 27:25nach wenigen Minuten weiß man, ob das
- 27:26Programm etwas Besseres generiert hat,
- 27:28ja oder nein. In diesen Situationen sind
- 27:30Sprachmodelle enorm gut, weil man sehr,
- 27:32sehr schnell sehr, sehr viele neue
- 27:34Hypothesen generieren kann, neue
- 27:35Programme generieren kann und die
- 27:37evaluieren kann. Wenn es aber darum
- 27:38geht, dass eine Evaluation oder eine
- 27:40Verifizierung eines Programms äh sich
- 27:42über Stunden, Tage und über sehr hohe
- 27:45GPU Kosten z.B. zusammensetzt, ähm dann
- 27:49dann dann wird's schwieriger. Das heißt,
- 27:51wir sind noch nicht an dem Punkt, wo man
- 27:52einfach sagen kann, okay, statt jetzt
- 27:54viele Programme zu evaluieren in
- 27:56parallel, ähm Sprachen und verbring noch
- 27:58mal bitte noch mal ein bisschen Zeit
- 28:00damit in deinem Gentic Lob mit einer
- 28:02besseren Hypothese anzukommen.
- 28:05Ähm ja und quasi dieses äh Reasoning
- 28:08oder Scientific Reasoning, was noch mal
- 28:10anders ist äh von quasi Reasoning in in
- 28:12Sprachmodellen, das ist etwas ähm wo aus
- 28:15meiner Sicht ähm auch quasi diese dieses
- 28:18Konzept der Weltmodelle, der WHP Models
- 28:21in Anfängstrichen in den Sprachmodellen
- 28:23fehlt. Und vielleicht kann ich da auch
- 28:24noch ein bisschen was dazu sagen, weil
- 28:25das ist auch ein Kernteil unserer Arbeit
- 28:28in dem RSI Labs bei Sakana AI ist.
- 28:31Häufig werden äh Weltmodelle ähm immer
- 28:34mit Robotik und äh quasi physikalischen
- 28:38Problemen in Zusammenhang gebracht. Also
- 28:40z.B. Leute kennen vielleicht Genie 3,
- 28:43das ist ein System von Google Deepmind,
- 28:46wo ähm ja quasi Videomodelle
- 28:49kontrollierbar gemacht werden, indem man
- 28:51quasi als Mensch in den rumwandern kann
- 28:53und diese Modelle dann quasi simulieren,
- 28:55wie sich die Welt verändert, wenn wenn
- 28:56man dort Aktionen drin trifft. Aber das
- 28:59ist nur ein Teil von potenziellen
- 29:01Weltmodellen. Es gibt auch quasi Code
- 29:03World Models und äh Modelle, die quasi
- 29:06gegeben einem
- 29:08Status vorhersagen, die sich dieser
- 29:10Status verändern wird, wenn gewisse
- 29:11Änderungen an ihm vorgenommen werden und
- 29:13quasi dadurch die Zukunft vorher seagen.
- 29:16Und diese Weltmodelle könnten eventuell
- 29:19auch enorm wichtig sein dafür, um
- 29:22Sprachmodellen und AI Scientists
- 29:24beizubringen, wie man bessere Hypothesen
- 29:26generiert, ohne sie direkt in der echten
- 29:29Welt umsetzen zu müssen.
- 29:32Und ich glaube, das ist äh ja ein ein
- 29:34großes ähm äh eine große offene Frage,
- 29:38nämlich wie kann man Sprachmodelle zu
- 29:40besseren ja ähm Wissenschaftlern machen,
- 29:44also in dem Sinne als dass sie nicht nur
- 29:46äh ja stumpf Experimente laufen lassen,
- 29:48sondern auf sich mehr Gedanken machen,
- 29:51bessere Experimente und effizientere
- 29:52Experimente zu generieren. In wie weit
- 29:55sind aus deiner Sicht denn aktuelle LMs
- 29:57und das aktuelle Paradigma, welches
- 29:59verfolgt wird, vergleichbar mit der
- 30:00menschlichen Evolution? Weil ich finde,
- 30:03hier divergieren die Meinungen enorm.
- 30:04Die einen sagen, es ist alles ziemlich
- 30:07gleich und fast identisch. Ähm der der
- 30:09Mensch mit dem LM Pretraining ist auch
- 30:12nichts anderes als Generation von
- 30:15Evolution. Und dann gibt's eben die
- 30:17andere Seite, die sagt, das hat alles
- 30:18gar nichts mit der menschlichen
- 30:20Evolution äh zu tun. Und äh die Menschen
- 30:23sind viel viel bessere Sample Efficiency
- 30:26beispielsweise. Ähm was ist zunächst
- 30:28deine Meinung dazu? Also wie viel von
- 30:30den für dich aus der Evolution
- 30:32relevanten Prinzipien steckt schon in
- 30:34dem aktuellen Paradigma, welches
- 30:35verfolgt wird und welche Dinge siehst du
- 30:38vielleicht auch aus der Evolution, die
- 30:40aktuell aber noch gar nicht breitflächig
- 30:42benutzt wären, obwohl sie einen großen
- 30:45Hebel haben könnten?
- 30:46Ja, also erstmal muss man unterscheiden,
- 30:48also es gibt quasi biologische
- 30:50Evolution. Es gibt kulturelle Evolution,
- 30:53es gibt technologische Evolution und all
- 30:56die äh operieren ja auf ganz anderen
- 30:58Zeitskalen und haben ganz andere in ein
- 31:00ganz anderes Medium. So bei der
- 31:02biologischen Evolution ist z.B. für die
- 31:04DNA, während bei der kulturellen
- 31:06Evolution ist ja mehr Artefakte wie
- 31:09Bücher und so weiter sind die
- 31:10Informationen quasi durch eine
- 31:12Population ähm ja diffundieren lassen.
- 31:17Und mit Sprachmodellen muss man sagen,
- 31:19dass es sicherlich eine Analogie gibt im
- 31:21Sinne von wie viel Zeit, Rechenkapazität
- 31:24und so weiter in diesem Pretraining ran
- 31:27reingesteckt wird mit dem, was ich quasi
- 31:29historisch über die letzten Millionen
- 31:30von Jahren ähm äh biologisch quasi
- 31:34ereignet hat. Aber die sind natürlich
- 31:35mehr äh auf einer höheren
- 31:37Vergleichsebene
- 31:39angesiedelt, ne? Ähm und ich glaube ganz
- 31:41wichtige Unterschiede äh sind z.B. auch
- 31:44das einfach die quasi die Kondition und
- 31:47die Constraints, die man ähm ja in
- 31:50Silico auf einem Chip hat mit einem
- 31:52Transformer ganz andere sind als die die
- 31:55ähm die man äh hat, wenn man das
- 31:57biologische Substrate anguckt. So. Und
- 32:00ähm ich glaube, wir anthropomorphisieren
- 32:03sehr sehr viel, wenn es um quasi KI,
- 32:06Sprachmodelle und so weitergeht. Und äh
- 32:08aus meiner Sicht äh müssen wir Menschen
- 32:12vielleicht eventuell ein wenig kreativer
- 32:14werden in dem Sinne, wie wir äh uns
- 32:16Sprachmodelle angucken in dem Sinne, als
- 32:17dass sie 247 arbeiten können. Sie können
- 32:20mit Populationen arbeiten und äh wir
- 32:23sind gerade erst am Anfang
- 32:24herauszufinden, wie man wirklich ähm ja
- 32:27dieses System am besten benutzt. Ich
- 32:29habe äh einen Praktikanten bei uns bei
- 32:31Sakana gehabt, Alexeng vom äh vom MIT
- 32:34und der hat einen super interessanten
- 32:36Blogpost geschrieben, der sich
- 32:37Missmanaged Genius Hypothesis nennt. Und
- 32:40in diesem Blogpost argumentiert er
- 32:42quasi, dass wenn man äh ja uns vor 10
- 32:46Jahren gesagt hätte, dass es in 10
- 32:47Jahren Systeme gibt, die es die wir
- 32:49jetzt ja tagtäglich benutzen,
- 32:51Sprachmodelle Agenten und so weiter,
- 32:52dann ähm dann dann dann hätten viele
- 32:55gesagt, okay, das ist äh generelle
- 32:57künstliche Intelligenz für so ihm und
- 32:59jetzt heute ähm sind wir oder haben wir
- 33:03Probleme damit, das meiste aus denen
- 33:05rauszuholen, also wirklich uns Gedanken
- 33:07darüber zu machen, wie man ähm die
- 33:09effektiv in den Arbeitsal Alltag oder
- 33:11Alltag generell integrieren kann und er
- 33:13argumentiert quasi, dass das äh ein
- 33:15Problem äh ist, dass daran äh begründet
- 33:18[räuspern] ist, dass wir nicht wissen,
- 33:19wie wir diese Systeme wirklich ähm ja
- 33:22maximieren oder ausnutzen können. Und äh
- 33:26das spielt quasi auch in diesen
- 33:28Evolutiongedanken
- 33:30rein. Ähm, diese Systeme sind anders als
- 33:32wir und die haben andere Constraints und
- 33:35ähm ja, wir müssen no rausfinden, wie
- 33:36wir die am besten benutzen können, um
- 33:38quasi unsere Probleme zu lösen.
- 33:40Ja, ich habe da gleich noch mal einige
- 33:42Hypothesen, die ich dir entgegenwerfen
- 33:43möchte zum Evolutionsthema. Zunächst
- 33:45noch mal, weil du es schon angesprochen
- 33:46hast, Shinker Evolve. Kannst du das noch
- 33:48mal kurz erklären, was ist Shinker
- 33:49Evolve und wie genau funktioniert das?
- 33:52Shik Wolf ist ähm wie soll man sagen,
- 33:55vielleicht eine Variante von einem EI
- 33:57Scientist System äh das auch wieder auf
- 34:00Evolution beruht und ähm seine äh
- 34:03Geschichte oder Vorfahren in dem
- 34:05sogenannten genetischen Programmieren
- 34:07hat. Es gibt in der Informatik eine ein
- 34:10Feld, das nennt sich Genetic
- 34:11Programming, wo quasi schon Leute vor
- 34:13Sprachmodellen versucht haben,
- 34:15Computerprogramme zu evolven, also
- 34:18Evolution äh zu zu äh auszusetzen mit
- 34:22Mutationen, wo man verschiedene
- 34:24Operationen geändert hat und so weiter.
- 34:25Und dann mit Sprachmodellen jetzt halt
- 34:27in der Lage ist, sehr viel stärkere,
- 34:30sehr viel potenziell bessere Mutationen
- 34:33an Programmen vorzunehmen. Und in diesem
- 34:36Projekt Shink Evolve haben wir quasi
- 34:38geguckt, ja, wie man das skaleren kann
- 34:40zu ganz ganz vielen verschiedenen
- 34:43Problemen. Also, ich hatte schon
- 34:44angesprochen, wir haben uns klassische
- 34:46äh angewandte Mathematikprobleme
- 34:48angeguckt, wie man z.B. verschiedene
- 34:51Kreise in einem Unit Square, also in
- 34:53einem Quadrat packen kann und wie man
- 34:55die Fläche dieser Kreise maximieren
- 34:57kann. Wir haben uns angeguckt, wie man
- 34:58diese äh Programmevolution benutzen
- 35:01kann, um äh bessere ja Kostenfunktion
- 35:03für Prachmodelle zu schreiben für
- 35:05sogenannte Mixture of Export Models. Wir
- 35:07haben uns angeguckt, wie man quasi
- 35:09Programmevolution benutzen kann, auch um
- 35:11bessere Agent Scaffolds generieren. Und
- 35:14äh der Gedanke dahinter ist quasi diese
- 35:17Prinzipien der Evolution direkt in Code
- 35:20umzusetzen. Dazu gehört z.B. Ja,
- 35:23Selektion, also nur die best
- 35:25performenden äh Programme werden
- 35:27genutzt, um quasi weitere Programme zu
- 35:30generieren. Dazu gehört Mutation, also
- 35:32Sprachmodelle generieren, Abweichung ähm
- 35:35zu dem ähm ja Parent Programm und dazu
- 35:39gehört auch ähm das, was das wir als äh
- 35:41Überkreuzung oder Crossover bezeichnen,
- 35:43also dass man zwei Programme nimmt und
- 35:45Teile davon austauscht. Und
- 35:47Sprachmodelle sind einfach enorm gut da
- 35:49drin, robust. ähm ja, korrekte
- 35:52Mutationen zu generieren.
- 35:55Ähm aber ein Problem, dass äh dort quasi
- 35:58häufig Auftritt ist ähm und das ist auch
- 36:02ein faszinierendes auf der auf der
- 36:03biologischen Ebene, nämlich dass ähm der
- 36:06Evolvability oder der ähm wie wie hat
- 36:09Evolution es geschafft, ein Medium zu
- 36:11generieren in der DNA ähm das gut
- 36:15langfristig darin ist, Evolution ähm zu
- 36:18befeuern. Also, man muss sich das so
- 36:20vorstellen. Es gibt ganz ganz viele ähm
- 36:23äh Systeme, die auch quasi in ihrem
- 36:27Evolutionsprozess ähm gestoppt haben,
- 36:30weil es keine brauchbare Mutation mehr
- 36:33gegeben hat. Und wenn man sich
- 36:36vorstellt, wie wir als Menschen uns
- 36:37immer und immer weiter in unseren
- 36:39Fähigkeiten adaptiert haben durch
- 36:41Evolution, dann ist es schon äh sehr
- 36:44faszinierend zu sehen, dass dieser
- 36:46Prozess nicht gestoppt hat, also das ja
- 36:48offen war. openended in dem Sinne und
- 36:51diese Verbesserung immer weitergegangen
- 36:52ist. Und äh mit Sprachmodellen, wenn man
- 36:55mit Sprachmodellen Programme evolvedt
- 36:58oder Evolution aussetzt, ist es so, dass
- 37:00man doch häufig immer noch sieht, dass
- 37:01die konvergieren, also dass dieser
- 37:03Evolutionsprozess zu einem Stoppen
- 37:05kommt. Und ähm da gibt's sicherlich noch
- 37:10sehr, sehr viel Spielraum, wie wir
- 37:11Menschen Inspiration von biologischer
- 37:13Evolution äh generieren können, um quasi
- 37:16diese in Silico Prozesse effizienter und
- 37:20langfristiger zu machen. Ja, bezüglich
- 37:22der Evolution dieser Softwareprogramme
- 37:23geht's da dann auch wieder um Agent,
- 37:25Harnesses, Gffolds ähm etc., also auch
- 37:28ein RCI Ansatz oder ganz andere
- 37:31Softwareprogramme auf auch, also
- 37:32Software jeglicher Art oder was genau,
- 37:34sage ich mal verbessert Shinker Evolve?
- 37:36Genau. Also, man muss erstmal dazu
- 37:38sagen, Shink Evolf ist selber ein
- 37:40Scaffold, ist selber ein Agent, wenn man
- 37:42will, aber einer, der quasi diese
- 37:45evolutionäre Ausrichtung hat, wo der
- 37:47Agent selber quasi verschiedene
- 37:48Programme generiert und die auswerten
- 37:50lässt, die den Ergebnisse äh benutzt, um
- 37:53quasi die nächste Generation zu
- 37:55verbessern. Und ähm dieses System kann
- 37:58äh auf ganz ganz viele Programme
- 38:01angewandt werden, also äh Mathe, Machine
- 38:03Learning und so weiter. Aber äh z.B.
- 38:06Spiel hatten wir auch ähm gibt's auch
- 38:08Leute, die quasi das benutzt haben, um
- 38:09in Programmierwettbewerben quasi ähm äh
- 38:12mitzumachen und dann
- 38:13Programmierwettbewerbe zu gewinnen, also
- 38:15quasi dieses System zu benutzen, um ähm
- 38:17bessere Programme für ihre Anwendung zu
- 38:19schreiben. Und eine Sache, die quasi
- 38:21wichtig ist in dem Konzept Kontext ist
- 38:23wieder, dass diese Programme
- 38:25verifizierbar sind, also dass man quasi
- 38:27diese Programme laufen lassen kann. Äh
- 38:29und eine Bewertung, wie gut es dieses
- 38:31Programm bekommen kann, um quasi diesen
- 38:33Evolutionsprozess
- 38:34äh anzufüttern. Und das ist, glaube ich,
- 38:37eine Sache, die wir auch generell
- 38:38momentan sehen, wenn wir z.B. uns die
- 38:40letzten Open AI ähm Mathematikergebnisse
- 38:44angucken oder so. Ähm AI ist momentan
- 38:47unglaublich gut und schnell da drin, äh
- 38:50super human zu werden in Dingen, die äh
- 38:53auf einem Computer verifizierbar und
- 38:55scorbar sind. So und für Dinge wie äh
- 38:58ja, Poesie oder ähm Kreativität äh im im
- 39:02weiteren Sinne, die weniger greifbar
- 39:04sind, ähm sind wir quasi noch am Anfang.
- 39:07Aber viele Dinge, glaube ich, die wir
- 39:10als nicht verifizierbar ansehen, könnten
- 39:13eventuell langfristig zumindestens mit
- 39:15menschlicher Hilfe verifizierbar gemacht
- 39:16werden.
- 39:17Dazu interessiert mich auf jeden Fall
- 39:18auch noch mal deine Meinung, also
- 39:19bezüglich dieser ganzen Mathematik
- 39:21Probleme, offene Forschungsprobleme
- 39:23jetzt mit dem Astra Modell 10 mehr als
- 39:2610 Jahre alte Forschungsprobleme in der
- 39:27Mathematik gelöst ist ja groß publiziert
- 39:30und angekündigt worden und dann gibt's
- 39:31auch wieder zwei Lager. Die einen sagen,
- 39:33das ist nun das Ende für Mathematiker
- 39:36und wir sind jetzt final in im im
- 39:39Stadium der Autoresearcher und
- 39:42rekursiver Selbstverbesserung etc. und
- 39:44wiederum andere sagen, das ist letztlich
- 39:45nur Kombinatorik und bestehende
- 39:48Informationen wurden einfach besser
- 39:49kombiniert, wofür Menschen einfach keine
- 39:51Zeit hatten und das ist nichts
- 39:53Besonderes. Ja. Ähm, was sind deine
- 39:55Gedanken dazu? Man muss schon sagen,
- 39:57also wir haben uns schon sehr viel auch
- 39:59met wissenschaftlich Gedanken gemacht,
- 40:00als wir den EI Scientist gemacht haben
- 40:02und auch ähm den nicht philosophisch,
- 40:05wenn man so will. Ähm weil recht schnell
- 40:08schon im Raum stand. Okay, das ist das
- 40:10ähm das der Stand des Systems, der quasi
- 40:13der schlechteste sein wird, den es in
- 40:15der Zukunft je gegeben haben wird. So,
- 40:17die Sprachmodelle werden besser werden,
- 40:19ähm die Systeme werden robuster werden,
- 40:21sie werden skalierbarer werden und so
- 40:23weiter. Und dann haben wir uns halt doch
- 40:25schon auch recht früh gefragt, okay, was
- 40:27heißt das für den Wissenschaftsprozess
- 40:29äh an sich? Und das heißt das dafür,
- 40:32dass ähm jetzt vielleicht Menschen in
- 40:34der Lage sind äh 20 Papiere in einem
- 40:36Jahr zu schreiben. Ähm wie wie setzen
- 40:40wir Wissenschaft so auf, dass der Mensch
- 40:42quasi seine Rolle weiter behält und
- 40:44weiter glücklich da drin ist? Und eine
- 40:46Sache, die irgendwie für mich recht klar
- 40:48ist, ist, dass AI oder AI gestützte
- 40:51Forschung ähm quasi das gleiche ist wie
- 40:56nicht das gleiche, aber in vielerlei
- 40:58Hinsicht Parallelen dazu wie als wir das
- 41:00Teleskop bekommen haben oder das
- 41:01Mikroskop. Also es ist ein Tool, das uns
- 41:04einfach erlauben wird, sehr sehr viel
- 41:05mehr Hypothesen äh uns anzugucken und
- 41:08sehr viel schneller Fortschritt zu
- 41:09machen in den Problemen, die wirklich
- 41:11wichtig sind. So. Und ähm ich merke das
- 41:14selber ein tagtäglich, also meine
- 41:15Arbeitsroutine hat sich im letzten
- 41:17halben Jahr ähm komplett geändert. Ähm
- 41:20und es ist ein existenzieller Prozess,
- 41:23wie man darauf klar kommmt, dass Arbeit
- 41:25neuerdings äh sehr viel ja gestützter
- 41:28ist und man auf einer sehr viel höher
- 41:29und Abstraktionsebene arbeitet. Aber äh
- 41:32sobald man diese ähm diese Adjustierung
- 41:35quasi durchgemacht hat, ist es auch
- 41:36einen sehr befreiender und ein sehr
- 41:38freisetzender Prozess. Und ich glaube,
- 41:40dass ähm das größere Problem quasi eins
- 41:43der der Bildung ist, wo wir unseren
- 41:46Kindern sehr viel mehr beibringen
- 41:47müssen, äh ja, quasi Freude und Spaß
- 41:50daran zu haben, Fragen zu stellen, so
- 41:53und mit diesen System zu arbeiten, um äh
- 41:55ja, Wissen für sich zu generieren, aber
- 41:56auch für die Welt. Und ähm ja quasi der
- 42:00Standard Frontalunterricht, den man aus
- 42:02äh Schule und Studium gewöhnt ist, der
- 42:04der wird keine äh richtige Relevanz mehr
- 42:07haben in dem Sinne, als dass ähm Fakten
- 42:10zu wissen nicht mehr ähm fundamental
- 42:13sein wird, sondern es wird fundamental
- 42:14sein, quasi neugierig zu sein. und äh
- 42:17Pädagogik aller Maria Motosori wird
- 42:19immer wichtiger werden, weil es darum
- 42:21gehen wird, quasi den Menschen als ähm
- 42:24als äh ja äh als neugieriges Wesen
- 42:28stärker zu internalisieren und
- 42:30freizusetzen.
- 42:31Ja, was ich super interessant fand, dass
- 42:33du differenziert hast zwischen
- 42:34biologischer Evolution, technologischer
- 42:36Evolution und kultureller ähm Evolution
- 42:39und man schaut ja allzu oft immer nur
- 42:41auf diese biologische Evolution.
- 42:43Deswegen ist nun meine Frage, dadurch,
- 42:44dass Technologie den
- 42:45Menschheitsfortschritt
- 42:47seit jeher enorm beschleunigt hat,
- 42:50deutlich schneller wahrscheinlich als
- 42:51die rein biologische Evolution, was ist
- 42:54aus deiner Perspektive die wichtigste
- 42:57Erfindung der Menschen gewesen für
- 42:59diesen enormen Fortschritt, wenn wir
- 43:01künstliche Intelligenz jetzt mal
- 43:03ausklammern? Also, was war, wenn du
- 43:05zurückschaust in der Evolution, auch in
- 43:07der technologischen Evolution aus deiner
- 43:09Perspektive, die die wichtigste
- 43:11Erfindung der Menschheit? Boah, ist hart
- 43:13zu sagen, weil am Ende des Tages ähm
- 43:15sind das ja alles quasi ähm Stepping
- 43:17Stones gewesen, die uns jetzt hier
- 43:19hinebracht haben. Ähm ich glaube äh die
- 43:23Top 10 wird auf jeden Fall das Feuer ähm
- 43:27quasi die Agrarwirtschaft äh oder äh
- 43:29quasi die Sense ähm beinhalten. Es wird
- 43:33ähm die Buchpresse beinhalten, es wird
- 43:36das Licht beinhalten. ähm weil all diese
- 43:38Prozesse eigentlich am Ende des Tages
- 43:40dort zugeführt haben, dass Informationen
- 43:42sehr viel schneller und besser sich
- 43:44verteilen haben können und sehr viel
- 43:46mehr Menschen am Ende des Tages davon
- 43:48profitiert haben. Also ich glaube quasi
- 43:51ähm für mich sind die die Erfindungen,
- 43:53die ja Wissen, Wissenszugang und äh ja
- 43:57Bildung demokratis haben und ermöglicht
- 43:59haben, diejenigen, die am Ende global am
- 44:01meisten Fortschritt und am meisten
- 44:03Wohlstandswachstum äh gefördert haben.
- 44:06Ja, das finde ich jetzt interessant,
- 44:07dass du sagst Informationsverteilung,
- 44:09wenn wir jetzt mal übergreifend schauen,
- 44:11weil das war so eine Hypothese von mir,
- 44:13worauf ich hinaus wollte und zwar das
- 44:15eine der bedeutendsten Erfindungen wohl
- 44:16die Sprache war äh die es der Menschheit
- 44:19überhaupt erstmal ermöglicht hat, ähm
- 44:21Technologien jeglicher Art zu erfinden,
- 44:23sich in großen Gruppen zu organisieren.
- 44:25Und meine Frage ist, könnte es
- 44:28beispielsweise passieren oder muss es
- 44:29vielleicht sogar passieren, dass KI eine
- 44:31völlig eigene Art von Sprache oder
- 44:34Informations Verteilungsmechanismus
- 44:36entwickelt, um einfach viel effizienter
- 44:39kommunizieren zu können als in Englisch
- 44:41oder in Deutsch. Ich hätte die Sprache
- 44:43nicht genannt, weil es gibt ja äh quasi
- 44:45eine große Debatte zwischen Chomski und
- 44:47PG, wo es darum geht, ob Sprache quasi
- 44:50ähm ja erlernt ist oder quasi schon äh
- 44:53biologisch
- 44:54in uns veranlagt ist. Um auf deine Frage
- 44:57bezüglich äh wird KI irgendwann mal eine
- 44:59andere Sprache sprechen äh
- 45:00zurückzukommen? Ähm, ich glaube,
- 45:03momentan ist es schon so, dass ähm wir
- 45:07wir nicht jegliches Artefakt quasi, das
- 45:10von KI generiert wird, unbedingt
- 45:12nachvollziehen können. Also, man sieht
- 45:13das jetzt ganz klar in den Astra
- 45:15Ergebnissen. ähm streiten sich immer
- 45:17noch Mathematiker darum, ob ein gewisser
- 45:19Beweis davon korrekt ist, ja oder nein,
- 45:20und ob die autoalisierte Beweisführung
- 45:23mit Lean äh nicht auch Fehler haben
- 45:25könnte, so die quasi von den
- 45:27Sprachenbällen genutzt werden, um
- 45:28Beweise zu schreiben, die die korrekt
- 45:31aussehen, aber eventuell doch ähm ihr
- 45:33ihre Fehler haben. Ähm die Frage ist nur
- 45:37äh bei vielen dieser Dingen, wenn ich
- 45:39mir überlege, wie ich durch den
- 45:40Arbeitsalltag gehe, es gibt ganz viele
- 45:41Dinge, die ich auch nicht verstehe, aber
- 45:43die ich als ähm gewiss nehme. Ich
- 45:45verstehe nicht die komplette Aerodynamik
- 45:47hinter hinter dem Fliegen, aber
- 45:49nichtsdestotrotz steige ich mehrfachen
- 45:51im Jahr in einen Langflug
- 45:54in einen Langstreckenflug nach Tokyo.
- 45:56Ähm und bin irgendwie damit äh sehr viel
- 46:00ähm komfortabler geworden. Und ich
- 46:02glaube, das geht dann wiederum auf
- 46:03kulturelle Evolution zurück, nämlich
- 46:06darauf, dass wir immer mehr mit diesen
- 46:08Systemen interagieren und immer mehr
- 46:10Vertrauen in sie gewinnen werden, auch
- 46:12wenn wir nicht alles hinter ihnen
- 46:14verstehen. Ähm natürlich darf man dabei
- 46:16quasi äh die Themen wie Alignment,
- 46:19Safety Hongs auch nicht äh nicht klein
- 46:21reden, also die sind wichtig. Ähm, aber
- 46:24ich glaube, äh, das sind auch Themen,
- 46:26die die wir quasi mit automatisierter
- 46:28Forschung selber ähm ja verbessern
- 46:31können oder besser verstehen können.
- 46:32Also ein großer ähm Gedanke hinter RSI
- 46:37ist vielleicht nicht sonderlich
- 46:39ersichtlich, ist, dass man auch quasi
- 46:41autonome Agenten und autonome äh
- 46:43Forscher dazu nutzen kann, um ähm Safety
- 46:46und Alignment quasi zu verbessern. Also,
- 46:48es ist nicht nur so, dass es darum geht,
- 46:50ähm ja, größere äh Systeme zu bauen, die
- 46:53immer weniger kontroliert sind, sondern
- 46:55auch quasi Systeme zu bauen, die sich
- 46:57selber erforschen können und selber
- 47:00quasi sich in äh in ihre Regularien
- 47:03bringen können.
- 47:04Wenn du zuschaust, dann weißt du
- 47:05bereits, wie wertvoll es ist, immer am
- 47:07Puls der aktuellen Entwicklungen, KI
- 47:09News, Updates und Trends zu sein. Das
- 47:12Problem ist jedoch, dass den meisten im
- 47:13Tagesgeschäft schlicht die Zeit fehlt.
- 47:15Viele schaffen es gar nicht jedes dieser
- 47:17Videos zu schauen und die allerwenigsten
- 47:19haben wirklich so ein großartiges
- 47:21Rechercheteam im Hintergrund wie ich,
- 47:23welches den ganzen Tag nichts anderes
- 47:25tut, als die wichtigsten Updates
- 47:27herauszufiltern. Genau aus diesem Grund
- 47:29haben wir schon vor über einem Jahr den
- 47:31kostenfreien Everlast AI WhatsApp Kanal
- 47:34ins Leben berufen. Dort erhältst du zu
- 47:36100% kostenfrei jeden Tag die Updates
- 47:39aus den Bereichen KI, Robotik und
- 47:42Zukunft, die bereits heute darüber
- 47:44entscheiden, was morgen Realität ist.
- 47:46Über everlastwatshatsapp.de
- 47:48kannst du jetzt kostenfrei anonym und
- 47:51ohne Anmeldung beitreten. Also gehe
- 47:53jetzt einfach auf everlastwatswap.de de
- 47:55oder suche einfach in deinen
- 47:57WhatsAppkanälen nach Everlast AI und
- 47:59tritt kostenfrei der Community bei für
- 48:02tägliche Updates direkt auf dein Handy
- 48:05und damit zurück ins Video. Welche Rolle
- 48:07spielt denn für dich die Organisation in
- 48:09Gesellschaften für die Weiterentwicklung
- 48:13von Intelligenz, Superintelligenz? Ich
- 48:14meine, wir sehen ja diese Ansätze mit
- 48:16Multient System, darüber haben wir schon
- 48:18grundsätzlich gesprochen, aber wie
- 48:19wichtig ist das aus deiner Perspektive
- 48:22evolutionär? Natürlich im Hinblick auf
- 48:24die KI, also könnte man z.B. auch sagen,
- 48:26theoretisch könnte es stehen bleiben bei
- 48:29der aktuellen Intelligenz der Modelle,
- 48:31sind eigentlich schon intelligent genug
- 48:32und wenn die Kosten einfach durch
- 48:34algorithmische Effizienz Jahr für Jahr
- 48:35weiter sinken und wir sie in immer
- 48:37größeren Gruppen und KI Gesellschaften
- 48:39organisieren können, dann ähm kommen wir
- 48:41allein nur dadurch schon zu einer
- 48:43Superintelligenz. Ja, das ist eine super
- 48:45interessante Frage, ähm wo es
- 48:47verschiedene ähm ja quasi wo ich mich
- 48:50aus verschiedenen Richtungen ernähren
- 48:52kann. Ähm also zum einen äh stimme ich
- 48:55dir zu, also die Modelle, die wir jetzt
- 48:57haben, ähm sind so stark und wir haben
- 49:00so wenig äh Integration in unserem äh
- 49:03gesellschaftlichen, aber auch
- 49:04organisationellen quasi äh Kreislauf.
- 49:07Also viele deutsche Unternehmen ähm die
- 49:10sich als äh KI Vorreiter ansehen, sind
- 49:13aus meiner Sicht das bei weitem nicht
- 49:16mehr. Also, man kann als ein Siemens
- 49:18nicht KI auf seine Waschmaschine
- 49:20klatschen, äh wenn man quasi interne
- 49:23organisationelle Strukturen noch nicht
- 49:26stärker revolutioniert hat. Aber wir
- 49:28bewegen uns immer mehr äh und immer
- 49:30schneller in einer Welt, wo ähm KI viele
- 49:33viele Prozesse äh ja komplett verändern
- 49:37wird. Und wenn ich mir anschaue, wie ich
- 49:40äh wie wie ich jetzt mit jüngeren äh
- 49:42Studenten und Praktikanten
- 49:43zusammenarbeite, die haben eine ganz
- 49:45andere Perspektive auf ähm den
- 49:47Arbeitsalltag. So, für die ist äh recht
- 49:50klar, wie sie Probleme äh mit Agenten
- 49:53angehen müssen oder zumindestens äh
- 49:56schnell eine Hypothese testen können mit
- 49:57denen und die haben ein ganz anderes
- 50:00Verständnis von Arbeit. Und ich finde
- 50:02das enorm faszinierend auch zu sehen,
- 50:03wie adaptiv äh der Mensch ist innerhalb
- 50:07nur einer Generation. So ne. Ähm das das
- 50:10ist die eine Sache. Die andere Sache ist
- 50:12äh, dass ich glaube, dass äh unsere
- 50:14kulturelle Evolution der technologischen
- 50:17sehr weit äh ja hinterher hinkt und auch
- 50:20weiter hinterher hinken wird. Also, es
- 50:22ist einfach so, die Technologie
- 50:23verändert sich so so schnell, dass wir
- 50:26ähm ja gar nicht wirklich durchatmen
- 50:28können, um äh quasi alles zu
- 50:31verarbeiten. Und ich glaube, es gibt
- 50:33viele Menschen, die sagen, okay, ich
- 50:34warte das jetzt erstmal ab. Ich bin mir
- 50:36nicht sicher, äh ob KI äh sowas ist wie
- 50:39Krypto und nicht langfristig quasi
- 50:41bestehen wird. Äh und es gibt
- 50:43diejenigen, die quasi versuchen, jede
- 50:44einzelne Veränderung irgendwie direkt in
- 50:46ihren Arbeitsalltag zu integrieren. Und
- 50:48ich glaube, beides wird auf die Dauer
- 50:50mental anstrengend werden. Äh und jeder
- 50:52sollte für sich herausfinden, was quasi
- 50:54die richtige Geschwindigkeit ist, mit
- 50:55der er oder sie sich mit diesen äh
- 50:58Themen beschäftigen möchte. Ähm, aber
- 51:00ich glaube, dass quasi Chat GPT und der
- 51:04Chat Bot ähm ein guter quasi
- 51:07Steppingstone ist dafür äh mehr und mehr
- 51:10Menschen dazu zu bringen, diese
- 51:11Technologie Technologie zu benutzen. und
- 51:14Dinge wie Apple Intelligence, die sehr
- 51:16sehr lange auf sich haben warten lassen,
- 51:18am Ende des Tages auch dazu führen
- 51:20werden, dass ja meine Großeltern sehr
- 51:22viel mehr mit KI interagieren werden und
- 51:24es sich halt einfach langfristig mehr
- 51:26und mehr dorthin bewegen wird, dass äh
- 51:27wir immer und immer komfortabler damit
- 51:30werden, auch immer und immer besser
- 51:31einschätzen können, welche Vorteile und
- 51:34Nachteile der Umgang mit KI hat und ähm
- 51:37äh ja, wie wir das meiste aus diesem
- 51:38System rausholen können. Noch mal mit
- 51:40Hinblick auf die Forschungsergebnisse
- 51:42von solchen AI Research System, sei es
- 51:44eure, sei es die ganzen Ergebnisse von
- 51:47Anthropic Outmi und so weiter. Du hast
- 51:48mal was ganz, finde ich, wesentliches
- 51:50Interessantes gesagt und zwar was aus
- 51:52der Perspektive einer einzelnen Person
- 51:54nach Extrapolation aussieht, ist aus
- 51:55einer hinreichend breiten Perspektive
- 51:57Interpolation.
- 51:59Kannst du das erläutern und hast du
- 52:01dafür vielleicht noch mal ein Beispiel?
- 52:02Die Grunddiskussion hinter diesem
- 52:04Statement ist quasi die, dass ähm häufig
- 52:07gefragt wird, sind Sprachmodelle einfach
- 52:09nur ähm kopieren die einfach nur das,
- 52:11was Menschen schon mal gemacht haben, so
- 52:13und ähm oder mixen die das einfach nur,
- 52:17wie viel origineller Inhalt ist in
- 52:19Sprachmodellen drin? Und ähm quasi der
- 52:24Gedanke hinter diesem Statement von mir
- 52:26kommt aus einem Buch von einem Autor
- 52:29namens Auston Cleon. Es nennt sich Steel
- 52:31like an artist. Und in diesem Buch ähm
- 52:34diskutiert er quasi ähm die Geschichte
- 52:37des Kubismus und die von Pablo Picasso
- 52:41und er sagt quasi Pablo Picasso wird
- 52:43häufig als ja Genie oder als verkorst
- 52:47Außenseiter irgendwie betrachtet, der
- 52:48diese Ideen für den Kubismus unter der
- 52:50Dusche gehabt hat und die dann von einem
- 52:52auf dem anderen Moment manifestiert hat.
- 52:54Aber in der Realität war Pablo Picasso
- 52:57ja äh Kind seiner Zeit. Es gab sehr
- 53:00viele surrealisten wie Salvador Ali, wie
- 53:03Joan Mirot, Sesan, Kandinski, die alle
- 53:06quasi in dem gleichen ja Zeitraum gelebt
- 53:09haben und die sich gegenseitig
- 53:11inspiriert haben und die dazu geführt
- 53:12haben, dass Pablo Picasso quasi seinen
- 53:15eigenen Stil in diesem konvexen Objekt
- 53:18gefunden hat der verschiedenen einzelnen
- 53:20Substile. Und und Picasso hat selber
- 53:22gesagt, gute Künstler würden quasi
- 53:25stehlen, aber nicht stehlen im Sinne von
- 53:27äh Plagiate begehen, sondern stehlen
- 53:30stehlen in dem Sinne, als dass sie ihren
- 53:32eigenen Stil aus verschiedenen
- 53:33zusammensetzen. Und jetzt auf die
- 53:36Sprachmodell automatisierte Forschung
- 53:38bezogen ist es so, dass ich glaube, dass
- 53:41Sprachmodelle also zum ersten sehr viel
- 53:44mehr gelesen haben, als eine einzelne
- 53:46Person je in ihrem Leben lesen wird,
- 53:49einfach durch das Pretraining auf ganz
- 53:51ganz vielen diversen Feldern. Also, ich
- 53:53habe es gibt niemanden, der so viel
- 53:54Mathematik, Philosophie, Psychologie, äh
- 53:58Agrarwissenschaften gelesen hat, wie wie
- 54:00ein Sprachmodell und ähm das quasi in
- 54:02der Lage ist, zwischen all diesen
- 54:04Feldern zu interpolieren, also Ideen aus
- 54:07all dem zusammenzusetzen,
- 54:09sodass eventuell eine Interpolation in
- 54:11diesem sehr, sehr großen Raum von Ideen
- 54:13und Feldern basierend auf dem
- 54:15Pretraining ähm ja, am Ende des Tages
- 54:19nichtsdestotrotz zu neuen extrapolierten
- 54:21Ideen in Anführungsstrichen führen kann
- 54:23oder die wirken auf einen dann wie wie
- 54:25quasi Heureeka Momente wie äh wie große
- 54:27Ideen, aber die sind am Ende des Tages
- 54:29auch nur Teil der Interpolation, genauso
- 54:32wie Pablo Picasso am Ende des Tages auch
- 54:34Teil einer gewissen Interpolation
- 54:36gewesen ist und nichtsdestotrotz äh ja
- 54:38sehr viel Schönheit und ähm ja tolle
- 54:40Ideen auf dieser Welt gebracht hat. Ja,
- 54:42ist das auch deine Antwort auf diese
- 54:43Kreativitätsdebatte,
- 54:45also, dass manche immer wieder
- 54:47behaupten, Kreativität sei die letzte
- 54:49Bastion der menschlichen Überlegenheit
- 54:51gegenüber der KI und die KI, die könnte
- 54:54gar nicht kreativ sein. Das ist ja damit
- 54:56im Wesentlichen auch negiert, oder? Wenn
- 54:58du sagst auch menschliche Kreativität,
- 55:01Pablo Picasso beispielsweise
- 55:03kombiniert im wesentlichen meist auch
- 55:05nur bereits vorhandene Dinge.
- 55:07Ja. Ähm, also zum einen glaube ich ähm
- 55:09diese diese Abneigung, also wir sehen ja
- 55:12häufig Halluzination den Sprachmodellen
- 55:14als etwas enorm Negatives an, so. Ähm,
- 55:17aber wenn ich mir überlege, wie wie
- 55:19häufig Forschung bei mir äh stattfindet,
- 55:21ist es auch so, dass da in gewisser
- 55:22Grade an Halluzination dabei ist. ist
- 55:24jetzt nicht so äh, dass ich Drogen geben
- 55:26würde, sondern es wäre es ist mehr so im
- 55:27Sinne von, dass ich ähm ja äh mir nicht
- 55:30sicher bin, ob etwas möglich ist, ja
- 55:32oder nein und quasi um äh meine innere
- 55:36mein inneres Interesse äh zu zu stellen,
- 55:40ich quasi diese Hypothese dann teste,
- 55:41aber der erste Punkt quasi dahin eine
- 55:44Idee zu haben, hat auch etwas von einer
- 55:46Halluzination, sodass ich glaube, dass
- 55:48dieser Aspekt in Sprachmodellen auch ähm
- 55:50wichtig sein könnte, so ähm um
- 55:53Kreativität zu erzeugen, ja oder nein?
- 55:56Ähm gleichzeitig bin ich ein bisschen
- 55:58beunruhigt oder was heißt beunruhigt,
- 55:59aber ähm diese Modelle werden ja immer
- 56:01und immer besser im Programmieren und
- 56:04haben immer und immer weniger
- 56:05Halluzination und für gewisse ähm
- 56:09Anwendungen ist das kritisch und
- 56:11unglaublich wichtig. Und für andere, wie
- 56:12z.B. ähm die Ideenfindung der Forschung
- 56:15könnte es äh ja auch negative
- 56:18Auswirkungen haben. Also auf eine
- 56:19gewisse Art und Weise glaube ich, dass
- 56:20wir auch äh viel besser und viel mehr
- 56:23Ressourcen da reinstecken sollten,
- 56:24Kreativität in Menschen zu verstehen und
- 56:27was diese Ideen ausmacht, um dann
- 56:29artifizielle Systeme wie
- 56:30Sprachmodellenagente zu haben, die das
- 56:32auch besser machen können. eine
- 56:33Überlegung von meiner Seite, wenn wir
- 56:36jetzt annehmen, dass das meiste der
- 56:38Ideen, die wir heute sehen, einfach ich
- 56:40mal kombinatorische Kreativität ist und
- 56:43es noch eine Stufe oder mehrere Stufen
- 56:45darüber gibt, wie es gibt ja z.B. von
- 56:46Demisabis, der diesen Einsteinest nenne
- 56:48ich das jetzt mal formuliert. Also, man
- 56:50müsste eigentlich das Wissen abschneiden
- 56:52ab einem gewissen Zeitpunkt in den
- 56:54Trainingsdaten, so dass die
- 56:55Relativitätstheorie noch nicht existiert
- 56:57und wenn KI dann von alleine drauf
- 56:59kommen würde, dann hätte sie wirklich
- 57:00transformativ eine völlig neue Idee
- 57:03entwickelt. Und nun ist es ja so, dass
- 57:05gerade solche neuen Ideen auf die wie
- 57:07auch die Ideen von Einstein oftmals in
- 57:09ihrer Zeit erstmal kritisiert werden.
- 57:11Also, es gibt's ja immer wieder in der
- 57:13Wissenschaft, das es heißt, das kann gar
- 57:15nicht funktionieren oder das ist absurd.
- 57:18Und wenn wir jetzt an Halluzination
- 57:19denken, darüber hast du gesprochen,
- 57:21meinst du es kann sein mit dem, wenn wir
- 57:22nur auf das aktuelle Paradigma schauen,
- 57:24dass es solche völlig neuen Ideen schon
- 57:26gab, aber man sie einfach aufgrund von
- 57:29Absurdität als Halluzination gelöscht
- 57:31hat, weil man weil sie außerhalb des
- 57:33menschlichen Denkraums liegen oder ist
- 57:35das inherent gar nicht möglich mit
- 57:37aktuellen ähm LMs, dass sie wirklich
- 57:39transformativ völlig neue Ideen haben?
- 57:42Also ich glaube, eine absolute Antwort
- 57:43auf die Frage kann ich nicht geben. Ich
- 57:45kann aber sagen, dass
- 57:47mein mein vorheriger Praktikumsmentor,
- 57:50als ich bei Google De mein war, Tom
- 57:52Zahi, hat letztens ein Positionspapier
- 57:54geschrieben, das nennt sich LLMs can't
- 57:56Job, wo er sich quasi auch genau diese
- 57:58diese Fragen in fünf Stückchen anguckt
- 58:00und er halt auch argumentiert, dass sehr
- 58:02wichtig ist, um ja äh gewisse Ideen und
- 58:05Hypothesen zu anlocken. Äh, es ist quasi
- 58:09dem Modellen die Möglichkeit zu geben,
- 58:11mit der äh realen Welt zu interagieren,
- 58:13also quasi in die Richtung Robotik zu
- 58:15gehen, in die Richtung äh ja tatsächlich
- 58:18autonom auch ähm Experimente laufen zu
- 58:20lassen im wahren Leben. Und ich glaube,
- 58:23dass das auch ein Teil sein wird. Also,
- 58:26man wird nicht in der Lage sein, äh nur
- 58:29Experimente äh auf dem Computer laufen
- 58:31zu lassen, sondern man wirkt irgendwie
- 58:32die Schnittstelle zu den äh zu zu dem
- 58:35realen Labor herstellen müssen. Und da
- 58:37gibt's bereits in Amerika Periodic Labs,
- 58:40Lila Sciences, also es gibt schon sehr
- 58:42gut ausgestattete Startups auch, die
- 58:44quasi in diese Richtung gehen und ich
- 58:46glaube, das wird Teil davon äh sein, um
- 58:48quasi wirklich grundlegende äh Gesetze
- 58:51in der Natur entdecken zu können. Die
- 58:54andere Sache, die du ähm schon gefragt
- 58:57hattest und angesprochen hast, ähm ist
- 58:59quasi die der Fahtabhängigkeit in der
- 59:02Wissenschaft. Also ist es eventuell so,
- 59:04dass ähm sich manche Ideen ja
- 59:08durchgesetzt haben und dann immer mehr
- 59:10Ressourcen in diese Ideen auch geflossen
- 59:12sind und man deshalb ähm ja gar nicht
- 59:15mehr so einfach zurückgehen kann und
- 59:17sich vorherige Ideen angucken kann, weil
- 59:19einfach äh sich alles schon auf eine
- 59:21Sache zugespitzt hat. Also ein Beispiel
- 59:23dafür ist z.B. wie der Transformer, also
- 59:25die Transformer Architektur. Hardware
- 59:27ist mittlerweile komplett um den
- 59:29Transformer und quasi um die Bottle
- 59:31Nexts der Transformer Architektur herum
- 59:34ähm gestaltet und andere Architekturen,
- 59:37die eventuell bessere Fähigkeiten oder
- 59:39bessere Generalisierungsfähigkeiten,
- 59:41bessere Dateneffizienz haben, ähm die
- 59:44werden einfach nicht wiederbelebt werden
- 59:45können, weil sich die Hardware sich
- 59:47schon so auf diese eine Architektur
- 59:49spezialisiert hat und es äh einfach von
- 59:52der ähm ja, vom Kapital und von der
- 59:54Investition sehr schwer
- 59:57dazu kommen wird, dass Google, Nvidia
- 1:00:00und so weiter jetzt in was komplett
- 1:00:02anderes reininestieren. Also, ich glaube
- 1:00:04ein paar Ideen ja, die die
- 1:00:06Wahrscheinlichkeit ist auf jeden Fall
- 1:00:07sehr gering, aber wenn das Problem groß
- 1:00:10genug ist und die Investition in
- 1:00:12Anführungstrichen rechtfertigen könnte,
- 1:00:14dann dann habe ich Hoffnung in die
- 1:00:16Menschheit, dass man auch noch quasi
- 1:00:18andere Phade lang lang wandern kann.
- 1:00:21Ja, absolut. Eine Sache, die mich im
- 1:00:23Hinblick auf diese ganze AI Scientist,
- 1:00:25Schinker Evol und so weiter Thematik
- 1:00:26interessiert, ich weiß es nicht dein
- 1:00:28Fokusgebiet, aber da wir hier in
- 1:00:29Deutschland sind, stellen sich natürlich
- 1:00:31immer rechtliche Fragen auch dabei. Und
- 1:00:33mich interessiert vor allem die Frage,
- 1:00:34wem gehört dann die Idee? Also
- 1:00:36angenommen, ein KI System hat
- 1:00:38vollautonom
- 1:00:40bahnbrechende Idee gehabt, ein
- 1:00:41Algorithmus, physikalische Theorie,
- 1:00:43Medikament. Wem gehört das dann? Also
- 1:00:45gehört es Sakana beispielsweise, der
- 1:00:48Besitzer der GPUs Nvidia könnte
- 1:00:49womöglich argumentieren, dass ohne ohne
- 1:00:53deren Infrastruktur es gar nicht möglich
- 1:00:54gewesen wäre, wenn sie angemietet ist
- 1:00:56beispielsweise, kannst du dazu was sagen
- 1:00:58oder hast du da Gedanken dazu, ob sich
- 1:01:00da vielleicht auch die Regulatorik
- 1:01:01weiterentwickeln muss? Ähm wenn wirklich
- 1:01:03KI vollautonom ohne menschliches Zutun
- 1:01:05ähm solche eigenen Forschungsdurchbrüche
- 1:01:08erzielt? Okay, also ähm ich würde hoffen
- 1:01:11im ersten Moment, dass es der
- 1:01:14ähm der Gesellschaft gehört, also dass
- 1:01:16es demokratisch in Anführungsstrichen
- 1:01:18allem zugute kommen kann. Ähm,
- 1:01:21es ist glaube ich eine sehr schwierige
- 1:01:22Frage. Ähm,
- 1:01:25ich glaube
- 1:01:26äh, viele von den Daten, die genutzt
- 1:01:28werden, um quasi diesen Sprachmodell zu
- 1:01:30trainieren, sind ja Daten, die in
- 1:01:32vielstüchen kostenlos oder umsonst der
- 1:01:34Menschheit ähm ja genommen oder äh
- 1:01:38benutzt worden sind. ähm und wie man
- 1:01:40dort am besten quasi äh umverteilt am
- 1:01:43Ende des Tages ist, glaube ich, eine, wo
- 1:01:45ich gar nicht so der Experte bin. Ich
- 1:01:48ich würde nur hoffen am Ende des Tages,
- 1:01:49dass ähm ja die Gesellschaft
- 1:01:51gesamtheitlich ähm davon profitiert und
- 1:01:55ähm wie viele Probleme, die ähm vor KI
- 1:01:58noch quasi außerhalb unseres
- 1:02:02ähm Lösungsrahmens gewesen sind, damit
- 1:02:04damit lösen können und ähm ja, alle
- 1:02:06davon profitieren. Auf wissenschaftlich
- 1:02:09bezogen selber ähm glaube ich äh das
- 1:02:12hatte ich schon mal angesprochen, so
- 1:02:13metaphilosophisch. Ähm, wenn man sich
- 1:02:16überlegt, wie unser aktuelles
- 1:02:18Wissenschaftssystem läuft, ähm hat das
- 1:02:21sehr viel mit Ego zu tun und sehr viel
- 1:02:22damit, wer hat am meisten Zitationen,
- 1:02:25wer wird Professor und es gibt quasi
- 1:02:27diesen diesen Genie Kulult, ja,
- 1:02:30der das Anreitssystem generiert, dass äh
- 1:02:33Leute sehr, sehr hart an der
- 1:02:35Wissenschaft arbeiten. Und wenn es jetzt
- 1:02:38dazu kommt, dass KI sehr sehr viel davon
- 1:02:40automatisieren kann und wird, dann
- 1:02:43werden glaube ich viele Leute sich
- 1:02:44fragen müssen, okay, warum warum
- 1:02:46betreiben Sie Wissenschaft? So betreiben
- 1:02:48sie das, weil sie wirklich Interesse
- 1:02:49daran haben, fundamentale Probleme und
- 1:02:52Fragen in unserem Universum zu
- 1:02:54beantworten oder äh betreiben Sie das,
- 1:02:56weil es in Anführungsstrichen
- 1:02:58ähm ja ihrem Ego gut tut. So, und ich
- 1:03:02glaube, wir als Gesellschaft stehen
- 1:03:04nicht nur in der Wissenschaft vor diesen
- 1:03:06Fragen, sondern ähm generell ähm davor
- 1:03:09und wir müssen uns sehr viel mehr
- 1:03:11darüber äh klar werden, was quasi uns in
- 1:03:13unserem Leben Meing und Freude bereitet.
- 1:03:17Aber ich bin relativ positiv gestimmt.
- 1:03:19Ähm ja, weil ich auf jeden Fall für mich
- 1:03:22sein kann, dass ich im letzten Jahr
- 1:03:23sehr, sehr viel mehr Spaß an Arbeit ähm
- 1:03:26gehabt habe als davor, einfach weil es
- 1:03:27viel schneller sich bewegt und man das
- 1:03:29Gefühl hat wirklich äh ja mehr
- 1:03:31Fortschritt in diesem Leben erreichen zu
- 1:03:33können.
- 1:03:33Ja, ich find es auch wirklich schön und
- 1:03:35optimistisch, dass du sagst, solche
- 1:03:36Ergebnisse sollten dann auch der
- 1:03:38gesamten Menschheit zugute kommen und
- 1:03:40offen bereitgestellt werden. Und gerade
- 1:03:42jetzt was worauf ich ganz konkret
- 1:03:45aufmerksam geworden bin auch von euch
- 1:03:46war zur Mythos Ban Situation habt ihr
- 1:03:50Sakana Fugu veröffentlicht, also eine
- 1:03:53Art Modell Routing System, welches auch
- 1:03:55modellagnostisch funktioniert. Das ist
- 1:03:57ja eine große Frage, die sich auch viele
- 1:03:58unserer Kunden, viele Unternehmen auch
- 1:04:00in Deutschland stellen. Also will ich
- 1:04:02mich da wirklich abhängig machen
- 1:04:03langfristig von dem Anbieter? Was ist,
- 1:04:05wenn die Modelle dann gebannt werden?
- 1:04:06mal. Ich habe keinen Zugriff mehr im
- 1:04:08Zweifel oder vielleicht will ich lieber
- 1:04:09auch mit Open Weights Modellen arbeiten
- 1:04:11und mehr Kontrolle darüber haben. Kannst
- 1:04:12du Sakana Fugu noch mal erklären und was
- 1:04:15eure Idee dabei ist?
- 1:04:16Ja, klar. Ich glaube, du hast das schon
- 1:04:18sehr gut zusammengefasst. Ähm Sakana
- 1:04:21Fugu ist ähm kein traditionelles
- 1:04:24Sprachmodell in dem Sinne. Es ist kein
- 1:04:26einzelnes großes Trillonen oder schweres
- 1:04:30Modell, sondern es ist ein ein Routing
- 1:04:32System. Das heißt, äh wenn du als Nurser
- 1:04:35eine Anfrage stellst, ähm dann geht
- 1:04:37quasi deine Anfrage durch den Fugu
- 1:04:39Router und Fugu leitet das dann weiter
- 1:04:42an eins der anderen Sprachmodelle. Das
- 1:04:44könnte Gemini sein, das könnte Cloud
- 1:04:47sein, das könnte Chat GPT oder GPT
- 1:04:49Modelle sein. Ähm und dieser das
- 1:04:52Routermodell ist quasi trainierend dafür
- 1:04:55ähm deine Anfrage optimal entweder zu
- 1:04:58reformulieren oder und an eins dieser
- 1:05:00Modelle zu leiten und ähm ist dabei
- 1:05:04quasi äh nicht abhängig von einem
- 1:05:06einzelnen Sprachmodell. Das heißt, wie
- 1:05:08du gesagt hast, als jetzt das Department
- 1:05:10of War die Situation mit mit dem Fable 5
- 1:05:12Modell gewesen ist, wo ein Shopic das
- 1:05:13Modell hat abschalten müsste für eine
- 1:05:15gewisse Zeit, ähm ist es nicht so, dass
- 1:05:17dadurch der Fug Router nicht mehr
- 1:05:18funktionieren würde, sondern er könnte
- 1:05:20dann einfach zu einem anderen Modell äh
- 1:05:22routen, was in Anführungstrichen ähm ja
- 1:05:24eine gewisse Souveränität generiert,
- 1:05:26dass man nicht abhängig ist von diesem
- 1:05:28Provider. Was quasi interessant dabei
- 1:05:30ist, ist ähm äh quasi das Modell so
- 1:05:33trainiert ist, dass es quasi weiß
- 1:05:35basierend auf deine Anfrage, wenn du
- 1:05:37z.B. eine Matte Frage stellst, dann
- 1:05:38sollte die eher zu Gemini geroutet
- 1:05:40werden. Aber was noch interessanter ist,
- 1:05:42ist, dass das Modell darauf trainiert
- 1:05:44ist, das nicht nur in einem einzelnen
- 1:05:46Schritt zu machen, also einmal zu dem
- 1:05:47Modell zu routen, sondern es kann auch
- 1:05:49quasi einen kompletten ja Dialog
- 1:05:52zwischen diesen einzelnen Modellen
- 1:05:53Orchestraten und
- 1:05:55dabei Performance auf dem Level von
- 1:05:57Fable Five auf gewissen Benchmarks
- 1:05:59generieren. Und das das ist wirklich
- 1:06:02eine Sache, die quasi auch auf die die
- 1:06:04Philosophie der kollektiven Intelligenz
- 1:06:06von Sakana AI quasi zurückgeht, nämlich
- 1:06:08dass ja kollektive Intelligenz einem
- 1:06:11auch eine gewisse Robustheit gibt, wenn
- 1:06:13einzelne Modelle ausfallen sollten, aber
- 1:06:14man auch in der Lage ist äh mehr als
- 1:06:17quasi nur das Maximum der Eisel Modelle
- 1:06:19rauszubekommen, indem man quasi ja sie
- 1:06:21miteinander verbindet.
- 1:06:23Ja, absolut. Also das kann ich auch nur
- 1:06:24bestätigen. Also wir haben teilweise
- 1:06:26sind natürlich viel einfachere Use
- 1:06:27Casases als als du jetzt hast, aber wenn
- 1:06:29wir z.B. die Datenbankentscheidung bei
- 1:06:31uns treffen, dann nutzen wir oft solche
- 1:06:32Model Councels, um erstmal äh die
- 1:06:35Entscheidung kritisch aus verschiedenen
- 1:06:36Blickwinkeln bewerten zu lassen, dann
- 1:06:38ein Sicherheitsranking beispielsweise zu
- 1:06:39machen, ob das wirklich so durchgesetzt
- 1:06:41werden sollte oder nicht. Und dazu habe
- 1:06:43ich noch mal zwei Fragen bezüglich dem
- 1:06:44Routing. Zum einen, was ist da ähm auch
- 1:06:46mit Hinblick auf eurer Arbeit das
- 1:06:48Besondere? Also, was unterscheidet oder
- 1:06:50was macht euren ähm Router ähm besser?
- 1:06:53du hast ja schon gesagt, er erkennt dann
- 1:06:55beispielsweise, welche Artanfrage ist es
- 1:06:56und hat dann irgendeine Art von
- 1:06:58Bewertungsmechanismus, welches Modell
- 1:07:00ist denn jetzt das Beste für diese
- 1:07:02Anfrage? Und ähm das zweite Thema, da du
- 1:07:04ja selbst auch operativ ähm tief
- 1:07:07involviert bist, ähm AI Researching
- 1:07:09betreibst, programmierst etc.
- 1:07:11Interessiert mich natürlich auch da
- 1:07:12vielleicht ein Einblick in deine ganz
- 1:07:13persönliche Arbeitsweise.
- 1:07:15Ja, sehr gerne. Ähm, also darauf
- 1:07:18zurückkommt, was Fugu eigentlich ist und
- 1:07:20was der Unterschied von Fugu zu anderen
- 1:07:22Systemen ist. Ähm, Fugu äh ist quasi am
- 1:07:25Ende des Tages ähm stellt man Anfragen
- 1:07:28Fugu, genauso wie man einem einzelnen
- 1:07:30ähm Modell eine Anfrage stellen würde
- 1:07:32über einen API Call z.B. und Fugu ist
- 1:07:36quasi davor geschaltet und führt dieses
- 1:07:38Routing dann aus und leidet dann im
- 1:07:40Hintergrund diese Anfragen weiter. Im
- 1:07:42Vergleich zu anderen Systemen wie z.B.
- 1:07:44Open Router Fusion haben wir einen
- 1:07:46anderen Ansatz, so Open Router Fusion
- 1:07:49mehrere Modelle gleichzeitig quasi
- 1:07:50anfragt und dann am Ende eine Antwort
- 1:07:53zusammensetzt. Fugu hingegen schickt
- 1:07:55quasi erst diese Anfrage durch das Fugu
- 1:07:57eigene Modell und leitet es dann zu
- 1:08:00einem weiter, generiert die Antwort und
- 1:08:02eventuell dann sogar noch über über
- 1:08:05multiple terms zu anderen Modellen, um
- 1:08:07am Ende quasi eine eine Antwort zu
- 1:08:09bekommen. Also es ist nicht so, dass wir
- 1:08:11quasi parallel uns Antworten von diesen
- 1:08:13Modellen generieren lassen, die dann
- 1:08:15synthetisieren in eine, sondern das ist
- 1:08:16mehr sequentiell und durch die
- 1:08:18unterschiedlichen Modelle durch. Ähm,
- 1:08:20was das Modell äh besser macht oder gut
- 1:08:23macht, ist ähm quasi ja viele Details,
- 1:08:26die in die Trainings ähm äh Architektur,
- 1:08:29aber auch ins Trainingsprocedure
- 1:08:30reingehen, wo wir quasi dieses Modell
- 1:08:32ähm ähm ja dafür spezialisieren, mit
- 1:08:36verschiedenen Grundmodellen
- 1:08:37zusammenzuarbeiten und äh zu
- 1:08:39generalisieren auf andere Anfragen und
- 1:08:41dadurch halt generally äh zu werden. Ähm
- 1:08:46ja und ich glaube, was mich am meisten
- 1:08:48an Fuge freut, ist, dass es quasi eine
- 1:08:51neue Art von Produkt in
- 1:08:52Anführungstrichen darstellt. Also häufig
- 1:08:54reden reden wir ja darüber, ob ein Model
- 1:08:57Provider in Anführungstrichen den
- 1:08:58gesamten Kuchen essen wird, also auch
- 1:09:00die ganzen Startups irgendwann mal ähm
- 1:09:02wegessen wird, ja oder nein. Äh aber ich
- 1:09:04glaube, was Fugu zeigt, dass das noch
- 1:09:05sehr sehr viel Spielraum und Kreativität
- 1:09:07da ist, quasi auf dem Layer zwischen
- 1:09:10zwischen dem Modell und der Endanwendung
- 1:09:13zu sitzen. Und man kann Fugu genauso gut
- 1:09:17in Codex oder in Cloud Code, also quasi
- 1:09:19diesen Harnesses, benutzen, wo dann am
- 1:09:22Ende die Anfrage einfach nur über das
- 1:09:23Fugommodell bearbeitet wird,
- 1:09:25zurückgesendet wird und dann von dem
- 1:09:26Hannes weiter executed wird.
- 1:09:29Und äh abschließend zu deiner Frage, wie
- 1:09:31mein Tagesablauf äh aussieht oder meine
- 1:09:33Arbeitsweise, ich hätte glaube ich schon
- 1:09:35angesprochen, das jetzt vor ja, ich
- 1:09:38glaube im Oktober letzten Jahres ähm
- 1:09:41sich sehr sehr viel quasi dort verändert
- 1:09:43hat. Also im Sinne von das mit äh Opus
- 1:09:45äh 4.7, 4.8 und äh GPT 5.2 äh sind diese
- 1:09:50Modelle quasi wirklich in die Lage
- 1:09:52gebracht worden, lange ähm autonome
- 1:09:55Aufgaben zu zu lösen. Und mein
- 1:09:58Arbeitsalltag sieht quasi so aus, dass
- 1:10:00ich ähm ja Manager von vielen
- 1:10:02verschiedenen Codingagenten bin, die
- 1:10:04nicht nur programmieren, sondern auch
- 1:10:06quasi sich in andere Maschinen
- 1:10:09einloggen, Experimente starten, die
- 1:10:11monitoren und ähm ich arbeite quasi ja
- 1:10:14viel mit mit Codex selber, was mir dann
- 1:10:17andere Hnesses schreibt. Also es ist so,
- 1:10:19es gibt ja viel jetzt so diese Begriffe
- 1:10:21der Agentic Loops, es gibt jetzt auch
- 1:10:25Graphs und quasi diese Ideen, wie man
- 1:10:28mehr und mehr quasi
- 1:10:30Autonomie auslangern kann und äh ja, ich
- 1:10:34benutze quasi
- 1:10:36Scientist Approaches, ähm Auto Research
- 1:10:39Approaches, um halt wirklich, wie am
- 1:10:41Anfang auch schon beschrieben, äh viele
- 1:10:43Ideen gleichzeitig ähm ja analysieren
- 1:10:45oder testen zu können und die dann zu
- 1:10:47synthetisieren.
- 1:10:48ähm aber immer auch mit quasi einem
- 1:10:50Fokus auf diesen diesen Metaaspekt, also
- 1:10:53wie man in Anführungsstrichen nicht nur
- 1:10:54das für eine äh Lösung ein Problem
- 1:10:57schaffen kann, sondern ja einen
- 1:10:59generellen ähm Ansatz finden kann.
- 1:11:02Ja, absolut. Also ich bin mir sicher,
- 1:11:03dass es für viele Zuschauer da draußen
- 1:11:05sehr interessant, deswegen schreibt das
- 1:11:06gerne in die Kommentare, ob euch ein
- 1:11:07zweiter Teil mit Robert interessieren
- 1:11:09würde, welche Fragen ihr dazu noch habt.
- 1:11:11Also mich fasziniert das ganze Thema
- 1:11:13Evolution in KI System ungemein.
- 1:11:15Deswegen Robert, vielen Dank, dass du
- 1:11:16uns hier diesen Überblick in deiner
- 1:11:18Arbeit bei Sakana und ganz allgemein
- 1:11:20natürlich in dieses Themenfeld auch der
- 1:11:21rekursiven Selbstverbesserung äh geboten
- 1:11:24hast. Und äh vielleicht abschließend nur
- 1:11:26noch eine letzte Sache bezüglich deinem
- 1:11:28Ausblick. Was sind so die nächsten
- 1:11:30Durchbrüche, die du siehst, mit denen du
- 1:11:33rechnest, an denen du arbeitest? Also
- 1:11:35was sind so paar abschließende
- 1:11:37Prognosen, die du vielleicht noch mal
- 1:11:39für die Weiterentwicklung ähm der
- 1:11:41Evolution in KI System hast und ähm wie
- 1:11:44wie die Reise letztlich jetzt auch bei
- 1:11:46euch weitergeht.
- 1:11:47Das erstmal Leo, vielen vielen Dank für
- 1:11:48deine Fragen. Also, mir hat auch sehr
- 1:11:50sehr viel Spaß gemacht. Ähm auf ähm die
- 1:11:53letzte Frage eingehend, ich glaube
- 1:11:55wirklich, dass das Kernproblem ist, wie
- 1:11:57man diesen Modellen am Ende des Tages
- 1:11:59mehr Kreativität gibt, damit sie
- 1:12:00effizienter werden, Hypothesen zu
- 1:12:02testen. Und daran arbeite ich momentan
- 1:12:04weiter. Und ähm ich würde hoffen, dass
- 1:12:08wir bald an dem Punkt sind, wo wir diese
- 1:12:10Systeme wirklich enorm skalieren können
- 1:12:12und enorm viel diverse Forschung
- 1:12:15gleichzeitig parallel quasi angehen
- 1:12:18können und Systeme schaffen, wo man fast
- 1:12:21so eine Art Research Community, die
- 1:12:23komplett agentenbasiert ist, hat wo man
- 1:12:25halt wirklich ja Geld ähm Server äh GPUs
- 1:12:29und API Küsten quasi verbindet, um äh
- 1:12:32große menschliche Probleme zu lösen, die
- 1:12:34ähm
- 1:12:35ja, die kollektive Intelligenz ähm
- 1:12:38erfordern und quasi viel von meiner
- 1:12:41vorherigen Forschung auch FU, an dem ich
- 1:12:43nicht selber mit direkt gearbeitet habe,
- 1:12:45aber zusammenbringen, um quasi kritische
- 1:12:48Probleme in der Gesellschaft zu lösen.
- 1:12:49Und ähm ich bin ehrlich gesagt
- 1:12:52sehr positiv, also ich glaube ähm, dass
- 1:12:55ja Gesellschaft ähm sich adaptieren
- 1:12:58muss. Aber basierend auf der
- 1:13:00Evolutionsgeschichte der Menschheit, bin
- 1:13:01ich auch sehr hoffnungsvoll, dass wir es
- 1:13:03schaffen werden und m es quasi neues
- 1:13:06Zeitalter ähm hervorrufen wird, wo wo
- 1:13:09man wirklich sich fragen kann, okay, was
- 1:13:11was macht mich im Leben glücklich und
- 1:13:13wie kann ich ja alle meine Ressourcen da
- 1:13:16reinstecken und zusammen mit KI quasi
- 1:13:17diese Probleme lösen oder tackeln? sehr
- 1:13:20erfrischende Denkweise, also kann ich
- 1:13:21ihn unterstützen und freut mich sehr.
- 1:13:23Deswegen lasst es uns jetzt in den
- 1:13:24Kommentaren wissen, wenn den zweiten
- 1:13:25Teil sehen wollt und Robert bis
- 1:13:27jederzeit wieder herzlich eingeladen.
- 1:13:28Vielen Dank. Weiterin viel Erfolg mit
- 1:13:30Sakana und auch persönlich und gern bis
- 1:13:32zum nächsten Mal. Danke.
About this transcript
This page contains the full transcript of Es beginnt: KI verbessert sich SELBST! DAS passiert jetzt wirklich (Sakana AI, Robert Lange) by Everlast AI, generated from the public captions YouTube serves with the video. The transcript has 11,898 words across 2,006 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.