YouTube2Text

Es beginnt: KI verbessert sich SELBST! DAS passiert jetzt wirklich (Sakana AI, Robert Lange) — Transcript

by Everlast AI · 11,898 words · 2,006 segments · language de · Watch on YouTube

Full transcript

  1. 0:00In der Deep Learning Forschung wird sehr
  2. 0:02sehr häufig quasi das Gehören und unser
  3. 0:04zentrales Nervensystem als Inspiration
  4. 0:07für Intelligenz genommen, aber recht
  5. 0:09selten wird Evolution als Inspiration
  6. 0:12wirklich genommen. Der einzige Prozess,
  7. 0:14von dem wir wissen in der Geschichte der
  8. 0:16Menschheit, der dazu geführt hat, dass
  9. 0:17wir Intelligenzen, die unser Gehirn
  10. 0:19momentan haben, auf ganz viele
  11. 0:20verschiedene Arten und Weisen im
  12. 0:22Tierreich, ist die Evolution. Wie wie
  13. 0:25hat Evolution es geschafft, ein Medium
  14. 0:27zu generieren in der DNA, das gut
  15. 0:30langfristig darin ist, Evolution zu
  16. 0:32befeuern? Wenn man uns vor 10 Jahren
  17. 0:35gesagt hätte, dass es in 10 Jahren
  18. 0:36Systeme gibt, die es äh die wir jetzt ja
  19. 0:38tagtäglich benutzen, Sprachmodell,
  20. 0:40Agenten und so weiter, dann hätten viele
  21. 0:41gesagt, okay, das ist generelle
  22. 0:43künstliche Intelligenz für sie. Das ist
  23. 0:45ein Tool, [musik] das uns einfach
  24. 0:46erlauben wird, sehr sehr viel mehr
  25. 0:48Hypothesen als anzugucken und sehr viel
  26. 0:50schneller Fortschritt zu machen in den
  27. 0:52Problemen, die wirklich wichtig sind.
  28. 0:54Der Standard Frontalunterricht, den man
  29. 0:55aus Schule und Studium gewöhnt ist, der
  30. 0:58wird keine Relevanz mehr haben in dem
  31. 1:00Sinne, als das Fakten zu wissen nicht
  32. 1:02mehr fundamental sein wird, sondern es
  33. 1:04wird fundamental sein, quasi neugierig
  34. 1:05zu sein. Also es ist einfach so, die
  35. 1:08Technologie verändert sich so so
  36. 1:09schnell, dass wir gar nicht wirklich
  37. 1:11durchatmen können, um quasi alles zu
  38. 1:13verarbeiten.
  39. 1:14Welche Ansätze stehen da gerade bei euch
  40. 1:16im Fokus? Ich glaube, bevor ich über
  41. 1:18Ansätze rede, äh würde ich erstmal,
  42. 1:20glaub ich, eine Minute nehmen, um über
  43. 1:21Probleme zuen.
  44. 1:29Robert, du bist Gründungsmitglied bei
  45. 1:31Sakana AI, dem wertvollsten KI
  46. 1:33Forschungslabor [schnauben] Japans. Wie
  47. 1:35kam es dazu und was genau macht Sakana
  48. 1:38AI?
  49. 1:39Hi, Leo, erstmal vielen Dank, dass ich
  50. 1:40hier sein darf. Freut mich sehr mit dir
  51. 1:42reden zu dürfen. Ja, wie gesagt, ich bin
  52. 1:44Robert. Ich bin Gründungsmitglied und
  53. 1:47Staff Research Scientist bei Sakana AI,
  54. 1:50einem äh sogenannten Neolab, so wird es
  55. 1:52heutzutage geschimpft in Japan und
  56. 1:55Sakana AI arbeitet an AI für Japan, aber
  57. 2:00auch quasi mit globaler Forschung und
  58. 2:03dort sitze ich mich primär mit der
  59. 2:06Automatisierung von AI Forschung selber
  60. 2:08auseinander. So, heutzutage ähm wird
  61. 2:11dieses dieser Begriff rekursive
  62. 2:12Selbstverbesserung sehr sehr viel
  63. 2:14benutzt und ähm quasi während meiner
  64. 2:16Promotion und jetzt weitergehend habe
  65. 2:18ich äh bereits an quasi äh ähnlichen
  66. 2:21Themen gearbeitet, bevor Sprachmodelle
  67. 2:22groß geworden sind. Und jetzt äh im Zuge
  68. 2:25der Sprachmodellrevolution arbeiten wir
  69. 2:27weiter da dran auf einer größeren Skala.
  70. 2:30Und noch mal zurückkommt darauf, was äh
  71. 2:32Sakana AI äh tatsächlich macht. Äh wir
  72. 2:35sind äh ja unterteilt in in ein großes
  73. 2:37Forschungsteam und äh ein noch größeres
  74. 2:40äh Applied Team, das quasi mit
  75. 2:42japanischen Unternehmen
  76. 2:43zusammenarbeitet. Dazu gehören äh große
  77. 2:45Banken wie MUFG, ähm aber auch äh quasi
  78. 2:50die Regierung und wir haben quasi sowas
  79. 2:52wie eine Art ähm Forward deplied
  80. 2:54Engineering und Parantier System, wo wir
  81. 2:58quasi AI Technologien nach Japan und in
  82. 3:01große japanische Konzerne bringen.
  83. 3:02Ja, rekursive Selbstverbesserung, da
  84. 3:04werden wir gleich auch noch in aller
  85. 3:05Tiefe drüber sprechen, genauso wie die
  86. 3:06Evolution von KI. Jetzt zunächst noch
  87. 3:09mal zu Sakana. Ihr habt jetzt insgesamt
  88. 3:12rund 412 Millionen US-Dollar an Funding
  89. 3:14erhalten bei einer Bewertung von 2,65
  90. 3:17Milliarden US-Dollar. Das reicht, wenn
  91. 3:18es gut läuft, vielleicht gerade mal für
  92. 3:20einen Trainingslauf von Open AI oder
  93. 3:22Tropic. Also was genau ist ist euer
  94. 3:24Ansatz und was macht ihr anders als die
  95. 3:27US Labs?
  96. 3:28Ja, äh ist ein guter Punkt. Also, wir
  97. 3:30haben relativ früh und von Anfang an in
  98. 3:32der so sozusagen Forschungsphilosophie
  99. 3:35des Unternehmens gesagt, dass sie nicht
  100. 3:38Denture Capital Geld verbrennen werden,
  101. 3:40indem wir quasi Trainingsläufe machen,
  102. 3:43die dann vielleicht für eine Woche State
  103. 3:44of the Art sind, aber dann recht schnell
  104. 3:47ja wertlos sind. Unser Geschäftsführer
  105. 3:49David H sagt quasi immer: "Large
  106. 3:52language models are the fastest
  107. 3:54depreciating asset in human history." In
  108. 3:57dem Sinne als, dass diese Investitionen
  109. 4:00neben PR nicht sonderlich viel
  110. 4:02langfristig mit sich bringen und daher
  111. 4:04haben wir recht früh auf quasi
  112. 4:05alternative Forschungseansätze ähm
  113. 4:08gesetzt. Und äh wenn man sich Sakanas
  114. 4:10Logo anguckt, ähm da sind das ist quasi
  115. 4:13ein Fischschwarm und Sakana heißt auch
  116. 4:15auf Japanisch Fisch und da gibt's einen
  117. 4:17roten Fisch, der quasi gegen den Strom
  118. 4:18schwimmt und so ein bisschen ist unsere
  119. 4:20Forschungsphilosophie ähm quasi Wetten
  120. 4:23oder äh Lotterietickets in der Forschung
  121. 4:26zu lösen, die äh ein wenig gegen den
  122. 4:29Strom schwimmen und alternative ähm ja
  123. 4:32Ansätze verfolgen. Also nicht nur an die
  124. 4:34Skalierung von Transformermodellen,
  125. 4:36sondern quasi auch äh ja die
  126. 4:38Automatisierung des gesamten Prozesses,
  127. 4:39aber auch ähm ja mehr naturinspirierte
  128. 4:42evolutionäre Algorithmen und so weiter.
  129. 4:44Ja, das ist sehr spannend. Das wäre
  130. 4:45jetzt nämlich genau meine Frage auch
  131. 4:47gewesen bezüglich dem Namen Sakana, der
  132. 4:49für Fisch steht. Ich bin das erste Mal
  133. 4:50aufmerksam geworden auf euch. Das war
  134. 4:52jetzt gut vor 2 Jahren, August 2024 und
  135. 4:55da ist mir dann gleich dieses prominente
  136. 4:58Cyborg oder Roboter Fischbild ins
  137. 5:00Gesicht gesprungen. Damals ging es um
  138. 5:02den AI Scientist, da sprechen wir gleich
  139. 5:04drüber. Mich würde da interessieren,
  140. 5:06weil du sagtest, es geht darum gegen den
  141. 5:08Strom zu schwimmen. Meine Überlegung
  142. 5:09war, hat es auch schon zu tun, z.B.
  143. 5:12damit, dass ich Fische ja auch oftmals
  144. 5:14in Schwärmen organisieren und gerade
  145. 5:16solche Ansätze ja auch von euch verfolgt
  146. 5:18werden mit Multiagent System
  147. 5:20beispielsweise. Also gibt das vielleicht
  148. 5:22auch schon Hinweis darauf, worauf ihr
  149. 5:24unter anderem fokussiert seid? Ja, also
  150. 5:26ein Kernmotiv des Unternehmens ist
  151. 5:28kollektive Intelligenz und quasi die
  152. 5:31Arbeit äh die wir groß rausgebracht
  153. 5:33hatten bevor den AI Scientist war äh
  154. 5:35eine Methode, die nannte sich
  155. 5:36Evolutionary Model Merging. Und da ging
  156. 5:38es quasi darum, wie man aus ganz vielen
  157. 5:41verschiedenen Open Source Modellen, die
  158. 5:42alle ihre eigenen Stärken haben, äh ein
  159. 5:45System bauen kann, das quasi diese
  160. 5:46Stärken miteinander vereint. Und dafür
  161. 5:48haben wir quasi ja äh Schamintelligenz,
  162. 5:51aber auch evolutionäre äh
  163. 5:53Optimierungsmethoden benutzt, um quasi
  164. 5:54diese Bausteine der einzelnen Modelle
  165. 5:56zusammenzusetzen und ähm ja quasi äh den
  166. 6:00Weg zu verfolgen, dass man äh ja ganz
  167. 6:02viel unterschiedliche diverse
  168. 6:04Intelligenz auf dieser Welt hat, die man
  169. 6:05irgendwie äh zusammensetzen kann in ein
  170. 6:08äh größeres äh Gesamtbild.
  171. 6:10Kannst du die Idee von diesem AI
  172. 6:12Scientist noch mal tiefer erklären? Das
  173. 6:14ganze wurde jetzt auch im März noch mal
  174. 6:16publiziert in Nature sogar. Also da ging
  175. 6:18es noch mal weiter, nachdem August 2024
  176. 6:21das erste Malig dann Thema war und
  177. 6:23damals war das ja wirklich für mich
  178. 6:24zumindest was sehr Neues. Also heute
  179. 6:26sagt gefühlt jedes Opi and Tropic, ja,
  180. 6:29jedes Unternehmen autonomes AI
  181. 6:31Researching ist jetzt so das Fokusthema.
  182. 6:34Damals war das noch was, finde ich,
  183. 6:35etwas exotischeres. Kannst du das noch
  184. 6:38mal erklären? Was ist überhaupt die Idee
  185. 6:40von dem AI Scientist? Was hat er
  186. 6:42vielleicht auch schon ähm entdeckt
  187. 6:44seitdem und was hat sich wie hat sich
  188. 6:46das Projekt entwickelt?
  189. 6:47Um den EI Scientist zu erklären, muss
  190. 6:49ich einen Schritt zurück machen und ähm
  191. 6:51der geht quasi auch auf äh diesen
  192. 6:53Kernpunkt meiner Forschung, nämlich
  193. 6:54Evolution. Und ähm relativ früh während
  194. 6:58meiner Promotion hatte ich äh quasi so
  195. 7:00die Perspektive, dass unsere
  196. 7:02wissenschaftliche Methode eigentlich
  197. 7:03auch im Kern äh etwas mit Evolution zu
  198. 7:06tun hat. Also jetzt nicht mit
  199. 7:07biologischer Evolution, sondern mit den
  200. 7:08Prinzipien der Evolution. Also in dem
  201. 7:10Sinne als das ja wie Hypothesen
  202. 7:12aufstellen, ähm die die häufig
  203. 7:14häufigerweise Mutationen von vorherigen
  204. 7:16Ideen ähm sind diese dann testen und
  205. 7:19dann gucken, ob sie standhalten, dann
  206. 7:21quasi Survival of the Fitest betreiben
  207. 7:23in dem Sinne als dass die Ideen, die am
  208. 7:25meisten empirische Evidenz finden, sich
  209. 7:28quasi verstärken. Und dann in meiner
  210. 7:30Promotion, bevor Sprachmodelle quasi
  211. 7:33fähig geworden sind, äh habe ich dort
  212. 7:35verschiedene Themen ähm beforscht, wo
  213. 7:38man quasi evolutionäre Algorithmen, so
  214. 7:40klassische numerische
  215. 7:41Optimierungsalgorithmen dazu benutzt
  216. 7:43hat, um andere Algorithmen zu
  217. 7:45optimieren. Das nannte sich dann
  218. 7:47Metalearning, also wie kann man äh ja
  219. 7:49Methoden benutzen, um Lernnalgorithmen
  220. 7:51zu entdecken, also und in dem Fall mit
  221. 7:53evolutionären Methoden. Und dann ähm in
  222. 7:562024 sind äh ja Sprachmodelle zum ersten
  223. 7:59Mal wirklich fähig geworden äh ja
  224. 8:01robusten Code zu schreiben. Und ähm
  225. 8:05zusammen mit einem Freund von mir Chris
  226. 8:07Lou, mit dem ich damals
  227. 8:08zusammengearbeitet hatte, hatten wir
  228. 8:09geguckt, ob man quasi diesen diese
  229. 8:11evolutionäre Perspektive auf Forschung
  230. 8:13auch mit äh ja Sprachmodellen äh
  231. 8:16verbinden kann. Und um sich das konkret
  232. 8:18vorzustellen, haben wir ein
  233. 8:20wissenschaftliches Papier geschrieben,
  234. 8:21wo wir versucht haben, die äh
  235. 8:24Kostenfunktion oder die Optimierungs äh
  236. 8:26Fitnessfunktion in Anführungstrichen von
  237. 8:28Sprachmodellen ähm von Sprachmodellen
  238. 8:31programmieren zu lassen. Äh haben die
  239. 8:33dann genutzt, um ein Sprachmodell zu
  240. 8:34trainieren und das dann quasi in einem
  241. 8:36geschlossenen äh Kreislauf getan. Das
  242. 8:39heißt, ein Sprachmodell hat selber
  243. 8:41vorgeschlagen, wie es ähm trainiert
  244. 8:44werden sollte. So. Und damals war es so,
  245. 8:46dass wir dann zum ersten Mal gezeigt
  246. 8:48haben, dass das äh für äh ja sp äh
  247. 8:51spezifische Aufgaben gut funktioniert.
  248. 8:53Und ähm damals war es so, dass wir als
  249. 8:55Menschen immer noch quasi die das
  250. 8:57wissenschaftliche Papier darum
  251. 8:59geschrieben haben. Also, wir haben zwar
  252. 9:00Sprachmodelle benutzt, um ähm quasi
  253. 9:02Sprachmodelle zu verbessern, aber alles
  254. 9:05drumherum, die Idee, ähm das Schreiben
  255. 9:07des Manuskripts, das war immer noch
  256. 9:09menschlich. Aber äh wir hatten dort
  257. 9:11quasi dann ähm das erste Mal Blut gelckt
  258. 9:13und äh identifiziert, dass es möglich
  259. 9:15ist, eventuell sogar den gesamten
  260. 9:17Prozess mit Sprachmodellen zu
  261. 9:19automatisieren in dem Kontext von ähm ja
  262. 9:22Informatik und äh computergestützten
  263. 9:24Experimenten. Und der AI Scientist war
  264. 9:27quasi die Manifestierung dieser äh äh
  265. 9:30dieser Entdeckung oder dieser
  266. 9:32Feststellung, dass Sprachmodelle jetzt
  267. 9:34so gut und so robust an dem Punkt sind,
  268. 9:36dass mit äh einer äh ja nötigen ähm mit
  269. 9:40einem nötigen Scaffold oder Hanes, also
  270. 9:42in einem Workflow, den
  271. 9:43Gerundsprachmodell rumgebaut haben, ähm
  272. 9:46ja, wir gesamte wissenschaftliche
  273. 9:48Papiere schreiben könnten oder konnten.
  274. 9:51Und der Scientist ähm äh ist quasi
  275. 9:54dieses System, das wir damals im August
  276. 9:562024 rausgebracht haben, das äh zum
  277. 9:59einen neue Forschungsideen entwickelt im
  278. 10:02Bereich Sheenlearning, dann diese Ideen
  279. 10:05in Code implementiert, autonom
  280. 10:08Experimente fahren lässt, sich quasi die
  281. 10:10Evidenz von diesen Experimenten anguckt,
  282. 10:12die einbindet, wissenschaftliche
  283. 10:14Figures, also quasi Illustrationen
  284. 10:16generiert und dann am Endenden Papier
  285. 10:18schreibt. Und als wir das in 2024 getan
  286. 10:21haben, waren diese Papiere noch nicht
  287. 10:23quasi publikationswürdig
  288. 10:27in sich selbst. Aber es war das erste
  289. 10:30Mal, wo man quasi Glimpses of und Sparks
  290. 10:33of the Future gesehen hat. Also in dem
  291. 10:35Sinne als dass ähm die Robustheit da war
  292. 10:38ähm quasi diesen gesamten Prozess äh von
  293. 10:41Anfang bis zum Ende zu automatisieren.
  294. 10:43Was ist die äh Idee dahinter oder wieso
  295. 10:46ist das überhaupt so so ein wesentlicher
  296. 10:48Fokus von euch, aber mittlerweile
  297. 10:50natürlich auch von von einigen anderen?
  298. 10:52Was was verspricht man sich davon? Also
  299. 10:54es geht ja nicht nur darum irgendwie die
  300. 10:56eigene Forschungsarbeit ein bisschen
  301. 10:58zeitsparender zu gestalten, sondern die
  302. 11:00Idee dahinter, die ist ja schon deutlich
  303. 11:02deutlich größer. Also vielleicht kannst
  304. 11:04du das noch mal erläutern. Was genau
  305. 11:06ringt das und was was verspricht man
  306. 11:08sich davon? Zum einen ähm als als
  307. 11:10individueller Forscher äh ist es so,
  308. 11:13dass es äh ganz viele Ideen gibt, die
  309. 11:14ich gerne verfolgen würde, aber ich
  310. 11:16immer quasi äh gucken muss, wie ähm
  311. 11:18benutze ich meine Zeitressourcen und
  312. 11:20meine Geldressourcen und meine äh
  313. 11:22Hardware Ressourcen. Und ähm in dem
  314. 11:25Sinne äh wäre es toll oder find es
  315. 11:27persönlich sehr sehr schön, quasi meine
  316. 11:29eigene Arbeit automatisieren zu können
  317. 11:31und beschleunigen zu können, indem ich
  318. 11:32ganz viele meiner persönlichen
  319. 11:34Hypothesen einfach automatisiert
  320. 11:36getestet bekomme. weiterblickend auf die
  321. 11:38die Industrie selber und darauf, dass
  322. 11:40dieses Thema momentan so enorm gehyped
  323. 11:43und aktuell ist, ist es so, dass viele
  324. 11:45dieser dieser Labs sei Sentropic Open AI
  325. 11:48an quasi AI Scientist System arbeiten,
  326. 11:52um ja quasi ihren eigenen
  327. 11:54Entwicklungsprozess automatisieren zu
  328. 11:55können. Und am Ende des Ganzen steht
  329. 11:57dann quasi äh eine Gleichung, die heißt,
  330. 12:00dass man Geld und ähm Comput äh in quasi
  331. 12:03neue Forschung und neue Effizienz
  332. 12:06reinstecken kann und gewinnen kann. So.
  333. 12:08Und das hat am Ende des Tages äh
  334. 12:11eventuell ähm quasi
  335. 12:12selbstbeschleunigende Effekte. Also
  336. 12:14nicht nur, dass man das System äh von
  337. 12:17einem zum anderen Schritt besser und
  338. 12:19schneller macht, sondern dass quasi
  339. 12:20diese Verwässerung, diese äh
  340. 12:22Beschleunigung auch dazu führt, dass der
  341. 12:23nächste Schritt wiederum schneller und
  342. 12:25besser sein kann. So, und das ist
  343. 12:27natürlich ähm wichtig, um quasi Systeme
  344. 12:30zu schaffen, die äh Probleme lösen
  345. 12:32können, die für uns Menschen enorm
  346. 12:34fundamental sind. Sei es äh
  347. 12:36Krebsforschung, ähm ja, sei es
  348. 12:39gesellschaftliche Probleme, sei es
  349. 12:40Umweltproblemen und so weiter.
  350. 12:41Ja, ich hatte neulich mit dem Professor
  351. 12:44Markus Hutter gesprochen über das
  352. 12:45Deepmind Paper from AGI to ACI, also zur
  353. 12:48Superintelligenz. Wie kommen wir von der
  354. 12:50allgemeinen künstlichen Intelligenz zur
  355. 12:51Superintelligenz? Und die beschreiben
  356. 12:52dort vier Wege und zwar erstens die
  357. 12:55Scaling Laws, zweitens algorithmische
  358. 12:57Evolutionen, dann drittens rekursive
  359. 12:59Selbstverbesserung und viertens
  360. 13:01Multiagentenorganisationen.
  361. 13:03Und das ist ja finde ich sehr
  362. 13:05interessant mal ein Überblick darüber zu
  363. 13:07schaffen. Also was sind denn eigentlich
  364. 13:08die Strategien an denen gerade parallel
  365. 13:11Händering gearbeitet wird und für meine
  366. 13:13Begriffe und von meinem Verständnis ist
  367. 13:15dein Fokus und ist euer Fokus dann
  368. 13:17dieser Bereich rekursive
  369. 13:19Selbstverbesserung und Multiagent
  370. 13:21Systeme und du sagtest ja auch schon
  371. 13:22Scaling Laws und so weiter. Das lasst
  372. 13:25dir dann eher die anderen noch mal
  373. 13:27ausreizen. Verstehe ich das so richtig?
  374. 13:29Ähm, also man muss sagen, ä ein ähm
  375. 13:32Pillars oder Punkte, die du gerade eben
  376. 13:33aufgezählt hast, ähm die sind nicht in
  377. 13:35Isolation zu betrachten. So, also Coding
  378. 13:37Agenten heutzutage sind bereits zum
  379. 13:39großen Teil Multient Systems. So, und
  380. 13:43Eskalierung ist sicher auch wichtig.
  381. 13:45Ähm, ich glaube, unsere Perspektive ist
  382. 13:46primär, dass ähm es noch ganz ganz viel
  383. 13:49Potenzial auszureizen gibt ähm mit den
  384. 13:52den aktuellen Modellen, die wir haben,
  385. 13:54ohne weiter zu skanieren. Es ist
  386. 13:56natürlich sicher auch eine äh Richtung,
  387. 13:58die man weiter verfolgen sollte und man
  388. 14:00sollte auch gleichzeitig versuchen,
  389. 14:02alternative Ideen ähm äh sich
  390. 14:04anzugucken, weil in Anführungsstrichen
  391. 14:06ähm der Transformer zwar super super
  392. 14:09erfolgreich gewesen ist in den äh
  393. 14:10letzten 6 10 Jahren, ähm aber es sicher
  394. 14:14nicht in Anführungstrichen das Ende der
  395. 14:16Architekturforschung und ähm ja, der
  396. 14:19Entwicklung im Bereich und also auf eine
  397. 14:22gewisse Art und Weise äh muss man dort
  398. 14:23auch Diversität
  399. 14:25äh ähm äh an den Tag legen oder fördern
  400. 14:28und eine Art und Weise, wie man es z.B.
  401. 14:30tun könnte, wäre indem man viel der
  402. 14:33diversen Exploration auch an den EI
  403. 14:35Scientist oder AI Scientist Systeme
  404. 14:37outsourced. Nicht einmal 5% aller KI
  405. 14:40Nutzer weltweit arbeiten mit Cloud und
  406. 14:43von diesen 5% nutzt nur ein Bruchteil
  407. 14:46Cloud Code. Dabei ist es das mächtigste
  408. 14:48KI Tool, das es aktuell gibt. Tropic,
  409. 14:50das Unternehmen hinter Cloud, hat selbst
  410. 14:52nicht einmal damit gerechnet, dass nicht
  411. 14:54nur Softwareentwickler ihr Leben mit
  412. 14:56Cloud Code dramatisch vereinfachen,
  413. 14:57sondern dass gerade nicht Programmierer
  414. 14:59damit Dinge bauen, die vorher ein ganzes
  415. 15:01Entwicklerteam erfordert hätten. Doch
  416. 15:03das Problem ist, Cloud Code ist so
  417. 15:05mächtig und so individualisierbar, dass
  418. 15:08die meisten schlicht überfordert sind
  419. 15:09und nicht wissen, worauf es wirklich
  420. 15:11ankommt, um echte Ergebnisse zu
  421. 15:13produzieren. dir als Zuschauer von
  422. 15:15Everlast daher die Abkürzung zu liefern,
  423. 15:17haben mein Team und ich die letzten
  424. 15:19Wochen einen umfassenden 7 Stunden
  425. 15:21Komplettkurs aufgenommen, der dir von A
  426. 15:23bis Z alles einfach erklärt von den
  427. 15:25Grundlagen über konkrete Us Casases,
  428. 15:27Vorlagen und Templates, die du eins zu
  429. 15:29eins perlick übernehmen kannst. Du
  430. 15:31kannst dir den Kurs jetzt noch unter
  431. 15:33cloudcodekurs.de
  432. 15:35sichern oder direkt über den Link unter
  433. 15:37diesem Video. Während die meisten immer
  434. 15:39noch ihre Zeit mit ChatGT verschwenden,
  435. 15:41kannst du dir jetzt einen enormen
  436. 15:43Wettbewerbsvorteil sichern. Also gehe
  437. 15:45jetzt auf cloudcodekurs.de und damit
  438. 15:47zurück ins Video.
  439. 15:48Um über ein paar weitere Ideen zu
  440. 15:50sprechen, die die verfolgt werden auch
  441. 15:52von euch. Die hat ein anderes Projekt,
  442. 15:54das heißt Darwin Gödel Maschine, da
  443. 15:57steckt ja auch schon der evolutionäre
  444. 15:59Tenor mit drin, also eine KI, die ihren
  445. 16:01eigenen Code umschreibt, um besser zu
  446. 16:03werden. Wie funktioniert das und wie
  447. 16:06weit kommt man damit schon? Ich muss
  448. 16:08sagen, der EI Scientist und auch die
  449. 16:10Double Günel Machine ist eine
  450. 16:12Kollaboration mit ähm äh Forschern an
  451. 16:15der University of British Columbia und
  452. 16:17in dem Projekt haben wir Inspiration von
  453. 16:20einem äh alten Interviewgast, den du
  454. 16:22gehabt hast, genommen, nämlich Jürgen
  455. 16:24Schmidtuber und haben uns angeguckt, ob
  456. 16:26Sprachmodelle bereits in der Lage sind
  457. 16:30ihre eigenen ähm Hnesses zu schreiben.
  458. 16:33Also um das vielleicht ein bisschen
  459. 16:35verständlicher zu machen, wenn man heute
  460. 16:37von Cloud Code und von Codex redet, also
  461. 16:39den Coding Agenten von den Tropic und
  462. 16:41Open AI, dann sind das immer die
  463. 16:43Kombination aus Sprachmodell und einem
  464. 16:46Programm, das um dieses Sprachmodell
  465. 16:48rumgeschrieben worden ist. Das
  466. 16:49bezeichnen die häufig als Scaffold oder
  467. 16:51als Hannes und das macht es z.B. wie
  468. 16:53möglich für diese Sprachmodelle ähm
  469. 16:55schnell Code auf einem Computer
  470. 16:57ausführen zu können, die Ergebnisse zu
  471. 16:59lesen und die in Sicherheit zu fühlen.
  472. 17:01Und diese Scaffolds, die sind
  473. 17:02mittlerweile recht komplex geworden.
  474. 17:05Also Cloud Code ist nicht nur Opos,
  475. 17:07Febel oder Mythos, sondern es ist auch
  476. 17:10quasi diese Codebase, die um dieses
  477. 17:12Sprachmodell herumgeschrieben worden
  478. 17:13ist.
  479. 17:14Und ähm in der Daving Gödel Maschine
  480. 17:17haben wir versucht äh zu sehen, ob quasi
  481. 17:19Sprachmodelle mit einem einfachen Hannes
  482. 17:22in der Lage sind äh ihr eigenes Hannes
  483. 17:24zu verbessern in einer
  484. 17:26selbstrefferentiellen Art und Weise. Um
  485. 17:28es genau zu nehmen, haben wir es so
  486. 17:29gemacht, dass wir quasi
  487. 17:30Programmieraufgaben genommen haben und
  488. 17:32dann geguckt haben, kann ein
  489. 17:34Sprachmodell mit einem Hannes diese
  490. 17:36Aufgabe lösen und wenn sie es nicht
  491. 17:38gekonnt hat, haben wir quasi die Logs,
  492. 17:40also die Aufzeichnung, warum es nicht
  493. 17:42geklappt hat, genommen. von dem
  494. 17:43Sprachmodell und dem Hes analysieren
  495. 17:45lassen und dann eine Verbesserung zu
  496. 17:47sich selbst vorschlagen lassen. Und wir
  497. 17:49konnten quasi zeigen, dass dieser
  498. 17:50selbstreferentielle Prozess in der Lage
  499. 17:53ist, quasi die Performance dieser
  500. 17:55Sprachmodelle und Scaffolds auf diesen
  501. 17:57äh diesen Aufgaben äh zu verbessern. Und
  502. 18:01ein Kernprinzip, das quasi dahinter
  503. 18:02steht, ist dass der open-ended ist. Also
  504. 18:06ähm in äh der äh Deep Learning Forschung
  505. 18:10wird sehr sehr häufig quasi äh das
  506. 18:12Gehören und unser zentrales Nervensystem
  507. 18:14als Inspiration für Intelligenz
  508. 18:16genommen, also für Neural Networks, für
  509. 18:18Neuronen und so weiter. Ähm aber recht
  510. 18:22selten wird Evolution ähm als
  511. 18:24Inspiration wirklich genommen. Und für
  512. 18:26mich war das auch schon während meiner
  513. 18:28Promotion immer ein bisschen
  514. 18:29frustrierend, weil der der einzige
  515. 18:31Prozess, von dem wir wissen, in der
  516. 18:33Geschichte der Menschheit ähm der dazu
  517. 18:36geführt hat, dass wir Intelligenz wie
  518. 18:38unser Gehirn momentan haben auf ganz
  519. 18:40viele verschiedene Arten und Weisen in
  520. 18:41im Tierreich äh ist die Evolution.
  521. 18:44Und dieses Evolutionsäh Prinzip haben
  522. 18:47wir quasi der Davin Gödelmaschine ähm
  523. 18:49genutzt, um äh eine diverse Population
  524. 18:52an Sprachmodell Hnesseskombination zu
  525. 18:54haben, die sich dann über die Zeit
  526. 18:56hinweg verbessert haben und ähm ja quasi
  527. 19:00sich auch gegenseitig ähm befruchtet
  528. 19:02haben, wenn man möchte.
  529. 19:03Wie genau funktioniert das? Also es gibt
  530. 19:05ja oder was ich jetzt mittlerweile
  531. 19:06gemeinhin mehr oder weniger durchgesetzt
  532. 19:08hat, sind ja diese Agent Loops, also
  533. 19:10dass man ein Endziel definiert,
  534. 19:12vielleicht ein hartes Kriterium und dem
  535. 19:15Sprachmodell oder Agenten im Zweifel
  536. 19:17sagt, so lange bis du es nicht erreicht
  537. 19:19hast, musst du eben weiter an der
  538. 19:21Aufgabe arbeiten. Geht das in diese
  539. 19:23Richtung? Wie kann man sich das genau
  540. 19:24vorstellen? Also was genau vielleicht
  541. 19:26das ein Beispiel, was gibt ihr da so für
  542. 19:27ein Ziel vor und was für eine Art
  543. 19:30Verbesserung am Hannes nehmen diese
  544. 19:33Modelle dann vor? Also äh diese Agent
  545. 19:35Loops äh das ist genau das, was T Code
  546. 19:38Codex diese Hnesses quasi ähm dem
  547. 19:41Benutzer ähm ja geben. Und ähm in den
  548. 19:45Aufgaben, die wir uns angeguckt haben,
  549. 19:46da ging es z.B. darum, es gibt einen
  550. 19:48Benchmark, der heißt SBCH. Ähm da sind
  551. 19:51ganz klassische Programmierprobleme
  552. 19:54implementiert, die von GitHub genommen
  553. 19:56worden sind. Also quasi dieser
  554. 19:57Plattform, wo ganz viel Code momentan äh
  555. 20:00ja publiziert wird und der Agent kriegt
  556. 20:02quasi die Aufgabe, ein Isse. Ein Issue
  557. 20:05ist quasi ein Problem, das in dieser
  558. 20:06Gitubseite quasi äh dokumentiert worden
  559. 20:09ist äh zu lösen. Und es gibt dann quasi
  560. 20:11auch die Lösung, die quasi Menschen
  561. 20:14früher historisch implementiert haben.
  562. 20:16Und der Agent muss es quasi schreiben,
  563. 20:17den Code quasi schaffen, den Code so
  564. 20:19umzuschreiben, dass die Lösung, die dort
  565. 20:21rauskommt, dann das Problem löst und
  566. 20:24gewisse Tests äh lösen kann. Und ähm
  567. 20:29dann haben wir quasi genau unser
  568. 20:31autonomes System genommen und gefragt,
  569. 20:33kannst du diese Aufgaben lösen? Äh wenn
  570. 20:35nein, dann schlag bitte eine
  571. 20:36Selbstverbesserung vor. Und oftmals
  572. 20:38waren das Selbstverbesserungen, die
  573. 20:40quasi dazu geführt haben, äh dass der
  574. 20:42Agent besser verschiedene Codeile lesen
  575. 20:44konnte, also sich Dinge mehr im Detail
  576. 20:46angucken konnte, äh Dinge länger in
  577. 20:48seinem Gedächtnis behalten konnte, also
  578. 20:50quasi in dem Kontext des Sprachmodells,
  579. 20:52ähm oder aber auch äh besser quasi Logs
  580. 20:56äh analysiert hat über warum es davor
  581. 20:59gescheitert hat. Also äh die Dinge waren
  582. 21:01sehr interpretierbar und ähm das war
  583. 21:04auch schon vor fast zwei Jahren jetzt,
  584. 21:07also äh dass wir genau da an hart
  585. 21:09gearbeitet haben mit noch sehr viel
  586. 21:10schwächeren Modellen als äh die man
  587. 21:12jetzt zur Verfügung kannt. Und ähm was
  588. 21:16wichtig dazu zu sagen ist, ist, dass
  589. 21:18diese Selbstverbesserung, die wir uns
  590. 21:19dort angeguckt haben, wirklich sich nur
  591. 21:21quasi das Scaffolding und den
  592. 21:23Agentenloop angeguckt hat und nicht die
  593. 21:26Gewichte des Sprachmodells selber. Also
  594. 21:28äh das Sprachmodell selber ähm hat ja
  595. 21:31ganz ganz viele Milliarden von
  596. 21:32Gewichten, wenn ich sogar Billiarden äh
  597. 21:34Billionen ähm die quasi in den
  598. 21:37Pretraining, Mittraining, Posttraining
  599. 21:39selbst trainiert werden und äh die so
  600. 21:41kosten ähm ja hungrig sind. Äh aber das
  601. 21:45Scaffold selber ist in Anführungstrichen
  602. 21:47etwas, dass man mit dem Prozess, den wir
  603. 21:48beschrieben haben, sehr sehr gut selbst
  604. 21:50verbessern kann.
  605. 21:51Ja, das ist höchst interessant. Du hast
  606. 21:52ja schon mehrfach diesen evolutionären
  607. 21:55Ansatz von dir und auch von von euch bei
  608. 21:58Sakana betont. Was sind aktuell die
  609. 22:00vielversprechendsten Ansätze oder eben
  610. 22:02auch die Ansätze, auf die du gerade ganz
  611. 22:04besonders fokussiert bist? Was ja ist
  612. 22:06für dich da gerade am
  613. 22:07vielversprechendsten. Ihr habt ja auch
  614. 22:08das RCI Laabs im April gegründet unter
  615. 22:11anderem. Also das ist ja so der
  616. 22:13wesentliche Fokus rekursive
  617. 22:15Selbstverbesserung, den ihr jetzt auch
  618. 22:17verfolgt. Welche Ansätze stehen da
  619. 22:19gerade bei euch im Fokus? Ich glaube,
  620. 22:21bevor ich über Ansätze rede,
  621. 22:23würde ich erstmal, glaub ich, eine
  622. 22:24Minute nehmen, um über Probleme zu
  623. 22:25reden. So. Und ich glaube ein großes
  624. 22:28Problem ähm dass man mittlerweile immer
  625. 22:31mehr sieht, ist nachdem wir den EI
  626. 22:33Scientist rausgebracht haben und auch
  627. 22:35die Nature Publikation gehabt haben,
  628. 22:37sind ganz ganz viele auf dieses Thema
  629. 22:39eingestiegen, also auch auf was Andrei
  630. 22:42als Auto Research bezeichnet, also quasi
  631. 22:44Agenten zu benutzen, um autonomen
  632. 22:45Forschung zu betreiben. Und äh was man
  633. 22:48sieht ist, dass dieses System bis jetzt
  634. 22:50noch nicht kosteneffizient genug ist.
  635. 22:52Also, es heißt, wenn man als Unternehmen
  636. 22:54quasi ähm ja, Preraining betreibt und
  637. 22:57ein Sprachmodell fragt, gibt ihr mal
  638. 22:59eine neue Idee, die wir dann validieren
  639. 23:01und ein Experiment laufen lassen, dann
  640. 23:03sind diese Ideen meistens nicht gut und
  641. 23:07smart genug, um quasi die Kosten zu ähm
  642. 23:10justifizieren.
  643. 23:12Das heißt, ähm
  644. 23:14die die Qualität der Ideen, die aus
  645. 23:16diesen Sprachmodellen kommt, ist noch
  646. 23:18nicht an einem Punkt, wo ich sagen
  647. 23:19würde, dass das ähm ja voll mit
  648. 23:22menschlicher Intelligenz und Kreativität
  649. 23:25ähm ja deckungsgleich ist, wenn ich
  650. 23:27sogar besser ist.
  651. 23:29Und ein großes Problem, warum das ähm
  652. 23:31der Fall sein könnte, ist, dass wenn man
  653. 23:34sich überlegt, als menschlicher Forscher
  654. 23:36verbringt man oftmals 80% seiner Zeit
  655. 23:38damit ähm ja, Ideen zu testen, die die
  656. 23:42nicht funktionieren und die man dann in
  657. 23:44Anführungstrichen benutzt, um die
  658. 23:45nächste Idee zu informieren. Und dann am
  659. 23:48Ende findet man eine Idee, die die
  660. 23:50funktioniert und für die verbringt man
  661. 23:52dann die letzten 20% damit sie
  662. 23:55auszureifen, ein Papier zu schreiben und
  663. 23:56so weiter. Aber dann, dass man
  664. 23:58veröffentlicht und mit der Gemeinschaft
  665. 24:00quasi teilt, ist nur dieses letzte
  666. 24:02Artefakt. Also quasi der gesamte
  667. 24:04Prozess, wie man bei diesem ähm bei
  668. 24:07dieser funktionierenden Idee ankommt,
  669. 24:09ähm ist einer, der in Anführungstrichen
  670. 24:11ähm weggeschissen wird. Der lebt zwar
  671. 24:14noch in den Köpfen der Forschung weiter
  672. 24:15und wird vielleicht auf Präsentationen
  673. 24:17geteilt, aber nicht in dem Artefakt, das
  674. 24:20letztendlich dafür benutzt wird, um
  675. 24:22Sprachmodelle zu trainieren. Also, wenn
  676. 24:24wenn Sprachmodelle auf den Papieren
  677. 24:25trainiert werden, dann sehen Sie häufig
  678. 24:27gar nicht den gesamten Prozess, der dazu
  679. 24:28geführt hat, äh dass eine Idee zum Leben
  680. 24:30gekommen ist.
  681. 24:32Und das sieht man quasi auch, wenn man
  682. 24:34sich äh anguckt, wie Sprachmodelle
  683. 24:36Forschungsautonomen betreiben, nämlich,
  684. 24:38dass oftmals ähm die Integration von
  685. 24:41Informationen, die daher kommen, dass
  686. 24:43das Sprachmodell selber ein Experiment
  687. 24:44hat laufen lassen, äh nicht wirklich gut
  688. 24:46funktioniert. Das heißt, oftmals werden
  689. 24:49die gleichen Ideen mehrfach ausprobiert,
  690. 24:51ähm mit ganz ganz kleinen
  691. 24:52Modifikationen, wo wir als menschliche
  692. 24:54Forscher schon im Vorhinein wüssten,
  693. 24:56okay, äh unser mentales Modell sagt uns,
  694. 24:58das wird nicht reichen, um das Problem
  695. 25:00zu lösen.
  696. 25:02Das heißt, auf eine gewisse Art und
  697. 25:03Weise müssen Sprachmodelle erstmal viel
  698. 25:06mehr Daten über den wissenschaftlichen
  699. 25:08Prozess äh selber bekommen und zweitens
  700. 25:12müssen sie den auch diese Daten auch
  701. 25:13selber in ihrem Trainingsprozess ähm
  702. 25:16finden, so oder selber entdecken. So,
  703. 25:18das heißt, auf eine gewisse Art und
  704. 25:20Weise äh fehlt den jetzigen
  705. 25:23Sprachmodellen
  706. 25:24noch ähm ein wissenschaftliches
  707. 25:27Gesamtverständnis, dass man als Forscher
  708. 25:29auch nur über Jahre selber aufbaut. Also
  709. 25:31am Anfang meiner Promotion wusste ich
  710. 25:33auch noch nicht, wie man äh richtig
  711. 25:35effizient Hypothesen testet. Und an dem
  712. 25:37Punkt sind wir jetzt mit mit
  713. 25:38Sprachmodellen selber. Das heißt,
  714. 25:40häufig, wenn wir von ähm quasi Erfolgen
  715. 25:43von Sprachmodellen in der KI Forschung
  716. 25:45selber reden, also wo Sprachmodelle
  717. 25:47Beiträge geleistet haben, dann ist es
  718. 25:49nicht klar, ob diese Sprachmodelle nicht
  719. 25:51einfach aus Zufall eine Idee
  720. 25:53vorgeschlagen haben oder ob sie wirklich
  721. 25:55in der Lage gewesen sind, Wissen zu
  722. 25:57integrieren in quasi ein Gesamtbild, das
  723. 25:59dann zu einer Verbesserung geführt hat.
  724. 26:01sehr interessante Feststellung, also,
  725. 26:02dass wir so eine Art Survivor Bias in
  726. 26:04aktuellen Sprachmodellen haben und Ihnen
  727. 26:06das Wissen darüber fehlt, wieso die
  728. 26:08erfolgreichen Ansätze eigentlich vorher
  729. 26:10zehn mal gescheitert sind, finde ich
  730. 26:12sehr interessant. Und nun die Frage,
  731. 26:16wenn du sagst z.B. Das scheitert an der
  732. 26:17Kosteneffizienz im Bezug auf die
  733. 26:20Verbesserung, im Bezug auf die Ideen.
  734. 26:23Könnte man dann nicht einfach genau im
  735. 26:25Kontext von so einem Agent Loop dem
  736. 26:27Modell das vorgeben und sagen, okay,
  737. 26:28dein Ziel ist mindestens x%
  738. 26:30Kosteneffizienz oder minimal oder
  739. 26:33maximal Kosten zu erreichen und so lange
  740. 26:35iterieren zu lassen, bis die Idee selbst
  741. 26:38validiert wurde oder wo würde das
  742. 26:40scheitern? Also, erstmal muss ich dazu
  743. 26:41sagen, ähm funktionieren tut das Ganze,
  744. 26:44wenn das eigentliche Problem, dass
  745. 26:46dieser Agent lösen soll, sehr schnell zu
  746. 26:48ähm kalkulieren ist oder sehr schnell zu
  747. 26:50verifizieren ist. Das heißt, z.B. ähm
  748. 26:53wir hatten an äh an dem Projekt
  749. 26:55gearbeitet, über das wir auch noch reden
  750. 26:56können, Shinker Evolve, äh das quasi von
  751. 26:59Alpha Evolve, dem Google Dein Projekt
  752. 27:01inspiriert worden ist, wo wir auch quasi
  753. 27:02evolutionäre Ansätze und Sprachmodelle
  754. 27:04benutzt haben, um ähm Programme zu
  755. 27:07optimieren. So. Und ähm dort ist ein
  756. 27:10Teilgebiet, wo diese Systeme viel
  757. 27:11benutzt werden. Ähm ja, Mathematik bzw.
  758. 27:15angewandte Mathematik. Und dort lassen
  759. 27:18sich häufig Lösungen innerhalb von
  760. 27:19wenigen Minuten verifizieren. Also
  761. 27:22Sprachmodell schreibt einen Programm,
  762. 27:23man lässt dieses Programm laufen und
  763. 27:25nach wenigen Minuten weiß man, ob das
  764. 27:26Programm etwas Besseres generiert hat,
  765. 27:28ja oder nein. In diesen Situationen sind
  766. 27:30Sprachmodelle enorm gut, weil man sehr,
  767. 27:32sehr schnell sehr, sehr viele neue
  768. 27:34Hypothesen generieren kann, neue
  769. 27:35Programme generieren kann und die
  770. 27:37evaluieren kann. Wenn es aber darum
  771. 27:38geht, dass eine Evaluation oder eine
  772. 27:40Verifizierung eines Programms äh sich
  773. 27:42über Stunden, Tage und über sehr hohe
  774. 27:45GPU Kosten z.B. zusammensetzt, ähm dann
  775. 27:49dann dann wird's schwieriger. Das heißt,
  776. 27:51wir sind noch nicht an dem Punkt, wo man
  777. 27:52einfach sagen kann, okay, statt jetzt
  778. 27:54viele Programme zu evaluieren in
  779. 27:56parallel, ähm Sprachen und verbring noch
  780. 27:58mal bitte noch mal ein bisschen Zeit
  781. 28:00damit in deinem Gentic Lob mit einer
  782. 28:02besseren Hypothese anzukommen.
  783. 28:05Ähm ja und quasi dieses äh Reasoning
  784. 28:08oder Scientific Reasoning, was noch mal
  785. 28:10anders ist äh von quasi Reasoning in in
  786. 28:12Sprachmodellen, das ist etwas ähm wo aus
  787. 28:15meiner Sicht ähm auch quasi diese dieses
  788. 28:18Konzept der Weltmodelle, der WHP Models
  789. 28:21in Anfängstrichen in den Sprachmodellen
  790. 28:23fehlt. Und vielleicht kann ich da auch
  791. 28:24noch ein bisschen was dazu sagen, weil
  792. 28:25das ist auch ein Kernteil unserer Arbeit
  793. 28:28in dem RSI Labs bei Sakana AI ist.
  794. 28:31Häufig werden äh Weltmodelle ähm immer
  795. 28:34mit Robotik und äh quasi physikalischen
  796. 28:38Problemen in Zusammenhang gebracht. Also
  797. 28:40z.B. Leute kennen vielleicht Genie 3,
  798. 28:43das ist ein System von Google Deepmind,
  799. 28:46wo ähm ja quasi Videomodelle
  800. 28:49kontrollierbar gemacht werden, indem man
  801. 28:51quasi als Mensch in den rumwandern kann
  802. 28:53und diese Modelle dann quasi simulieren,
  803. 28:55wie sich die Welt verändert, wenn wenn
  804. 28:56man dort Aktionen drin trifft. Aber das
  805. 28:59ist nur ein Teil von potenziellen
  806. 29:01Weltmodellen. Es gibt auch quasi Code
  807. 29:03World Models und äh Modelle, die quasi
  808. 29:06gegeben einem
  809. 29:08Status vorhersagen, die sich dieser
  810. 29:10Status verändern wird, wenn gewisse
  811. 29:11Änderungen an ihm vorgenommen werden und
  812. 29:13quasi dadurch die Zukunft vorher seagen.
  813. 29:16Und diese Weltmodelle könnten eventuell
  814. 29:19auch enorm wichtig sein dafür, um
  815. 29:22Sprachmodellen und AI Scientists
  816. 29:24beizubringen, wie man bessere Hypothesen
  817. 29:26generiert, ohne sie direkt in der echten
  818. 29:29Welt umsetzen zu müssen.
  819. 29:32Und ich glaube, das ist äh ja ein ein
  820. 29:34großes ähm äh eine große offene Frage,
  821. 29:38nämlich wie kann man Sprachmodelle zu
  822. 29:40besseren ja ähm Wissenschaftlern machen,
  823. 29:44also in dem Sinne als dass sie nicht nur
  824. 29:46äh ja stumpf Experimente laufen lassen,
  825. 29:48sondern auf sich mehr Gedanken machen,
  826. 29:51bessere Experimente und effizientere
  827. 29:52Experimente zu generieren. In wie weit
  828. 29:55sind aus deiner Sicht denn aktuelle LMs
  829. 29:57und das aktuelle Paradigma, welches
  830. 29:59verfolgt wird, vergleichbar mit der
  831. 30:00menschlichen Evolution? Weil ich finde,
  832. 30:03hier divergieren die Meinungen enorm.
  833. 30:04Die einen sagen, es ist alles ziemlich
  834. 30:07gleich und fast identisch. Ähm der der
  835. 30:09Mensch mit dem LM Pretraining ist auch
  836. 30:12nichts anderes als Generation von
  837. 30:15Evolution. Und dann gibt's eben die
  838. 30:17andere Seite, die sagt, das hat alles
  839. 30:18gar nichts mit der menschlichen
  840. 30:20Evolution äh zu tun. Und äh die Menschen
  841. 30:23sind viel viel bessere Sample Efficiency
  842. 30:26beispielsweise. Ähm was ist zunächst
  843. 30:28deine Meinung dazu? Also wie viel von
  844. 30:30den für dich aus der Evolution
  845. 30:32relevanten Prinzipien steckt schon in
  846. 30:34dem aktuellen Paradigma, welches
  847. 30:35verfolgt wird und welche Dinge siehst du
  848. 30:38vielleicht auch aus der Evolution, die
  849. 30:40aktuell aber noch gar nicht breitflächig
  850. 30:42benutzt wären, obwohl sie einen großen
  851. 30:45Hebel haben könnten?
  852. 30:46Ja, also erstmal muss man unterscheiden,
  853. 30:48also es gibt quasi biologische
  854. 30:50Evolution. Es gibt kulturelle Evolution,
  855. 30:53es gibt technologische Evolution und all
  856. 30:56die äh operieren ja auf ganz anderen
  857. 30:58Zeitskalen und haben ganz andere in ein
  858. 31:00ganz anderes Medium. So bei der
  859. 31:02biologischen Evolution ist z.B. für die
  860. 31:04DNA, während bei der kulturellen
  861. 31:06Evolution ist ja mehr Artefakte wie
  862. 31:09Bücher und so weiter sind die
  863. 31:10Informationen quasi durch eine
  864. 31:12Population ähm ja diffundieren lassen.
  865. 31:17Und mit Sprachmodellen muss man sagen,
  866. 31:19dass es sicherlich eine Analogie gibt im
  867. 31:21Sinne von wie viel Zeit, Rechenkapazität
  868. 31:24und so weiter in diesem Pretraining ran
  869. 31:27reingesteckt wird mit dem, was ich quasi
  870. 31:29historisch über die letzten Millionen
  871. 31:30von Jahren ähm äh biologisch quasi
  872. 31:34ereignet hat. Aber die sind natürlich
  873. 31:35mehr äh auf einer höheren
  874. 31:37Vergleichsebene
  875. 31:39angesiedelt, ne? Ähm und ich glaube ganz
  876. 31:41wichtige Unterschiede äh sind z.B. auch
  877. 31:44das einfach die quasi die Kondition und
  878. 31:47die Constraints, die man ähm ja in
  879. 31:50Silico auf einem Chip hat mit einem
  880. 31:52Transformer ganz andere sind als die die
  881. 31:55ähm die man äh hat, wenn man das
  882. 31:57biologische Substrate anguckt. So. Und
  883. 32:00ähm ich glaube, wir anthropomorphisieren
  884. 32:03sehr sehr viel, wenn es um quasi KI,
  885. 32:06Sprachmodelle und so weitergeht. Und äh
  886. 32:08aus meiner Sicht äh müssen wir Menschen
  887. 32:12vielleicht eventuell ein wenig kreativer
  888. 32:14werden in dem Sinne, wie wir äh uns
  889. 32:16Sprachmodelle angucken in dem Sinne, als
  890. 32:17dass sie 247 arbeiten können. Sie können
  891. 32:20mit Populationen arbeiten und äh wir
  892. 32:23sind gerade erst am Anfang
  893. 32:24herauszufinden, wie man wirklich ähm ja
  894. 32:27dieses System am besten benutzt. Ich
  895. 32:29habe äh einen Praktikanten bei uns bei
  896. 32:31Sakana gehabt, Alexeng vom äh vom MIT
  897. 32:34und der hat einen super interessanten
  898. 32:36Blogpost geschrieben, der sich
  899. 32:37Missmanaged Genius Hypothesis nennt. Und
  900. 32:40in diesem Blogpost argumentiert er
  901. 32:42quasi, dass wenn man äh ja uns vor 10
  902. 32:46Jahren gesagt hätte, dass es in 10
  903. 32:47Jahren Systeme gibt, die es die wir
  904. 32:49jetzt ja tagtäglich benutzen,
  905. 32:51Sprachmodelle Agenten und so weiter,
  906. 32:52dann ähm dann dann dann hätten viele
  907. 32:55gesagt, okay, das ist äh generelle
  908. 32:57künstliche Intelligenz für so ihm und
  909. 32:59jetzt heute ähm sind wir oder haben wir
  910. 33:03Probleme damit, das meiste aus denen
  911. 33:05rauszuholen, also wirklich uns Gedanken
  912. 33:07darüber zu machen, wie man ähm die
  913. 33:09effektiv in den Arbeitsal Alltag oder
  914. 33:11Alltag generell integrieren kann und er
  915. 33:13argumentiert quasi, dass das äh ein
  916. 33:15Problem äh ist, dass daran äh begründet
  917. 33:18[räuspern] ist, dass wir nicht wissen,
  918. 33:19wie wir diese Systeme wirklich ähm ja
  919. 33:22maximieren oder ausnutzen können. Und äh
  920. 33:26das spielt quasi auch in diesen
  921. 33:28Evolutiongedanken
  922. 33:30rein. Ähm, diese Systeme sind anders als
  923. 33:32wir und die haben andere Constraints und
  924. 33:35ähm ja, wir müssen no rausfinden, wie
  925. 33:36wir die am besten benutzen können, um
  926. 33:38quasi unsere Probleme zu lösen.
  927. 33:40Ja, ich habe da gleich noch mal einige
  928. 33:42Hypothesen, die ich dir entgegenwerfen
  929. 33:43möchte zum Evolutionsthema. Zunächst
  930. 33:45noch mal, weil du es schon angesprochen
  931. 33:46hast, Shinker Evolve. Kannst du das noch
  932. 33:48mal kurz erklären, was ist Shinker
  933. 33:49Evolve und wie genau funktioniert das?
  934. 33:52Shik Wolf ist ähm wie soll man sagen,
  935. 33:55vielleicht eine Variante von einem EI
  936. 33:57Scientist System äh das auch wieder auf
  937. 34:00Evolution beruht und ähm seine äh
  938. 34:03Geschichte oder Vorfahren in dem
  939. 34:05sogenannten genetischen Programmieren
  940. 34:07hat. Es gibt in der Informatik eine ein
  941. 34:10Feld, das nennt sich Genetic
  942. 34:11Programming, wo quasi schon Leute vor
  943. 34:13Sprachmodellen versucht haben,
  944. 34:15Computerprogramme zu evolven, also
  945. 34:18Evolution äh zu zu äh auszusetzen mit
  946. 34:22Mutationen, wo man verschiedene
  947. 34:24Operationen geändert hat und so weiter.
  948. 34:25Und dann mit Sprachmodellen jetzt halt
  949. 34:27in der Lage ist, sehr viel stärkere,
  950. 34:30sehr viel potenziell bessere Mutationen
  951. 34:33an Programmen vorzunehmen. Und in diesem
  952. 34:36Projekt Shink Evolve haben wir quasi
  953. 34:38geguckt, ja, wie man das skaleren kann
  954. 34:40zu ganz ganz vielen verschiedenen
  955. 34:43Problemen. Also, ich hatte schon
  956. 34:44angesprochen, wir haben uns klassische
  957. 34:46äh angewandte Mathematikprobleme
  958. 34:48angeguckt, wie man z.B. verschiedene
  959. 34:51Kreise in einem Unit Square, also in
  960. 34:53einem Quadrat packen kann und wie man
  961. 34:55die Fläche dieser Kreise maximieren
  962. 34:57kann. Wir haben uns angeguckt, wie man
  963. 34:58diese äh Programmevolution benutzen
  964. 35:01kann, um äh bessere ja Kostenfunktion
  965. 35:03für Prachmodelle zu schreiben für
  966. 35:05sogenannte Mixture of Export Models. Wir
  967. 35:07haben uns angeguckt, wie man quasi
  968. 35:09Programmevolution benutzen kann, auch um
  969. 35:11bessere Agent Scaffolds generieren. Und
  970. 35:14äh der Gedanke dahinter ist quasi diese
  971. 35:17Prinzipien der Evolution direkt in Code
  972. 35:20umzusetzen. Dazu gehört z.B. Ja,
  973. 35:23Selektion, also nur die best
  974. 35:25performenden äh Programme werden
  975. 35:27genutzt, um quasi weitere Programme zu
  976. 35:30generieren. Dazu gehört Mutation, also
  977. 35:32Sprachmodelle generieren, Abweichung ähm
  978. 35:35zu dem ähm ja Parent Programm und dazu
  979. 35:39gehört auch ähm das, was das wir als äh
  980. 35:41Überkreuzung oder Crossover bezeichnen,
  981. 35:43also dass man zwei Programme nimmt und
  982. 35:45Teile davon austauscht. Und
  983. 35:47Sprachmodelle sind einfach enorm gut da
  984. 35:49drin, robust. ähm ja, korrekte
  985. 35:52Mutationen zu generieren.
  986. 35:55Ähm aber ein Problem, dass äh dort quasi
  987. 35:58häufig Auftritt ist ähm und das ist auch
  988. 36:02ein faszinierendes auf der auf der
  989. 36:03biologischen Ebene, nämlich dass ähm der
  990. 36:06Evolvability oder der ähm wie wie hat
  991. 36:09Evolution es geschafft, ein Medium zu
  992. 36:11generieren in der DNA ähm das gut
  993. 36:15langfristig darin ist, Evolution ähm zu
  994. 36:18befeuern. Also, man muss sich das so
  995. 36:20vorstellen. Es gibt ganz ganz viele ähm
  996. 36:23äh Systeme, die auch quasi in ihrem
  997. 36:27Evolutionsprozess ähm gestoppt haben,
  998. 36:30weil es keine brauchbare Mutation mehr
  999. 36:33gegeben hat. Und wenn man sich
  1000. 36:36vorstellt, wie wir als Menschen uns
  1001. 36:37immer und immer weiter in unseren
  1002. 36:39Fähigkeiten adaptiert haben durch
  1003. 36:41Evolution, dann ist es schon äh sehr
  1004. 36:44faszinierend zu sehen, dass dieser
  1005. 36:46Prozess nicht gestoppt hat, also das ja
  1006. 36:48offen war. openended in dem Sinne und
  1007. 36:51diese Verbesserung immer weitergegangen
  1008. 36:52ist. Und äh mit Sprachmodellen, wenn man
  1009. 36:55mit Sprachmodellen Programme evolvedt
  1010. 36:58oder Evolution aussetzt, ist es so, dass
  1011. 37:00man doch häufig immer noch sieht, dass
  1012. 37:01die konvergieren, also dass dieser
  1013. 37:03Evolutionsprozess zu einem Stoppen
  1014. 37:05kommt. Und ähm da gibt's sicherlich noch
  1015. 37:10sehr, sehr viel Spielraum, wie wir
  1016. 37:11Menschen Inspiration von biologischer
  1017. 37:13Evolution äh generieren können, um quasi
  1018. 37:16diese in Silico Prozesse effizienter und
  1019. 37:20langfristiger zu machen. Ja, bezüglich
  1020. 37:22der Evolution dieser Softwareprogramme
  1021. 37:23geht's da dann auch wieder um Agent,
  1022. 37:25Harnesses, Gffolds ähm etc., also auch
  1023. 37:28ein RCI Ansatz oder ganz andere
  1024. 37:31Softwareprogramme auf auch, also
  1025. 37:32Software jeglicher Art oder was genau,
  1026. 37:34sage ich mal verbessert Shinker Evolve?
  1027. 37:36Genau. Also, man muss erstmal dazu
  1028. 37:38sagen, Shink Evolf ist selber ein
  1029. 37:40Scaffold, ist selber ein Agent, wenn man
  1030. 37:42will, aber einer, der quasi diese
  1031. 37:45evolutionäre Ausrichtung hat, wo der
  1032. 37:47Agent selber quasi verschiedene
  1033. 37:48Programme generiert und die auswerten
  1034. 37:50lässt, die den Ergebnisse äh benutzt, um
  1035. 37:53quasi die nächste Generation zu
  1036. 37:55verbessern. Und ähm dieses System kann
  1037. 37:58äh auf ganz ganz viele Programme
  1038. 38:01angewandt werden, also äh Mathe, Machine
  1039. 38:03Learning und so weiter. Aber äh z.B.
  1040. 38:06Spiel hatten wir auch ähm gibt's auch
  1041. 38:08Leute, die quasi das benutzt haben, um
  1042. 38:09in Programmierwettbewerben quasi ähm äh
  1043. 38:12mitzumachen und dann
  1044. 38:13Programmierwettbewerbe zu gewinnen, also
  1045. 38:15quasi dieses System zu benutzen, um ähm
  1046. 38:17bessere Programme für ihre Anwendung zu
  1047. 38:19schreiben. Und eine Sache, die quasi
  1048. 38:21wichtig ist in dem Konzept Kontext ist
  1049. 38:23wieder, dass diese Programme
  1050. 38:25verifizierbar sind, also dass man quasi
  1051. 38:27diese Programme laufen lassen kann. Äh
  1052. 38:29und eine Bewertung, wie gut es dieses
  1053. 38:31Programm bekommen kann, um quasi diesen
  1054. 38:33Evolutionsprozess
  1055. 38:34äh anzufüttern. Und das ist, glaube ich,
  1056. 38:37eine Sache, die wir auch generell
  1057. 38:38momentan sehen, wenn wir z.B. uns die
  1058. 38:40letzten Open AI ähm Mathematikergebnisse
  1059. 38:44angucken oder so. Ähm AI ist momentan
  1060. 38:47unglaublich gut und schnell da drin, äh
  1061. 38:50super human zu werden in Dingen, die äh
  1062. 38:53auf einem Computer verifizierbar und
  1063. 38:55scorbar sind. So und für Dinge wie äh
  1064. 38:58ja, Poesie oder ähm Kreativität äh im im
  1065. 39:02weiteren Sinne, die weniger greifbar
  1066. 39:04sind, ähm sind wir quasi noch am Anfang.
  1067. 39:07Aber viele Dinge, glaube ich, die wir
  1068. 39:10als nicht verifizierbar ansehen, könnten
  1069. 39:13eventuell langfristig zumindestens mit
  1070. 39:15menschlicher Hilfe verifizierbar gemacht
  1071. 39:16werden.
  1072. 39:17Dazu interessiert mich auf jeden Fall
  1073. 39:18auch noch mal deine Meinung, also
  1074. 39:19bezüglich dieser ganzen Mathematik
  1075. 39:21Probleme, offene Forschungsprobleme
  1076. 39:23jetzt mit dem Astra Modell 10 mehr als
  1077. 39:2610 Jahre alte Forschungsprobleme in der
  1078. 39:27Mathematik gelöst ist ja groß publiziert
  1079. 39:30und angekündigt worden und dann gibt's
  1080. 39:31auch wieder zwei Lager. Die einen sagen,
  1081. 39:33das ist nun das Ende für Mathematiker
  1082. 39:36und wir sind jetzt final in im im
  1083. 39:39Stadium der Autoresearcher und
  1084. 39:42rekursiver Selbstverbesserung etc. und
  1085. 39:44wiederum andere sagen, das ist letztlich
  1086. 39:45nur Kombinatorik und bestehende
  1087. 39:48Informationen wurden einfach besser
  1088. 39:49kombiniert, wofür Menschen einfach keine
  1089. 39:51Zeit hatten und das ist nichts
  1090. 39:53Besonderes. Ja. Ähm, was sind deine
  1091. 39:55Gedanken dazu? Man muss schon sagen,
  1092. 39:57also wir haben uns schon sehr viel auch
  1093. 39:59met wissenschaftlich Gedanken gemacht,
  1094. 40:00als wir den EI Scientist gemacht haben
  1095. 40:02und auch ähm den nicht philosophisch,
  1096. 40:05wenn man so will. Ähm weil recht schnell
  1097. 40:08schon im Raum stand. Okay, das ist das
  1098. 40:10ähm das der Stand des Systems, der quasi
  1099. 40:13der schlechteste sein wird, den es in
  1100. 40:15der Zukunft je gegeben haben wird. So,
  1101. 40:17die Sprachmodelle werden besser werden,
  1102. 40:19ähm die Systeme werden robuster werden,
  1103. 40:21sie werden skalierbarer werden und so
  1104. 40:23weiter. Und dann haben wir uns halt doch
  1105. 40:25schon auch recht früh gefragt, okay, was
  1106. 40:27heißt das für den Wissenschaftsprozess
  1107. 40:29äh an sich? Und das heißt das dafür,
  1108. 40:32dass ähm jetzt vielleicht Menschen in
  1109. 40:34der Lage sind äh 20 Papiere in einem
  1110. 40:36Jahr zu schreiben. Ähm wie wie setzen
  1111. 40:40wir Wissenschaft so auf, dass der Mensch
  1112. 40:42quasi seine Rolle weiter behält und
  1113. 40:44weiter glücklich da drin ist? Und eine
  1114. 40:46Sache, die irgendwie für mich recht klar
  1115. 40:48ist, ist, dass AI oder AI gestützte
  1116. 40:51Forschung ähm quasi das gleiche ist wie
  1117. 40:56nicht das gleiche, aber in vielerlei
  1118. 40:58Hinsicht Parallelen dazu wie als wir das
  1119. 41:00Teleskop bekommen haben oder das
  1120. 41:01Mikroskop. Also es ist ein Tool, das uns
  1121. 41:04einfach erlauben wird, sehr sehr viel
  1122. 41:05mehr Hypothesen äh uns anzugucken und
  1123. 41:08sehr viel schneller Fortschritt zu
  1124. 41:09machen in den Problemen, die wirklich
  1125. 41:11wichtig sind. So. Und ähm ich merke das
  1126. 41:14selber ein tagtäglich, also meine
  1127. 41:15Arbeitsroutine hat sich im letzten
  1128. 41:17halben Jahr ähm komplett geändert. Ähm
  1129. 41:20und es ist ein existenzieller Prozess,
  1130. 41:23wie man darauf klar kommmt, dass Arbeit
  1131. 41:25neuerdings äh sehr viel ja gestützter
  1132. 41:28ist und man auf einer sehr viel höher
  1133. 41:29und Abstraktionsebene arbeitet. Aber äh
  1134. 41:32sobald man diese ähm diese Adjustierung
  1135. 41:35quasi durchgemacht hat, ist es auch
  1136. 41:36einen sehr befreiender und ein sehr
  1137. 41:38freisetzender Prozess. Und ich glaube,
  1138. 41:40dass ähm das größere Problem quasi eins
  1139. 41:43der der Bildung ist, wo wir unseren
  1140. 41:46Kindern sehr viel mehr beibringen
  1141. 41:47müssen, äh ja, quasi Freude und Spaß
  1142. 41:50daran zu haben, Fragen zu stellen, so
  1143. 41:53und mit diesen System zu arbeiten, um äh
  1144. 41:55ja, Wissen für sich zu generieren, aber
  1145. 41:56auch für die Welt. Und ähm ja quasi der
  1146. 42:00Standard Frontalunterricht, den man aus
  1147. 42:02äh Schule und Studium gewöhnt ist, der
  1148. 42:04der wird keine äh richtige Relevanz mehr
  1149. 42:07haben in dem Sinne, als dass ähm Fakten
  1150. 42:10zu wissen nicht mehr ähm fundamental
  1151. 42:13sein wird, sondern es wird fundamental
  1152. 42:14sein, quasi neugierig zu sein. und äh
  1153. 42:17Pädagogik aller Maria Motosori wird
  1154. 42:19immer wichtiger werden, weil es darum
  1155. 42:21gehen wird, quasi den Menschen als ähm
  1156. 42:24als äh ja äh als neugieriges Wesen
  1157. 42:28stärker zu internalisieren und
  1158. 42:30freizusetzen.
  1159. 42:31Ja, was ich super interessant fand, dass
  1160. 42:33du differenziert hast zwischen
  1161. 42:34biologischer Evolution, technologischer
  1162. 42:36Evolution und kultureller ähm Evolution
  1163. 42:39und man schaut ja allzu oft immer nur
  1164. 42:41auf diese biologische Evolution.
  1165. 42:43Deswegen ist nun meine Frage, dadurch,
  1166. 42:44dass Technologie den
  1167. 42:45Menschheitsfortschritt
  1168. 42:47seit jeher enorm beschleunigt hat,
  1169. 42:50deutlich schneller wahrscheinlich als
  1170. 42:51die rein biologische Evolution, was ist
  1171. 42:54aus deiner Perspektive die wichtigste
  1172. 42:57Erfindung der Menschen gewesen für
  1173. 42:59diesen enormen Fortschritt, wenn wir
  1174. 43:01künstliche Intelligenz jetzt mal
  1175. 43:03ausklammern? Also, was war, wenn du
  1176. 43:05zurückschaust in der Evolution, auch in
  1177. 43:07der technologischen Evolution aus deiner
  1178. 43:09Perspektive, die die wichtigste
  1179. 43:11Erfindung der Menschheit? Boah, ist hart
  1180. 43:13zu sagen, weil am Ende des Tages ähm
  1181. 43:15sind das ja alles quasi ähm Stepping
  1182. 43:17Stones gewesen, die uns jetzt hier
  1183. 43:19hinebracht haben. Ähm ich glaube äh die
  1184. 43:23Top 10 wird auf jeden Fall das Feuer ähm
  1185. 43:27quasi die Agrarwirtschaft äh oder äh
  1186. 43:29quasi die Sense ähm beinhalten. Es wird
  1187. 43:33ähm die Buchpresse beinhalten, es wird
  1188. 43:36das Licht beinhalten. ähm weil all diese
  1189. 43:38Prozesse eigentlich am Ende des Tages
  1190. 43:40dort zugeführt haben, dass Informationen
  1191. 43:42sehr viel schneller und besser sich
  1192. 43:44verteilen haben können und sehr viel
  1193. 43:46mehr Menschen am Ende des Tages davon
  1194. 43:48profitiert haben. Also ich glaube quasi
  1195. 43:51ähm für mich sind die die Erfindungen,
  1196. 43:53die ja Wissen, Wissenszugang und äh ja
  1197. 43:57Bildung demokratis haben und ermöglicht
  1198. 43:59haben, diejenigen, die am Ende global am
  1199. 44:01meisten Fortschritt und am meisten
  1200. 44:03Wohlstandswachstum äh gefördert haben.
  1201. 44:06Ja, das finde ich jetzt interessant,
  1202. 44:07dass du sagst Informationsverteilung,
  1203. 44:09wenn wir jetzt mal übergreifend schauen,
  1204. 44:11weil das war so eine Hypothese von mir,
  1205. 44:13worauf ich hinaus wollte und zwar das
  1206. 44:15eine der bedeutendsten Erfindungen wohl
  1207. 44:16die Sprache war äh die es der Menschheit
  1208. 44:19überhaupt erstmal ermöglicht hat, ähm
  1209. 44:21Technologien jeglicher Art zu erfinden,
  1210. 44:23sich in großen Gruppen zu organisieren.
  1211. 44:25Und meine Frage ist, könnte es
  1212. 44:28beispielsweise passieren oder muss es
  1213. 44:29vielleicht sogar passieren, dass KI eine
  1214. 44:31völlig eigene Art von Sprache oder
  1215. 44:34Informations Verteilungsmechanismus
  1216. 44:36entwickelt, um einfach viel effizienter
  1217. 44:39kommunizieren zu können als in Englisch
  1218. 44:41oder in Deutsch. Ich hätte die Sprache
  1219. 44:43nicht genannt, weil es gibt ja äh quasi
  1220. 44:45eine große Debatte zwischen Chomski und
  1221. 44:47PG, wo es darum geht, ob Sprache quasi
  1222. 44:50ähm ja erlernt ist oder quasi schon äh
  1223. 44:53biologisch
  1224. 44:54in uns veranlagt ist. Um auf deine Frage
  1225. 44:57bezüglich äh wird KI irgendwann mal eine
  1226. 44:59andere Sprache sprechen äh
  1227. 45:00zurückzukommen? Ähm, ich glaube,
  1228. 45:03momentan ist es schon so, dass ähm wir
  1229. 45:07wir nicht jegliches Artefakt quasi, das
  1230. 45:10von KI generiert wird, unbedingt
  1231. 45:12nachvollziehen können. Also, man sieht
  1232. 45:13das jetzt ganz klar in den Astra
  1233. 45:15Ergebnissen. ähm streiten sich immer
  1234. 45:17noch Mathematiker darum, ob ein gewisser
  1235. 45:19Beweis davon korrekt ist, ja oder nein,
  1236. 45:20und ob die autoalisierte Beweisführung
  1237. 45:23mit Lean äh nicht auch Fehler haben
  1238. 45:25könnte, so die quasi von den
  1239. 45:27Sprachenbällen genutzt werden, um
  1240. 45:28Beweise zu schreiben, die die korrekt
  1241. 45:31aussehen, aber eventuell doch ähm ihr
  1242. 45:33ihre Fehler haben. Ähm die Frage ist nur
  1243. 45:37äh bei vielen dieser Dingen, wenn ich
  1244. 45:39mir überlege, wie ich durch den
  1245. 45:40Arbeitsalltag gehe, es gibt ganz viele
  1246. 45:41Dinge, die ich auch nicht verstehe, aber
  1247. 45:43die ich als ähm gewiss nehme. Ich
  1248. 45:45verstehe nicht die komplette Aerodynamik
  1249. 45:47hinter hinter dem Fliegen, aber
  1250. 45:49nichtsdestotrotz steige ich mehrfachen
  1251. 45:51im Jahr in einen Langflug
  1252. 45:54in einen Langstreckenflug nach Tokyo.
  1253. 45:56Ähm und bin irgendwie damit äh sehr viel
  1254. 46:00ähm komfortabler geworden. Und ich
  1255. 46:02glaube, das geht dann wiederum auf
  1256. 46:03kulturelle Evolution zurück, nämlich
  1257. 46:06darauf, dass wir immer mehr mit diesen
  1258. 46:08Systemen interagieren und immer mehr
  1259. 46:10Vertrauen in sie gewinnen werden, auch
  1260. 46:12wenn wir nicht alles hinter ihnen
  1261. 46:14verstehen. Ähm natürlich darf man dabei
  1262. 46:16quasi äh die Themen wie Alignment,
  1263. 46:19Safety Hongs auch nicht äh nicht klein
  1264. 46:21reden, also die sind wichtig. Ähm, aber
  1265. 46:24ich glaube, äh, das sind auch Themen,
  1266. 46:26die die wir quasi mit automatisierter
  1267. 46:28Forschung selber ähm ja verbessern
  1268. 46:31können oder besser verstehen können.
  1269. 46:32Also ein großer ähm Gedanke hinter RSI
  1270. 46:37ist vielleicht nicht sonderlich
  1271. 46:39ersichtlich, ist, dass man auch quasi
  1272. 46:41autonome Agenten und autonome äh
  1273. 46:43Forscher dazu nutzen kann, um ähm Safety
  1274. 46:46und Alignment quasi zu verbessern. Also,
  1275. 46:48es ist nicht nur so, dass es darum geht,
  1276. 46:50ähm ja, größere äh Systeme zu bauen, die
  1277. 46:53immer weniger kontroliert sind, sondern
  1278. 46:55auch quasi Systeme zu bauen, die sich
  1279. 46:57selber erforschen können und selber
  1280. 47:00quasi sich in äh in ihre Regularien
  1281. 47:03bringen können.
  1282. 47:04Wenn du zuschaust, dann weißt du
  1283. 47:05bereits, wie wertvoll es ist, immer am
  1284. 47:07Puls der aktuellen Entwicklungen, KI
  1285. 47:09News, Updates und Trends zu sein. Das
  1286. 47:12Problem ist jedoch, dass den meisten im
  1287. 47:13Tagesgeschäft schlicht die Zeit fehlt.
  1288. 47:15Viele schaffen es gar nicht jedes dieser
  1289. 47:17Videos zu schauen und die allerwenigsten
  1290. 47:19haben wirklich so ein großartiges
  1291. 47:21Rechercheteam im Hintergrund wie ich,
  1292. 47:23welches den ganzen Tag nichts anderes
  1293. 47:25tut, als die wichtigsten Updates
  1294. 47:27herauszufiltern. Genau aus diesem Grund
  1295. 47:29haben wir schon vor über einem Jahr den
  1296. 47:31kostenfreien Everlast AI WhatsApp Kanal
  1297. 47:34ins Leben berufen. Dort erhältst du zu
  1298. 47:36100% kostenfrei jeden Tag die Updates
  1299. 47:39aus den Bereichen KI, Robotik und
  1300. 47:42Zukunft, die bereits heute darüber
  1301. 47:44entscheiden, was morgen Realität ist.
  1302. 47:46Über everlastwatshatsapp.de
  1303. 47:48kannst du jetzt kostenfrei anonym und
  1304. 47:51ohne Anmeldung beitreten. Also gehe
  1305. 47:53jetzt einfach auf everlastwatswap.de de
  1306. 47:55oder suche einfach in deinen
  1307. 47:57WhatsAppkanälen nach Everlast AI und
  1308. 47:59tritt kostenfrei der Community bei für
  1309. 48:02tägliche Updates direkt auf dein Handy
  1310. 48:05und damit zurück ins Video. Welche Rolle
  1311. 48:07spielt denn für dich die Organisation in
  1312. 48:09Gesellschaften für die Weiterentwicklung
  1313. 48:13von Intelligenz, Superintelligenz? Ich
  1314. 48:14meine, wir sehen ja diese Ansätze mit
  1315. 48:16Multient System, darüber haben wir schon
  1316. 48:18grundsätzlich gesprochen, aber wie
  1317. 48:19wichtig ist das aus deiner Perspektive
  1318. 48:22evolutionär? Natürlich im Hinblick auf
  1319. 48:24die KI, also könnte man z.B. auch sagen,
  1320. 48:26theoretisch könnte es stehen bleiben bei
  1321. 48:29der aktuellen Intelligenz der Modelle,
  1322. 48:31sind eigentlich schon intelligent genug
  1323. 48:32und wenn die Kosten einfach durch
  1324. 48:34algorithmische Effizienz Jahr für Jahr
  1325. 48:35weiter sinken und wir sie in immer
  1326. 48:37größeren Gruppen und KI Gesellschaften
  1327. 48:39organisieren können, dann ähm kommen wir
  1328. 48:41allein nur dadurch schon zu einer
  1329. 48:43Superintelligenz. Ja, das ist eine super
  1330. 48:45interessante Frage, ähm wo es
  1331. 48:47verschiedene ähm ja quasi wo ich mich
  1332. 48:50aus verschiedenen Richtungen ernähren
  1333. 48:52kann. Ähm also zum einen äh stimme ich
  1334. 48:55dir zu, also die Modelle, die wir jetzt
  1335. 48:57haben, ähm sind so stark und wir haben
  1336. 49:00so wenig äh Integration in unserem äh
  1337. 49:03gesellschaftlichen, aber auch
  1338. 49:04organisationellen quasi äh Kreislauf.
  1339. 49:07Also viele deutsche Unternehmen ähm die
  1340. 49:10sich als äh KI Vorreiter ansehen, sind
  1341. 49:13aus meiner Sicht das bei weitem nicht
  1342. 49:16mehr. Also, man kann als ein Siemens
  1343. 49:18nicht KI auf seine Waschmaschine
  1344. 49:20klatschen, äh wenn man quasi interne
  1345. 49:23organisationelle Strukturen noch nicht
  1346. 49:26stärker revolutioniert hat. Aber wir
  1347. 49:28bewegen uns immer mehr äh und immer
  1348. 49:30schneller in einer Welt, wo ähm KI viele
  1349. 49:33viele Prozesse äh ja komplett verändern
  1350. 49:37wird. Und wenn ich mir anschaue, wie ich
  1351. 49:40äh wie wie ich jetzt mit jüngeren äh
  1352. 49:42Studenten und Praktikanten
  1353. 49:43zusammenarbeite, die haben eine ganz
  1354. 49:45andere Perspektive auf ähm den
  1355. 49:47Arbeitsalltag. So, für die ist äh recht
  1356. 49:50klar, wie sie Probleme äh mit Agenten
  1357. 49:53angehen müssen oder zumindestens äh
  1358. 49:56schnell eine Hypothese testen können mit
  1359. 49:57denen und die haben ein ganz anderes
  1360. 50:00Verständnis von Arbeit. Und ich finde
  1361. 50:02das enorm faszinierend auch zu sehen,
  1362. 50:03wie adaptiv äh der Mensch ist innerhalb
  1363. 50:07nur einer Generation. So ne. Ähm das das
  1364. 50:10ist die eine Sache. Die andere Sache ist
  1365. 50:12äh, dass ich glaube, dass äh unsere
  1366. 50:14kulturelle Evolution der technologischen
  1367. 50:17sehr weit äh ja hinterher hinkt und auch
  1368. 50:20weiter hinterher hinken wird. Also, es
  1369. 50:22ist einfach so, die Technologie
  1370. 50:23verändert sich so so schnell, dass wir
  1371. 50:26ähm ja gar nicht wirklich durchatmen
  1372. 50:28können, um äh quasi alles zu
  1373. 50:31verarbeiten. Und ich glaube, es gibt
  1374. 50:33viele Menschen, die sagen, okay, ich
  1375. 50:34warte das jetzt erstmal ab. Ich bin mir
  1376. 50:36nicht sicher, äh ob KI äh sowas ist wie
  1377. 50:39Krypto und nicht langfristig quasi
  1378. 50:41bestehen wird. Äh und es gibt
  1379. 50:43diejenigen, die quasi versuchen, jede
  1380. 50:44einzelne Veränderung irgendwie direkt in
  1381. 50:46ihren Arbeitsalltag zu integrieren. Und
  1382. 50:48ich glaube, beides wird auf die Dauer
  1383. 50:50mental anstrengend werden. Äh und jeder
  1384. 50:52sollte für sich herausfinden, was quasi
  1385. 50:54die richtige Geschwindigkeit ist, mit
  1386. 50:55der er oder sie sich mit diesen äh
  1387. 50:58Themen beschäftigen möchte. Ähm, aber
  1388. 51:00ich glaube, dass quasi Chat GPT und der
  1389. 51:04Chat Bot ähm ein guter quasi
  1390. 51:07Steppingstone ist dafür äh mehr und mehr
  1391. 51:10Menschen dazu zu bringen, diese
  1392. 51:11Technologie Technologie zu benutzen. und
  1393. 51:14Dinge wie Apple Intelligence, die sehr
  1394. 51:16sehr lange auf sich haben warten lassen,
  1395. 51:18am Ende des Tages auch dazu führen
  1396. 51:20werden, dass ja meine Großeltern sehr
  1397. 51:22viel mehr mit KI interagieren werden und
  1398. 51:24es sich halt einfach langfristig mehr
  1399. 51:26und mehr dorthin bewegen wird, dass äh
  1400. 51:27wir immer und immer komfortabler damit
  1401. 51:30werden, auch immer und immer besser
  1402. 51:31einschätzen können, welche Vorteile und
  1403. 51:34Nachteile der Umgang mit KI hat und ähm
  1404. 51:37äh ja, wie wir das meiste aus diesem
  1405. 51:38System rausholen können. Noch mal mit
  1406. 51:40Hinblick auf die Forschungsergebnisse
  1407. 51:42von solchen AI Research System, sei es
  1408. 51:44eure, sei es die ganzen Ergebnisse von
  1409. 51:47Anthropic Outmi und so weiter. Du hast
  1410. 51:48mal was ganz, finde ich, wesentliches
  1411. 51:50Interessantes gesagt und zwar was aus
  1412. 51:52der Perspektive einer einzelnen Person
  1413. 51:54nach Extrapolation aussieht, ist aus
  1414. 51:55einer hinreichend breiten Perspektive
  1415. 51:57Interpolation.
  1416. 51:59Kannst du das erläutern und hast du
  1417. 52:01dafür vielleicht noch mal ein Beispiel?
  1418. 52:02Die Grunddiskussion hinter diesem
  1419. 52:04Statement ist quasi die, dass ähm häufig
  1420. 52:07gefragt wird, sind Sprachmodelle einfach
  1421. 52:09nur ähm kopieren die einfach nur das,
  1422. 52:11was Menschen schon mal gemacht haben, so
  1423. 52:13und ähm oder mixen die das einfach nur,
  1424. 52:17wie viel origineller Inhalt ist in
  1425. 52:19Sprachmodellen drin? Und ähm quasi der
  1426. 52:24Gedanke hinter diesem Statement von mir
  1427. 52:26kommt aus einem Buch von einem Autor
  1428. 52:29namens Auston Cleon. Es nennt sich Steel
  1429. 52:31like an artist. Und in diesem Buch ähm
  1430. 52:34diskutiert er quasi ähm die Geschichte
  1431. 52:37des Kubismus und die von Pablo Picasso
  1432. 52:41und er sagt quasi Pablo Picasso wird
  1433. 52:43häufig als ja Genie oder als verkorst
  1434. 52:47Außenseiter irgendwie betrachtet, der
  1435. 52:48diese Ideen für den Kubismus unter der
  1436. 52:50Dusche gehabt hat und die dann von einem
  1437. 52:52auf dem anderen Moment manifestiert hat.
  1438. 52:54Aber in der Realität war Pablo Picasso
  1439. 52:57ja äh Kind seiner Zeit. Es gab sehr
  1440. 53:00viele surrealisten wie Salvador Ali, wie
  1441. 53:03Joan Mirot, Sesan, Kandinski, die alle
  1442. 53:06quasi in dem gleichen ja Zeitraum gelebt
  1443. 53:09haben und die sich gegenseitig
  1444. 53:11inspiriert haben und die dazu geführt
  1445. 53:12haben, dass Pablo Picasso quasi seinen
  1446. 53:15eigenen Stil in diesem konvexen Objekt
  1447. 53:18gefunden hat der verschiedenen einzelnen
  1448. 53:20Substile. Und und Picasso hat selber
  1449. 53:22gesagt, gute Künstler würden quasi
  1450. 53:25stehlen, aber nicht stehlen im Sinne von
  1451. 53:27äh Plagiate begehen, sondern stehlen
  1452. 53:30stehlen in dem Sinne, als dass sie ihren
  1453. 53:32eigenen Stil aus verschiedenen
  1454. 53:33zusammensetzen. Und jetzt auf die
  1455. 53:36Sprachmodell automatisierte Forschung
  1456. 53:38bezogen ist es so, dass ich glaube, dass
  1457. 53:41Sprachmodelle also zum ersten sehr viel
  1458. 53:44mehr gelesen haben, als eine einzelne
  1459. 53:46Person je in ihrem Leben lesen wird,
  1460. 53:49einfach durch das Pretraining auf ganz
  1461. 53:51ganz vielen diversen Feldern. Also, ich
  1462. 53:53habe es gibt niemanden, der so viel
  1463. 53:54Mathematik, Philosophie, Psychologie, äh
  1464. 53:58Agrarwissenschaften gelesen hat, wie wie
  1465. 54:00ein Sprachmodell und ähm das quasi in
  1466. 54:02der Lage ist, zwischen all diesen
  1467. 54:04Feldern zu interpolieren, also Ideen aus
  1468. 54:07all dem zusammenzusetzen,
  1469. 54:09sodass eventuell eine Interpolation in
  1470. 54:11diesem sehr, sehr großen Raum von Ideen
  1471. 54:13und Feldern basierend auf dem
  1472. 54:15Pretraining ähm ja, am Ende des Tages
  1473. 54:19nichtsdestotrotz zu neuen extrapolierten
  1474. 54:21Ideen in Anführungsstrichen führen kann
  1475. 54:23oder die wirken auf einen dann wie wie
  1476. 54:25quasi Heureeka Momente wie äh wie große
  1477. 54:27Ideen, aber die sind am Ende des Tages
  1478. 54:29auch nur Teil der Interpolation, genauso
  1479. 54:32wie Pablo Picasso am Ende des Tages auch
  1480. 54:34Teil einer gewissen Interpolation
  1481. 54:36gewesen ist und nichtsdestotrotz äh ja
  1482. 54:38sehr viel Schönheit und ähm ja tolle
  1483. 54:40Ideen auf dieser Welt gebracht hat. Ja,
  1484. 54:42ist das auch deine Antwort auf diese
  1485. 54:43Kreativitätsdebatte,
  1486. 54:45also, dass manche immer wieder
  1487. 54:47behaupten, Kreativität sei die letzte
  1488. 54:49Bastion der menschlichen Überlegenheit
  1489. 54:51gegenüber der KI und die KI, die könnte
  1490. 54:54gar nicht kreativ sein. Das ist ja damit
  1491. 54:56im Wesentlichen auch negiert, oder? Wenn
  1492. 54:58du sagst auch menschliche Kreativität,
  1493. 55:01Pablo Picasso beispielsweise
  1494. 55:03kombiniert im wesentlichen meist auch
  1495. 55:05nur bereits vorhandene Dinge.
  1496. 55:07Ja. Ähm, also zum einen glaube ich ähm
  1497. 55:09diese diese Abneigung, also wir sehen ja
  1498. 55:12häufig Halluzination den Sprachmodellen
  1499. 55:14als etwas enorm Negatives an, so. Ähm,
  1500. 55:17aber wenn ich mir überlege, wie wie
  1501. 55:19häufig Forschung bei mir äh stattfindet,
  1502. 55:21ist es auch so, dass da in gewisser
  1503. 55:22Grade an Halluzination dabei ist. ist
  1504. 55:24jetzt nicht so äh, dass ich Drogen geben
  1505. 55:26würde, sondern es wäre es ist mehr so im
  1506. 55:27Sinne von, dass ich ähm ja äh mir nicht
  1507. 55:30sicher bin, ob etwas möglich ist, ja
  1508. 55:32oder nein und quasi um äh meine innere
  1509. 55:36mein inneres Interesse äh zu zu stellen,
  1510. 55:40ich quasi diese Hypothese dann teste,
  1511. 55:41aber der erste Punkt quasi dahin eine
  1512. 55:44Idee zu haben, hat auch etwas von einer
  1513. 55:46Halluzination, sodass ich glaube, dass
  1514. 55:48dieser Aspekt in Sprachmodellen auch ähm
  1515. 55:50wichtig sein könnte, so ähm um
  1516. 55:53Kreativität zu erzeugen, ja oder nein?
  1517. 55:56Ähm gleichzeitig bin ich ein bisschen
  1518. 55:58beunruhigt oder was heißt beunruhigt,
  1519. 55:59aber ähm diese Modelle werden ja immer
  1520. 56:01und immer besser im Programmieren und
  1521. 56:04haben immer und immer weniger
  1522. 56:05Halluzination und für gewisse ähm
  1523. 56:09Anwendungen ist das kritisch und
  1524. 56:11unglaublich wichtig. Und für andere, wie
  1525. 56:12z.B. ähm die Ideenfindung der Forschung
  1526. 56:15könnte es äh ja auch negative
  1527. 56:18Auswirkungen haben. Also auf eine
  1528. 56:19gewisse Art und Weise glaube ich, dass
  1529. 56:20wir auch äh viel besser und viel mehr
  1530. 56:23Ressourcen da reinstecken sollten,
  1531. 56:24Kreativität in Menschen zu verstehen und
  1532. 56:27was diese Ideen ausmacht, um dann
  1533. 56:29artifizielle Systeme wie
  1534. 56:30Sprachmodellenagente zu haben, die das
  1535. 56:32auch besser machen können. eine
  1536. 56:33Überlegung von meiner Seite, wenn wir
  1537. 56:36jetzt annehmen, dass das meiste der
  1538. 56:38Ideen, die wir heute sehen, einfach ich
  1539. 56:40mal kombinatorische Kreativität ist und
  1540. 56:43es noch eine Stufe oder mehrere Stufen
  1541. 56:45darüber gibt, wie es gibt ja z.B. von
  1542. 56:46Demisabis, der diesen Einsteinest nenne
  1543. 56:48ich das jetzt mal formuliert. Also, man
  1544. 56:50müsste eigentlich das Wissen abschneiden
  1545. 56:52ab einem gewissen Zeitpunkt in den
  1546. 56:54Trainingsdaten, so dass die
  1547. 56:55Relativitätstheorie noch nicht existiert
  1548. 56:57und wenn KI dann von alleine drauf
  1549. 56:59kommen würde, dann hätte sie wirklich
  1550. 57:00transformativ eine völlig neue Idee
  1551. 57:03entwickelt. Und nun ist es ja so, dass
  1552. 57:05gerade solche neuen Ideen auf die wie
  1553. 57:07auch die Ideen von Einstein oftmals in
  1554. 57:09ihrer Zeit erstmal kritisiert werden.
  1555. 57:11Also, es gibt's ja immer wieder in der
  1556. 57:13Wissenschaft, das es heißt, das kann gar
  1557. 57:15nicht funktionieren oder das ist absurd.
  1558. 57:18Und wenn wir jetzt an Halluzination
  1559. 57:19denken, darüber hast du gesprochen,
  1560. 57:21meinst du es kann sein mit dem, wenn wir
  1561. 57:22nur auf das aktuelle Paradigma schauen,
  1562. 57:24dass es solche völlig neuen Ideen schon
  1563. 57:26gab, aber man sie einfach aufgrund von
  1564. 57:29Absurdität als Halluzination gelöscht
  1565. 57:31hat, weil man weil sie außerhalb des
  1566. 57:33menschlichen Denkraums liegen oder ist
  1567. 57:35das inherent gar nicht möglich mit
  1568. 57:37aktuellen ähm LMs, dass sie wirklich
  1569. 57:39transformativ völlig neue Ideen haben?
  1570. 57:42Also ich glaube, eine absolute Antwort
  1571. 57:43auf die Frage kann ich nicht geben. Ich
  1572. 57:45kann aber sagen, dass
  1573. 57:47mein mein vorheriger Praktikumsmentor,
  1574. 57:50als ich bei Google De mein war, Tom
  1575. 57:52Zahi, hat letztens ein Positionspapier
  1576. 57:54geschrieben, das nennt sich LLMs can't
  1577. 57:56Job, wo er sich quasi auch genau diese
  1578. 57:58diese Fragen in fünf Stückchen anguckt
  1579. 58:00und er halt auch argumentiert, dass sehr
  1580. 58:02wichtig ist, um ja äh gewisse Ideen und
  1581. 58:05Hypothesen zu anlocken. Äh, es ist quasi
  1582. 58:09dem Modellen die Möglichkeit zu geben,
  1583. 58:11mit der äh realen Welt zu interagieren,
  1584. 58:13also quasi in die Richtung Robotik zu
  1585. 58:15gehen, in die Richtung äh ja tatsächlich
  1586. 58:18autonom auch ähm Experimente laufen zu
  1587. 58:20lassen im wahren Leben. Und ich glaube,
  1588. 58:23dass das auch ein Teil sein wird. Also,
  1589. 58:26man wird nicht in der Lage sein, äh nur
  1590. 58:29Experimente äh auf dem Computer laufen
  1591. 58:31zu lassen, sondern man wirkt irgendwie
  1592. 58:32die Schnittstelle zu den äh zu zu dem
  1593. 58:35realen Labor herstellen müssen. Und da
  1594. 58:37gibt's bereits in Amerika Periodic Labs,
  1595. 58:40Lila Sciences, also es gibt schon sehr
  1596. 58:42gut ausgestattete Startups auch, die
  1597. 58:44quasi in diese Richtung gehen und ich
  1598. 58:46glaube, das wird Teil davon äh sein, um
  1599. 58:48quasi wirklich grundlegende äh Gesetze
  1600. 58:51in der Natur entdecken zu können. Die
  1601. 58:54andere Sache, die du ähm schon gefragt
  1602. 58:57hattest und angesprochen hast, ähm ist
  1603. 58:59quasi die der Fahtabhängigkeit in der
  1604. 59:02Wissenschaft. Also ist es eventuell so,
  1605. 59:04dass ähm sich manche Ideen ja
  1606. 59:08durchgesetzt haben und dann immer mehr
  1607. 59:10Ressourcen in diese Ideen auch geflossen
  1608. 59:12sind und man deshalb ähm ja gar nicht
  1609. 59:15mehr so einfach zurückgehen kann und
  1610. 59:17sich vorherige Ideen angucken kann, weil
  1611. 59:19einfach äh sich alles schon auf eine
  1612. 59:21Sache zugespitzt hat. Also ein Beispiel
  1613. 59:23dafür ist z.B. wie der Transformer, also
  1614. 59:25die Transformer Architektur. Hardware
  1615. 59:27ist mittlerweile komplett um den
  1616. 59:29Transformer und quasi um die Bottle
  1617. 59:31Nexts der Transformer Architektur herum
  1618. 59:34ähm gestaltet und andere Architekturen,
  1619. 59:37die eventuell bessere Fähigkeiten oder
  1620. 59:39bessere Generalisierungsfähigkeiten,
  1621. 59:41bessere Dateneffizienz haben, ähm die
  1622. 59:44werden einfach nicht wiederbelebt werden
  1623. 59:45können, weil sich die Hardware sich
  1624. 59:47schon so auf diese eine Architektur
  1625. 59:49spezialisiert hat und es äh einfach von
  1626. 59:52der ähm ja, vom Kapital und von der
  1627. 59:54Investition sehr schwer
  1628. 59:57dazu kommen wird, dass Google, Nvidia
  1629. 1:00:00und so weiter jetzt in was komplett
  1630. 1:00:02anderes reininestieren. Also, ich glaube
  1631. 1:00:04ein paar Ideen ja, die die
  1632. 1:00:06Wahrscheinlichkeit ist auf jeden Fall
  1633. 1:00:07sehr gering, aber wenn das Problem groß
  1634. 1:00:10genug ist und die Investition in
  1635. 1:00:12Anführungstrichen rechtfertigen könnte,
  1636. 1:00:14dann dann habe ich Hoffnung in die
  1637. 1:00:16Menschheit, dass man auch noch quasi
  1638. 1:00:18andere Phade lang lang wandern kann.
  1639. 1:00:21Ja, absolut. Eine Sache, die mich im
  1640. 1:00:23Hinblick auf diese ganze AI Scientist,
  1641. 1:00:25Schinker Evol und so weiter Thematik
  1642. 1:00:26interessiert, ich weiß es nicht dein
  1643. 1:00:28Fokusgebiet, aber da wir hier in
  1644. 1:00:29Deutschland sind, stellen sich natürlich
  1645. 1:00:31immer rechtliche Fragen auch dabei. Und
  1646. 1:00:33mich interessiert vor allem die Frage,
  1647. 1:00:34wem gehört dann die Idee? Also
  1648. 1:00:36angenommen, ein KI System hat
  1649. 1:00:38vollautonom
  1650. 1:00:40bahnbrechende Idee gehabt, ein
  1651. 1:00:41Algorithmus, physikalische Theorie,
  1652. 1:00:43Medikament. Wem gehört das dann? Also
  1653. 1:00:45gehört es Sakana beispielsweise, der
  1654. 1:00:48Besitzer der GPUs Nvidia könnte
  1655. 1:00:49womöglich argumentieren, dass ohne ohne
  1656. 1:00:53deren Infrastruktur es gar nicht möglich
  1657. 1:00:54gewesen wäre, wenn sie angemietet ist
  1658. 1:00:56beispielsweise, kannst du dazu was sagen
  1659. 1:00:58oder hast du da Gedanken dazu, ob sich
  1660. 1:01:00da vielleicht auch die Regulatorik
  1661. 1:01:01weiterentwickeln muss? Ähm wenn wirklich
  1662. 1:01:03KI vollautonom ohne menschliches Zutun
  1663. 1:01:05ähm solche eigenen Forschungsdurchbrüche
  1664. 1:01:08erzielt? Okay, also ähm ich würde hoffen
  1665. 1:01:11im ersten Moment, dass es der
  1666. 1:01:14ähm der Gesellschaft gehört, also dass
  1667. 1:01:16es demokratisch in Anführungsstrichen
  1668. 1:01:18allem zugute kommen kann. Ähm,
  1669. 1:01:21es ist glaube ich eine sehr schwierige
  1670. 1:01:22Frage. Ähm,
  1671. 1:01:25ich glaube
  1672. 1:01:26äh, viele von den Daten, die genutzt
  1673. 1:01:28werden, um quasi diesen Sprachmodell zu
  1674. 1:01:30trainieren, sind ja Daten, die in
  1675. 1:01:32vielstüchen kostenlos oder umsonst der
  1676. 1:01:34Menschheit ähm ja genommen oder äh
  1677. 1:01:38benutzt worden sind. ähm und wie man
  1678. 1:01:40dort am besten quasi äh umverteilt am
  1679. 1:01:43Ende des Tages ist, glaube ich, eine, wo
  1680. 1:01:45ich gar nicht so der Experte bin. Ich
  1681. 1:01:48ich würde nur hoffen am Ende des Tages,
  1682. 1:01:49dass ähm ja die Gesellschaft
  1683. 1:01:51gesamtheitlich ähm davon profitiert und
  1684. 1:01:55ähm wie viele Probleme, die ähm vor KI
  1685. 1:01:58noch quasi außerhalb unseres
  1686. 1:02:02ähm Lösungsrahmens gewesen sind, damit
  1687. 1:02:04damit lösen können und ähm ja, alle
  1688. 1:02:06davon profitieren. Auf wissenschaftlich
  1689. 1:02:09bezogen selber ähm glaube ich äh das
  1690. 1:02:12hatte ich schon mal angesprochen, so
  1691. 1:02:13metaphilosophisch. Ähm, wenn man sich
  1692. 1:02:16überlegt, wie unser aktuelles
  1693. 1:02:18Wissenschaftssystem läuft, ähm hat das
  1694. 1:02:21sehr viel mit Ego zu tun und sehr viel
  1695. 1:02:22damit, wer hat am meisten Zitationen,
  1696. 1:02:25wer wird Professor und es gibt quasi
  1697. 1:02:27diesen diesen Genie Kulult, ja,
  1698. 1:02:30der das Anreitssystem generiert, dass äh
  1699. 1:02:33Leute sehr, sehr hart an der
  1700. 1:02:35Wissenschaft arbeiten. Und wenn es jetzt
  1701. 1:02:38dazu kommt, dass KI sehr sehr viel davon
  1702. 1:02:40automatisieren kann und wird, dann
  1703. 1:02:43werden glaube ich viele Leute sich
  1704. 1:02:44fragen müssen, okay, warum warum
  1705. 1:02:46betreiben Sie Wissenschaft? So betreiben
  1706. 1:02:48sie das, weil sie wirklich Interesse
  1707. 1:02:49daran haben, fundamentale Probleme und
  1708. 1:02:52Fragen in unserem Universum zu
  1709. 1:02:54beantworten oder äh betreiben Sie das,
  1710. 1:02:56weil es in Anführungsstrichen
  1711. 1:02:58ähm ja ihrem Ego gut tut. So, und ich
  1712. 1:03:02glaube, wir als Gesellschaft stehen
  1713. 1:03:04nicht nur in der Wissenschaft vor diesen
  1714. 1:03:06Fragen, sondern ähm generell ähm davor
  1715. 1:03:09und wir müssen uns sehr viel mehr
  1716. 1:03:11darüber äh klar werden, was quasi uns in
  1717. 1:03:13unserem Leben Meing und Freude bereitet.
  1718. 1:03:17Aber ich bin relativ positiv gestimmt.
  1719. 1:03:19Ähm ja, weil ich auf jeden Fall für mich
  1720. 1:03:22sein kann, dass ich im letzten Jahr
  1721. 1:03:23sehr, sehr viel mehr Spaß an Arbeit ähm
  1722. 1:03:26gehabt habe als davor, einfach weil es
  1723. 1:03:27viel schneller sich bewegt und man das
  1724. 1:03:29Gefühl hat wirklich äh ja mehr
  1725. 1:03:31Fortschritt in diesem Leben erreichen zu
  1726. 1:03:33können.
  1727. 1:03:33Ja, ich find es auch wirklich schön und
  1728. 1:03:35optimistisch, dass du sagst, solche
  1729. 1:03:36Ergebnisse sollten dann auch der
  1730. 1:03:38gesamten Menschheit zugute kommen und
  1731. 1:03:40offen bereitgestellt werden. Und gerade
  1732. 1:03:42jetzt was worauf ich ganz konkret
  1733. 1:03:45aufmerksam geworden bin auch von euch
  1734. 1:03:46war zur Mythos Ban Situation habt ihr
  1735. 1:03:50Sakana Fugu veröffentlicht, also eine
  1736. 1:03:53Art Modell Routing System, welches auch
  1737. 1:03:55modellagnostisch funktioniert. Das ist
  1738. 1:03:57ja eine große Frage, die sich auch viele
  1739. 1:03:58unserer Kunden, viele Unternehmen auch
  1740. 1:04:00in Deutschland stellen. Also will ich
  1741. 1:04:02mich da wirklich abhängig machen
  1742. 1:04:03langfristig von dem Anbieter? Was ist,
  1743. 1:04:05wenn die Modelle dann gebannt werden?
  1744. 1:04:06mal. Ich habe keinen Zugriff mehr im
  1745. 1:04:08Zweifel oder vielleicht will ich lieber
  1746. 1:04:09auch mit Open Weights Modellen arbeiten
  1747. 1:04:11und mehr Kontrolle darüber haben. Kannst
  1748. 1:04:12du Sakana Fugu noch mal erklären und was
  1749. 1:04:15eure Idee dabei ist?
  1750. 1:04:16Ja, klar. Ich glaube, du hast das schon
  1751. 1:04:18sehr gut zusammengefasst. Ähm Sakana
  1752. 1:04:21Fugu ist ähm kein traditionelles
  1753. 1:04:24Sprachmodell in dem Sinne. Es ist kein
  1754. 1:04:26einzelnes großes Trillonen oder schweres
  1755. 1:04:30Modell, sondern es ist ein ein Routing
  1756. 1:04:32System. Das heißt, äh wenn du als Nurser
  1757. 1:04:35eine Anfrage stellst, ähm dann geht
  1758. 1:04:37quasi deine Anfrage durch den Fugu
  1759. 1:04:39Router und Fugu leitet das dann weiter
  1760. 1:04:42an eins der anderen Sprachmodelle. Das
  1761. 1:04:44könnte Gemini sein, das könnte Cloud
  1762. 1:04:47sein, das könnte Chat GPT oder GPT
  1763. 1:04:49Modelle sein. Ähm und dieser das
  1764. 1:04:52Routermodell ist quasi trainierend dafür
  1765. 1:04:55ähm deine Anfrage optimal entweder zu
  1766. 1:04:58reformulieren oder und an eins dieser
  1767. 1:05:00Modelle zu leiten und ähm ist dabei
  1768. 1:05:04quasi äh nicht abhängig von einem
  1769. 1:05:06einzelnen Sprachmodell. Das heißt, wie
  1770. 1:05:08du gesagt hast, als jetzt das Department
  1771. 1:05:10of War die Situation mit mit dem Fable 5
  1772. 1:05:12Modell gewesen ist, wo ein Shopic das
  1773. 1:05:13Modell hat abschalten müsste für eine
  1774. 1:05:15gewisse Zeit, ähm ist es nicht so, dass
  1775. 1:05:17dadurch der Fug Router nicht mehr
  1776. 1:05:18funktionieren würde, sondern er könnte
  1777. 1:05:20dann einfach zu einem anderen Modell äh
  1778. 1:05:22routen, was in Anführungstrichen ähm ja
  1779. 1:05:24eine gewisse Souveränität generiert,
  1780. 1:05:26dass man nicht abhängig ist von diesem
  1781. 1:05:28Provider. Was quasi interessant dabei
  1782. 1:05:30ist, ist ähm äh quasi das Modell so
  1783. 1:05:33trainiert ist, dass es quasi weiß
  1784. 1:05:35basierend auf deine Anfrage, wenn du
  1785. 1:05:37z.B. eine Matte Frage stellst, dann
  1786. 1:05:38sollte die eher zu Gemini geroutet
  1787. 1:05:40werden. Aber was noch interessanter ist,
  1788. 1:05:42ist, dass das Modell darauf trainiert
  1789. 1:05:44ist, das nicht nur in einem einzelnen
  1790. 1:05:46Schritt zu machen, also einmal zu dem
  1791. 1:05:47Modell zu routen, sondern es kann auch
  1792. 1:05:49quasi einen kompletten ja Dialog
  1793. 1:05:52zwischen diesen einzelnen Modellen
  1794. 1:05:53Orchestraten und
  1795. 1:05:55dabei Performance auf dem Level von
  1796. 1:05:57Fable Five auf gewissen Benchmarks
  1797. 1:05:59generieren. Und das das ist wirklich
  1798. 1:06:02eine Sache, die quasi auch auf die die
  1799. 1:06:04Philosophie der kollektiven Intelligenz
  1800. 1:06:06von Sakana AI quasi zurückgeht, nämlich
  1801. 1:06:08dass ja kollektive Intelligenz einem
  1802. 1:06:11auch eine gewisse Robustheit gibt, wenn
  1803. 1:06:13einzelne Modelle ausfallen sollten, aber
  1804. 1:06:14man auch in der Lage ist äh mehr als
  1805. 1:06:17quasi nur das Maximum der Eisel Modelle
  1806. 1:06:19rauszubekommen, indem man quasi ja sie
  1807. 1:06:21miteinander verbindet.
  1808. 1:06:23Ja, absolut. Also das kann ich auch nur
  1809. 1:06:24bestätigen. Also wir haben teilweise
  1810. 1:06:26sind natürlich viel einfachere Use
  1811. 1:06:27Casases als als du jetzt hast, aber wenn
  1812. 1:06:29wir z.B. die Datenbankentscheidung bei
  1813. 1:06:31uns treffen, dann nutzen wir oft solche
  1814. 1:06:32Model Councels, um erstmal äh die
  1815. 1:06:35Entscheidung kritisch aus verschiedenen
  1816. 1:06:36Blickwinkeln bewerten zu lassen, dann
  1817. 1:06:38ein Sicherheitsranking beispielsweise zu
  1818. 1:06:39machen, ob das wirklich so durchgesetzt
  1819. 1:06:41werden sollte oder nicht. Und dazu habe
  1820. 1:06:43ich noch mal zwei Fragen bezüglich dem
  1821. 1:06:44Routing. Zum einen, was ist da ähm auch
  1822. 1:06:46mit Hinblick auf eurer Arbeit das
  1823. 1:06:48Besondere? Also, was unterscheidet oder
  1824. 1:06:50was macht euren ähm Router ähm besser?
  1825. 1:06:53du hast ja schon gesagt, er erkennt dann
  1826. 1:06:55beispielsweise, welche Artanfrage ist es
  1827. 1:06:56und hat dann irgendeine Art von
  1828. 1:06:58Bewertungsmechanismus, welches Modell
  1829. 1:07:00ist denn jetzt das Beste für diese
  1830. 1:07:02Anfrage? Und ähm das zweite Thema, da du
  1831. 1:07:04ja selbst auch operativ ähm tief
  1832. 1:07:07involviert bist, ähm AI Researching
  1833. 1:07:09betreibst, programmierst etc.
  1834. 1:07:11Interessiert mich natürlich auch da
  1835. 1:07:12vielleicht ein Einblick in deine ganz
  1836. 1:07:13persönliche Arbeitsweise.
  1837. 1:07:15Ja, sehr gerne. Ähm, also darauf
  1838. 1:07:18zurückkommt, was Fugu eigentlich ist und
  1839. 1:07:20was der Unterschied von Fugu zu anderen
  1840. 1:07:22Systemen ist. Ähm, Fugu äh ist quasi am
  1841. 1:07:25Ende des Tages ähm stellt man Anfragen
  1842. 1:07:28Fugu, genauso wie man einem einzelnen
  1843. 1:07:30ähm Modell eine Anfrage stellen würde
  1844. 1:07:32über einen API Call z.B. und Fugu ist
  1845. 1:07:36quasi davor geschaltet und führt dieses
  1846. 1:07:38Routing dann aus und leidet dann im
  1847. 1:07:40Hintergrund diese Anfragen weiter. Im
  1848. 1:07:42Vergleich zu anderen Systemen wie z.B.
  1849. 1:07:44Open Router Fusion haben wir einen
  1850. 1:07:46anderen Ansatz, so Open Router Fusion
  1851. 1:07:49mehrere Modelle gleichzeitig quasi
  1852. 1:07:50anfragt und dann am Ende eine Antwort
  1853. 1:07:53zusammensetzt. Fugu hingegen schickt
  1854. 1:07:55quasi erst diese Anfrage durch das Fugu
  1855. 1:07:57eigene Modell und leitet es dann zu
  1856. 1:08:00einem weiter, generiert die Antwort und
  1857. 1:08:02eventuell dann sogar noch über über
  1858. 1:08:05multiple terms zu anderen Modellen, um
  1859. 1:08:07am Ende quasi eine eine Antwort zu
  1860. 1:08:09bekommen. Also es ist nicht so, dass wir
  1861. 1:08:11quasi parallel uns Antworten von diesen
  1862. 1:08:13Modellen generieren lassen, die dann
  1863. 1:08:15synthetisieren in eine, sondern das ist
  1864. 1:08:16mehr sequentiell und durch die
  1865. 1:08:18unterschiedlichen Modelle durch. Ähm,
  1866. 1:08:20was das Modell äh besser macht oder gut
  1867. 1:08:23macht, ist ähm quasi ja viele Details,
  1868. 1:08:26die in die Trainings ähm äh Architektur,
  1869. 1:08:29aber auch ins Trainingsprocedure
  1870. 1:08:30reingehen, wo wir quasi dieses Modell
  1871. 1:08:32ähm ähm ja dafür spezialisieren, mit
  1872. 1:08:36verschiedenen Grundmodellen
  1873. 1:08:37zusammenzuarbeiten und äh zu
  1874. 1:08:39generalisieren auf andere Anfragen und
  1875. 1:08:41dadurch halt generally äh zu werden. Ähm
  1876. 1:08:46ja und ich glaube, was mich am meisten
  1877. 1:08:48an Fuge freut, ist, dass es quasi eine
  1878. 1:08:51neue Art von Produkt in
  1879. 1:08:52Anführungstrichen darstellt. Also häufig
  1880. 1:08:54reden reden wir ja darüber, ob ein Model
  1881. 1:08:57Provider in Anführungstrichen den
  1882. 1:08:58gesamten Kuchen essen wird, also auch
  1883. 1:09:00die ganzen Startups irgendwann mal ähm
  1884. 1:09:02wegessen wird, ja oder nein. Äh aber ich
  1885. 1:09:04glaube, was Fugu zeigt, dass das noch
  1886. 1:09:05sehr sehr viel Spielraum und Kreativität
  1887. 1:09:07da ist, quasi auf dem Layer zwischen
  1888. 1:09:10zwischen dem Modell und der Endanwendung
  1889. 1:09:13zu sitzen. Und man kann Fugu genauso gut
  1890. 1:09:17in Codex oder in Cloud Code, also quasi
  1891. 1:09:19diesen Harnesses, benutzen, wo dann am
  1892. 1:09:22Ende die Anfrage einfach nur über das
  1893. 1:09:23Fugommodell bearbeitet wird,
  1894. 1:09:25zurückgesendet wird und dann von dem
  1895. 1:09:26Hannes weiter executed wird.
  1896. 1:09:29Und äh abschließend zu deiner Frage, wie
  1897. 1:09:31mein Tagesablauf äh aussieht oder meine
  1898. 1:09:33Arbeitsweise, ich hätte glaube ich schon
  1899. 1:09:35angesprochen, das jetzt vor ja, ich
  1900. 1:09:38glaube im Oktober letzten Jahres ähm
  1901. 1:09:41sich sehr sehr viel quasi dort verändert
  1902. 1:09:43hat. Also im Sinne von das mit äh Opus
  1903. 1:09:45äh 4.7, 4.8 und äh GPT 5.2 äh sind diese
  1904. 1:09:50Modelle quasi wirklich in die Lage
  1905. 1:09:52gebracht worden, lange ähm autonome
  1906. 1:09:55Aufgaben zu zu lösen. Und mein
  1907. 1:09:58Arbeitsalltag sieht quasi so aus, dass
  1908. 1:10:00ich ähm ja Manager von vielen
  1909. 1:10:02verschiedenen Codingagenten bin, die
  1910. 1:10:04nicht nur programmieren, sondern auch
  1911. 1:10:06quasi sich in andere Maschinen
  1912. 1:10:09einloggen, Experimente starten, die
  1913. 1:10:11monitoren und ähm ich arbeite quasi ja
  1914. 1:10:14viel mit mit Codex selber, was mir dann
  1915. 1:10:17andere Hnesses schreibt. Also es ist so,
  1916. 1:10:19es gibt ja viel jetzt so diese Begriffe
  1917. 1:10:21der Agentic Loops, es gibt jetzt auch
  1918. 1:10:25Graphs und quasi diese Ideen, wie man
  1919. 1:10:28mehr und mehr quasi
  1920. 1:10:30Autonomie auslangern kann und äh ja, ich
  1921. 1:10:34benutze quasi
  1922. 1:10:36Scientist Approaches, ähm Auto Research
  1923. 1:10:39Approaches, um halt wirklich, wie am
  1924. 1:10:41Anfang auch schon beschrieben, äh viele
  1925. 1:10:43Ideen gleichzeitig ähm ja analysieren
  1926. 1:10:45oder testen zu können und die dann zu
  1927. 1:10:47synthetisieren.
  1928. 1:10:48ähm aber immer auch mit quasi einem
  1929. 1:10:50Fokus auf diesen diesen Metaaspekt, also
  1930. 1:10:53wie man in Anführungsstrichen nicht nur
  1931. 1:10:54das für eine äh Lösung ein Problem
  1932. 1:10:57schaffen kann, sondern ja einen
  1933. 1:10:59generellen ähm Ansatz finden kann.
  1934. 1:11:02Ja, absolut. Also ich bin mir sicher,
  1935. 1:11:03dass es für viele Zuschauer da draußen
  1936. 1:11:05sehr interessant, deswegen schreibt das
  1937. 1:11:06gerne in die Kommentare, ob euch ein
  1938. 1:11:07zweiter Teil mit Robert interessieren
  1939. 1:11:09würde, welche Fragen ihr dazu noch habt.
  1940. 1:11:11Also mich fasziniert das ganze Thema
  1941. 1:11:13Evolution in KI System ungemein.
  1942. 1:11:15Deswegen Robert, vielen Dank, dass du
  1943. 1:11:16uns hier diesen Überblick in deiner
  1944. 1:11:18Arbeit bei Sakana und ganz allgemein
  1945. 1:11:20natürlich in dieses Themenfeld auch der
  1946. 1:11:21rekursiven Selbstverbesserung äh geboten
  1947. 1:11:24hast. Und äh vielleicht abschließend nur
  1948. 1:11:26noch eine letzte Sache bezüglich deinem
  1949. 1:11:28Ausblick. Was sind so die nächsten
  1950. 1:11:30Durchbrüche, die du siehst, mit denen du
  1951. 1:11:33rechnest, an denen du arbeitest? Also
  1952. 1:11:35was sind so paar abschließende
  1953. 1:11:37Prognosen, die du vielleicht noch mal
  1954. 1:11:39für die Weiterentwicklung ähm der
  1955. 1:11:41Evolution in KI System hast und ähm wie
  1956. 1:11:44wie die Reise letztlich jetzt auch bei
  1957. 1:11:46euch weitergeht.
  1958. 1:11:47Das erstmal Leo, vielen vielen Dank für
  1959. 1:11:48deine Fragen. Also, mir hat auch sehr
  1960. 1:11:50sehr viel Spaß gemacht. Ähm auf ähm die
  1961. 1:11:53letzte Frage eingehend, ich glaube
  1962. 1:11:55wirklich, dass das Kernproblem ist, wie
  1963. 1:11:57man diesen Modellen am Ende des Tages
  1964. 1:11:59mehr Kreativität gibt, damit sie
  1965. 1:12:00effizienter werden, Hypothesen zu
  1966. 1:12:02testen. Und daran arbeite ich momentan
  1967. 1:12:04weiter. Und ähm ich würde hoffen, dass
  1968. 1:12:08wir bald an dem Punkt sind, wo wir diese
  1969. 1:12:10Systeme wirklich enorm skalieren können
  1970. 1:12:12und enorm viel diverse Forschung
  1971. 1:12:15gleichzeitig parallel quasi angehen
  1972. 1:12:18können und Systeme schaffen, wo man fast
  1973. 1:12:21so eine Art Research Community, die
  1974. 1:12:23komplett agentenbasiert ist, hat wo man
  1975. 1:12:25halt wirklich ja Geld ähm Server äh GPUs
  1976. 1:12:29und API Küsten quasi verbindet, um äh
  1977. 1:12:32große menschliche Probleme zu lösen, die
  1978. 1:12:34ähm
  1979. 1:12:35ja, die kollektive Intelligenz ähm
  1980. 1:12:38erfordern und quasi viel von meiner
  1981. 1:12:41vorherigen Forschung auch FU, an dem ich
  1982. 1:12:43nicht selber mit direkt gearbeitet habe,
  1983. 1:12:45aber zusammenbringen, um quasi kritische
  1984. 1:12:48Probleme in der Gesellschaft zu lösen.
  1985. 1:12:49Und ähm ich bin ehrlich gesagt
  1986. 1:12:52sehr positiv, also ich glaube ähm, dass
  1987. 1:12:55ja Gesellschaft ähm sich adaptieren
  1988. 1:12:58muss. Aber basierend auf der
  1989. 1:13:00Evolutionsgeschichte der Menschheit, bin
  1990. 1:13:01ich auch sehr hoffnungsvoll, dass wir es
  1991. 1:13:03schaffen werden und m es quasi neues
  1992. 1:13:06Zeitalter ähm hervorrufen wird, wo wo
  1993. 1:13:09man wirklich sich fragen kann, okay, was
  1994. 1:13:11was macht mich im Leben glücklich und
  1995. 1:13:13wie kann ich ja alle meine Ressourcen da
  1996. 1:13:16reinstecken und zusammen mit KI quasi
  1997. 1:13:17diese Probleme lösen oder tackeln? sehr
  1998. 1:13:20erfrischende Denkweise, also kann ich
  1999. 1:13:21ihn unterstützen und freut mich sehr.
  2000. 1:13:23Deswegen lasst es uns jetzt in den
  2001. 1:13:24Kommentaren wissen, wenn den zweiten
  2002. 1:13:25Teil sehen wollt und Robert bis
  2003. 1:13:27jederzeit wieder herzlich eingeladen.
  2004. 1:13:28Vielen Dank. Weiterin viel Erfolg mit
  2005. 1:13:30Sakana und auch persönlich und gern bis
  2006. 1:13:32zum nächsten Mal. Danke.

About this transcript

This page contains the full transcript of Es beginnt: KI verbessert sich SELBST! DAS passiert jetzt wirklich (Sakana AI, Robert Lange) by Everlast AI, generated from the public captions YouTube serves with the video. The transcript has 11,898 words across 2,006 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.