YouTube2Text

ETH-Forscher: „SO schreibst du die perfekte CLAUDE.md!" Das zeigen die Daten (Dr. Mark Müller) — Transcript

by Everlast AI Clips · 3,347 words · 573 segments · language de · Watch on YouTube

Full transcript

  1. 0:00Hallo Mark, herzlich willkommen auch zum
  2. 0:01Interview und du hast ja an der ETH
  3. 0:04Zürich promoviert und warst vorher unter
  4. 0:07anderem jetzt auch bei Porsche und bei
  5. 0:09Mercedes AMG Formel 1 Team. Kannst du
  6. 0:12unseren Zuschauern noch mal ganz kurz
  7. 0:13erklären, mit welchen Themen du dich
  8. 0:15jetzt auch an der ETH im KI-Bereich auch
  9. 0:17beschäftigt hast und ja, was du heute
  10. 0:20mit Logic Star AI machst?
  11. 0:22Ja, hallo Lea, erstmal vielen Dank für
  12. 0:23die Einladung natürlich gerne. An der
  13. 0:25ETH habe ich hauptsächlich an zwei
  14. 0:27Themen geforscht und das erste Thema ist
  15. 0:30die beweisbare Robustheit von neuronalen
  16. 0:32Netzen. Das muss man sich so vorstellen,
  17. 0:34ich habe dort Methoden entwickelt, um
  18. 0:36neuronale Netze mathematisch beweisbar
  19. 0:39robust gegen bösartige Angriffe oder
  20. 0:41Inputs zu machen. Und damals hat die
  21. 0:44Forschung hauptsächlich an mit Bildern
  22. 0:45stattgefunden, z.B. wenn
  23. 0:48Schilderkennungssystem in dem autonom
  24. 0:50fahrenden Auto ein Stoppschild sieht,
  25. 0:52kann ich da einen kleinen Sticker drauf
  26. 0:54kleben und dann hält das Auto das für
  27. 0:56ein 50 km/h Schild und das ist natürlich
  28. 0:57katastrophal. Und ich habe Methoden
  29. 0:59gearbeitet, wie ich Netzwerke trainieren
  30. 1:01kann, die das verhindern und beweisen
  31. 1:03kann, dass das verhindert ist. Und heute
  32. 1:05werden ähnliche Methoden
  33. 1:08für LLMs eingesetzt bzw. im Moment ist
  34. 1:10das noch ein sehr aktives
  35. 1:11Forschungsthema und da ist die Anwendung
  36. 1:14so, ich habe z.B. einen Customer Support
  37. 1:15Agent und jetzt ein Kunde, der will ihn
  38. 1:17überzeugen, 80% Rabatt zu geben oder ein
  39. 1:19Upgrade im Flieger und das ist beides
  40. 1:21sogar tatsächlich schon passiert und
  41. 1:22jetzt als Unternehmen, der sowas
  42. 1:24einsetzt, möchte ich natürlich
  43. 1:24nachweisen können, dass sowas nicht
  44. 1:26passiert. Und das ist die Anwendung von
  45. 1:28diesem ersten Forschungsgebiet. Und das
  46. 1:30zweite Forschungsgebiet sind LLMs für
  47. 1:32Codes oder Code Agents. Und dort haben
  48. 1:34wir den SWT Bench Benchmark entwickelt,
  49. 1:36z.B. Das ist der führende Benchmark, um
  50. 1:39zu testen, wie gut Code Agents oder LLMs
  51. 1:41darin sind, wirklich relevante Tests für
  52. 1:44Software zu schreiben. Und ja, wie du
  53. 1:45schon gesagt hast, ich war kurz bei
  54. 1:47Porsche an der Formel 1 und dort habe
  55. 1:48ich immer wieder gesehen, dass Bugs
  56. 1:51einfach unheimlich viel Zeit brauchen
  57. 1:52und Zeit fressen, selbst mit Top Teams
  58. 1:54und deshalb ist das jetzt genau das
  59. 1:56Problem, was wir bei Logic Star tackeln
  60. 1:58und hier bauen wir was, was wir
  61. 1:59Preventive Maintenance für Code nennen.
  62. 2:00Das heißt, es sind KI-Agenten, die
  63. 2:02autonom Bugs in deiner Codebase finden
  64. 2:05und die damit ganz vielen Signalen
  65. 2:06korrelieren, um rauszufinden, was ist
  66. 2:08wirklich wichtig, sodass du dich auf die
  67. 2:10Sachen konzentrieren kannst und dann die
  68. 2:12fixen. Und wir geben auch noch paar
  69. 2:14Signale dazu, wo genau die Probleme
  70. 2:15herkommen. Ja, super spannend auch
  71. 2:17erstmal. Danke dir hier für den Einblick
  72. 2:20und euer Paper Evaluating Agents MD hat
  73. 2:23gerade auch ziemlich viel Aufmerksamkeit
  74. 2:26bekommen. Unter anderem hatte ja auch
  75. 2:28Theo Brown von T3.gg auch ein ganzes
  76. 2:31YouTube-Video darüber gemacht. Und ja,
  77. 2:33bevor wir in die Ergebnisse auch
  78. 2:36einsteigen, kannst du unseren Zuschauern
  79. 2:38noch mal ganz kurz erklären, was Agents
  80. 2:40MD oder auch Cloud MD Files überhaupt
  81. 2:43sind und ja, warum die gerade auch so
  82. 2:45ein großes Thema in der Entwicklerwelt
  83. 2:47sind. Klar, gerne. Hat uns natürlich
  84. 2:49sehr gefreut, dass wir auf so viel
  85. 2:50Resonanz gestoßen sind mit unserer
  86. 2:51Forschung. Ähm, was sind Agents MD oder
  87. 2:54Cloud MD Files? Muss ich das vorstellen
  88. 2:56wie Anleitungsdateien oder
  89. 2:58Onboarding-Dokumente für KI-Agenten, die
  90. 3:01man in sein Code-Repository macht und
  91. 3:02die dann die Code-Agents lesen, bevor
  92. 3:04sie anfangen, an bestimmten Tasks zu
  93. 3:05arbeiten. Und für Code-Agents ist es
  94. 3:07ganz besonders wichtig, weil im
  95. 3:10Gegensatz zu menschlichen Entwicklern,
  96. 3:12die keine Erfahrung sammeln für sich.
  97. 3:13Das heißt, jeder Task, den sie in einem
  98. 3:15in einer Codebase in einem Repository
  99. 3:17erledigen, ist wie das erste Mal, dass
  100. 3:19sie mit der Codebase arbeiten. Das
  101. 3:20heißt, ein gutes Onboarding-Dokument ist
  102. 3:22unheimlich wichtig, dass sie effektiv
  103. 3:23sind. Und warum ist das jetzt gerade im
  104. 3:26Moment so ein heißes Thema? Weil die
  105. 3:28Erfolgsgeschichten von Code-Agents und
  106. 3:30die enormen Effektivitätsverbesserungen,
  107. 3:32die man damit erreichen kann, jetzt so
  108. 3:34langsam im Mainstream ankommen und die
  109. 3:36auch diese Agenten einfach unglaublich
  110. 3:37gut werden. Z.B. letzte Woche habe ich
  111. 3:40innerhalb von einem Tag ein
  112. 3:42funktionierendes SaaS-Produkt, was ich
  113. 3:43gerne nutzen wollte, aber was nur in
  114. 3:45Close Beta verfügbar war, einfach
  115. 3:46nachgebaut mit Codex und jetzt sucht
  116. 3:50natürlich jeder nach Möglichkeiten, wie
  117. 3:52man diesen Productivity gehen auf den
  118. 3:54eigenen Codebases, auf den eigenen
  119. 3:56Projekten anlocken kann, aber vor uns
  120. 3:59hat sich noch niemand so wirklich
  121. 4:00rigoros angeschaut, was solche Agents in
  122. 4:03die Files effektiv macht.
  123. 4:04Also, das ist noch mal sehr, sehr
  124. 4:05spannend auch zum Hintergrund, um das
  125. 4:08auch wirklich so greifbar zu machen. Ihr
  126. 4:10habt ja die bekanntesten KI-Coding-Tools
  127. 4:13getestet,
  128. 4:14Open AI Codex und QuenCode und geschaut,
  129. 4:17ob sie mit diesen Anleitungsdateien
  130. 4:20bessere oder auch schlechtere Ergebnisse
  131. 4:22liefern und im Schnitt waren die
  132. 4:24Ergebnisse ja auch 3% schlechter und die
  133. 4:27ganze Sache hat sogar 20% mehr gekostet.
  134. 4:30Was sind denn jetzt auch die
  135. 4:31überraschendsten Ergebnisse aus dem
  136. 4:33Paper? Ja, also, ich denke, für mich
  137. 4:36persönlich am überraschendsten war, dass
  138. 4:37es keinen Amortisierungseffekt gibt.
  139. 4:40Häufig hat man irgendwie in der
  140. 4:41Informatik das Paradigma, dass man
  141. 4:44irgendwelche Computation vorneweg macht
  142. 4:47und Preprocessing macht, in dem Fall auf
  143. 4:49dem Repository. Und dass ich genauso
  144. 4:51eine Anleitungsdatei extrahiere
  145. 4:53automatisch, indem ich einfach den
  146. 4:55ganzen Code in der Codebase lese und das
  147. 4:57verarbeite. Und danach hätte man jetzt
  148. 4:59gedacht, dann hätte ich gedacht, bin ich
  149. 5:02effizienter damit mit dem Code zu
  150. 5:03arbeiten. Ich finde die richtigen
  151. 5:04Dateien schneller, ich weiß schon, wo
  152. 5:05alles ist und ich bin danach
  153. 5:06effizienter. Vielleicht nicht unbedingt
  154. 5:08besser, aber zumindest effizienter. Und
  155. 5:10was wir gesehen haben, ist, dass wir
  156. 5:11deutlich weniger effizient sind, 20%
  157. 5:13teurer. Das ist schon ein gewaltiger
  158. 5:15Unterschied.
  159. 5:16Und dann, ob man besser oder schlechter
  160. 5:18wird, das kommt sogar tatsächlich ein
  161. 5:19bisschen drauf an, wo diese Dateien
  162. 5:21herkommen. Und was wir da
  163. 5:23interessanterweise gesehen haben, ist,
  164. 5:25die absolut besten Modelle, also z.B. so
  165. 5:27ein GPT-5.2,
  166. 5:28ist nicht besser darin, solche
  167. 5:30Anleitungsdateien zu schreiben als Quen.
  168. 5:32Und das hat mich auch sehr überrascht.
  169. 5:34Und dann der nächste Punkt, der
  170. 5:35überraschend war, dass Agents diesen
  171. 5:37Anweisungen Folge leisten, ist überhaupt
  172. 5:39nicht das Problem. Das hatte ich davor
  173. 5:40gedacht, dass vielleicht einer der
  174. 5:41Strickfehler, die das Ganze verhindern
  175. 5:43könnten, das funktioniert. Aber wir
  176. 5:44haben gesehen, die folgen diesen
  177. 5:46Anweisungen zu gut. Normalerweise stehen
  178. 5:48in Anweisungsdateien unnötige Schritte
  179. 5:49drin, die für ein spezielles Problem
  180. 5:51irrelevant sind und die sorgen dann
  181. 5:53genau dafür, dass wir so ineffizient
  182. 5:54werden. Und das hat es nicht so ganz ins
  183. 5:57Paper geschafft, aber es ist noch eine
  184. 5:58kleine Hintergrundinformation.
  185. 6:00Ursprünglich hatten wir eigentlich
  186. 6:02versucht, verschiedene Methoden zu
  187. 6:04evaluieren, die in der Literatur
  188. 6:05vorgeschlagen werden, um was Besseres zu
  189. 6:08machen als Agents in MD Files, so Memory
  190. 6:10Systeme und Pläne, die spezifisch für
  191. 6:12einzelne Probleme designt werden. Und
  192. 6:15wir haben ganz viele von
  193. 6:19Wir konnten für keine eine statistisch
  194. 6:21signifikante Verbesserung in der
  195. 6:22Performance feststellen und so sind wir
  196. 6:25dann überhaupt zu den Agents in MD Files
  197. 6:26gekommen, weil wir gedacht haben, die
  198. 6:28müssen aber wirklich helfen und wie wir
  199. 6:30gesehen haben, helfen selbst die nicht
  200. 6:31wirklich. Ja, noch mal ein sehr, sehr
  201. 6:33spannender Hintergrund auch und ja, so
  202. 6:35eine Schlussfolgerung wäre ja auch, dass
  203. 6:37Modelle ja selbst gut darin sind, Infos
  204. 6:40zu finden in Dateien, Ordnerstrukturen
  205. 6:42und so weiter. Also, die Agents in MD
  206. 6:45wiederholt oft nur, was der Agent ja
  207. 6:46sowieso schon findet. Also, wenn die
  208. 6:49Info schon im Code liegt, braucht der
  209. 6:51Agent sie nicht noch mal als Anleitung.
  210. 6:53Siehst du das genauso? Ja, das ist ganz
  211. 6:55genau die die richtige Intuition und wir
  212. 6:58haben das sogar tatsächlich
  213. 6:59nachgewiesen, sozusagen. Wir haben
  214. 7:01nämlich erst die Agents in MD Files noch
  215. 7:03mal generiert mit dem gesamten
  216. 7:04Repository
  217. 7:05und dann haben wir Readme und
  218. 7:07Contributing Dateien und sich anderen
  219. 7:09Schlüsseldateien, die menschliche
  220. 7:10Entwickler zum Onboarding verwenden,
  221. 7:11entfernt aus dem Repo. Und jetzt in
  222. 7:13diesem Szenario waren die Agents in MD
  223. 7:16Dateien wiederum sehr hilfreich, was
  224. 7:17natürlich auch Sinn macht, weil jetzt
  225. 7:19konnte der Agent die gleichen
  226. 7:20Informationen nicht einfach woanders
  227. 7:21finden. Und das sehen wir einfach hier,
  228. 7:24wenn wir ein Agents in MD haben, was nur
  229. 7:26Informationen wiederholt, die schon im
  230. 7:27Repo sind, dann sparen wir es uns
  231. 7:29lieber. Und das betrifft alle Agents in
  232. 7:31MD Files, die automatisch generiert
  233. 7:33werden, weil irgendwo muss das Wissen ja
  234. 7:34herkommen. Aber was hilfreich sein kann
  235. 7:37und was wir auch in unserem Paper
  236. 7:38gezeigt haben, ist, dass, wenn ich als
  237. 7:40Entwickler besonders vorsichtig so eine
  238. 7:43Agent MD File kuratiere und z.B.
  239. 7:45Fehlerfälle, die ein Agent erlitten hat,
  240. 7:47dort reinschreibe und sage, ah, das
  241. 7:49musst du das nächste Mal so und so
  242. 7:50machen, das kann wiederum die
  243. 7:51Performance verbessern, auch wenn es
  244. 7:53immer noch im Schnitt teurer ist als
  245. 7:55keine Agent File zu verwenden.
  246. 7:57Ja, auch unsere Entwickler bei Everlast
  247. 7:59AI beobachten auch selber, dass sie bei
  248. 8:01jedem Modellupdate auch weniger
  249. 8:03Instruktionen da brauchen, da die
  250. 8:05Modelle von alleine auch besser werden.
  251. 8:07Glaubt ihr, dass klassisches Prompting
  252. 8:09und auch Kontextfiles irgendwann dann
  253. 8:11auch komplett überflüssig werden? Ist
  254. 8:14eine eine spannende Frage. Also, in
  255. 8:15unserem Paper haben wir selbst mit
  256. 8:16relativ kleinen Modellen
  257. 8:18die gleichen Effekte gesehen. Ähm, aber
  258. 8:20ich denke auf jeden Fall, dass wir mit
  259. 8:22moderneren Agents weniger solche
  260. 8:24Kontextfiles brauchen. Dieses implizite
  261. 8:26Wissen, was man nicht aus der Codebase
  262. 8:28nehmen kann, das wird aber denke ich
  263. 8:29immer noch irgendwo encoded werden
  264. 8:31müssen. Und wenn es ums Prompting geht,
  265. 8:34da kommt es jetzt drauf an, was man im
  266. 8:36Prompting im Begriffen sieht. Ich muss
  267. 8:38dem Agenten natürlich irgendwie
  268. 8:39mitteilen, was ist seine Aufgabe. Ähm,
  269. 8:43und
  270. 8:44da komme ich nicht drum rum. Aber da
  271. 8:46komme ich später noch drauf zu sprechen
  272. 8:48mit dem, was wir bei Lotex da machen. Da
  273. 8:49versuchen wir, diesen Teil auf einen
  274. 8:51gewissen Grad zu automatisieren, sodass
  275. 8:53man das als Mensch nicht mehr selber
  276. 8:54machen muss. Ja, okay, da bin ich sehr
  277. 8:56gespannt. Und ja, die Zuschauer wird
  278. 8:58dazu jetzt bestimmt auch noch mal
  279. 8:59interessieren, was soll man denn da
  280. 9:01jetzt machen? Also, ihr habt ja auch
  281. 9:03herausgefunden, dass es da wirklich so
  282. 9:05einen Unterschied macht, wer diese Datei
  283. 9:07schreibt. Also, wenn Mensch sie
  284. 9:08schreibt, dann werden die Ergebnisse im
  285. 9:10Schnitt 4 % besser. Wenn die KI sie
  286. 9:12selbst generiert, werden die Ergebnisse
  287. 9:14auch schlechter. Heißt es jetzt,
  288. 9:16Anleitungsdatei ja, aber bitte selber
  289. 9:18schreiben und kurz halten, oder sollte
  290. 9:21man sie da am besten ganz weglassen?
  291. 9:23Für mich persönlich ist
  292. 9:25Schlussfolgerung, Anleitungsdatei gerne,
  293. 9:27aber auf jeden Fall selber geschrieben,
  294. 9:28kurz gehalten und ähm, rigoros
  295. 9:31kuratieren. Alles, was useless ist,
  296. 9:33alles, was duplicate ist, muss da raus.
  297. 9:36Und ich denke,
  298. 9:38wenn man extrem kostensensitiv ist und
  299. 9:40z.B.
  300. 9:41Cloud über API Keys verwendet, dann kann
  301. 9:43man natürlich schauen, ist es mir die
  302. 9:45extra Performance den 20 % Kosten Chris
  303. 9:48wert? Wenn man allerdings sowieso z.B.
  304. 9:50eine Subscription hat, dann ist der
  305. 9:52Kosten Chris natürlich komplett
  306. 9:53geschluckt und das spielt kaum eine
  307. 9:55Rolle. Ich denke, was zusätzlich noch
  308. 9:57interessant ist und z.B. was wir bei
  309. 9:59LogiCS da machen ist, wir verwenden
  310. 10:00sogenannte Static Analysis, die die
  311. 10:03gesamte Codebase analysiert
  312. 10:06welche Teile der Codebase miteinander
  313. 10:07verknüpft sind und so können wir dem
  314. 10:09Agenten immer für den Code, in dem er
  315. 10:11gerade arbeitet, genau die richtige
  316. 10:13relevante Information zur Verfügung
  317. 10:14stellen, was dann wiederum effizienter
  318. 10:16ist, als wenn der Agent diese sie selber
  319. 10:17suchen muss. Das heißt, vielleicht sehen
  320. 10:19wir auch in der Zukunft so einen Trend
  321. 10:20zu solchen Systemen, die dynamische,
  322. 10:23clevere, Problem-gebundene Agents in
  323. 10:25dieser produzieren. Ja, das ist auf
  324. 10:27jeden Fall dann auch extrem hilfreich
  325. 10:29und ja, jetzt zu dem, was ihr auch bei
  326. 10:31LogiCS Start eigentlich baut. Also, ihr
  327. 10:33nennt es ja Preventive Maintenance Code.
  328. 10:36Eure KI durchsucht also eine Codebase
  329. 10:39kontinuierlich auch nach Fehlern, aber
  330. 10:41anstatt einfach eine endlose Liste
  331. 10:43auszuspucken, priorisiert ihr sie,
  332. 10:46welche Bugs wirklich auch kritisch sind.
  333. 10:48Also, dafür korreliert sie mit den
  334. 10:51Produktionssignalen und historischen
  335. 10:53Kundenbeschwerden.
  336. 10:55Kannst du das mal ja an einem konkreten
  337. 10:56Beispiel auch erklären? Wie sieht es
  338. 10:58dann auch in der Praxis aus, wenn ja ein
  339. 11:01Team LogiCS Start einsetzt?
  340. 11:03Gerne. Also, erstmal klingt das
  341. 11:05vielleicht so wie ein Bugscanner, aber
  342. 11:06das sind wir definitiv nicht. Die
  343. 11:08meisten Teams haben schon
  344. 11:09verschiedene Scanner und das Problem ist
  345. 11:11meistens, es gibt hunderte Warnungen und
  346. 11:13die muss ich dann irgendwie anschauen
  347. 11:14und niemand weiß so richtig, was lohnt
  348. 11:16sich tatsächlich zu fixen. Das heißt,
  349. 11:18wenn ihr LogiCS Start verwendet, sieht
  350. 11:19das Ganze so aus. Erst onboardet ihr es,
  351. 11:21ihr installiert unsere App, ihr
  352. 11:22verbindet sie mit den ganzen anderen
  353. 11:23Signalen, Codebase, Slack, Observability
  354. 11:26Plattformen wie Sentry und vielleicht
  355. 11:29auch ein Project Management System wie
  356. 11:30Jira und dann bekommt ihr jeden Tag die
  357. 11:33ein bis drei wichtigsten Bugs, die ihr
  358. 11:35heute fixen solltet für euren Business
  359. 11:37Case, der für eure Kunden am wichtigsten
  360. 11:39ist. Und wie das z.B. aussehen könnte,
  361. 11:41wenn ihr in einem mittelgroßen
  362. 11:43SaaS-Unternehmen seid oder selber eins
  363. 11:44leitet, dann kommt ihr vielleicht
  364. 11:46Montagmorgen ins Büro und ihr habt 60
  365. 11:48verschiedene Findings von Sonar, äh, die
  366. 11:50Static Analyse machen, es gibt 15 neue
  367. 11:52Sentry Issues, die darauf warten,
  368. 11:53triaged zu werden, acht Customer Tickets
  369. 11:56noch, die sind über das Wochenende
  370. 11:57reingeflattert und Customer Success
  371. 11:59pingt euch schon auf auf Slack, äh, bis
  372. 12:01wann ihr das denn gefixed habt. Und das
  373. 12:03sind jetzt viele verschiedene Orte, aber
  374. 12:05eigentlich liegt dem nur ein einziges
  375. 12:07Problem zugrunde und in den meisten
  376. 12:09Teams werden jetzt all diese Signale von
  377. 12:11verschiedenen Entwicklern angeschaut und
  378. 12:14das ist super ineffizient und es muss
  379. 12:15total viel kommuniziert werden, bis man
  380. 12:17rausgefunden hat, dass es sich hier
  381. 12:18eigentlich um die gleiche Grundlage
  382. 12:20handelt. Und das macht Projectstar
  383. 12:22sozusagen für euch. Wir
  384. 12:24nehmen all diese verschiedenen Signale,
  385. 12:26korrelieren die miteinander und erkennen
  386. 12:28dann z.B., dass drei dieser Sentry
  387. 12:30Issues aus genau derselben Funktion
  388. 12:32kommen und dass diese Funktion in einer
  389. 12:34Pull Request letzte Woche verändert
  390. 12:36wurde und dass zwei Jira Tickets genau
  391. 12:38das Verhalten beschreiben, was die neue
  392. 12:39Pull Request macht. Und dass zusätzlich
  393. 12:42noch vor sechs Monaten ihr ein ähnliches
  394. 12:44Problem habt, was dann nach zwei Tagen
  395. 12:46zum Production Incident und irgendwie
  396. 12:48großen Verdienstausfällen geführt hat.
  397. 12:50Und anstatt, dass ihr jetzt fünf kleine
  398. 12:52Tickets in verschiedenen Systemen seht,
  399. 12:54bekommt ihr einen Namen, der sagt
  400. 12:56"Payment Retry Logic Bug", betrifft im
  401. 12:58Moment 3% eurer aktiven Nutzer und sehr
  402. 13:01vor sechs Monaten hat ein ähnliches, äh,
  403. 13:03ähnlicher Fehler einen Ausfall von eurem
  404. 13:05Payment-System verursacht. Hier sind die
  405. 13:08Schritte, wie ihr das reproduzieren
  406. 13:09könnt und wir schlagen vor, dass ihr das
  407. 13:11Markus aus dem Payments-Team assigned,
  408. 13:14weil der hat die PR gemacht. Und das
  409. 13:16bedeutet dann natürlich auch operative
  410. 13:17Veränderungen. Anstatt, dass der
  411. 13:19Engineering Manager dann irgend- mit all
  412. 13:20den Leuten reden muss, die sich die
  413. 13:23verschiedenen Signale angeschaut haben
  414. 13:24und fragt, ist das dieses Ticket jetzt
  415. 13:26ein P1 oder ein P2 sind es direkt die
  416. 13:29Liste okay hier das sind die 35
  417. 13:31wichtigsten Bugs, die Logics erkennt
  418. 13:33hat, welchen fixen wir diese jetzt
  419. 13:35zuerst. Und das gibt einfach in Firmen
  420. 13:39mehr Actionable View auf die Probleme in
  421. 13:42der eigenen Codebase und produziert ganz
  422. 13:45klare Ownership und den Kontext, mit dem
  423. 13:47man das dann auch sehr effizient an AI
  424. 13:49Agent übergeben kann. Wir produzieren
  425. 13:50dann nämlich einfach dann einen kleinen
  426. 13:52Prompt, den man einfach Copy & Paste
  427. 13:54kann, den gibt man an Cloud Code oder so
  428. 13:56ähnlich und dann produziert das einen
  429. 13:58automatischen Fix oder wir haben auch
  430. 13:59unseren eigenen Fix Agent, den man
  431. 14:00alternativ verwenden kann. Ja, das ist
  432. 14:02auf jeden Fall eine deutliche
  433. 14:03Arbeitserleichterung und ja, Anfang
  434. 14:05Februar habt ihr ja auch ähm SWI Star
  435. 14:08auch vorgestellt, eure eigenen
  436. 14:10KI-Modelle, die speziell darauf
  437. 14:12trainiert sind, Code zu verstehen und
  438. 14:14auch zu reparieren und die meisten
  439. 14:16Startups in diesem Bereich nutzen ja
  440. 14:18einfach bestehende Modelle wie GPT oder
  441. 14:20Cloud. Warum baut ihr eigene und was
  442. 14:23können die dann auch besser? Erstmal
  443. 14:24würde ich klarstellen, wir nutzen für
  444. 14:26jedes Problem das beste Modell, was
  445. 14:27dafür verfügbar ist. Das heißt, wir
  446. 14:29verwenden auch jetzt viele Cloud, GPT,
  447. 14:31Gemini Modelle, aber wir haben viele
  448. 14:33interne Benchmarks, die uns dann
  449. 14:35erlauben, das beste Modell für jeden
  450. 14:37Subtask auszuwählen. Und jetzt warum
  451. 14:40bauen wir trotzdem eigene Modelle? Ähm
  452. 14:42und ich würde sagen, es hat drei
  453. 14:43Hauptgründe. Das eine sind
  454. 14:45Enterprise-Anforderungen.
  455. 14:47Äh große Kunden wollen häufig nicht,
  456. 14:49dass ihre Daten an große US oder China
  457. 14:51Labs geschickt werden. Äh und deshalb
  458. 14:53sind diese großen Lernmodelle schon
  459. 14:56komplett außer Frage. Und dann
  460. 14:57zusätzlich wollen sie vielleicht noch,
  461. 14:59dass sie on Prem auf ihrer eigenen
  462. 15:00Hardware deployed werden und dann
  463. 15:01brauchen sie ein viel kleineres Modell,
  464. 15:03was sich da effizient deployen kann. Und
  465. 15:05das muss ich dann natürlich effizient
  466. 15:06direkt auf den Code von dem Kunden
  467. 15:08zuschneiden, damit ich vergleichbare
  468. 15:10oder hinreichend Performance bekommen
  469. 15:12kann. Und das on Prem zu haben hat z.B.
  470. 15:14auch noch Datenschutz und
  471. 15:15Compliance-Gründe. Das heißt, das
  472. 15:17unlockt einfach diesen Markt. Zusätzlich
  473. 15:19noch Kosteneffizienz. Unser Modell ist
  474. 15:21deutlich kleiner, aber so spezialisiert,
  475. 15:23dass wir trotzdem also 70 % der
  476. 15:25Performance von diesen Frontier Modellen
  477. 15:27rankommen und zuletzt ist auch einfach
  478. 15:30eine strategische Absicherung, wenn in
  479. 15:32drei Monaten Open AI sagt, das nächste
  480. 15:34Codex ist so gut, da müssen wir einfach
  481. 15:36das Dreifache verlangen, soll es unserem
  482. 15:38Business Case nicht komplett kaputt
  483. 15:39machen können und da müssen wir jetzt
  484. 15:41schon das Know-how aufbauen, dass wir
  485. 15:42dann schnell genug reagieren können. Ja,
  486. 15:44also danke dir erstmal lauf den
  487. 15:45Einblick, dass man das immer so ein
  488. 15:46bisschen besser auch versteht und ja,
  489. 15:48Logixstar ist ja auch ein Spin-off der
  490. 15:50ETH Zürich und Insead. Ihr habt ja jetzt
  491. 15:52auch 2,9 Millionen Euro Pre-Seed Funding
  492. 15:55von Northzone eingesammelt mit Angels
  493. 15:58von Deepmind, Sequoia, Sneak und auch
  494. 16:00Spotify und ihr sitzt dann Zürich und
  495. 16:03Sofia, also eine echt europäische
  496. 16:05Erfolgsgeschichte. Da würde uns jetzt
  497. 16:07noch mal interessieren, wohin geht jetzt
  498. 16:09auch die Reise für Logixstar in den
  499. 16:10nächsten 12 Monaten. Gib uns da gerne
  500. 16:13mal so einen Einblick. Ja, gerne. Also,
  501. 16:15unsere Vision ist es letztendlich die
  502. 16:17Business und die Code Intelligence so
  503. 16:19mit allen relevanten Daten zu verbinden,
  504. 16:21dass wir den gesamten Triage und
  505. 16:23Bugfinding Prozess automatisieren können
  506. 16:26und dass wir auch Probleme finden, bevor
  507. 16:28sie zu wirklichen Incidents werden.
  508. 16:30Also, sobald das Problem irgendwo mal
  509. 16:31auftaucht und teilweise schon davor,
  510. 16:33dass wir es erkennen und euch sagen, ihr
  511. 16:34müsst das jetzt fixen, sonst habt ihr in
  512. 16:36zwei Wochen ein Problem. Und in unserer
  513. 16:39Vision bedeutet das, dass Kunden bessere
  514. 16:42Software, weniger fehlerhafte Software
  515. 16:43haben, Developer sich darüber
  516. 16:45konzentrieren können, neue Features zu
  517. 16:47implementieren, die ihren Kunden mehr
  518. 16:49Value generieren. Und jetzt in der
  519. 16:52konkreten Zukunft bedeutet das, wir
  520. 16:54haben im März einen Self-Serve Launch
  521. 16:56von unserem Produkt, das heißt, jeder
  522. 16:58kann das auf seiner eigenen Codebase
  523. 16:59ausprobieren, besonders, wenn ihr ein
  524. 17:01SaaS-Unternehmen seid und das, was ich
  525. 17:03gesagt hat, nach eurem Problem klingt
  526. 17:04oder hilfreich klingt, lade ich euch
  527. 17:06gerne ein, Logixstar selber
  528. 17:08auszuprobieren und zu sehen, was ich für
  529. 17:10euch tun können. Und wir setzen in
  530. 17:13unserem Fokus voll auf diese Erkennung
  531. 17:14von Problemen. Wir glauben, mit Code
  532. 17:16Agents wird's immer mehr Code
  533. 17:18produziert, dadurch werden auch immer
  534. 17:20mehr Bugs in euren Codebases eingeführt,
  535. 17:22die ihr danach fixen müsst. Das heißt,
  536. 17:24ihr müsst diese Probleme dann auch
  537. 17:25wieder finden, und zwar rechtzeitig,
  538. 17:26bevor sie ein großes Problem werden. Und
  539. 17:28das bleibt nach wie vor schwierig, von
  540. 17:30allem, was wir sehen. Und dann
  541. 17:32weiterhin, wenn ihr all diese Probleme
  542. 17:34löst, aber nicht 100% richtig, dann
  543. 17:37macht ihr eure Codebase noch schlimmer
  544. 17:38und immer komplexer, und es wird immer
  545. 17:39schwieriger, darin zu arbeiten. Das
  546. 17:41heißt, selbst wenn ihr alle Probleme
  547. 17:42finden könntet, ist es immer noch
  548. 17:43entscheidend, welche solltet ihr denn
  549. 17:44tatsächlich lösen. Und da kommen wir
  550. 17:46wieder ins Spiel. Und jetzt konkret, in
  551. 17:49nächster Zeit heißt das, mehr
  552. 17:50Datenquellen verbinden von verschieden,
  553. 17:53mehr verschiedenen Systemen, damit wir
  554. 17:54das noch besser korrelieren können. Und
  555. 17:58wir sind sehr stolz, als europäische
  556. 18:00Erfolgsgeschichte zu gelten. Wie du
  557. 18:02schon gesagt hast, ein ETH-Spin-off. Wir
  558. 18:04sind auch mit Insights, einem
  559. 18:05bulgarischen großen Research-Center,
  560. 18:08verknüpft. Und wir haben Sitze hier in
  561. 18:10Zürich und Sofia, und wir finden, in
  562. 18:12Europa gibt's fantastische KI-Forschung,
  563. 18:14und wir tragen unseren Teil sehr gerne
  564. 18:15bei, und wir haben viele Informationen,
  565. 18:17z.B. zu Stability AI da auch frei
  566. 18:20veröffentlicht. Und wir brauchen einfach
  567. 18:22irgend, mehr Gründer in Europa, damit
  568. 18:25wir hier auch richtig geile Produkte
  569. 18:26daraus bauen können, und es nicht bei
  570. 18:28der Research bleibt, und dann
  571. 18:30die Amerikaner daraus die Produkte
  572. 18:32bauen, die richtig Umsatz machen.
  573. 18:34du absolut recht.

About this transcript

This page contains the full transcript of ETH-Forscher: „SO schreibst du die perfekte CLAUDE.md!" Das zeigen die Daten (Dr. Mark Müller) by Everlast AI Clips, generated from the public captions YouTube serves with the video. The transcript has 3,347 words across 573 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.