ETH-Forscher: „SO schreibst du die perfekte CLAUDE.md!" Das zeigen die Daten (Dr. Mark Müller) — Transcript
Full transcript
- 0:00Hallo Mark, herzlich willkommen auch zum
- 0:01Interview und du hast ja an der ETH
- 0:04Zürich promoviert und warst vorher unter
- 0:07anderem jetzt auch bei Porsche und bei
- 0:09Mercedes AMG Formel 1 Team. Kannst du
- 0:12unseren Zuschauern noch mal ganz kurz
- 0:13erklären, mit welchen Themen du dich
- 0:15jetzt auch an der ETH im KI-Bereich auch
- 0:17beschäftigt hast und ja, was du heute
- 0:20mit Logic Star AI machst?
- 0:22Ja, hallo Lea, erstmal vielen Dank für
- 0:23die Einladung natürlich gerne. An der
- 0:25ETH habe ich hauptsächlich an zwei
- 0:27Themen geforscht und das erste Thema ist
- 0:30die beweisbare Robustheit von neuronalen
- 0:32Netzen. Das muss man sich so vorstellen,
- 0:34ich habe dort Methoden entwickelt, um
- 0:36neuronale Netze mathematisch beweisbar
- 0:39robust gegen bösartige Angriffe oder
- 0:41Inputs zu machen. Und damals hat die
- 0:44Forschung hauptsächlich an mit Bildern
- 0:45stattgefunden, z.B. wenn
- 0:48Schilderkennungssystem in dem autonom
- 0:50fahrenden Auto ein Stoppschild sieht,
- 0:52kann ich da einen kleinen Sticker drauf
- 0:54kleben und dann hält das Auto das für
- 0:56ein 50 km/h Schild und das ist natürlich
- 0:57katastrophal. Und ich habe Methoden
- 0:59gearbeitet, wie ich Netzwerke trainieren
- 1:01kann, die das verhindern und beweisen
- 1:03kann, dass das verhindert ist. Und heute
- 1:05werden ähnliche Methoden
- 1:08für LLMs eingesetzt bzw. im Moment ist
- 1:10das noch ein sehr aktives
- 1:11Forschungsthema und da ist die Anwendung
- 1:14so, ich habe z.B. einen Customer Support
- 1:15Agent und jetzt ein Kunde, der will ihn
- 1:17überzeugen, 80% Rabatt zu geben oder ein
- 1:19Upgrade im Flieger und das ist beides
- 1:21sogar tatsächlich schon passiert und
- 1:22jetzt als Unternehmen, der sowas
- 1:24einsetzt, möchte ich natürlich
- 1:24nachweisen können, dass sowas nicht
- 1:26passiert. Und das ist die Anwendung von
- 1:28diesem ersten Forschungsgebiet. Und das
- 1:30zweite Forschungsgebiet sind LLMs für
- 1:32Codes oder Code Agents. Und dort haben
- 1:34wir den SWT Bench Benchmark entwickelt,
- 1:36z.B. Das ist der führende Benchmark, um
- 1:39zu testen, wie gut Code Agents oder LLMs
- 1:41darin sind, wirklich relevante Tests für
- 1:44Software zu schreiben. Und ja, wie du
- 1:45schon gesagt hast, ich war kurz bei
- 1:47Porsche an der Formel 1 und dort habe
- 1:48ich immer wieder gesehen, dass Bugs
- 1:51einfach unheimlich viel Zeit brauchen
- 1:52und Zeit fressen, selbst mit Top Teams
- 1:54und deshalb ist das jetzt genau das
- 1:56Problem, was wir bei Logic Star tackeln
- 1:58und hier bauen wir was, was wir
- 1:59Preventive Maintenance für Code nennen.
- 2:00Das heißt, es sind KI-Agenten, die
- 2:02autonom Bugs in deiner Codebase finden
- 2:05und die damit ganz vielen Signalen
- 2:06korrelieren, um rauszufinden, was ist
- 2:08wirklich wichtig, sodass du dich auf die
- 2:10Sachen konzentrieren kannst und dann die
- 2:12fixen. Und wir geben auch noch paar
- 2:14Signale dazu, wo genau die Probleme
- 2:15herkommen. Ja, super spannend auch
- 2:17erstmal. Danke dir hier für den Einblick
- 2:20und euer Paper Evaluating Agents MD hat
- 2:23gerade auch ziemlich viel Aufmerksamkeit
- 2:26bekommen. Unter anderem hatte ja auch
- 2:28Theo Brown von T3.gg auch ein ganzes
- 2:31YouTube-Video darüber gemacht. Und ja,
- 2:33bevor wir in die Ergebnisse auch
- 2:36einsteigen, kannst du unseren Zuschauern
- 2:38noch mal ganz kurz erklären, was Agents
- 2:40MD oder auch Cloud MD Files überhaupt
- 2:43sind und ja, warum die gerade auch so
- 2:45ein großes Thema in der Entwicklerwelt
- 2:47sind. Klar, gerne. Hat uns natürlich
- 2:49sehr gefreut, dass wir auf so viel
- 2:50Resonanz gestoßen sind mit unserer
- 2:51Forschung. Ähm, was sind Agents MD oder
- 2:54Cloud MD Files? Muss ich das vorstellen
- 2:56wie Anleitungsdateien oder
- 2:58Onboarding-Dokumente für KI-Agenten, die
- 3:01man in sein Code-Repository macht und
- 3:02die dann die Code-Agents lesen, bevor
- 3:04sie anfangen, an bestimmten Tasks zu
- 3:05arbeiten. Und für Code-Agents ist es
- 3:07ganz besonders wichtig, weil im
- 3:10Gegensatz zu menschlichen Entwicklern,
- 3:12die keine Erfahrung sammeln für sich.
- 3:13Das heißt, jeder Task, den sie in einem
- 3:15in einer Codebase in einem Repository
- 3:17erledigen, ist wie das erste Mal, dass
- 3:19sie mit der Codebase arbeiten. Das
- 3:20heißt, ein gutes Onboarding-Dokument ist
- 3:22unheimlich wichtig, dass sie effektiv
- 3:23sind. Und warum ist das jetzt gerade im
- 3:26Moment so ein heißes Thema? Weil die
- 3:28Erfolgsgeschichten von Code-Agents und
- 3:30die enormen Effektivitätsverbesserungen,
- 3:32die man damit erreichen kann, jetzt so
- 3:34langsam im Mainstream ankommen und die
- 3:36auch diese Agenten einfach unglaublich
- 3:37gut werden. Z.B. letzte Woche habe ich
- 3:40innerhalb von einem Tag ein
- 3:42funktionierendes SaaS-Produkt, was ich
- 3:43gerne nutzen wollte, aber was nur in
- 3:45Close Beta verfügbar war, einfach
- 3:46nachgebaut mit Codex und jetzt sucht
- 3:50natürlich jeder nach Möglichkeiten, wie
- 3:52man diesen Productivity gehen auf den
- 3:54eigenen Codebases, auf den eigenen
- 3:56Projekten anlocken kann, aber vor uns
- 3:59hat sich noch niemand so wirklich
- 4:00rigoros angeschaut, was solche Agents in
- 4:03die Files effektiv macht.
- 4:04Also, das ist noch mal sehr, sehr
- 4:05spannend auch zum Hintergrund, um das
- 4:08auch wirklich so greifbar zu machen. Ihr
- 4:10habt ja die bekanntesten KI-Coding-Tools
- 4:13getestet,
- 4:14Open AI Codex und QuenCode und geschaut,
- 4:17ob sie mit diesen Anleitungsdateien
- 4:20bessere oder auch schlechtere Ergebnisse
- 4:22liefern und im Schnitt waren die
- 4:24Ergebnisse ja auch 3% schlechter und die
- 4:27ganze Sache hat sogar 20% mehr gekostet.
- 4:30Was sind denn jetzt auch die
- 4:31überraschendsten Ergebnisse aus dem
- 4:33Paper? Ja, also, ich denke, für mich
- 4:36persönlich am überraschendsten war, dass
- 4:37es keinen Amortisierungseffekt gibt.
- 4:40Häufig hat man irgendwie in der
- 4:41Informatik das Paradigma, dass man
- 4:44irgendwelche Computation vorneweg macht
- 4:47und Preprocessing macht, in dem Fall auf
- 4:49dem Repository. Und dass ich genauso
- 4:51eine Anleitungsdatei extrahiere
- 4:53automatisch, indem ich einfach den
- 4:55ganzen Code in der Codebase lese und das
- 4:57verarbeite. Und danach hätte man jetzt
- 4:59gedacht, dann hätte ich gedacht, bin ich
- 5:02effizienter damit mit dem Code zu
- 5:03arbeiten. Ich finde die richtigen
- 5:04Dateien schneller, ich weiß schon, wo
- 5:05alles ist und ich bin danach
- 5:06effizienter. Vielleicht nicht unbedingt
- 5:08besser, aber zumindest effizienter. Und
- 5:10was wir gesehen haben, ist, dass wir
- 5:11deutlich weniger effizient sind, 20%
- 5:13teurer. Das ist schon ein gewaltiger
- 5:15Unterschied.
- 5:16Und dann, ob man besser oder schlechter
- 5:18wird, das kommt sogar tatsächlich ein
- 5:19bisschen drauf an, wo diese Dateien
- 5:21herkommen. Und was wir da
- 5:23interessanterweise gesehen haben, ist,
- 5:25die absolut besten Modelle, also z.B. so
- 5:27ein GPT-5.2,
- 5:28ist nicht besser darin, solche
- 5:30Anleitungsdateien zu schreiben als Quen.
- 5:32Und das hat mich auch sehr überrascht.
- 5:34Und dann der nächste Punkt, der
- 5:35überraschend war, dass Agents diesen
- 5:37Anweisungen Folge leisten, ist überhaupt
- 5:39nicht das Problem. Das hatte ich davor
- 5:40gedacht, dass vielleicht einer der
- 5:41Strickfehler, die das Ganze verhindern
- 5:43könnten, das funktioniert. Aber wir
- 5:44haben gesehen, die folgen diesen
- 5:46Anweisungen zu gut. Normalerweise stehen
- 5:48in Anweisungsdateien unnötige Schritte
- 5:49drin, die für ein spezielles Problem
- 5:51irrelevant sind und die sorgen dann
- 5:53genau dafür, dass wir so ineffizient
- 5:54werden. Und das hat es nicht so ganz ins
- 5:57Paper geschafft, aber es ist noch eine
- 5:58kleine Hintergrundinformation.
- 6:00Ursprünglich hatten wir eigentlich
- 6:02versucht, verschiedene Methoden zu
- 6:04evaluieren, die in der Literatur
- 6:05vorgeschlagen werden, um was Besseres zu
- 6:08machen als Agents in MD Files, so Memory
- 6:10Systeme und Pläne, die spezifisch für
- 6:12einzelne Probleme designt werden. Und
- 6:15wir haben ganz viele von
- 6:19Wir konnten für keine eine statistisch
- 6:21signifikante Verbesserung in der
- 6:22Performance feststellen und so sind wir
- 6:25dann überhaupt zu den Agents in MD Files
- 6:26gekommen, weil wir gedacht haben, die
- 6:28müssen aber wirklich helfen und wie wir
- 6:30gesehen haben, helfen selbst die nicht
- 6:31wirklich. Ja, noch mal ein sehr, sehr
- 6:33spannender Hintergrund auch und ja, so
- 6:35eine Schlussfolgerung wäre ja auch, dass
- 6:37Modelle ja selbst gut darin sind, Infos
- 6:40zu finden in Dateien, Ordnerstrukturen
- 6:42und so weiter. Also, die Agents in MD
- 6:45wiederholt oft nur, was der Agent ja
- 6:46sowieso schon findet. Also, wenn die
- 6:49Info schon im Code liegt, braucht der
- 6:51Agent sie nicht noch mal als Anleitung.
- 6:53Siehst du das genauso? Ja, das ist ganz
- 6:55genau die die richtige Intuition und wir
- 6:58haben das sogar tatsächlich
- 6:59nachgewiesen, sozusagen. Wir haben
- 7:01nämlich erst die Agents in MD Files noch
- 7:03mal generiert mit dem gesamten
- 7:04Repository
- 7:05und dann haben wir Readme und
- 7:07Contributing Dateien und sich anderen
- 7:09Schlüsseldateien, die menschliche
- 7:10Entwickler zum Onboarding verwenden,
- 7:11entfernt aus dem Repo. Und jetzt in
- 7:13diesem Szenario waren die Agents in MD
- 7:16Dateien wiederum sehr hilfreich, was
- 7:17natürlich auch Sinn macht, weil jetzt
- 7:19konnte der Agent die gleichen
- 7:20Informationen nicht einfach woanders
- 7:21finden. Und das sehen wir einfach hier,
- 7:24wenn wir ein Agents in MD haben, was nur
- 7:26Informationen wiederholt, die schon im
- 7:27Repo sind, dann sparen wir es uns
- 7:29lieber. Und das betrifft alle Agents in
- 7:31MD Files, die automatisch generiert
- 7:33werden, weil irgendwo muss das Wissen ja
- 7:34herkommen. Aber was hilfreich sein kann
- 7:37und was wir auch in unserem Paper
- 7:38gezeigt haben, ist, dass, wenn ich als
- 7:40Entwickler besonders vorsichtig so eine
- 7:43Agent MD File kuratiere und z.B.
- 7:45Fehlerfälle, die ein Agent erlitten hat,
- 7:47dort reinschreibe und sage, ah, das
- 7:49musst du das nächste Mal so und so
- 7:50machen, das kann wiederum die
- 7:51Performance verbessern, auch wenn es
- 7:53immer noch im Schnitt teurer ist als
- 7:55keine Agent File zu verwenden.
- 7:57Ja, auch unsere Entwickler bei Everlast
- 7:59AI beobachten auch selber, dass sie bei
- 8:01jedem Modellupdate auch weniger
- 8:03Instruktionen da brauchen, da die
- 8:05Modelle von alleine auch besser werden.
- 8:07Glaubt ihr, dass klassisches Prompting
- 8:09und auch Kontextfiles irgendwann dann
- 8:11auch komplett überflüssig werden? Ist
- 8:14eine eine spannende Frage. Also, in
- 8:15unserem Paper haben wir selbst mit
- 8:16relativ kleinen Modellen
- 8:18die gleichen Effekte gesehen. Ähm, aber
- 8:20ich denke auf jeden Fall, dass wir mit
- 8:22moderneren Agents weniger solche
- 8:24Kontextfiles brauchen. Dieses implizite
- 8:26Wissen, was man nicht aus der Codebase
- 8:28nehmen kann, das wird aber denke ich
- 8:29immer noch irgendwo encoded werden
- 8:31müssen. Und wenn es ums Prompting geht,
- 8:34da kommt es jetzt drauf an, was man im
- 8:36Prompting im Begriffen sieht. Ich muss
- 8:38dem Agenten natürlich irgendwie
- 8:39mitteilen, was ist seine Aufgabe. Ähm,
- 8:43und
- 8:44da komme ich nicht drum rum. Aber da
- 8:46komme ich später noch drauf zu sprechen
- 8:48mit dem, was wir bei Lotex da machen. Da
- 8:49versuchen wir, diesen Teil auf einen
- 8:51gewissen Grad zu automatisieren, sodass
- 8:53man das als Mensch nicht mehr selber
- 8:54machen muss. Ja, okay, da bin ich sehr
- 8:56gespannt. Und ja, die Zuschauer wird
- 8:58dazu jetzt bestimmt auch noch mal
- 8:59interessieren, was soll man denn da
- 9:01jetzt machen? Also, ihr habt ja auch
- 9:03herausgefunden, dass es da wirklich so
- 9:05einen Unterschied macht, wer diese Datei
- 9:07schreibt. Also, wenn Mensch sie
- 9:08schreibt, dann werden die Ergebnisse im
- 9:10Schnitt 4 % besser. Wenn die KI sie
- 9:12selbst generiert, werden die Ergebnisse
- 9:14auch schlechter. Heißt es jetzt,
- 9:16Anleitungsdatei ja, aber bitte selber
- 9:18schreiben und kurz halten, oder sollte
- 9:21man sie da am besten ganz weglassen?
- 9:23Für mich persönlich ist
- 9:25Schlussfolgerung, Anleitungsdatei gerne,
- 9:27aber auf jeden Fall selber geschrieben,
- 9:28kurz gehalten und ähm, rigoros
- 9:31kuratieren. Alles, was useless ist,
- 9:33alles, was duplicate ist, muss da raus.
- 9:36Und ich denke,
- 9:38wenn man extrem kostensensitiv ist und
- 9:40z.B.
- 9:41Cloud über API Keys verwendet, dann kann
- 9:43man natürlich schauen, ist es mir die
- 9:45extra Performance den 20 % Kosten Chris
- 9:48wert? Wenn man allerdings sowieso z.B.
- 9:50eine Subscription hat, dann ist der
- 9:52Kosten Chris natürlich komplett
- 9:53geschluckt und das spielt kaum eine
- 9:55Rolle. Ich denke, was zusätzlich noch
- 9:57interessant ist und z.B. was wir bei
- 9:59LogiCS da machen ist, wir verwenden
- 10:00sogenannte Static Analysis, die die
- 10:03gesamte Codebase analysiert
- 10:06welche Teile der Codebase miteinander
- 10:07verknüpft sind und so können wir dem
- 10:09Agenten immer für den Code, in dem er
- 10:11gerade arbeitet, genau die richtige
- 10:13relevante Information zur Verfügung
- 10:14stellen, was dann wiederum effizienter
- 10:16ist, als wenn der Agent diese sie selber
- 10:17suchen muss. Das heißt, vielleicht sehen
- 10:19wir auch in der Zukunft so einen Trend
- 10:20zu solchen Systemen, die dynamische,
- 10:23clevere, Problem-gebundene Agents in
- 10:25dieser produzieren. Ja, das ist auf
- 10:27jeden Fall dann auch extrem hilfreich
- 10:29und ja, jetzt zu dem, was ihr auch bei
- 10:31LogiCS Start eigentlich baut. Also, ihr
- 10:33nennt es ja Preventive Maintenance Code.
- 10:36Eure KI durchsucht also eine Codebase
- 10:39kontinuierlich auch nach Fehlern, aber
- 10:41anstatt einfach eine endlose Liste
- 10:43auszuspucken, priorisiert ihr sie,
- 10:46welche Bugs wirklich auch kritisch sind.
- 10:48Also, dafür korreliert sie mit den
- 10:51Produktionssignalen und historischen
- 10:53Kundenbeschwerden.
- 10:55Kannst du das mal ja an einem konkreten
- 10:56Beispiel auch erklären? Wie sieht es
- 10:58dann auch in der Praxis aus, wenn ja ein
- 11:01Team LogiCS Start einsetzt?
- 11:03Gerne. Also, erstmal klingt das
- 11:05vielleicht so wie ein Bugscanner, aber
- 11:06das sind wir definitiv nicht. Die
- 11:08meisten Teams haben schon
- 11:09verschiedene Scanner und das Problem ist
- 11:11meistens, es gibt hunderte Warnungen und
- 11:13die muss ich dann irgendwie anschauen
- 11:14und niemand weiß so richtig, was lohnt
- 11:16sich tatsächlich zu fixen. Das heißt,
- 11:18wenn ihr LogiCS Start verwendet, sieht
- 11:19das Ganze so aus. Erst onboardet ihr es,
- 11:21ihr installiert unsere App, ihr
- 11:22verbindet sie mit den ganzen anderen
- 11:23Signalen, Codebase, Slack, Observability
- 11:26Plattformen wie Sentry und vielleicht
- 11:29auch ein Project Management System wie
- 11:30Jira und dann bekommt ihr jeden Tag die
- 11:33ein bis drei wichtigsten Bugs, die ihr
- 11:35heute fixen solltet für euren Business
- 11:37Case, der für eure Kunden am wichtigsten
- 11:39ist. Und wie das z.B. aussehen könnte,
- 11:41wenn ihr in einem mittelgroßen
- 11:43SaaS-Unternehmen seid oder selber eins
- 11:44leitet, dann kommt ihr vielleicht
- 11:46Montagmorgen ins Büro und ihr habt 60
- 11:48verschiedene Findings von Sonar, äh, die
- 11:50Static Analyse machen, es gibt 15 neue
- 11:52Sentry Issues, die darauf warten,
- 11:53triaged zu werden, acht Customer Tickets
- 11:56noch, die sind über das Wochenende
- 11:57reingeflattert und Customer Success
- 11:59pingt euch schon auf auf Slack, äh, bis
- 12:01wann ihr das denn gefixed habt. Und das
- 12:03sind jetzt viele verschiedene Orte, aber
- 12:05eigentlich liegt dem nur ein einziges
- 12:07Problem zugrunde und in den meisten
- 12:09Teams werden jetzt all diese Signale von
- 12:11verschiedenen Entwicklern angeschaut und
- 12:14das ist super ineffizient und es muss
- 12:15total viel kommuniziert werden, bis man
- 12:17rausgefunden hat, dass es sich hier
- 12:18eigentlich um die gleiche Grundlage
- 12:20handelt. Und das macht Projectstar
- 12:22sozusagen für euch. Wir
- 12:24nehmen all diese verschiedenen Signale,
- 12:26korrelieren die miteinander und erkennen
- 12:28dann z.B., dass drei dieser Sentry
- 12:30Issues aus genau derselben Funktion
- 12:32kommen und dass diese Funktion in einer
- 12:34Pull Request letzte Woche verändert
- 12:36wurde und dass zwei Jira Tickets genau
- 12:38das Verhalten beschreiben, was die neue
- 12:39Pull Request macht. Und dass zusätzlich
- 12:42noch vor sechs Monaten ihr ein ähnliches
- 12:44Problem habt, was dann nach zwei Tagen
- 12:46zum Production Incident und irgendwie
- 12:48großen Verdienstausfällen geführt hat.
- 12:50Und anstatt, dass ihr jetzt fünf kleine
- 12:52Tickets in verschiedenen Systemen seht,
- 12:54bekommt ihr einen Namen, der sagt
- 12:56"Payment Retry Logic Bug", betrifft im
- 12:58Moment 3% eurer aktiven Nutzer und sehr
- 13:01vor sechs Monaten hat ein ähnliches, äh,
- 13:03ähnlicher Fehler einen Ausfall von eurem
- 13:05Payment-System verursacht. Hier sind die
- 13:08Schritte, wie ihr das reproduzieren
- 13:09könnt und wir schlagen vor, dass ihr das
- 13:11Markus aus dem Payments-Team assigned,
- 13:14weil der hat die PR gemacht. Und das
- 13:16bedeutet dann natürlich auch operative
- 13:17Veränderungen. Anstatt, dass der
- 13:19Engineering Manager dann irgend- mit all
- 13:20den Leuten reden muss, die sich die
- 13:23verschiedenen Signale angeschaut haben
- 13:24und fragt, ist das dieses Ticket jetzt
- 13:26ein P1 oder ein P2 sind es direkt die
- 13:29Liste okay hier das sind die 35
- 13:31wichtigsten Bugs, die Logics erkennt
- 13:33hat, welchen fixen wir diese jetzt
- 13:35zuerst. Und das gibt einfach in Firmen
- 13:39mehr Actionable View auf die Probleme in
- 13:42der eigenen Codebase und produziert ganz
- 13:45klare Ownership und den Kontext, mit dem
- 13:47man das dann auch sehr effizient an AI
- 13:49Agent übergeben kann. Wir produzieren
- 13:50dann nämlich einfach dann einen kleinen
- 13:52Prompt, den man einfach Copy & Paste
- 13:54kann, den gibt man an Cloud Code oder so
- 13:56ähnlich und dann produziert das einen
- 13:58automatischen Fix oder wir haben auch
- 13:59unseren eigenen Fix Agent, den man
- 14:00alternativ verwenden kann. Ja, das ist
- 14:02auf jeden Fall eine deutliche
- 14:03Arbeitserleichterung und ja, Anfang
- 14:05Februar habt ihr ja auch ähm SWI Star
- 14:08auch vorgestellt, eure eigenen
- 14:10KI-Modelle, die speziell darauf
- 14:12trainiert sind, Code zu verstehen und
- 14:14auch zu reparieren und die meisten
- 14:16Startups in diesem Bereich nutzen ja
- 14:18einfach bestehende Modelle wie GPT oder
- 14:20Cloud. Warum baut ihr eigene und was
- 14:23können die dann auch besser? Erstmal
- 14:24würde ich klarstellen, wir nutzen für
- 14:26jedes Problem das beste Modell, was
- 14:27dafür verfügbar ist. Das heißt, wir
- 14:29verwenden auch jetzt viele Cloud, GPT,
- 14:31Gemini Modelle, aber wir haben viele
- 14:33interne Benchmarks, die uns dann
- 14:35erlauben, das beste Modell für jeden
- 14:37Subtask auszuwählen. Und jetzt warum
- 14:40bauen wir trotzdem eigene Modelle? Ähm
- 14:42und ich würde sagen, es hat drei
- 14:43Hauptgründe. Das eine sind
- 14:45Enterprise-Anforderungen.
- 14:47Äh große Kunden wollen häufig nicht,
- 14:49dass ihre Daten an große US oder China
- 14:51Labs geschickt werden. Äh und deshalb
- 14:53sind diese großen Lernmodelle schon
- 14:56komplett außer Frage. Und dann
- 14:57zusätzlich wollen sie vielleicht noch,
- 14:59dass sie on Prem auf ihrer eigenen
- 15:00Hardware deployed werden und dann
- 15:01brauchen sie ein viel kleineres Modell,
- 15:03was sich da effizient deployen kann. Und
- 15:05das muss ich dann natürlich effizient
- 15:06direkt auf den Code von dem Kunden
- 15:08zuschneiden, damit ich vergleichbare
- 15:10oder hinreichend Performance bekommen
- 15:12kann. Und das on Prem zu haben hat z.B.
- 15:14auch noch Datenschutz und
- 15:15Compliance-Gründe. Das heißt, das
- 15:17unlockt einfach diesen Markt. Zusätzlich
- 15:19noch Kosteneffizienz. Unser Modell ist
- 15:21deutlich kleiner, aber so spezialisiert,
- 15:23dass wir trotzdem also 70 % der
- 15:25Performance von diesen Frontier Modellen
- 15:27rankommen und zuletzt ist auch einfach
- 15:30eine strategische Absicherung, wenn in
- 15:32drei Monaten Open AI sagt, das nächste
- 15:34Codex ist so gut, da müssen wir einfach
- 15:36das Dreifache verlangen, soll es unserem
- 15:38Business Case nicht komplett kaputt
- 15:39machen können und da müssen wir jetzt
- 15:41schon das Know-how aufbauen, dass wir
- 15:42dann schnell genug reagieren können. Ja,
- 15:44also danke dir erstmal lauf den
- 15:45Einblick, dass man das immer so ein
- 15:46bisschen besser auch versteht und ja,
- 15:48Logixstar ist ja auch ein Spin-off der
- 15:50ETH Zürich und Insead. Ihr habt ja jetzt
- 15:52auch 2,9 Millionen Euro Pre-Seed Funding
- 15:55von Northzone eingesammelt mit Angels
- 15:58von Deepmind, Sequoia, Sneak und auch
- 16:00Spotify und ihr sitzt dann Zürich und
- 16:03Sofia, also eine echt europäische
- 16:05Erfolgsgeschichte. Da würde uns jetzt
- 16:07noch mal interessieren, wohin geht jetzt
- 16:09auch die Reise für Logixstar in den
- 16:10nächsten 12 Monaten. Gib uns da gerne
- 16:13mal so einen Einblick. Ja, gerne. Also,
- 16:15unsere Vision ist es letztendlich die
- 16:17Business und die Code Intelligence so
- 16:19mit allen relevanten Daten zu verbinden,
- 16:21dass wir den gesamten Triage und
- 16:23Bugfinding Prozess automatisieren können
- 16:26und dass wir auch Probleme finden, bevor
- 16:28sie zu wirklichen Incidents werden.
- 16:30Also, sobald das Problem irgendwo mal
- 16:31auftaucht und teilweise schon davor,
- 16:33dass wir es erkennen und euch sagen, ihr
- 16:34müsst das jetzt fixen, sonst habt ihr in
- 16:36zwei Wochen ein Problem. Und in unserer
- 16:39Vision bedeutet das, dass Kunden bessere
- 16:42Software, weniger fehlerhafte Software
- 16:43haben, Developer sich darüber
- 16:45konzentrieren können, neue Features zu
- 16:47implementieren, die ihren Kunden mehr
- 16:49Value generieren. Und jetzt in der
- 16:52konkreten Zukunft bedeutet das, wir
- 16:54haben im März einen Self-Serve Launch
- 16:56von unserem Produkt, das heißt, jeder
- 16:58kann das auf seiner eigenen Codebase
- 16:59ausprobieren, besonders, wenn ihr ein
- 17:01SaaS-Unternehmen seid und das, was ich
- 17:03gesagt hat, nach eurem Problem klingt
- 17:04oder hilfreich klingt, lade ich euch
- 17:06gerne ein, Logixstar selber
- 17:08auszuprobieren und zu sehen, was ich für
- 17:10euch tun können. Und wir setzen in
- 17:13unserem Fokus voll auf diese Erkennung
- 17:14von Problemen. Wir glauben, mit Code
- 17:16Agents wird's immer mehr Code
- 17:18produziert, dadurch werden auch immer
- 17:20mehr Bugs in euren Codebases eingeführt,
- 17:22die ihr danach fixen müsst. Das heißt,
- 17:24ihr müsst diese Probleme dann auch
- 17:25wieder finden, und zwar rechtzeitig,
- 17:26bevor sie ein großes Problem werden. Und
- 17:28das bleibt nach wie vor schwierig, von
- 17:30allem, was wir sehen. Und dann
- 17:32weiterhin, wenn ihr all diese Probleme
- 17:34löst, aber nicht 100% richtig, dann
- 17:37macht ihr eure Codebase noch schlimmer
- 17:38und immer komplexer, und es wird immer
- 17:39schwieriger, darin zu arbeiten. Das
- 17:41heißt, selbst wenn ihr alle Probleme
- 17:42finden könntet, ist es immer noch
- 17:43entscheidend, welche solltet ihr denn
- 17:44tatsächlich lösen. Und da kommen wir
- 17:46wieder ins Spiel. Und jetzt konkret, in
- 17:49nächster Zeit heißt das, mehr
- 17:50Datenquellen verbinden von verschieden,
- 17:53mehr verschiedenen Systemen, damit wir
- 17:54das noch besser korrelieren können. Und
- 17:58wir sind sehr stolz, als europäische
- 18:00Erfolgsgeschichte zu gelten. Wie du
- 18:02schon gesagt hast, ein ETH-Spin-off. Wir
- 18:04sind auch mit Insights, einem
- 18:05bulgarischen großen Research-Center,
- 18:08verknüpft. Und wir haben Sitze hier in
- 18:10Zürich und Sofia, und wir finden, in
- 18:12Europa gibt's fantastische KI-Forschung,
- 18:14und wir tragen unseren Teil sehr gerne
- 18:15bei, und wir haben viele Informationen,
- 18:17z.B. zu Stability AI da auch frei
- 18:20veröffentlicht. Und wir brauchen einfach
- 18:22irgend, mehr Gründer in Europa, damit
- 18:25wir hier auch richtig geile Produkte
- 18:26daraus bauen können, und es nicht bei
- 18:28der Research bleibt, und dann
- 18:30die Amerikaner daraus die Produkte
- 18:32bauen, die richtig Umsatz machen.
- 18:34du absolut recht.
About this transcript
This page contains the full transcript of ETH-Forscher: „SO schreibst du die perfekte CLAUDE.md!" Das zeigen die Daten (Dr. Mark Müller) by Everlast AI Clips, generated from the public captions YouTube serves with the video. The transcript has 3,347 words across 573 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.