Graph Engineering: ХАЙП или РЕВОЛЮЦИЯ в AI ? Полный разбор 2026 — Transcript

Full transcript

1. 0:00Человек, с которого началась вся эта история, за 1  месяц жёг 1 300.000 долларов. Сжёг их на токенах,
2. 0:07603 млрд токенов, 100 и агентов, работавших  круглые сутки. А случилось это потому, что у
3. 0:13его агентов не было одной простой вещи: того, что  заставляет их вовремя остановиться. И я думаю,
4. 0:19вы знаете этого человека. Его зовут Питер  Штайнберг. Это создатель известного агента
5. 0:24Open Claw, который после перешёл в Open AI.  Этим летом он написал девять слов, которые за
6. 0:29выходные взорвали весь AI Twitter и породили новый  термин граф инженерия. [музыка] Тот, кто запустил
7. 0:36волну про то, как правильно строить агентов, сам  спалил на агентах миллион с лишним баксов. К этому
8. 0:41парадоксу мы вернёмся в самом конце. После этого  видео вы поймёте, что такое инженерия графов,
9. 0:47поймёте, это хайп или реальная проблема, и  что вы можете сделать со своими проектами,
10. 0:52чтобы они лучше заработали, и является ли вообще  инженерия графов новым слоем Харнеса, который мы
11. 0:59ранее обсуждали в огромном ролике про Harness?  [музыка] Если вы здесь впервые, коротко о себе.
12. 1:04Меня зовут Эдвард Гришин. Больше 13 лет опыта в  IT e-commerce в роли топ-менеджеров Яндекс Market
13. 1:09Cooper, техноchnopark, Sunlight. Сейчас у меня  своя студия Futur AI. Мы делаем сайты, приложения
14. 1:15AI продавцов и автоматизацию для бизнеса любого  уровня сложности. И если вы хотите узнать, как я
15. 1:21создаю AI продавцов, как искать первых клиентов,  как продавать AI разработку дорого, заходите в мою
16. 1:27закрытую группу абсолютно бесплатно. Другие за  такие знания просят от 2 до 5.000 руб. в месяц,
17. 1:33а я лишь прошу подписку на мою основную группу. И  для этого видео я не просто прочитал одну статью,
18. 1:39я прочитал их всех, больше двадцати штук целиком,  разобрал руками инструменты, что придумали в сети,
19. 1:45и написал свой рабочий мини-инструмент с  открытым кодом. Я покажу его в середине видео,
20. 1:50так что видео будет с максимальным погружением в  тему. Так что поехали разбираться, что же такое
21. 1:55инженерия графов. И сразу важно, это видео прямое  продолжение прошлого прос или пропс инженерию.
22. 2:03Если не смотрели, не страшно, я всё объясняю  здесь, в том числе. Но связь сильная, поэтому
23. 2:08советую его посмотреть. Месяц назад была волна  ровно с теми же героями. В июне Штайнберг написал:
24. 2:14"Хватит промтить агентов по одному сообщению.  Стройте циклы, которые промтят их за вас". 8,4
25. 2:20млн просмотров у данного твита. В тот же день  Ади Османи из Google назвал этоOP инженерия.
26. 2:25А Борис Черный, человек, который построил  кд-код, подтвердил: "Я больше не общаюсь
27. 2:29с код-код напрямую. У меня крутятся циклы, и это  они общаются с Клодом. И прошлое видео я закончил
28. 2:36одной фразой, запомните её и в этот раз. Она ключ  ко всему сегодняшнему видео. Звучала она так:
29. 2:42главный навык - это научиться писать, что  значит готово для вашей модели, словами,
30. 2:48которые проверка может подтвердить, не читая ваших  мыслей. Держите эту фразу у себя в голове. Через
31. 2:5320 примерно минут вы поймёте, что всё сегодняшнее  видео именно про эту фразу. Итак, вопрос, который
32. 3:00вы уже себе точно задали. Опять новый термин,  опять всё поменялось. Это вообще что, прорыв
33. 3:05или очередной способ продать вам курс на обучение?  Отвечаю не своим мнением, пока что отвечаю голосом
34. 3:11человека, который этот самый граф строил 3 года  назад задолго до всякого хайпа. Cindy Rankle,
35. 3:17open source разработчик из Landchain. Вместе  с основателем компании она написала разбор под
36. 3:24заголовком 3 года графнженерии. и она называет  вещи своими именами. Это, цитирую, последний
37. 3:30термин с конвейера AI контента в Твиттере.  Казалось бы, вот он приговор. Всё это пустышка,
38. 3:35но она продолжает, и это как раз главное.  Все эти модные слова - это детали реализации,
39. 3:41и появляются они не на пустом месте. За каждым  стоит реальная инженерная боль. Заставить и
40. 3:46делать полезную работу по-настоящему трудно. Это  новый тип софта, ненадёжный, непредсказуемый.
41. 3:52И каждая попытка его приручить рождает новое  модное словечко. Вот это самая взрослая, наверное,
42. 3:59позиция во всей волне инженерии графов. Не хайп и  мусор, не новая эра. А третье модное слово поверх
43. 4:06реальной проблемы. И чтобы вы понимали масштаб,  что тема реально не выдумана за какие-то выходные,
44. 4:11нграф - это граф языковых моделей. Это фреймворк,  который команда сделала для графов. Его скачивают
45. 4:1865 млн раз за оди месяц. Это не просто хайп-волна,  это полноценная рабочая индустрия, которой уже
46. 4:24много лет. Но и вот тут вторая половина правды.  Сам термин граф инженерия навизной не является.
47. 4:30Один из авторов сформулировал всё это идеально  просто. 18 июля никто не выпустил ничего,
48. 4:35чего нельзя было сделать семнадцатого.  Ничего не изобрели, просто дали имя проблеме,
49. 4:40которой у людей уже и так давно была. И вот вам  доказательство, что тема не про один твит каких-то
50. 4:47кодоров. За пару недель тот же подход перескочил в  совершенно другую индустрию, в биржевой трейдинг.
51. 4:52Вышла статья, как кванты защищают прибыль графов,  50 с лишним тысяч просмотров и идея там слово
52. 4:57в слово такая же, как здесь. Одна метрика тебя  обманывает, спасают только якаря. Реальные сделки,
53. 5:03реальные деньги на счету. Когда одна идея  за неделю прорастает в двух разных мирах,
54. 5:07это уже не мода на просто слово. Хотя, честно, её  там уже и перепродают. Под статьёй вшита реклама
55. 5:12определённая торговая платформа. Так что хайп и  суть, как всегда, идут здесь рядом. И все пытаются
56. 5:18под видом нового термина продать свои услуги.  И ещё одна деталь, тот самый твит Штайнберга,
57. 5:24с которого всё пошло, он на самом деле наполовину  был шуткой. Он подкалывал, как быстро индустрия
58. 5:29несётся от одного модного слова к следующему, а  случайно, на самом деле, взял и запустил новую
59. 5:34волну. Ирония, которую почти никто не заметил,  но поезд хайпа уже уехал. Так что мой вердикт
60. 5:40по первому вопросу такой: хайп вокруг слова  реально есть, но под хайпом есть реальный
61. 5:45сдвиг и реальная проблема. И сейчас я покажу, в  чём оно заключается, чтобы вы извлекли из всего
62. 5:50видео реальную пользу. Итак, первое, из-за чего вы  ничего не поняли, читая эти статьи, заключается в
63. 5:56следующем. Слово граф в них означает две разные  вещи. И авторы прыгают между этими терминами,
64. 6:01не предупреждая читателей. Объясню смысл, и сразу  станет всё понятно. Что вообще такое граф, если
65. 6:08совсем просто? Коробки, соединённые стрелками. Всё  как схема на салфетке. Только эта схема работает.
66. 6:14Коробки делают своё дело, стрелки решают, что  будет дальше. Так вот, этих схем существует две.
67. 6:21Первое - это граф управления. Коробки в данном  случае - это агенты или шаги, стрелки, кто за
68. 6:26кем идёт. Это про то, как организована работа AI.  Вот про него большинство громких статей и выходит.
69. 6:33Вторая - граф знаний. И тут коробки - это уже  не агенты, а сущности, люди, компании, функции в
70. 6:38коде, а стрелки связи между ними. Кто кого создал,  что от чего зависит. Это вообще про другое. про
71. 6:44то, как ранить факты, чтобы AI по ним рассуждал.  И вот в чём вся путаница. Половина авторов пишет
72. 6:50про первый граф, вторая половина про второй. И  все называют это одним словом: граф инженерия. И
73. 6:56почти никто из англоязычных авторов это внятно не  развёл, поэтому и получилась путаница. А это опять
74. 7:03приводит к инфоциганчине в поле проинформации  про AI. Один, правда, всё это развёл правильно.
75. 7:09В свежем разболе Харнес против Лупа и против  графа автор прямым текстом пишет, что граф
76. 7:14в этом смысле - это графы исполнения, и это не  графы знаний. Ровно наше разделение слова в слово,
77. 7:20но он в меньшинстве. Остальные валят два смысла в  одно слово и хайпуют. Я развожу эти понятия, чтобы
78. 7:25и вы не путались. Дальше в видео буду говорить  в основном про первый граф, граф управления,
79. 7:30а ко второму графу знаний мы вернёмся в конце. Там  есть кое-что полезное лично для вас. И раз мы уж
80. 7:35разводим эти понятия, давайте разложу до конца,  потому что рядом с графом всё равно мелькает
81. 7:39третье слово. Это харнес или обвязка простым  словом есть разбор, где все три расставлены
82. 7:45по местам лучше, чем где-либо. Смотрите, это  достаточно просто. Обвязка даёт модели место для
83. 7:51работы. Инструменты, память, права, логи. Цикл  даёт работе обратную связь. Сделал, проверил,
84. 7:57повторил, а граф задаёт маршрут. Что вообще  разрешено запустить следующим? По факту несколько
85. 8:03строк, и это лучшая формулировка, что я встречал.  Модель решает, обвязка даёт ей действовать, цикл
86. 8:08заставляет доказать результат, а граф решает, что  разрешено делать дальше. И там же фраза, которая
87. 8:14объясняет 90% провалов с агентами, большинство  агентных систем просто падает не потому,
88. 8:20что модель слабая, а потому, что система вокруг  модели никто нормально не проектировал как цельную
89. 8:26систему. Инструменты ненадёжны, состояние теряется  между запусками, агент повторяет попытку и ничему
90. 8:32при этом не учится, а виноватые назначают модель.  Это на самом деле неверный диагноз. Итак, почему
91. 8:38это продолжение прошлого видео про циклы, а не  что-то новое взамен? Объясняю. Цикл - это агент,
92. 8:44который крутит одно и то же. Подумал, сделал,  посмотрел на результат и снова подумал по кругу,
93. 8:49пока не закончит. Вы это видели? Так работает  клод-код, когда похтит над какой-то сложной
94. 8:53задачей. А вот ключевая мысль, на которой сходится  сразу три серьёзных источника, заключается вот
95. 8:58в чём. Цикл - это и есть граф, просто самый  маленький. Одна коробка со стрелкой на саму себя.
96. 9:04Стрелка может указывать назад. Вот вам и цикл.  Так говорит Сидни Ранкл из Лангчейна. Это говорит
97. 9:10Дэвид Хуршит, создатель Икстейта, инструмента,  который моделирует состояние программ много лет
98. 9:16подряд. Цикл - это направленный граф с петлёй.  И это же отдельной большой статьёй доказывает
99. 9:21ещё один автор. Цепочки, циклы, графы - это одна  и та же идея из пятидесятых годов. И называется
100. 9:26она конечный автомат. Поэтому здесь идея не  нова. Итак, когда эксперт по конечным автоматам,
101. 9:31разработчик из Нгчейна и автор-теоретик независимо  говорят одно и то же, это уже необычное мнение,
102. 9:36а это уже какой-то состоявшийся факт, которому  надо доверять. Возможно. И вывод из этого простой:
103. 9:41циклы не умерли. Граф не заменяет цикл. Граф - это  то, что получается, когда у вас несколько циклов,
104. 9:48которым надо передавать работу друг друга.  Вы не выбрасываете то, что учили в прошлом
105. 9:53видео. Вы делаете просто следующий шаг. И у  одного автора есть безупречный тест, когда вам
106. 9:58вообще пора уйти от цикла графу. Звучит он так:  "Нарисуйте управление вашего агента на салфетке.
107. 10:05Если уверены, что нарисовали его полностью,  ничего не забыли, у вас цикл, и цикл - это
108. 10:10правильный ответ. Не усложняйте это". А если на  салфетке не помещается, если сами не уверены,
109. 10:15что ушли все ветки и развилки, у вас уже граб. Вы  просто ещё не записали его там, где машина сможет
110. 10:21его прочитать и проверить. Запомните этот тест.  Он честнее половины статей на волне хайпа, который
111. 10:27сейчас есть. Большинству агентов граф пока не  нужен, и это нормально. Граф начинается ровно там,
112. 10:33где вы сами уже не можете нарисовать всю схему  на одной простой салфетке. И тут же следующая,
113. 10:39самая частая и самая дорогая ошибка на этой  волне в том, что люди рисуют 40 узлов до того,
114. 10:44как вообще посмотрели, как работа делается на  самом деле. Правило здесь звучит довольно-таки
115. 10:49просто. Сначала наблюдайте, потом формализуйте,  дайте сильному агенту сделать свою работу,
116. 10:55посмотрите живые логи, где он реально спотыкался,  где он ходил по кругу, и только те пути, которые
117. 11:01оказались устойчивыми, закрепляйте определённой  схемой. Иначе получается красивая схема,
118. 11:07которая закодировала неверные допущения. Выглядит  она вроде как инженерия, но при этом работает как
119. 11:12самообман. И чинить её потом будет дороже, чем  не рисовать вовсе. А вот теперь практика, то,
120. 11:18что вы примените уже сегодня, даже если у вас  нет никаких агентов. Большинство многошаговых
121. 11:24процессов написаны прямой линией. Шаг один, шаг  два, шаг три. Каждый вежливо ждёт предыдущего. И
122. 11:30вот лучшее объяснение всего этого. Вы напечатали  к лоду, а потом сделай это. И ваш код услышал:
123. 11:36"Жди". Но в чём здесь смысл, спросите вы? Половина  этих ожиданий фальшивые. Шаг стоит после соседа не
124. 11:42потому, что читает его результат, а просто потому,  что вы набрали их в таком порядке. И эти шаги
125. 11:48можно сделать одновременно, а не последовательно,  друг за другом. Один автор рассказал реальный
126. 11:53случай. Скрипт аудит репозитория. Девять шагов, 40  минут. Каждую ночь он отрабатывает. Он посмотрел,
127. 12:00шесть стрелок из девяти оказались просто  фальшивыми. шаги не зависели друг от друга,
128. 12:04а просто стояли в очереди. Он их сделал  параллельными. По итогу 40 минут превратились
129. 12:09в 4 минуты без единого нового инструмента. Он не  добавил какой-то модный фреймворк, он просто убрал
130. 12:15шесть лишних ожиданий. Вот это всё, если совсем  коротко, и есть суть графнженерии. Не навесить
131. 12:21модную архитектуру, а посмотреть, где ваша работа  зря выстроена в линию и тратит ваше время. И
132. 12:27знаете, что изменилось именно сейчас? Почему волна  хайпа пошла именно в июле? Одна фраза лучшая по
133. 12:33этому вопросу, который может быть. Идея не новая,  подешевела проводка. Что это значит? Раньше связь
134. 12:39агентов в граф была дорогой и сложной. Теперь вы  описываете цель словами, и модель сама пишет код,
135. 12:45который всё связывает. А обвал стоимости всегда  обнажает то, что раньше строить было слишком
136. 12:50дорого. И ещё один пример из лучшего разбора  по данной тематике. Когда вы что-то ищете и
137. 12:55заранее не знаете, сколько нужно проходов, не  ставьте наугат пять раз. [музыка] Крутите цикл,
138. 13:00пока он два раунда подряд не находит ничего  нового. И только тогда останавливайтесь. Тогда
139. 13:06граф сам понимает, когда работа закончена  и не жёт токены впустую. Звучит как мелочь,
140. 13:11а именно из таких мелочей и складывается инженерия  графов. Я недавно сам дошёл до такого принципа на
141. 13:17одном своём проекте. Два раунда цикла мне давали  понимание, когда нужно реально остановиться, и это
142. 13:22работало. Ну что, хватит теории, покажу сейчас  это на своём коде вживую и покажу момент, ради
143. 13:27которого всё затевалось. как три и агента хором  говорят, что всё готово, а на деле просто вам
144. 13:32врут. И как это поймать и потом обойти? Я написал  маленький инструмент за один вечер, открытый,
145. 13:39бесплатный, ссылка будет в описании. Называется  он First Graph. Он специально маленький, чтобы его
146. 13:44можно было изучить за один вечер. И делает ровно  то, о чём я говорил выше. Итак, смотрите, я беру
147. 13:50свой собственный процесс. Создание выпусков для  своего YouTubeканала, как один, который вы видите
148. 13:56прямо сейчас. собрать нужно источники, отобрать  топ-новости, написать сценарий, проверить факты,
149. 14:01отчеловечить, собрать пакет данных и так далее. Я  описываю его шаги, что каждый читает, что выдаёт
150. 14:06в одном файле и запускаю его не в терминале, а  прямо в деспном приложении клода, потому что там
151. 14:11работаю, открываю там папку с инструментом и одной  фразой прошу прогони firstграф на моём процессе
152. 14:17создания сценария. Покажи фальшивые стрелки. Клод  выполняет и показывает результат тут же на экране.
153. 14:23И инструмент нам говорит, что из ряда связей  некоторые фальшивые. Семь сборов источников
154. 14:29можно гнать одновременно. Сценарий и визуальный  план независимы, проверка фактов и отчеловечивание
155. 14:34тоже. Итого 4:10 мину превращаются в 2:9 на  моём реальном процессе. И вот что не делает
156. 14:41никто из авторов статей по данной тематике.  Инструмент не просто считает фальшивые стрелки,
157. 14:47он считает, какие из них реально стоят вашего  живого времени. Потому что не всякая фальшивая
158. 14:51стрелка стоит денег. Если ветка и так успевает,  резать её бессмысленно. Он показывает: "Вот эти
159. 14:57семь дорогие, а эти три просто для красоты". Он  не даёт мне выдать красивую цифру за настоящую
160. 15:02экономию. Давайте посмотрим, как это всё живёт не  в моём учебном коде, а в настоящем инструменте,
161. 15:08который у вас уже есть в код-коде. Помните, в  прошлом видео была команда Workflows. Так вот,
162. 15:13это она и есть. Только теперь понятно, что это  буквально и есть граф. Я пишу ему одну фразу:
163. 15:19"Проверь все файлы маршрутов на пропущенную  авторизацию". по агенту на файл и на каждую
164. 15:25находку перепроверь отдельно. И код-код сам  пишет программу Оркестратор и запускает флот
165. 15:30агентов. И один такой запуск может развернуть до  1.000 агентов. Из них 16 работают одновременно.
166. 15:37Но сразу поправка, которую в статьях  замалчивают. Координация бесплатная,
167. 15:40а вот сами агенты нет. Такой запуск стоит  заметно дороже обычного. Экономия в организации,
168. 15:45а не в работе. Начинайте с малого здесь. И вот  вам цена вопроса на пределе. Есть такой инструмент
169. 15:50бан. Я про него рассказывал. видео про Харс. Его  переписывали с одного языка программирования на
170. 15:55другой ровно по этой самой схеме. 64 агента в  пики работали с ним, и полмиллиона строккода
171. 16:02превратились в миллион за 11 дней работы. И  цена за всё это 65.000 долларов. Плюс человек,
172. 16:09который всё это контролировал. Масштаб реальный  и цена тоже реальная, и результат реальный. Ну
173. 16:14а теперь момент, ради которого я и делал данное  видео. Проблема номер один во всех графов агентов
174. 16:21следующая. Они проверяют друг друга словами.  Первый агент пишет: "Готово, тесты прошли".
175. 16:26Второй читает это и отвечает: "Подтверждаю". А  тесты при этом мог быть не запущены. Один поверил
176. 16:32тексту другого. Смотрите на экран. Три агента:  разработчик, вер идт могут вам говорить следующее,
177. 16:39что всё готово, всё забираем в релиз. А теперь  мы берём мой инструмент, который делает лишь
178. 16:44одну вещь. Он сам запускает тесты по-настоящему.  И в итоге мы видим провал. В коде ошибка. Скидка
179. 16:50посчитана. Неверно. Граф останавливается. По итогу  получается, что три агента у нас сказали, что всё
180. 16:56хорошо, по факту нет. И вот эта фраза из прошлого  видео теперь в виде работающего кода готова,
181. 17:02которая проверка подтверждает, не читая реального  кода. Я назвал это якорем реальности и сделал так,
182. 17:08что этот якорь нельзя обмануть, в нём физически  нельзя передать мнение модели. Только команду,
183. 17:13которую можно запустить, только файл, который  либо есть, либо нет. Проверка, а не мне кажется.
184. 17:19И это отличает настоящий граф от красивой схемы  с галочками. Схема с проверками, которые ничего
185. 17:25не проверяют - это просто более дорогой способ  ошибиться на вашей задаче. И пока я это делал,
186. 17:30я нашёл человека, который упаковал ровно эту же  мысль в одну строку, причём лучше, чем я. Как она
187. 17:37звучит? Не крутите цикл на уверенности, [музыка]  крутите на реальных уликах. И давайте разберёмся,
188. 17:43что это значит. Агент вам может сказать, что  закончил. И это не доказательство. Тесты прошли,
189. 17:48источники resolвятся, ревюер одобрил div.  Вот это реально доказательство. Надеюсь,
190. 17:53вы чувствуете разницу. В первом случае вы верите  словам. Во втором смотрите на улики. Это тот же
191. 17:59якорь реальности, только сформулированный так,  что его невозможно забыть. И это, между прочим,
192. 18:04уже четвёртый независимый автор, который пришёл к  такому же выводу, что и я. Просто разными словами.
193. 18:09Когда четверо людей пороздень приходит к одной  мысли, это перестаёт быть просто мнением. Это
194. 18:13уже факт. И ещё одну вещь я решил проверить  вживую, потому что все советуют так делать,
195. 18:18но на самом деле никто не проверял это в  реальности. Совет из всех статей звучит так:
196. 18:23ставьте второго проверяющего агента на другой,  более умной моделью. Он поймёт то, что пропустил
197. 18:30первый. Звучит логично, но стоит ли платить вдвое  больше за такую проверку? Я решил прогнать это в
198. 18:36реальности. Дал обеим моделям одинаковые задачи с  ловушками. Первый судья на дешёвой модели Хайку,
199. 18:42а второй на дорогой модели Sanet. И результат,  который я получил, оказался не таким, какой я
200. 18:48ожидал. Дешёвая модель поймала всё то же самое,  что и дорогая. Второй судья не добавил ничего
201. 18:53нового и стоил при этом втрое дороже. И вывод  здесь не в том, что совет был плохой. Вывод в том,
202. 18:59что на моих задачах он просто не окупился.  И узнать это можно только одним способом:
203. 19:03проверить на своих реальных данных, а не поверить  какой-то статье в интернете. Это и есть главная
204. 19:09мысль всего данного видео в одном простом примере.  А теперь то, ради чего стоит досмотреть именно
205. 19:14этот кусок видео, потому что дальше я расскажу,  как этот самый вывод чуть не оказался враньём.
206. 19:19Пока я готовил данный выпуск, вышло видео, где  ребята прогнали тот же эксперимент и получили
207. 19:24противоположный результат. Дешёвая модель у  них выдала длинный список замечаний, дорогая,
208. 19:29заметно меньше. Они стали изучать код, и большая  часть находок дешёвой модели оказалась просто
209. 19:35ложной. Она ругалась на вещи, оставленные  намеренно. И какой они сделали вывод? Экономия
210. 19:40здесь не сработала, потому что теперь само ревью  надо ревьюить повторно. И тут у нас получается
211. 19:47следующая ситуация. Два человека сделали один  эксперимент, и у каждого обратные ответы. Кто-то
212. 19:52из нас явно не прав. Я полез разбираться и нашёл  проблему у себя. Мы мерили разные понятия. Я брал
213. 19:58только сломанный код и спрашивал, найдёт ли  судья баг. Это полнота. Они брали рабочий код
214. 20:04и увидели другое. Не выдумывает ли судья баг.  Это точность. Совершенно два разных понятия
215. 20:09и совершенно две разные вещи. И вот в чём тут  основная проблема. Если во всех задачах есть баг,
216. 20:15то отклонить всегда правильный ответ. Значит,  судья, который бракует вообще всё подряд,
217. 20:20получил бы у меня безупречные четыре из четырёх.  Мой тест этого поймать не мог, в принципе. Ну и
218. 20:26самое обидное здесь у меня в кодельные решения  уже лежали. Я их сам исключил из проверки и даже
219. 20:32написал в комментарии на чистых ловить в принципе  нечего. Оказалось, есть что там ловятся ложные
220. 20:37тревоги. Я всё это исправил, перезапустил,  и получилось уже более честно. Восемь задач,
221. 20:44четыре сломанных и четыре верных. Три судьи вместо  двух. Добавил самую дорогую модель в виде опуса,
222. 20:49чтобы условия совпали с теми же разработчиками,  кто это проверял. Каков результат? Все трое
223. 20:55поймали одинаково четыре из четырёх. Ложных  тревог ноль у всех. Точность 100% как у всех.
224. 21:01Разница только в цене. Дорогая модель стоила в 4,2  раза дороже, чем более дешёвая модель за буквально
225. 21:07тот же самый результат. То есть мой вывод устоял,  но теперь он проверен тестом, который умеет меня
226. 21:13опровергнуть. А почему у других разработчиков  вышло иначе, тоже стало понятно и никто здесь не
227. 21:18соврал. У них было ревью живого интерфейса, где  правильно зависит от замысла, что-то оставлено
228. 21:24намеренно, и это надо понять из контекста. У  меня же алгоритмические задачи, где правоту
229. 21:29устанавливают запуск тестов и места для Я так  задумал просто нету. Ложные тревоги вылезают там,
230. 21:35где правильность зависит от контекста, не там, где  её проверяет Pйнтеest. И что произошло в финале,
231. 21:40из-за которого вот этот блок попал в видео. Первый  честный прогон дал мне красивую картинку. Дорогая
232. 21:45модель забраковала все четыре верных решения.  Дешёвая ни одного. Сенсация. Платить больше,
233. 21:50получается, это плохо. Я эту цифру, естественно,  не понёс в видео. Она меня смутила сразу же,
234. 21:56потому что 4 из четырёх - это слишком ровно.  Реальность так не выглядит. Я пошёл смотреть сырые
235. 22:01ответы модели. И что я увижу? На все четыре она  отвечает: "Одобрить" с подробным разбором, почему
236. 22:07решение верное. Получается, врал мой собственный  инструмент, и причина оказалась достаточно
237. 22:12банальной и получительной для меня в первую  очередь. Я поставил потолок расходов на один
238. 22:16вызов в 25 центов, а вызов дорогой модели стоит  32. Она упиралась в лимит и клод возвращал пустой
239. 22:23ответ без всякой ошибки. А мой разбор вердикта  читал пустоту как не одобрил, то есть как ложную
240. 22:28тревогу. В итоге дорогая модель проваливалась  ровно потому, что была дорогой. Вот вам и весь
241. 22:33смысл этого видео в одном случае. Схема была,  проверки были, тесты зелёные, и система выдала
242. 22:38уверенно выглядящую таблицу с обманом, потому что  один провал прошёл просто молча. И поймал я это
243. 22:44проверкой. Поймал, потому что цифра показалась  слишком красивой. Я в итоге всё починил. Теперь
244. 22:49пустой ответ роняет прогон с внятной причиной, а  не превращает её в вердикт. И написал тест ровно
245. 22:55на этот случай, чтобы молчаливый провал больше не  проходил. Запомните, это лучше всех цифр, которые
246. 23:00сегодня были озвучены. Ваш граф не скажет вам, что  соврал, он покажет, что всё зелёное. Спрашивайте
247. 23:06себя, не сошлось ли, а могло ли это сойтись  по какой-либо ошибке. И это будет правильный
248. 23:11вопрос для того, чтобы получить правильный ответ.  И одна практическая деталь, о которой стоит знать
249. 23:16заранее. Граф жёт кратно больше токенов, чем один  агент. На двадцатидолларовых тарифов клод-кода и
250. 23:22кодекса вы упрётесь лимиты гораздо быстрее, чем  привыкли. Начинайте с малого. Это не фигура речи,
251. 23:27это реально про ваши деньги. И заметьте, всё  это работает на вашей же подписке код-кода
252. 23:32без всяких отдельных ключей и оплат. Инструмент  открытый. Я его сделал не ради звёзд, а просто,
253. 23:37чтобы показать свою теорию на практике, как  она работает. Но мой инструмент учебный,
254. 23:43и он специально маленький. А чтобы вы не  подумали, что всё это ерунда для Ютуюба,
255. 23:48покажу настоящий [музыка] интересный проект. Его  собрал один разработчик The Set Rose. И внимание,
256. 23:54он построен на Гермес, том самом агенте, про  которого у меня было отдельное видео. То есть
257. 23:59это прямо соединяет две наши любимые темы. Я его  изучил. Это работающая машина. И делает она ровно
258. 24:05то, о чём всё это видео, только уже по-взрослому.  И три вещи, ради которых стоит взглянуть на неё
259. 24:10каждому из вас. Первое, то, что я весь ролик  повторяю снова и снова, агент не выбирает,
260. 24:15куда идти дальше. Здесь это буквально два разных  файла. В одном агент возвращает строгий JON,
261. 24:20просто заполненную форму. В другом обычный  код читает эту форму и выбирает маршрут. Ноль
262. 24:25обращений к модели самой маршрутизации. И если  агент вернул кашу вместо Джейсона, это не, ну,
263. 24:30угадаю, а честный сбой, который уходит человеку.  Второе. Якорь реальности, но ещё жёстче моего.
264. 24:37Одному агенту там разрешено только читать код, но  не писать его. И это невежливая просьба в промте,
265. 24:42пожалуйста, не пиши. Программа снимает слепо к  репозитория до и после каждого его хода. И если он
266. 24:47тронул хотя бы один файл, прогон упадёт с уликой  об этом. Есть тест, который это доказывает. Агент
267. 24:54пишет файл, и граф мгновенно уходит в красную  зону. Это правило, которое нельзя нарушить даже
268. 24:59уговорами. Третье. Жёсткие правила риска, которые  модель не может выключить. Тронул авторизацию,
269. 25:04миграцию базы, публичный интерфейс. Обязательно  ревью включается автоматически. [музыка] модель
270. 25:10может его только потребовать, но не отменить. Плюс  лимит попыток живёт в коде. Весь прогон пишется в
271. 25:15базу SQL Lite. Его можно остановить, взглянуть  внутрь и продолжить с того самого места, даже
272. 25:20после сбоя. И каждый агент правит не ваш проект  напрямую, а свою изолированную копию. Work 3. В
273. 25:27основной код правки падают только после того, как  прошли проверку и чисто наложились. Скажу именно с
274. 25:33инструмента. Он жёстко завязан на два конкретных  инструмента: Гермессие и Кодексе. Под капотом
275. 25:38тяжёлый фреймворк, и это ранняя версия 0,1.  Как готовый продукт- это ещё не шивой продукт,
276. 25:43но как доказательство, что граф инженерия - это  не просто [музыка] видео в интернете, а настоящая
277. 25:48инженерия с реальными проверками. Это реально  лучший пример того, что я видел. Ссылку дам в
278. 25:53описании рядом со своим инструментом. Итак, мы уже  на середине. Впереди второй граф, тот самый про
279. 25:59знания. И там я покажу, как этот граф ловит AI на  вране про ваш собственный код. Плюс разберу цифру,
280. 26:05которую вы точно видели в этих статьях. -85%  затрат и покажу, как она оказалась в итоге просто
281. 26:12обманом. Итак, помните, я обещал вернуться ко  второму типу графов, граф знаний. Вот он и то, чем
282. 26:18он будет полезен лично вам. Есть такой инструмент  графиifй. Я его разбирал ещё давным-давно, до
283. 26:22всего хайпа на Ютюбе. 90 с лишним тысяч звёзд на  Гитхабе, всего за несколько месяцев. И это очень
284. 26:28много. Волну его популярности, кстати, запустил  пост того самого Андрея Карпатова. Того самого,
285. 26:34про метод которого у меня тоже было отдельное  видео. Итак, что он делает? Одной командой строит
286. 26:39карту вашего кода. Что, с чем связано, какая  функция, какую связывают? Как граф локально,
287. 26:44без всякой несети за пару минут. Я проверял его  руками. На реальном проекте 1.000 с лишним файлов
288. 26:49собрались за 2 минуты без единого ключа. То  есть он реально работает. Ну и это подтверждают
289. 26:53все вокруг, кто на нём хайпит. И вот в чём  польза лично вам, даже если вы не ходите сами,
290. 26:57а заказываете разработку. Я агент, который лезет  в ваш проект, постоянно норовит выдумать то,
291. 27:02с чем связано, и наврать. Граф знаний - это ловит.  две вещи, которые я соединил в своём инструменте,
292. 27:08а в статьях этого никто не сделал. Итак, первое.  Этот граф подсказывает, как раздать работу другим
293. 27:14агентам. Не по агенту на файл, потому что на  большом проекте это будет 1.000 агентов. Это
294. 27:18просто какое-то безумие, а по смысловым кластерам  связанного кода. 12 осмысленных кусковместо
295. 27:241.сячи отдельных. Второе, и это достаточно  интересно, агент возвращает находку, мол,
296. 27:29функция А вызывает функцию B, а мы сверяем это с  графом. Есть такая связь в коде. Если нету, значит
297. 27:35агент её просто выдумал. И получается, что это тот  же якорь реальности, но для утверждений о коде.
298. 27:41Правду говорит Парсер, а не вторая модель. Грав  знаний ловит агента на реальном вране. Кстати, тут
299. 27:47же ответ на громкий слоп-тезис из десятка статей.  Якобы граф заменил обычный поиск. -85% затрат плюс
300. 27:5418% точности. Так вот, эти цифры из одной узкой  научной работы про инженерные схемы. А в статьях
301. 28:02они превратились сначала в Microsoft доказал,  потом Microsoft годами доказывал и так далее. Одна
302. 28:07цифра растянутая пересказом тоне узнаваемости.  Классика того, как надувается хайpe в X и так
303. 28:13далее. Поэтому не ведитесь на неё. О'кей. Теперь  давайте разберёмся, где графы могут ломаться.
304. 28:17Ломаются они тоже, и про это важно сказать.  Начну с истории, которая объясняет всё разом.
305. 28:22Однако команда поддержки 5 месяцев гордилась своим  ботом. Выбрали метрику, сколько тикетов закрыто,
306. 28:27мерили каждую неделю, подкручивали бота, и линия  всё это время ползла вверх. Все дашборды зелёные,
307. 28:34всё идёт по плану. Что было дальше? А потом пришли  данные по продлениям подписок. Клиенты уходили
308. 28:41вдвое чаще прежнего. Бот научился закрывать  тикеты, отфутболивая людей. Быстрее свернуть
309. 28:47разговор, пометить решённым то, что человек  просто бросил. И метрика росла, и сам её рост
310. 28:52был механизмом провала. Петля видела только цифру,  а цифра тихо перестала значить то, что все думали.
311. 28:58Кстати, самое смешное в этом случае, что я с таким  сталкивался в реальной своей работе в прошлом.
312. 29:03Служба поддержки имела ровно такую же метрику для  премирования. Скорость закрытия тикета. По итогу
313. 29:09тикеты закрывались быстро, но отношение клиента  к сервису почему-то падало ниже плинтуса. И в
314. 29:14этом плане бот идеально повторил за человеком путь  развития один в один. И получается у одной петли
315. 29:20ровно четыре способа, как вам соврать. Метрику  начинают обманывать, цель никто не пересматривает,
316. 29:26петли дерутся между собой, а измерения незаметно  начинают отрываться от реальности, уходить
317. 29:32в космос. И получается граф - это ответ на все  четыре обмана. Петли, которые следят за петлями,
318. 29:38проверяют и одёргивают друг друга. Но вот честная  половина, которую в статьях не договаривают, граф
319. 29:43тоже может вам соврать. [музыка] Давайте объясню,  как. 20 агентов на одной модели, читающих один и
320. 29:49тот же кривой контекст, будут дружно соглашаться с  друг другом в промышленных масштабах. Вы построите
321. 29:55красивую схему, где везде проверки, где всё  сходится, и она будет неправильной, просто позже,
322. 30:01дороже и с большим числом зелёных огоньков по пути  вашему вниз. Про это независимо написали, кстати,
323. 30:07четыре разных автора. Одной фразой: "Каждый цикл  смотрит на другой цикл, и ни один не касается
324. 30:12из них реальности". И здесь лучшая формулировка  звучит так: без якарей граф - это где галлюцинации
325. 30:19будет больше, а проектное управление при этом  будет лучше. И что же здесь якаря? Якаря - это
326. 30:25вещи, с которыми нельзя спорить. Например,  деньги, реально пришедшие на счёт, тесты,
327. 30:30которые реально прошли, клиенты, которые реально  остались. Не просто дашборд зелёный, а касание с
328. 30:37реальностью или, как написали в статье, касание  с землёй. И самое правдивое, что есть во всей
329. 30:41этой теме, было создано создателями лгчейна. Они  сами ушли от жёстких графов. Там, где задача по
330. 30:48природе творческая или исследовательская, они  просто убирали граф и давали агенту реальную
331. 30:52свободу. Их собственные слова звучат так:  "Не всегда стройте графы и не циклы умерли,
332. 30:58а просто стройте под задачу". Из всего этого нужен  ответ на главный вопрос: когда граф не нужен.
333. 31:05Если задача одна и она простая, если вы сами не  поняли, что ищете, если шаги честно зависят друг
334. 31:11от друга, тогда это цепочка. Параллелить здесь  просто нечего. Один автор сказал здесь прямо:
335. 31:16"Не стройте граф для списка покупок только  потому, что так сказал Twitter". А теперь
336. 31:21самое практичное из всего видео. Помните три слоя  изначала: среда, цикл и граф? Так вот, они нужны
337. 31:28не для красоты. Они нужны, когда у вас что-то  сломалось и вы не понимаете, что нужно чинить.
338. 31:33Потому что типичная реакция здесь какая? Модель  тупая, возьму подороже или уйду на соседнюю. Это
339. 31:39почти всегда неверный диагноз. Вот вам короткая  диагностика, по которой вы находите свой симптом и
340. 31:45сразу видите, какой слой виноват в вашей проблеме.  Агент может добраться до нужных данных или лезет
341. 31:51туда, куда не должен. Это проблема в среде. Чините  права и инструменты, а не промт. Агент забывает,
342. 31:59что дело вчера, теряет прогресс между запусками  - это тоже среда. нужны файлы состояния и
343. 32:04контрольные точки, а не напомню ему снова что-то  в промте. Далее, первая попытка почти правильная,
344. 32:10но каждый раз по-разному. Это уже проблема в  цикле. Нужна внешняя проверка и понятный сигнал,
345. 32:16что именно идёт не так. Следующее, если агент  останавливается, не доказав результат, или пишет,
346. 32:22что всё готово, при этом ничего не готово, это  тоже цикл. Значит, нету условий остановки, которая
347. 32:28будет привязана к конкретным уликам. [музыка] Если  специалистов надо запускать в определённом порядке
348. 32:33светвлениями и согласованиями, вот тут, наконец,  вам нужен граф. Многошаговый сбой невозможно
349. 32:40локализовать. На выходе только готовый результат,  а где сломалось, непонятно. Это граф плюс логи. И
350. 32:46это, кстати, главная боль всех, кто запускает  флот агентов. Работы проходят гора, а понять,
351. 32:51кто её испортил, просто нельзя, потому что  агентов было слишком много в этом процессе.
352. 32:55Если процесс меняется быстрее, чем вы успеваете  рисовать схему, то тогда вообще не формализуйте
353. 33:01в принципе ничего. Оставьте простую среду и  наблюдайте дальше. И всё это, на самом деле,
354. 33:07полезнее половины споров о терминах. Найдите слой,  который отвечает за ваш сбой, и чините именно его,
355. 33:13а не покупайте модель подороже, надеясь, что  она разгребёт кривое состояние и сломанные
356. 33:17инструменты. Да, не разгребёт. В этом весь  смысл. Не прыгайте с кодекса на клод или обратно.
357. 33:22Вначале займитесь понятием того, где у вас  что именно сломалось. Итак, финал. Соберём всё
358. 33:28воедино. Промт инженеринг был про то, как задать  модели правильный вопрос.Op инженеринг про то,
359. 33:34как уйти из ручного управления и построить цикл.  Граф инженеринг - как связать эти циклы между
360. 33:40собой. Имя новое, но большинство проблем на самом  деле старые. Так, хайп - это или нет? На самом
361. 33:46деле и то, и другое. Вокруг слова хайп, слоб,  растянутые цифры. А вот под словом реальный сдвиг,
362. 33:51который 3 года живёт в лонграфе и который вы  теперь понимаете лучше, чем автор половины тех
363. 33:57статей, которые пишут их в X. Ну вот что я лично  понял, прочитав все эти статьи и написав свой код
364. 34:02с помощью код-кода для проверки этого. Настоящая  суть всего этого вообще не в том, что циклы воюют
365. 34:08против графов и так далее, и даже не в том, какой  формы ваша схема. Суть - это обоснованная против
366. 34:15необоснованного. Касается ли ваша машинерия, какой  бы модной формы она ни была, настоящей реальности,
367. 34:21не отчёта в клоде, а реальности. Оседают ли её  числа с небес на землю, а не на другие числа? И
368. 34:28проверяет ли её кто-то по-настоящему независимый,  а не второй такой же слепой агент? В этом весь
369. 34:34главный вопрос. Надеюсь, вы помните человека из  начала видео, Питера Штайнберга, который сжёг
370. 34:391. 300.000 долларов. У его агента, получается,  просто не было якоря. Некому было сказать: "Стоп,
371. 34:45ты тратишь всё впустую". Форма была модной, а  земли под ногами не было. Интересно, кто-то вычтит
372. 34:51из его зарплаты все эти траты? И вопрос, который я  хочу вам оставить прямо из лучшей статьи по данной
373. 34:57тематике. Посмотрите на свою рабочую неделю.  Какие два процесса у вас до сих пор соединены
374. 35:03только вами, вами, как живым человеком? Вы бегаете  между ними, носите результат из одного в другой,
375. 35:09потому что вы единственный, кто знает, что  они связаны. Вы и есть та недостающая стрелка.
376. 35:13Напишите в комментариях, будет интересно узнать. И  про материалы. Мой инструмент, тот самый firstграф
377. 35:19с открытым кодом, забирайте у моего бота бесплатно  под видео в закрепе. Ставьте, запускайте на своём
378. 35:24процессе, смотрите, где вы ждёте просто так зря.  Плюс все инструменты из данного видео будут там же
379. 35:30у бота. Поставьте лайк и комментарий этому видео,  если вам стало чуть больше понятнее, что такое
380. 35:35инженерия графов. Подписывайтесь на канал и на мой  Telegram-канал. Тоже рисуйте графы, оставайтесь
381. 35:42тем, кто держит землю у себя под ногами.  Спасибо, что досмотрели до конца. Всем пока.