Agents Week 2026 | Семинар 3 AI Agent Workflow Multi-Agent Systems Multimodality — Transcript

Full transcript

1. 1:11Всем привет. И мы продолжаем наш третий
2. 1:14день. Сегодня на семинаре мы более
3. 1:17подробно рассмотрим на практике темы
4. 1:20агентского workкфлоу и наших
5. 1:22мультиагентных систем. Мы разберём наш
6. 1:25тауцикл, посмотрим, как выглядит
7. 1:28реализация реактагентов, рассмотрим
8. 1:31иерархическую мультиагентную систему и в
9. 1:33конце добавим для неё критика. После
10. 1:36этого сравним разные подходы, их плюсы,
11. 1:39минусы, а, и как они будут у нас
12. 1:42работать на, а, схожих примерах. С чего
13. 1:45мы начнём- это с настройки окружения.
14. 1:49Настраиваем мы всё аналогично прошлым
15. 1:52семинаром. Устанавливаем зависимости, а,
16. 1:55и проверяем, что мы можем выполнить
17. 1:59запрос КЛM. Указываем
18. 2:02свой ключ. И запустив этот блок, мы
19. 2:06должны увидеть а результат ответа в
20. 2:10формате одного слова yes. Если мы
21. 2:12получили ответ от LM, всё хорошо, мы
22. 2:15можем работать дальше.
23. 2:17Так,
24. 2:19теперь давайте
25. 2:21рассмотрим наши тулы, с которыми мы
26. 2:24будем работать внутри наших агентов. Они
27. 2:27аналогичны тому, а что мы уже
28. 2:29использовали на предыдущих занятиях, а,
29. 2:33и мы немного их расширим. А по самому
30. 2:36составу, а, источников данных, с
31. 2:39которыми мы будем работать, у нас
32. 2:40остаётся база, а, наших
33. 2:44рейсов. мы будем иметь четыре э рейса, с
34. 2:49которыми будут работать наши агенты.
35. 2:50Дальше, э, идёт база с бронированием и
36. 2:54источник данных про политики
37. 2:56авиакомпании. Это определённые правила
38. 3:00для кейсов, например, ребукинга, отмены
39. 3:04и проезда с багажом.
40. 3:07А после этого мы добавим все наши
41. 3:11источники данных для работы и увидим
42. 3:16полное количество того, что будет внутри
43. 3:20них, чтобы проверить, что они прироли.
44. 3:22Теперь давайте перейдём к самим тулам,
45. 3:24которые будем использовать. У нас будет
46. 3:27тул для поиска рейсов, когда мы будем
47. 3:32передавать на вход наш источник
48. 3:35назначения, место, откуда мы вылетаем, и
49. 3:38дату.
50. 3:39А дальше мы можем заполучить с помощью
51. 3:42тула getails
52. 3:45более расширенную информацию о нашем
53. 3:48рейсе, передав на вход его номер.
54. 3:51Следующий - это get booking. Он
55. 3:54принимает на вход бронирования и выдаёт
56. 3:59нам информацию о самом бронировани.
57. 4:02Следующий аналогичный getс. Передаём на
58. 4:06вход сам тип политики. А, и уже
59. 4:10возвращаем конкретную информацию о ней.
60. 4:13И последний, более сложный тул - это
61. 4:16обновить бронирование. Тут мы на вход
62. 4:19передаём наше ID бронирование, наш рейс,
63. 4:22на который мы хотим сменить, и дату
64. 4:25этого рейса, на который мы, а, планируем
65. 4:28перенести наше бронирование.
66. 4:31А дальше собираем из всех наших тулов
67. 4:34один единый список и можем приступать к
68. 4:39реализации наших агентов. А первый
69. 4:42агент, которого мы с вами реализуем -
70. 4:44это простой одиночный агент в формате
71. 4:47React. Как мы помним по лекции, React
72. 4:51agent чередует FD Action Observation,
73. 4:54вызывает тулы и с помощью этого уже
74. 4:58получает финальный, а результат а
75. 5:03работы, который можно дать пользователю.
76. 5:05Сначала зададим его системный промт. Как
77. 5:08мы помним, стратегия React агентов по
78. 5:12формату размышления задаётся именно на
79. 5:15уровне промтинга. мы явно укажем нашему
80. 5:17агенту, что он должен проанализировать,
81. 5:20выполнить и вызвать, а, ряд тулов, а, и
82. 5:25после этого обработать финальный
83. 5:26результат и понять, а, можем ли мы
84. 5:30ответить на запрос, пользовате ли. А
85. 5:33также в промте мы, а, укажем общее, а,
86. 5:37правило для работы нашего агента и
87. 5:39перечислим список тулов, чтобы он
88. 5:40понимал, что в каких кейсах он мог бы
89. 5:43вызывать. Теперь давайте перейдём к
90. 5:48самой реализации агента.
91. 5:51Реализуем функцию create react agent,
92. 5:54которая будет принимать на вход список
93. 5:56тулов и наш системный промт. Вначале
94. 6:00проверим, что не список тулов, а если он
95. 6:05у нас до этого не был определён,
96. 6:07определённого тулами, которые мы
97. 6:09посмотрели до этого.
98. 6:11и создаём системный промт в формате
99. 6:14системного промкта, который у нас был
100. 6:17рассмотрен ранее. Теперь давайте
101. 6:20проициализируем саму LM, с которой мы
102. 6:22будем работать внутри нашего агента. А
103. 6:24передадим ей сюда список тулов, а и
104. 6:28кроме этого зададим специальный флаг
105. 6:30отключения параллельной работы, чтобы
106. 6:33более детально и наглядно посмотреть наш
107. 6:35фотоцикл. После этого а мы реализуем
108. 6:39ноды нашего агента. Основная нода - это
109. 6:43агентно. Она принимает состояние, а, и в
110. 6:47рамках него уже будем делать вызов нашей
111. 6:50LLM. Сначала мы, а, должны будем
112. 6:53составить само, а, сообщение, с которым
113. 6:55мы будем делать этот вызов. А для этого
114. 6:58мы проверяем, есть ли у нас уже наш
115. 7:01системный промт в рамках сообщения. Если
116. 7:03нет, мы его добавляем. А, и обращаемся с
117. 7:08сообщением которой мы инициализировали
118. 7:10до этого. Теперь мы смотрим, есть ли у
119. 7:14нас какие-либо а в ответе от LM а вызовы
120. 7:20тулов. А если м мы понимаем, что они
121. 7:24есть, для а отображения нашего шага фото
122. 7:28мы сделаем небольшой
123. 7:30мм хак для более наглядного отображения
124. 7:34всего цикла. Как мы уже с вами видели и
125. 7:37обсуждали, что некоторые модели с
126. 7:39встроенным фнкшн коллингом, а они могут
127. 7:43шаг фото пропускать. Для этого мы
128. 7:46отдельно отследим вызов нашего Тула, а и
129. 7:50попросим модель, а объяснить явно, а
130. 7:54почему в данном случае был выбран тот
131. 7:57или иной инструмент. А также это добавим
132. 8:01к нашему итоговому ответу. и вернём
133. 8:05результат. Следующая небольшая нода -
134. 8:07это как раз sh continue. Механизм,
135. 8:11который нам будет нужен в случае
136. 8:13обработки тулов. Если мы видим, а что, а
137. 8:19последнее сообщение был вызов в тула, то
138. 8:21мы возвращаем тул. Если же мы понимаем,
139. 8:24что никакой тул же не возвращался,
140. 8:26значит, мы находимся на этапе, когда мы
141. 8:29готовы дать финальный ответ. И мы
142. 8:30возвращаем end. Теперь проициализируем
143. 8:33сам граф нашего агента. Зададим граф,
144. 8:37зададим ноды, которые мы определили,
145. 8:40агентскую ноду передадим тулы и
146. 8:44в рамках рёмбера создадим как раз
147. 8:48формат, который проговаривали а при
148. 8:51разборе Реактгента. Если у нас есть
149. 8:53вызовлов, а то мы их вызываем. Если нет,
150. 8:56то будет возвращён end, и мы завершим
151. 9:00исполнение нашего агента.
152. 9:03По самой корчасти Reactта
153. 9:07мы реализовали всё, что нужно. Теперь мы
154. 9:10можем вызвать саму а функцию create
155. 9:14react agent и получить агентом, с
156. 9:17которым мы уже дальше будем а работать.
157. 9:21Так, теперь давайте реализуем отдельную
158. 9:23функцию, которая нам позволит запустить
159. 9:26нашего агента и более детально вывести
160. 9:29информацию о тау цикле.
161. 9:32А в неё мы передаём агент и запрос
162. 9:36нашего пользователя, который хотим,
163. 9:39чтобы наш агент обработал. Сам вызов
164. 9:42агента мы поместим между блоком, который
165. 9:45позволит нам замерить время, и на вход
166. 9:50передаём крипа параметр, который нам
167. 9:52пришёл на вход нашей функции. А после
168. 9:55этого, по сути, сама часть с обработкой
169. 9:58всего запроса закончена. Дальнейший код,
170. 10:01который мы будем рассматривать - это, а,
171. 10:03более детальная э визуализация того, что
172. 10:07было в нашем тауцикле. Для этого мы
173. 10:10пройдёмся как раз по тому, что у нас
174. 10:11пришло внутри нашего месседжа. Первым
175. 10:14блоком мы посмотрим, если наш месседжп
176. 10:17является I message и при этом содержит
177. 10:22tool calls, тогда мы понимаем, что
178. 10:25начался новый цикл нашего тауцикла. И мы
179. 10:30должны а из сообщения получить наш
180. 10:35фотшаг. Аналогично мы можем, а, получить
181. 10:39то, что у нас было в экшенах. Если же
182. 10:42тип нашего сообщение - это tool message,
183. 10:46а значит, мы уже, а, перешли к шагу,
184. 10:50а, и можем получить на вывод конечный
185. 10:54результат работы тула. Если же мы
186. 10:57понимаем, что тулы не вызывались и при
187. 11:00этом message type - это i message,
188. 11:03значит, мы получили наш финальный ответ
189. 11:06и можем уже его так и отобразить. По
190. 11:10сути, всё. Дальше мы будем рассматривать
191. 11:12наши кейсы а по реактнту с помощью этой
192. 11:17функции runтс. Давайте рассмотрим
193. 11:20сначала наиболее простой пример.
194. 11:23Попросим рейсы, которые мы можем
195. 11:25получить из Москвы в Париж на
196. 11:28определённую дату. А посмотрим, что
197. 11:31вернул э наш агент. Мы видим, что у нас
198. 11:36прошёл только один степ нашего тауцикла,
199. 11:40и этого а нам хватает. Мы видим явно,
200. 11:45что агент рассуждает на тему того, что
201. 11:48он должен сделать для решения задачи.
202. 11:50Видим, что выбирается верная функция м
203. 11:53для вызова тула по получению рейсов. И
204. 11:57видим, что у нас был получен нужный
205. 12:00список наших рейсов. На основе этих
206. 12:02данных наш агент как раз идеально и
207. 12:05правильно нашёл все необходимые данные.
208. 12:08Тут реакт агент нас полностью устроит.
209. 12:11Всё хорошо. Давайте теперь попробуем
210. 12:14что-то более сложное. Например, а кейс,
211. 12:17когда будем ожидать от агента несколько
212. 12:20действий, но при этом не слишком его
213. 12:24перенагружать и явно укажем по пунктам,
214. 12:27что нам нужно сделать, э, и что мы хотим
215. 12:31увидеть. А теперь мы видим, что наш
216. 12:34агент уже прошёл не один, а три степа
217. 12:39тау циклу. И в каждом из этих степов он
218. 12:45аналогично получал нужную часть данных
219. 12:48для решения финальной задачи и в конце
220. 12:52финальном ответе смог нам а предоставить
221. 12:55хороший финальный вариант, который нас м
222. 12:58также по качеству
223. 13:00а устраивает. Теперь, а-э, давайте
224. 13:03посмотрим, как бы наш Реакт-тагент
225. 13:06работал на ещё более сложном кейсе,
226. 13:08когда, а, мы ожидаем, что он выполнит
227. 13:12несколько шалов, но при этом явно не
228. 13:14указываем ему какую-то
229. 13:15последовательность, а только, а,
230. 13:17описываем какой-либо, а, образ
231. 13:19результата. Что мы видим на этом, а,
232. 13:23примере? У нас уже целых четыре, а,
233. 13:26степа нашего тауцикла. А, и в каждом из
234. 13:30шагов агент
235. 13:33верно, а подобрал тулы, верно подобрал
236. 13:36параметры, а в целом верно для получения
237. 13:39финального ответа, а обработал весь
238. 13:43контекст. А, но в данном запросе, кроме
239. 13:47самих, а, финальных данных, мы просили
240. 13:49ещё и сравнить стоимость, которая у нас,
241. 13:53а, будет относительно различных политик.
242. 13:56Хоть наш агент
243. 13:59эту информацию получил, то есть он
244. 14:01видит, что разница 80% информации это у
245. 14:04него была, а никакого информации о
246. 14:07сравнении в финальном ответе он нам не
247. 14:10предоставил. Чуть-чуть он потерялся в
248. 14:12контексте и сосредоточился на том, что у
249. 14:15нас
250. 14:16возвращали а более поздние шаги. Что мы
251. 14:19видим на а примере этого реактагента? А
252. 14:23мы видим, что с какими-то более простыми
253. 14:26задачами он справляется прекрасно, всё
254. 14:29хорошо. А также можно обратить внимание
255. 14:32на время исполнения самого агента. А это
256. 14:36довольно быстро. Почему это быстро? Мы
257. 14:39также ещё посмотрим на примере других
258. 14:41агентов, а, которые будем рассматривать
259. 14:44дальше. Тут основная мысль, которую
260. 14:46стоит держать в голове, что если задача
261. 14:48простая, хорошо, идём в реакт и получаем
262. 14:52быстрый результат, а, с минимальными,
263. 14:56мм,
264. 14:57с минимальными затратами по разработке.
265. 15:01Но если мы хотим более сложные задачи,
266. 15:03как в последнем кейсе, это мотивирует
267. 15:05нас уже переходить к нашим, а,
268. 15:07мультиагентным системам. Теперь давайте
269. 15:10рассмотрим нашу вторую часть в теории на
270. 15:12лекции. Мы уже более детально разобрали
271. 15:15различные подходы. На практике же мы, а,
272. 15:18рассмотрим, а, нашу иерархическую
273. 15:20систему как самую популярную и посмотрим
274. 15:23также, а, принципы, а, мультикетных
275. 15:26систем, а, как они ложатся у нас
276. 15:29уже в коде во время самой, а, самого
277. 15:33процесса разработки нашего агента. И
278. 15:36прежде чем перейти к более детальному
279. 15:38коду агента, давайте
280. 15:40посмотрим небольшой код по тому, что нам
281. 15:43будет необходимо для работы с ним.
282. 15:45Создадим базовые модели, такие как,
283. 15:48например, модель с подзадачи, у которой
284. 15:51будет задаваться имя агента, описание э
285. 15:56самой задачи, а и у задачи также мы
286. 16:00будем уметь ставить приоритет.
287. 16:02Следующая модель - это модель уже для
288. 16:06результата работы нашего планировщика.
289. 16:09У нас будет полерининг, в котором мы
290. 16:12укажем в целом, что мы хотим достичь, и
291. 16:15будет список наших подзадач, которые для
292. 16:17этого нужно выполнить. А следующая
293. 16:20моделька финальная - это а модель нашего
294. 16:23агентского результата. Тут мы также
295. 16:26указываем имя агента, который у нас
296. 16:29данный результат выдал.
297. 16:30выбираем один из статусов, а и в
298. 16:35результате также добавляем, а финальный
299. 16:38ответ и список тулов, который был
300. 16:40использован.
301. 16:42А для примера сама моделька планировщика
302. 16:46выгляла бы примерно так. То есть мы
303. 16:49задаём конкретно, что мы должны сделать.
304. 16:52И в формате уже не текста, а конкретных
305. 16:55классов, в формате списка мы будем
306. 16:59получать информацию о том, какой агент
307. 17:01должен сделать, какую из-подзадач и с
308. 17:03каким приоритетом. Давайте рассмотрим а
309. 17:07нашу реализацию уже самих агентов. И
310. 17:10начнём с агента специализации нашего
311. 17:15субагента, который будет выполнять наши
312. 17:18подзадачи. у него при его создании мы
313. 17:21укажем ему имя, передадим тулы, с
314. 17:23которыми он будет работать, и создадим
315. 17:26для него граф. А в рамках графа мы также
316. 17:29переиспользуем функцию, которая нам
317. 17:31позволяет уже создавать и работать с
318. 17:34реактагентами. Теперь реализуем саму
319. 17:37функцию вызова обработки нашего
320. 17:40специализированного
321. 17:42агента.
322. 17:43А мы обращаемся
323. 17:46а к нашему графу. и обращаемся к нему
324. 17:50для выполнения запроса с передачей самой
325. 17:53задачи, которую мы получили на вход
326. 17:55функции процесса.
327. 17:57А после этого мы, а, собираем тулы, с
328. 18:02который у нас использовались. Опять же,
329. 18:05это нам нужно для более детальной
330. 18:06отладки и понимания, что у нас
331. 18:08произошло. И отдельно получаем, а, наш
332. 18:12финальный контент. Теперь всё, что нужно
333. 18:16для передачи результата, мы уже имеем и
334. 18:18отдаём модельку нашего агентского
335. 18:20результата. Также важно уточнить, что
336. 18:23обязательно этот блок вызов агента нужно
337. 18:27рачивать trйкеch. Так как опять же могут
338. 18:31часто падать как обычные сетевые ошибки,
339. 18:34так и по вопросам квот, м доступов и так
340. 18:38далее. А в случае ошибки мы результат
341. 18:41возвращаем, но уже с другими
342. 18:43параметрами. Теперь, имея модельку и
343. 18:47класс нашего агентаспециалиста, создадим
344. 18:50несколько шаблонных агентов, которые
345. 18:53будут уметь работать со своей зоной
346. 18:56ответственности. Видим, что в отличие от
347. 18:58Реакт агента, мы уже не передаём полный
348. 19:01список тулов. Каждый агент умеет
349. 19:03работать со своим скопом задач и решать
350. 19:06свои проблемы более точечно. Всех этих
351. 19:08агентов для дальнейшей работы мы
352. 19:10поместим вот такую небольшую мапу.
353. 19:13И теперь давайте перейдём к новому
354. 19:16отдельному типу агентов, которого мы
355. 19:18также уже обсуждали в теории. Это агент
356. 19:22координатор. Агент-координатор у нас
357. 19:26будет получать нашу маппу
358. 19:29агентовспециалистов, с которыми он будет
359. 19:32дальше работать. Он отдельно а будет
360. 19:36иметь свою лмку. Также, а, важно обратим
361. 19:40внимание, что мы хотим, чтобы наш
362. 19:42координатор возвращал результат своей
363. 19:44работы в конкретном, чётком формате,
364. 19:47который мы как раз рассматривали до
365. 19:49этого в моделях. Поэтому мы используем
366. 19:51наш механизм strcturech outpта на
367. 19:54практике для решения этой задачки. Кроме
368. 19:57того, у самого координатора, как мы
369. 19:59помним, после работы всех наших
370. 20:01субагентов будет этап, когда ему нужно
371. 20:04подвести итоги и суммаризовать,
372. 20:07обработать
373. 20:09все подшаги. Для этого нам какого-то
374. 20:11конкретного, а, и чёткого формата не
375. 20:13нужно тут. Поэтому можем использовать
376. 20:15обычно Lм без ограничения по модели.
377. 20:20Теперь давайте посмотрим, а сами функции
378. 20:22нашего планировщика. Во-первых, это,
379. 20:25конечно, создание плана. Что мы должны
380. 20:29иметь на вход, чтобы создать план? Это
381. 20:31запрос пользователя. И как результат
382. 20:34работы данного метода, это уже
383. 20:36конкретная моделька а плана. А тут всё
384. 20:40довольно просто. Мы обращаемся к
385. 20:43нашей LLM, которая была создана отдельно
386. 20:46для планировщика, и вызываем, передаём
387. 20:49запрос нашего пользователя. При этом
388. 20:53задаём наш системный промт, на основе
389. 20:54которого мы уже хотим планировать и
390. 20:57разбивать наши подзадачи.
391. 20:59Э, следующая функция - это исполнение
392. 21:02плана. Исполнение плана принимает
393. 21:04модель, которую мы уже, а, получили на
394. 21:07уровне планирования, а, и возвращает
395. 21:11список результатов наших агентов. А тут
396. 21:14также ещё заметим, что исполнение плана,
397. 21:17оно к ЛМ, а по сути напрямую никак не
398. 21:22обращается. Мы идём обычным циклам,
399. 21:24обычным алгоритмом, который умеет
400. 21:27работать с конкретной моделькой
401. 21:29координации плана. Мы обращаемся к
402. 21:32списку наших, а, задач, которые нам
403. 21:35нужно обработать. А, и уже для каждого
404. 21:39агента запрашиваем реализацию каждой из
405. 21:41этих, а, подзадач. Когда каждый агент
406. 21:45уже обработал задачу, мы собираем
407. 21:47финальный лист, а, решений, которые
408. 21:50каждый из них предоставил. И последняя
409. 21:52наша функция - это, а,
410. 21:57функция для, а, синхронизации
411. 22:00результата, когда мы уже имеем и запрос
412. 22:04пользователя, и результат всех
413. 22:06подогентов, нам остаётся только, а,
414. 22:09правильно его обработать. На этом этапе
415. 22:11мы обращаемся к ЛМ, которая умеет
416. 22:14сделать нам э вывод, то есть не та,
417. 22:16которую вернёт модельку планировщика, а
418. 22:18наша вторая. А и задаём системный промт,
419. 22:21а плюс передаём на вход а все нужные
420. 22:25данные, которые мы собрали на предыдущих
421. 22:26шагах. Теперь давайте реализуем функцию,
422. 22:30которая у нас позволит работать, а с
423. 22:33нашим планировщиком
424. 22:35и которая уже запустит полный процесс
425. 22:37обработки задачи на вход. Она как раз
426. 22:40принимает наш вопрос пользователя. И
427. 22:42первый шаг, а, обработки нашего лагента
428. 22:46- это, а, будет планирование. Мы
429. 22:49вызываем функцию, а, создания плана,
430. 22:52передаём запрос пользователя и на выход
431. 22:55получаем то, что мы хотим сделать, и
432. 22:58список подзадач. После этого мы уже идём
433. 23:01на второй шаг. А тут у нас а будет
434. 23:04исполнение плана. Когда уже мы исполнили
435. 23:08все по части нашего плана, мы запускаем
436. 23:10наш финальный шаг. Это синхронизация.
437. 23:13Передаём все нужные параметры и успешно,
438. 23:16а, получаем наш финальный ответ. Таким
439. 23:18образом, мы реализовали нашего
440. 23:20агента-координатора, который собой
441. 23:23представляет нашу мультиагентную систему
442. 23:25и работает в иерархическом формате.
443. 23:29Теперь давайте посмотрим, как он у нас
444. 23:31будет работать на практике. Давайте
445. 23:34попробуем нашему агенту передать ровно
446. 23:36тот же пример, на котором мы
447. 23:37остановились последним в Реактагенте. А
448. 23:41мы видим, что первый этап планирования
449. 23:45проходит успешно. Мы, э, определяем, что
450. 23:49конкретно мы хотим сделать для решения
451. 23:52задачи. И кроме этого разбиваем а эту
452. 23:57более комплексную задачу на пять
453. 23:59небольших подтасок.
454. 24:01После того, как все эти подзадачи будут
455. 24:05решены, мы получим финальный ответ. И
456. 24:09вот можем обратить внимание на тот
457. 24:11пункт, который нас чуть-чуть смутил, а в
458. 24:15нашем Реактгенте, то, что данные мы все
459. 24:18нужные получили, но какого-то сравнения
460. 24:21финального нет. в агенте с
461. 24:25мультиагентностью мы это уже аэ смогли
462. 24:28получить э-э более точный результат,
463. 24:30который мы ожидали. Мы видим, что как
464. 24:32раз стоимость поднимается на 80%. И нам
465. 24:36данные не просто дали для финального
466. 24:39предоставления результата, но и
467. 24:41выполнили то, что мы изначально хотели
468. 24:42от нашего агента.
469. 24:45Теперь давайте ещё один небольшой пример
470. 24:47посмотрим. А на этом примере мы можем
471. 24:50видеть, как агент работает с задачами,
472. 24:53которые не связаны, а просто две разные
473. 24:57параллельные задачи, но которые также
474. 24:58нужно финально вместе решить. На первом
475. 25:01этапе у нас идёт аналогичное
476. 25:03планирование, а и потом мы каждую из
477. 25:06этих двух задач делегируем нашим
478. 25:09отдельным агентам, которые являются
479. 25:12специалистами в каждом из этих двух
480. 25:13вопросов. После чего видим, что наша
481. 25:17мультигентная система в этом кейсе также
482. 25:19хорошо справляется и выдаёт результат
483. 25:22как по первому, так и второму запросу. А
484. 25:25что мы тут видим? Мы видим, что в
485. 25:27сравнении с Реактагентом нам уже
486. 25:31получилось сделать качество более точным
487. 25:34и решить проблему, которая у нас
488. 25:37возникала на первом этапе. Кроме того, а
489. 25:41мы уже обращаем внимание на то, что сама
490. 25:44разработка этого агента занимает чуть
491. 25:47больше времени, а и время исполнения
492. 25:51[откашливается]
493. 25:51аа и решения аналогичной задачи тоже
494. 25:54также а возрастает. Теперь давайте
495. 25:59перейдём к нашей третьей части и
496. 26:02дополним, а, прокачаем нашего агента, а,
497. 26:06спланировщиком, нашу мультигентную
498. 26:08систему. Добавим в ней этап критика. Как
499. 26:11это будет происходить? Э, мы получим
500. 26:14аналогично результат по запросу
501. 26:17пользователя, но теперь не сразу выведем
502. 26:19его, а передадим его на обработку ещё
503. 26:22одному агенту критику. Этот агент примет
504. 26:26решение, нужно ли его передавать по
505. 26:28определённым критериям пользователю.
506. 26:30Если да, всё хорошо, мы его передаём.
507. 26:33Если нет, то мы можем, а как-либо
508. 26:36обрабатывать фолбеки, которые тут могут
509. 26:39возникнуть. А в нашем случае также
510. 26:42рассмотрим одну из реализаций таких
511. 26:44сценариев.
512. 26:45И прежде чем перейти к самому флоу
513. 26:48приналировщику, также давайте посмотрим,
514. 26:50с какими модельками наш м
515. 26:53[откашливается] а то есть критик будет
516. 26:55работать. Сейчас будем реализовывать
517. 26:56самого критика агента. А модель
518. 26:59критикафдбек, она как раз будет
519. 27:01результатом работы попроверки.
520. 27:04Во-первых, мы должны передать флаг, мы
521. 27:06передаём или не передаём вопрос
522. 27:08пользователю, а дальше оценим наше
523. 27:11качество а ответа от нуля до 10. А если
524. 27:16есть какие-то проблемы, также выведим
525. 27:19это в формате строк. Та кроме самих
526. 27:22проблем, предложим сразу варианты
527. 27:24решения, которые могут нам помочь их
528. 27:26поправить. И отдельно выведем общий
529. 27:29статус, что у нас произошло и какой
530. 27:31результат проверки по сути видим. Теперь
531. 27:34давайте посмотрим самого агента.
532. 27:37Передаём ему отдельно при создании lm с
533. 27:42strch output и содаём конкретную а
534. 27:45модель. А после реализуем нашу функцию
535. 27:49review, которая как раз будет
536. 27:51запускаться для проверки а ответов. Мы
537. 27:54ей на вход будем давать наш
538. 27:57пользовательский запрос и с помощью него
539. 28:01и дополнительных
540. 28:02данных по работе агента оценивать, а как
541. 28:07конкретно мы считаем на данном этапе,
542. 28:10была ли задача полностью решена а или
543. 28:13нет.
544. 28:15А, как видим, агент критик не имеет
545. 28:18какой-то сложной бизнес-логики в плане
546. 28:20алгоритма. Вся
547. 28:22его основная задача и качество
548. 28:25заключается в том, насколько грамотно
549. 28:27мы, а, подобрали на этом этапе сам промт
550. 28:30проверки.
551. 28:33После мы с самой реализации критика
552. 28:37закончили и можем использовать его уже
553. 28:40для нашего эксперимента с агентами,
554. 28:44которую мы продолжим. Теперь давайте
555. 28:46реализуем отдельный класс, который нам
556. 28:48как раз а позволит обрабатывать задачи с
557. 28:50помощью а нашего критика. Функции процес
558. 28:54query vis с критиком. Мы также передадим
559. 28:59информацию о том, какой запрос
560. 29:02пользователя мы хотим выполнить. Теперь,
561. 29:05а-э, начинаем всё аналогично нашей
562. 29:08мультигентной системы, которую мы
563. 29:10смотрели до этого. Это этап
564. 29:12планирования, этап интерегирования
565. 29:15работы наших агентов-специалистов, этап
566. 29:18сбора синхронизации нашего результата.
567. 29:20А, и теперь вместо того, чтобы вернуть
568. 29:23наш финальный результат, мы переходим к
569. 29:25четвёртому шагу, а, а именно к критику.
570. 29:28мы получаем наш фидбэк
571. 29:31с помощью результатов функции revw
572. 29:37смотрим а на то, что нам пришло в данном
573. 29:41фидбэке. Если мы понимаем, что у нас
574. 29:45была отклонён наш ответ по той или иной
575. 29:48причине, и при этом количество, а,
576. 29:52попыток у нас ещё сохранилось, также
577. 29:54важно уточнить, что если вы делаете
578. 29:56критика, всегда стоит позаботиться о
579. 29:58том, чтобы ограничивать количество
580. 30:01циклов перепроверки, которые вы хотите э
581. 30:05делать. Потому что на этом этапе также
582. 30:08можно войти в бесконечный цикл и никогда
583. 30:11не получить решение, которое
584. 30:13будет полностью нас удовлетворять по
585. 30:15качеству. Теперь что мы делаем, если мы
586. 30:18готовы к этапу, когда мы можем как-то
587. 30:21поработать с нашим фидбэком. Соберём, а
588. 30:24наш дополнительный промт, который будет
589. 30:27учитывать всю информацию, которую нам
590. 30:30хорошо собирает в своём фидбэке критик.
591. 30:33Мы учтём все ошибки. Мы также, а,
592. 30:38предоставим для обработки наше
593. 30:41предложение, а, и попробуем обработать
594. 30:46наш запрос заново. После чего мы, опять
595. 30:50же, в данном кейсе сделаем только одну
596. 30:53попытку перепланирования, но после неё
597. 30:55мы для финального результатов э выберем,
598. 31:00проверим через критика повторный запрос
599. 31:04ещё раз.
600. 31:05Когда мы уже получили проверенный и
601. 31:09финальный
602. 31:10результат, мы его можем возвращать
603. 31:12нашему пользователю. Теперь давайте
604. 31:15проверим, а что у нас будет происходить,
605. 31:19когда мы зададим более хитрый запрос для
606. 31:22проверки нашего агента. Мы спросим,
607. 31:25какой из ближайших рейсов подходящий нам
608. 31:28а доступен для перепланирования. А, но
609. 31:31не укажем явно, что нужно сверить
610. 31:35политику правил перебронирования,
611. 31:38которая у нас внутри себя несёт. А одино
612. 31:43условие, которое отсет часть запросов, а
613. 31:46именно, что можем перебронировать только
614. 31:48на те рейсы, которые имеют один класс,
615. 31:51то ли есть с эконома на эконом, а с
616. 31:53эконома на бизнес уже у нас нет такой
617. 31:55возможности перебронировать.
618. 31:57А, итак, попробуем посмотреть, что у нас
619. 32:00происходит в итоге. В этом кейсе опять
620. 32:04же, когда разрабатывала и тестировала
621. 32:08данного агента, смотрела, что хотелось
622. 32:12изначально продемонстрировать,
623. 32:13как у нас будет идти повторный запрос на
624. 32:17нашего критика. Но столкнулась с
625. 32:20довольно интересным кейсом, когда наш
626. 32:22критик, а при этом зная все, а правила,
627. 32:26по которым ему нужно сравнить, сам не
628. 32:29нашёл ошибки и выдал результат. э такой,
629. 32:32что а он считает, что всё хорошо. А при
630. 32:36этом мы понимаем, что ошибка также
631. 32:40оставалась. Если рассмотреть ещё прогон
632. 32:42аналогичных кейсов из Таубанча, там на
633. 32:45части моделей опять же критика этот кейс
634. 32:48улавливает. И когда мы дальше пробуем
635. 32:51вызвать аналогичный кейс у того же
636. 32:53самого критика ниже, а мы увидим, что а
637. 32:57на второй попытке он уже его отловит.
638. 33:00Это довольно забавный практический
639. 33:03пример, который у вас, скорее всего,
640. 33:05тоже будет возникать в практике. А
641. 33:08конкретно тут причина в том, что мы
642. 33:10используем а модель GBT Nana, которая не
643. 33:14даёт довольно большого количества, а, по
644. 33:16приросту, ну, которая сама не сможет,
645. 33:21аэ, с достаточным качеством обработать
646. 33:23нашу данную задачу. А, поэтому, опять
647. 33:26же, при разработке все эти нюансы стоит
648. 33:28учитывать. Возможно, даже когда вы
649. 33:30делаете всё теоретически правильно, на
650. 33:33практике могут быть самые разные кейсы и
651. 33:35может быть но множество параметров,
652. 33:36которые будут влиять на финальный а
653. 33:40результат. Что мы тут
654. 33:42можем опять же подвести как итоги? Мы
655. 33:45сейчас реализовали flow критика, а
656. 33:48посмотрели, как мы можем дополнительно
657. 33:50проверять наших агентов на качество.
658. 33:54Также этот шаг мы понимаем, что он будет
659. 33:56более долгий, но при этом в части кейсов
660. 34:00он нас спасёт от более плохих ответов.
661. 34:03Но, как мы посмотрели на практике, в
662. 34:05части кейсов даже наличие критика нам
663. 34:08может не помочь. И теперь давайте более
664. 34:10подробно, а, сравним все наши подходы,
665. 34:13которые мы сейчас с вами реализовали на
666. 34:15части примерах, и попробуем сделать
667. 34:19вывод о том, а когда и что нам может
668. 34:23подойти по реализации уже наших
669. 34:25собственных агентских систем. Для этого
670. 34:28реализуем наши бечмарки, соберём аэ
671. 34:32список вопросов, просто дадим им
672. 34:34категорию для удобства, будем дальше эту
673. 34:37категорию использовать. аа в визуальном
674. 34:40отображении статистики, а и
675. 34:41дополнительно передадим ещё список
676. 34:44ожидаемых тулов. То есть по каждому это
677. 34:46запросу мы знаем, по какому флоу может
678. 34:48пойти агент. Конкретно у наших текущих
679. 34:51агентов флоу простой. Идут какой-то
680. 34:53вариации, где он может использовать тот
681. 34:55или иной тул. Нет. Поэтому мы можем явно
682. 34:58задать ожидаемые тулы, которые нам
683. 35:01говорят о том, что агент действительно
684. 35:02пошёл по верному пути и как минимум
685. 35:05запросил все необходимые для решения ему
686. 35:08данные и не сгаллюционировал где-нибудь
687. 35:09по пути.
688. 35:11А теперь после того, как а сможем
689. 35:15собрать все наши дополнительные данные,
690. 35:17можем реализовать прогон наших агентов
691. 35:21по а самим бачмаркам. мы прогоним, как,
692. 35:27ну да, мы, во-первых, реализуем
693. 35:30универсальную небольшую функцию, которая
694. 35:32прогоняет наших агентов по тесткейсам,
695. 35:35которые мы рассмотрели и в итоге может
696. 35:40дать нам финальные результаты по
697. 35:43бачмаркам, по прогону кейса. И
698. 35:47данную функцию заиспользуем уже а для
699. 35:51вызова на каждом из трёх подходов. А
700. 35:54какие мы рассмотрели и реализовали
701. 35:57ранее. То есть наш реакт, одиночный
702. 36:01агент, дальше наша иерархическая
703. 36:04мультиагентная система Нобискритика. И
704. 36:08последний вариант мы уже проверим вместе
705. 36:11с критиком. Итак, тут
706. 36:14следующий шаг. Мы прогоняем самих наших
707. 36:17агентов и подводим некую статистику. на
708. 36:21самом скрипте статистики детально
709. 36:24останавливаться не будем. Мы по сути
710. 36:27просто обрабатываем все результаты,
711. 36:30которые прогонов и выводим их в
712. 36:33структурированном формате. Тут давайте
713. 36:35более детально лучше посмотрим на сам
714. 36:38итог прогона и какие инсайды мы можем
715. 36:41вынести. Что мы видим? Какое-то среднее
716. 36:43время выполнения каждого из агентов.
717. 36:46видим, что наш одиночный гент гораздо
718. 36:49быстрее работает, чем наша мультигентная
719. 36:52система. Он использует
720. 36:54меньше тулов в части кейсов. А опять же,
721. 36:58это скорее для нас тревожный звоночек,
722. 37:00потому что мы понимаем, что где-то он не
723. 37:02дозапросил нужных данных, значит, он
724. 37:05точно не мог получить нашего финального
725. 37:07точно правильного ответа. И аналогично
726. 37:09по скоро мы видим вот такую статистику,
727. 37:11что средняя оценка для нашего
728. 37:13реактагента 6, для мультигендной системы
729. 37:17без критика 9,3, что тоже достаточно
730. 37:20неплохо. И с критиком мы уже видим
731. 37:23десяточку. Теперь давайте посмотрим, что
732. 37:25у нас было более детально по каждому из
733. 37:27типов проверок. А что мы видим на
734. 37:30простых проверках? Тут каждый агент
735. 37:33получил отличный скор равный десяти.
736. 37:37Время, как мы видим, всё равно всегда
737. 37:39отличается. То есть для простых задач в
738. 37:42данном кейсе для нас наиболее приятным
739. 37:44выглядит наш обычный реактогент.
740. 37:49Но когда мы переходим уже к более
741. 37:51сложным задачам, мультидоменным, когда
742. 37:53нам нужно работать, а, с несколькими
743. 37:55подзадачами внутри одного запроса, а тут
744. 37:58мы видим другую картину. Критик сразу
745. 38:01нашёл ошибки
746. 38:04в ответе нашего обычного реактагента.
747. 38:09И за счёт этого его скор получился
748. 38:12вообще два балла. Мультиагентная
749. 38:15система, как с критиком отгс справилась
750. 38:19хорошо, всё нашли и полностью
751. 38:21удовлетворяли условиям критика. Также
752. 38:24видим, что когда у нас нет перепродано,
753. 38:26время мультигенной системы с критиком,
754. 38:28ну, плюс-минус равно обычной
755. 38:30мультиагентной системе.
756. 38:33А что дальше? Следующий кейс, самый
757. 38:36интересный - это тот самый случай, когда
758. 38:39мы м э рассматривали э более сложный
759. 38:44вопрос с подвохом на а реализации нашего
760. 38:49агента Критика. А что мы видим у нас? А
761. 38:53простой Реактагент, тоже интересный
762. 38:55момент, что он правильно распознал, а,
763. 38:59саму суть задачи, вывел финальный
764. 39:02результат, но, как мы видели, он
765. 39:04всё-таки потерялся в других контекстах и
766. 39:06не вывел, а полное летальное описание
767. 39:09всего, что мы от него ожидали. А
768. 39:12мультиагентная же система тут запуталась
769. 39:14и не учла тот кейс, что на бизнес мы
770. 39:17перепророваться не можем. А, и что мы
771. 39:19видим? Критик это отловил на уже
772. 39:23проверки банчмарок и снизал ей скор. При
773. 39:26этом сама мультиагентная система с
774. 39:28критиком в этот раз отработала на
775. 39:33десяточку. И видим, что а у нас был как
776. 39:36раз повторный первый прогон. То есть наш
777. 39:38критик отловил ошибку. Мы прогнали флоу
778. 39:41во второй раз. Вот как раз в плюс-минус
779. 39:43в два раза отличается а время, но а мы
780. 39:47получили полностью удовлетворяющий нас
781. 39:49по качеству результат. Он и правильный,
782. 39:51он и подробный, э, всё, э, в целом нас
783. 39:56устраивает. Если акцентировать внимание
784. 39:59на семи различиях -э этих проголов, то
785. 40:02мы видим, что для нашего простого кейса,
786. 40:07а, по результатам качества, а, всё
787. 40:10аналогично для всех трёх агентов. Для
788. 40:13уже задачки с более сложным сценарием,
789. 40:17мы видим, что простой агент посыпался по
790. 40:19качеству. К сожалению, вот если мы такие
791. 40:22сценарии для себя считаем целевыми, тут
792. 40:25он нам уже будет не подходить. При этом
793. 40:28критик на этом этапе нам скорее, ну, не
794. 40:31обязателен. Это избычно, и нас устроит
795. 40:34обычная мультаагентная система. Но на
796. 40:36самых сложных, более хитрых сценариев мы
797. 40:40можем видеть всю силу и полезность
798. 40:43нашего критика. только он смог финально
799. 40:46решить задачку, э, чтобы учесть все наши
800. 40:50критерии.
801. 40:52Если подводить наши результаты, то, а,
802. 40:56мы можем сделать следующие выводы. Для
803. 41:01каждой задачи стоит подбирать
804. 41:03инструмент, который а будет для вас
805. 41:07наиболее актуален. А во время семинара
806. 41:11мы более детально рассмотрели такие
807. 41:13подходы, как реактагент, мультиагентная
808. 41:16система иерархическая и мультиагентная
809. 41:19система иерархическая с критиком. А если
810. 41:25вы понимаете, что ваша задача
811. 41:26максимально сложная
812. 41:28и хочется
813. 41:31отличное качество, то критикам стоит не
814. 41:35пренебрегать. Если для нас качество не
815. 41:38так критично, но при этом мм задачи
816. 41:43более сложные, нам важно их качественно
817. 41:45решать, то тут можно смотреть в сторону
818. 41:47а обычных мультиагентных систем. Но при
819. 41:50этом, если наши задачи а максимально
820. 41:53простые, то
821. 41:55можно остановиться на Реактагенте. Он
822. 41:58классно и что важнее всего, быстрее
823. 42:01всего и дешевле всего это сделает. И на
824. 42:05этом мы с вами завершаем наш сегодняшний
825. 42:08день. Всем большое спасибо. Всем пока.