Что такое RAG в LLM и причём тут векторные базы данных — Transcript

Full transcript

1. 0:00Здравствуйте. При работе с LM-моделями
2. 0:03вы всё чаще и чаще можете слышать такое
3. 0:06понятие, как рак или раксистема. В этом
4. 0:09видео я постараюсь объяснить и на
5. 0:12примерах показать, что такое рексистема,
6. 0:15как она работает и как правильно
7. 0:18работать с текстами для получения
8. 0:20наилучшего результата. Но для начала
9. 0:22давайте определимся, что же такое
10. 0:24система. Ну, вообще
11. 0:27Retrieval Retrieval Augmented
12. 0:29generation. И меня в комментах ругают за
13. 0:32моё произношение,
14. 0:36поэтому это дополненная генерация
15. 0:39поиска. Какую же проблему она решает?
16. 0:42Перейдём в код. В этом видео я буду
17. 0:44показывать примеры на Python. Да, знаю,
18. 0:47многие подписались на меня по моим
19. 0:49роликам по N8N, но я думаю, что эта
20. 0:52информация будет полезна и вам.
21. 0:54Допустим, мы по А работаем с
22. 0:56LLM-моделью. В моём случае это Мистраль.
23. 1:00И давайте попросим её рассказать о нашем
24. 1:03магазине в городе Киров. ООО Ромашка.
25. 1:06Делаем запрос и видим ответ, что у
26. 1:09модели нет актуальной информации о
27. 1:12графике работы конкретной организации.
28. 1:14Ну и она предлагает нам различные
29. 1:16варианты, где мы эту информацию можем
30. 1:18получить. Ну, в принципе, честно, не
31. 1:20соврала. Номо модель не то чтобы не
32. 1:23знает о нашей организации, она даже не
33. 1:25знает более фундаментальные вопросы.
34. 1:28Если мы спросим, кто сейчас президент
35. 1:29США, то ответ будет более чем
36. 1:32интересный. И здесь модель не врёт и
37. 1:35честно говорит нам, что данная модель
38. 1:38обучена на данных октября двадцать
39. 1:40третьего года. И то, что произошло после
40. 1:42октября двадцать третьего года, она не
41. 1:44знает и не может знать, ровно как она и
42. 1:47не знает о работе вашего бизнеса. Ну или
43. 1:50о вас. Так как же нам сделать так, чтобы
44. 1:53модель всё-таки имела какое-то
45. 1:56представление о нужных нам данных и
46. 2:00работала с ними? Как раз-таки здесь и
47. 2:01используется рексистема. Мы можем помочь
48. 2:05модели, передав в наш промт те данные,
49. 2:09на основании которых она должна
50. 2:10подготавливать ответ. Вот пример такого
51. 2:12запроса. У нас есть System Promt, где мы
52. 2:15задаём модели роль
53. 2:16продавца-консультанта.
54. 2:17Она должна отвечать только на основании
55. 2:19представленного контекста. То есть
56. 2:21появляется у нас некий контекст, в
57. 2:23который мы будем передавать нужную нам
58. 2:26информацию. И здесь инструкция, что
59. 2:29нужно передать. Сам контекст выглядит
60. 2:31вот так. Режим работы с 8 до 20. Шоурум
61. 2:35на улице Ленина, пункт выдачи на улице
62. 2:37Пушкина. Ну и вопрос всё тот же самый.
63. 2:40Расскажи график работы о Ромашка в
64. 2:42городе Киров. В инструкции это дело
65. 2:44описано. У него есть контекст и вопрос.
66. 2:48Сам запрос к модели выглядит абсолютно
67. 2:50так же. Попробуем запустить и видим, что
68. 2:52ответ уже совершенно другой. Модель уже
69. 2:55знает про нас, про наш бизнес и
70. 2:57рассказывает, что режим работы такой-то,
71. 3:01и даже подсказывает, что нас может
72. 3:03заинтересовать. Рассказывает про шоурум
73. 3:06и пункт выдачи. Далее задаёт вопрос: "В
74. 3:09целом к реализован? Вся суть РК я уже
75. 3:13показал. И в принципе, если в рамках
76. 3:17ваших запросов объём информации
77. 3:19небольшой, ну, действительно, например,
78. 3:21режим работы, там, график доставки и так
79. 3:25далее, ну, то есть объём информации не
80. 3:28превышает, ну, на мой взгляд, 1.000
81. 3:30символов, то в целом можно так всё и
82. 3:33оставить. Описываете промт, указываете
83. 3:36контекст, просто переменный, даже его
84. 3:37передаёте сюда, прямо вот сюда, и с этим
85. 3:40и работаете. Никакая дополнительная
86. 3:42система вам не нужна. Но всё-таки,
87. 3:44скорее всего, у вас есть большой объём
88. 3:46информации. Возможно, это магазин, где
89. 3:50есть сотни тысяч наименований товаров, и
90. 3:53про каждый нужно рассказать. Возможно,
91. 3:55это какой-то продукт, и там большое
92. 3:59количество вопросов, может быть,
93. 4:01возникнуть по этому продукту. Ну, я не
94. 4:02знаю. Либо же вы сдаёте в аренду
95. 4:04квартиру, где вы в описании должны
96. 4:07предусмотреть ответы на все вопросы,
97. 4:10которые могут возникнуть. Поэтому вам
98. 4:11нужна уже непосредственно система. Как
99. 4:14она строится? Как вы уже поняли, наша
100. 4:17задача передать некий контекст в system.
101. 4:21Этот контекст нам откуда-то нужно взять.
102. 4:24Мы же не можем поместить всю нашу базу
103. 4:26данных, там 1.000 строк прямо в
104. 4:29контекст. Ну это просто запутал модель.
105. 4:32И результат будет не очень хороший. Мы
106. 4:34должны передавать только то, что нужно.
107. 4:36Ну, приходит на ум построить некую
108. 4:38систему, где у нас будет информация
109. 4:41храниться и извлекаться, исходя из,
110. 4:44собственно, самого вопроса. Если мы
111. 4:46здесь спрашиваем по график работы, то
112. 4:49именно график работы как поисковый
113. 4:51запрос должен пойти в базу, на основании
114. 4:53этого поискового запроса выдать нам
115. 4:55информацию о режиме работы и передать в
116. 4:58контекст. И, конечно же, мы здесь можем
117. 5:00использовать любые базы. Ну, тот же
118. 5:03самый постгрес, например, с поиском по
119. 5:04шаблону. Но это очень сложная и заведомо
120. 5:08провальная стратегия, потому что уже всё
121. 5:10придумано, а именно векторные базы
122. 5:13данных. Что же такое векторные базы
123. 5:15данных и, в принципе, что такое вектор?
124. 5:18Попробую объяснить максимально просто. И
125. 5:20да, кто знаком с темой, могут сказать,
126. 5:22что я слишком сильно упростил, но не
127. 5:24кидайте в меня помидорами. Пытаюсь
128. 5:26объяснить максимально доступно.
129. 5:28Предположим, что у нас есть несколько
130. 5:31предложений. Привет, как дела? Как
131. 5:33делать прикорм и как приготовить кашу? И
132. 5:36каким-то образом нам нужно сравнивать
133. 5:39эти предложения. Ну, первое, что
134. 5:42приходит на ум - это каким-то образом
135. 5:44отцифровать данные буквы. Ну, так как
136. 5:47это русский алфавит, мы можем сделать
137. 5:50оцифровку таким образом. Каждой букве
138. 5:53представить её номерное значение в
139. 5:55алфавите. Ну, например, привет - это 17,
140. 5:5818, 10, 3 6 20. а на пробел поставить
141. 6:02ноль. И теперь наши предложения, они
142. 6:04превратились в некий набор чисел. Вот мы
143. 6:07можем их посмотреть. Далее эти числа мы
144. 6:09можем уже между собой сравнивать. И вот,
145. 6:11например, у нас есть привет. При есть и
146. 6:15в прикорме, при есть и в слове
147. 6:17приготовить. То же самое и дела, и
148. 6:21делать, как и ка. И, очевидно, если мы
149. 6:25сравниваем все эти три фразы, то первая
150. 6:29фраза имеет больше общего именно что со
151. 6:32второй фразой. Здесь совпадений явно
152. 6:35больше, чем в третьей фразе. Ну, если
153. 6:38посмотреть, то при таком подходе слова
154. 6:41привет, прикорм и приготовить у нас
155. 6:43совпадают, хотя в них заложен совершенно
156. 6:46иной смысл. Поэтому обычным простым
157. 6:49сравнением некого кодового представления
158. 6:52буквы или фразы дело не
159. 6:55ограничивается. При работе используется
160. 6:57именно что вектор. Что же такое вектор?
161. 7:00Вот мы разобрали наше слово,
162. 7:02предложение, ну либо вообще весь
163. 7:04документ. Я показываю на примере слова.
164. 7:07И буква П, она не просто имеет значение
165. 7:1117, да, как в алфавите. Ну, понятное
166. 7:14дело, что не 17. Опять-таки повторюсь,
167. 7:15что здесь я максимально упростил, и это
168. 7:18работает сильно сложнее, чем я
169. 7:20показываю. И не просто 17, да, у него
170. 7:23значение, а эта буква, она находится в
171. 7:26неком пространстве. И пространство её
172. 7:29нужно высчитать. Ну, примерно как
173. 7:30координата GPS, что она не просто
174. 7:32находится здесь, а она находится на
175. 7:35каком-то удалении от R, на каком-то
176. 7:38удалении от I и на каком-то удалении от
177. 7:41пробела, либо же от следующей. Ну, уже
178. 7:43здесь Г, да, например, будет либо уже от
179. 7:45следующей буквы. И длины удалений букв,
180. 7:50ну, по большому счёту, координаты. Это и
181. 7:52есть векторное представление. То есть мы
182. 7:55собираем не просто значение некоторое, а
183. 7:58именно вот этот вот порядок слов. Ну,
184. 8:01если мы приводим к вектору только буквы,
185. 8:04там, конечно, будут только буквы, да?
186. 8:05Если мы приводим целые выражения и
187. 8:07фразы, то они таким же образом будут
188. 8:09выстраиваться в некий вектор, в некую
189. 8:12последовательность. И мы можем замерять
190. 8:14длины до тех или иных кусочков. И в
191. 8:17итоге P у нас превращается не просто в
192. 8:1917, а в набор чисел, набор длин до тех
193. 8:24или иных букв. И, естественно, вот эта
194. 8:27P, она будет сильно отличаться от этой
195. 8:30или от этой. А далее, так как мы имеем
196. 8:34значение этих векторов, мы их можем
197. 8:36сравнить. методов сравнения векторов
198. 8:39существует большое количество, но самым
199. 8:41популярным является косинусное сходство,
200. 8:44которое показывает, насколько вектора
201. 8:46схожи между собой. Давайте посмотрим,
202. 8:49как выглядит этот самый вектор. Я здесь
203. 8:51описал какие-то числа, нумера букв
204. 8:53алфавите. Естественно, это выглядит не
205. 8:55так, а намного сложнее. Ну давайте всё
206. 8:57то же самое слово привет. Привет и
207. 8:59пробел. И посмотрим. И вот таким образом
208. 9:02выглядит слово привет с использованием
209. 9:06трекмоделей. Видите, какой большой
210. 9:08словарь? С большим количеством чисел с
211. 9:10плавающей точкой, ну, а точнее, там 1024
212. 9:14значения. Данный вектор был создан
213. 9:17процессом embбединга с помощью открытой
214. 9:21модели от Сбера. Давайте рассмотрим, что
215. 9:24это за модель. Это открытая модель. Она
216. 9:26свободно распространяется, выложена на
217. 9:28huging face и также может и вызываться
218. 9:31через huging face interfей. Она
219. 9:33представляет собой модель для работы с
220. 9:37русским языком и с поддержкой неких
221. 9:40инструкций. Почему именно эта модель, а
222. 9:42не, например, не edдин модель от чата
223. 9:45GPT?
224. 9:46Beding модель чата GPT, конечно, тоже
225. 9:48хороша, но исходя из исследований для
226. 9:52работы с русским языком эта модель
227. 9:55является наилучшей. Но оно и понятно. Я
228. 9:58тестировал различные мультиязычные
229. 10:00модели. Да, если у вас текст смешанный,
230. 10:03то смело используйте чат GPT. Но если вы
231. 10:06хотите добиться наилучшего результата,
232. 10:08то предлагается именно эта модель.
233. 10:11Причём она может быть развёрнута и
234. 10:13локально. У меня как раз здесь два
235. 10:16варианта. Это локальное её
236. 10:18представление. Я её просто скачал. При
237. 10:21первом скачивании вам нужно будет
238. 10:23указать авторизацию на hgging face. Ну а
239. 10:26после скачивания, после первого запуска
240. 10:28вы можете её запускать уже без
241. 10:30авторизации. Напомню, она абсолютно
242. 10:32бесплатно и работает на локальной
243. 10:35машине. Есть ещё и представление по апи,
244. 10:38где мы также можем работать с этой
245. 10:40моделью, но уже по апи запросу. Модель
246. 10:43на вход принимает некий текст в виде
247. 10:46инпута, ну либо здесь в виде просто
248. 10:49текста, а на выходе возвращает как
249. 10:51раз-таки список с вектором, с которым мы
250. 10:55уже дальше можем работать. А что делать
251. 10:57с этим вектором? Ну, по большому счёту,
252. 10:59его нужно поместить куда-то в базу
253. 11:02данных. Я, в принципе, видел в своей
254. 11:04практике варианты, когда подобные
255. 11:06вектора помещали и в базу данных Redis,
256. 11:09и просто в постгрес без какого-то Vector
257. 11:12Store. Но для работы с векторами
258. 11:15существуют специализированные базы
259. 11:17данных. Их большое количество. Это может
260. 11:19быть и Supase, это может быть и Mongo DB
261. 11:23Vector Store. Но одним из
262. 11:26профессиональных решений является
263. 11:29векторная база данных Квадрант. Она
264. 11:31также openсоourсная и доступная, но
265. 11:33помимо этого на своём сайте они
266. 11:36предоставляют бесплатные лимиты в виде
267. 11:38одно гигабта хранения данных бесплатно,
268. 11:42так что её можно использовать и в
269. 11:44облаке, в том числе я её развернул
270. 11:46локально в докер и производил различные
271. 11:49тесты. Для теста я решил взять
272. 11:52Telegram-канал и из этого
273. 11:54Telegram-канала вытащить посты. Так как
274. 11:56в моём Telegram-канале не так много
275. 11:59постов, результат бы получился
276. 12:01неинтересным. Поэтому я взял одного
277. 12:04знаменитого инфобизнесмена, который
278. 12:07своей рекламой заполонил всю мою ленту
279. 12:10на YouTube. И я решил, ну, пусть хоть
280. 12:12какую-то пользу принесёт. Я взял
281. 12:14полностью Telegram-канал, вытащил все
282. 12:17сообщения, проработал с текстом этих
283. 12:20сообщений и отмбедил их. Давайте
284. 12:24посмотрим. Первым делом вычитываем JON.
285. 12:26Кстати, откуда взялся этот JSON? Любой
286. 12:28пользователь Telegram может скачать
287. 12:30любой Telegram-канал себе на компьютер,
288. 12:33просто выкачив историю всех постов и
289. 12:37сохранив их в формате JSON. И вы
290. 12:40получите нечто подобное. Далее смотрим
291. 12:42количество сообщений всего. Вытаскиваем
292. 12:45количество сообщений, вытаскиваем
293. 12:48Message ID, оно нам понадобится. И далее
294. 12:51работаем с текстом. Ну, так как текст в
295. 12:53сообщениях в Телеграме представлен вот
296. 12:55таким вот блоком. Это такой словарь, где
297. 12:59указаны куски текста, мы их собираем в
298. 13:02единый текст, а потом сливаем их в
299. 13:05единую строку. После этого нам нужно
300. 13:08поместить этот текст в базу Квадрант.
301. 13:12Сама по себе база квадрант, она
302. 13:14представляет собой набор неких
303. 13:16коллекций. Ну, грубо говоря, это как бы
304. 13:18таблицы, но так как это всё-таки
305. 13:20векторная база данных и там нет ни
306. 13:22иерархии, ничего, по большому счёту, и
307. 13:25записи-то там нет, то это именно что
308. 13:28коллекции. Для создания коллекций
309. 13:30используется функция create collection,
310. 13:33которая принимает в себя подключение к
311. 13:35базе данных. Далее создаётся коллекция с
312. 13:39именем коллекции и конфигурация для
313. 13:43векторов. Данная конфигурация принимает
314. 13:45в себя два параметра. Это по какому
315. 13:48принципу будет происходить поиск. Ну,
316. 13:51как раз-таки косинусное сходство и есть
317. 13:54некий сайз, то есть размерность этой
318. 13:56коллекции. Что такое размерность?
319. 13:59Размерность - это какое количество
320. 14:02значений вектора будет в одном векторе.
321. 14:04Как я и показывал выше, данная модель
322. 14:07отдаёт векторы в размере 1024 элемента.
323. 14:12Есть embeding модели, которые отдают
324. 14:14вектор меньше или больше. Вообще это
325. 14:16очень важный момент. Если мы готовим
326. 14:19данные к векторизации, а потом
327. 14:21векторизуем, то в процессе мы и должны
328. 14:24использовать эту модель. То есть мы не
329. 14:26можем создать векторы одной моделью, а
330. 14:29искать их другой. Поэтому раз мы выбрали
331. 14:32одну модель, её и используем. И вот этот
332. 14:35вектор сайз, он передаётся в вектор
333. 14:38параметр. Хорошо, коллекция создана.
334. 14:41Далее в эту коллекцию мы добавляем
335. 14:44данные. Я описал это в методе addpint.
336. 14:47Давайте рассмотрим его. Также на клиенте
337. 14:50вызываем метод obsert, указываем
338. 14:53collection name и добавляем некий point.
339. 14:56По большому счёту, это та самая запись в
340. 14:59базу данных, но так как это векторная
341. 15:02база данных, это не какая-то строка, это
342. 15:05не row, это именно что point, то есть
343. 15:08точка вот в этом вот векторном
344. 15:10пространстве. Поэтому она называется и
345. 15:12point. Сам по себе point на вход
346. 15:15принимает три параметра. Это ID,
347. 15:18собственно, сам вектор. Ну, как работает
348. 15:21вектор, мы уже определились. Мы передаём
349. 15:23туда текст, получаем словарь с данными и
350. 15:26кладём его в значение вектор и некий
351. 15:29pilot. Что нам класть в pilot? Ну, по
352. 15:32большому счёту, можете класть туда всё,
353. 15:34что угодно. Pelo представляет собой JSON
354. 15:38формат, и по большому счёту, вы можете
355. 15:40положить туда хоть целое сообщение, хоть
356. 15:43любой контент, всё, что хотите, но по
357. 15:46логике вещей вы должны класть туда
358. 15:49данные, относящиеся непосредственно к
359. 15:50самому вектору. И да, важный момент, при
360. 15:53сравнении этих самых поинтов, при поиске
361. 15:56информации будут сравниваться именно что
362. 15:58вектора. То есть у нас будет один вектор
363. 16:00и второй вектор, и мы будем искать между
364. 16:02ними как раз-таки косинусное сходство. И
365. 16:05pilout он не будет учитываться, но при
366. 16:08этом сам вектор мы обратно в текст
367. 16:11превратить уже не сможем. И именно
368. 16:13поэтому мы должны будем вычитывать этот
369. 16:16самый контент из пайлоуда. В моём случае
370. 16:20Pload выглядит таким образом. Есть некий
371. 16:23контент, как раз-таки туда попадает
372. 16:25текст и есть некая метадата, куда я
373. 16:28помещаю, ну, собственно, метадату. Мета
374. 16:30у меня одна, это message ID, ну, данного
375. 16:33канала. Почему именно в таком варианте?
376. 16:36Это связано с тем, что обычно поиск по
377. 16:39векторным базам данных и, в принципе,
378. 16:41база данных квадрант, она используется
379. 16:44при работе с LM моделями и при вычетке
380. 16:47данных из базы данных. LLM модели нужен
381. 16:51именно что такой формат, где у нас есть
382. 16:53контент и есть метадата. Да, здесь это
383. 16:56не указано и такой формат не указан, но
384. 17:01нужно указывать именно так. Хорошо,
385. 17:03добавили. Теперь, ну, я сейчас запускать
386. 17:06этот код не буду, я его уже запускал, у
387. 17:08меня уже данные есть, данные уже
388. 17:10записаны. И понятное дело, что я это уже
389. 17:12дело уже запускал, а было собрано
390. 17:162.668 точек. Давайте посмотрим, как
391. 17:19выглядят эти самые точки. Вот у нас есть
392. 17:21здесь некий ID. Здесь есть тот самый
393. 17:23текст, который мы передаём, вектор и,
394. 17:26собственно, длина этого самого вектора.
395. 17:28Можем посмотреть, вот найти, например,
396. 17:30похожие. Даже здесь это дело возможно. И
397. 17:33можем здесь, а, вычитать ту или иную
398. 17:36информацию. Ну, давайте попробуем
399. 17:38вычитать это с помощью Python. Для этого
400. 17:40у меня оформлена функция findк. И
401. 17:43попробуем что-нибудь найти. Данная
402. 17:45функция принимает в себя collection name
403. 17:48и делает поиск с указанием collection
404. 17:50name. Далее тот текст, который мы ищем,
405. 17:54ну, ищем мы, естественно, ближайший
406. 17:56текст, она его превращает в векторное
407. 17:59представление, ну, в этом случае уже по
408. 18:01апи. И именно, что вектор является
409. 18:04значением query, значением того, что мы
410. 18:07ищем. А на выходе мы в результате
411. 18:09получаем количество точек, где мы можем
412. 18:12посмотреть их схожесть. Как раз-таки вот
413. 18:15этот вот point scope, это и будет
414. 18:18схожестью. И можем вычитать pilot.
415. 18:21Давайте попробуем. Возьмём модель Clear
416. 18:24Embatings. Это та модель, которую я и
417. 18:27собирал с функцией, которая была описана
418. 18:30выше. Давайте сделаем запрос и смотрим
419. 18:32на результаты. Запрос был точки роста
420. 18:35бизнеса. Ну, так как это инфо-бизнесмен,
421. 18:37спрашиваем мы его о бизнесе. Первый
422. 18:41вариант - это сходство 0,65. И здесь
423. 18:44видим ответ. Далее, следующая точка уже
424. 18:47идёт по нисходящей. Тоже 0,65, но уже
425. 18:52меньше подходящая. Ну и так далее.
426. 18:55Можете поставить на паузу результат,
427. 18:57посмотреть самостоятельно, попало или не
428. 18:59попало. Но в целом, а, да, здесь,
429. 19:02наверное, вау эффекта не получится, но
430. 19:05что-то более-менее связанное-то он
431. 19:07отдал. Мы что-то дополучили. Давайте
432. 19:10попробуем ещё этот вопрос. И здесь уже,
433. 19:13да, сильно лучше, вроде как, даже по
434. 19:15теме. Опять-таки можете сами оценить и
435. 19:18посмотреть. Вообще, наверное,
436. 19:19действительно вау эффекта не получится,
437. 19:21потому что когда я тестировал
438. 19:24мультиязычные модели, а точнее чат GPT
439. 19:27small версии на запросы о маркетинговой
440. 19:31стратегии, точке роста бизнеса, как
441. 19:34заработать миллион и так далее, он мне
442. 19:35выдавал, конечно, абсолютную чушь. И,
443. 19:38например, на запрос заработать миллион
444. 19:41он мне выдал Мальдивы. Здесь более-менее
445. 19:43даже нормально, хотя тоже в выдаче
446. 19:46попадается какой-то несвязанный бред.
447. 19:49Вообще, с чем это связано? Вот как бы
448. 19:51такой неудовлетворительный результат. А
449. 19:53связано это с тем, что да, точки мы
450. 19:55добавили, мы их собрали, взяли текст,
451. 19:58сделали его имбединг, но с текстом мы не
452. 20:01поработали. Мы его взяли сырым,
453. 20:03оттембедили и отправили. И на выходе
454. 20:06получили, ну вот результат, который
455. 20:08получили. Как же делать правильно? Есть
456. 20:11несколько путей. Первый путь - это
457. 20:13простая очистка текста и более глубокая.
458. 20:16Если у нас большое количество
459. 20:18информации, ну или информация такая вот
460. 20:20шуточная, да, условно говоря, потому что
461. 20:22в реальности я-то не буду нигде это
462. 20:23использовать. Я взял, чтобы показать вам
463. 20:26в качестве примера. Поэтому здесь
464. 20:29достаточно убрать лишние пробелы,
465. 20:31специальные символы и привести всё к
466. 20:34нижнему регистру, так, чтобы все буквы у
467. 20:37нас были в нужном одном
468. 20:40регистрелов. По-хорошему ещё очистить
469. 20:43эмодзи, так как это всё-таки посты в
470. 20:45Telegram-канале, там очень много эмодзи,
471. 20:48которые тоже могут мешать, давать те
472. 20:51самые шумы и мешать бедингу. Второй
473. 20:53путь, который тоже подойдёт - это
474. 20:56очищение текста с помощью LLM-модели. Ну
475. 20:59вот, например, рассмотрим про МТ. Ты
476. 21:02эксперт по подготовке текстов данных для
477. 21:04создания векторных представлений. То
478. 21:06есть мы ему задаём роль. Далее удаляем
479. 21:09все лишние элементы: HTML, теги,
480. 21:13специальные символы и так далее. Приведи
481. 21:16сокращение к полной форме. Тоже важно. У
482. 21:18нас не должно быть никаких сокращений.
483. 21:21Удали стопслова. Конечно же, если у нас
484. 21:25идёт запрос от пользователя, а запрос
485. 21:27может быть: "Добрый день, а подскажите,
486. 21:30пожалуйста, как работает ваш магазин?"
487. 21:32Понятное дело, что вот фразы добрый день
488. 21:35там, подскажите, пожалуйста, это всё
489. 21:36лишние слова, лишние фразы, и это
490. 21:38эмбедить не нужно. Это для эмбединга
491. 21:41является мусорными словами, и от них
492. 21:43нужно избавляться. Также нужно указать
493. 21:46явные связи. И, конечно же, в тексте не
494. 21:49должно быть указания в никуда, да? То
495. 21:52есть мы не можем говорить, что у нас всё
496. 21:54работает быстро, да? Мы должны указать,
497. 21:56где, что и как конкретно, иначе
498. 21:59семантика будет опознана неверно. В
499. 22:02целом данный промт может являться не
500. 22:04только инструкцией для LLM-модели, а в
501. 22:06том числе и для вас. На мой взгляд, он
502. 22:09отработал средненькую. Я смотрел и
503. 22:12сравнивал, что текст до очистки с
504. 22:15LLM-моделью и после, ну, где-то в 20
505. 22:19процентах он, конечно, генерировал чушь
506. 22:22и сам генерировал этот самый мусор. И
507. 22:25поэтому в идеале, конечно же, лучше
508. 22:28подготавливать тексты руками, очищать,
509. 22:31приводить к нормальной форме, удалять
510. 22:33лишнее и так далее. Но если текста
511. 22:35много, либо он не особо важен, то можно
512. 22:38и воспользоваться данным промтом. Ну,
513. 22:40здесь всё просто. Мы задаём ему прот,
514. 22:42задаём ему текст и result этот
515. 22:44записываем. Это вот второй путь. После
516. 22:48этого результаты будут сильно лучше. Но
517. 22:52в этом примере были Telegram-посты, и
518. 22:55они, конечно, не особо большие. Там, в
519. 22:57принципе, максимум 1.00 символов, хотя
520. 22:59это тоже много, и лучше бы их тоже
521. 23:02разбивать. Проблема эмбединга в том, что
522. 23:05у нас текст, который мы передаём на
523. 23:07бединг, он может быть большой. Ну,
524. 23:09допустим, там 1.500 символов, а запрос
525. 23:12от пользователя всего лишь там
526. 23:13три-четыре слова. И, естественно, вектор
527. 23:17трёх-четырёх слов и вектор 1.500
528. 23:19символов по размерности он будет
529. 23:22одинаковый. И, конечно же, в таком
530. 23:24случае будет сложно найти нужную нам
531. 23:27информацию. Поэтому существует наиболее
532. 23:30лучший и удачный подход - это разбиение
533. 23:33текстов начанки. Да, мы применяем всё то
534. 23:35же самое. Также очищаем текст, приводим
535. 23:39его к нижнему регистру, очищаем его с
536. 23:43помощью lmмодели, а лучше руками. Если у
537. 23:46вас небольшое количество текста,
538. 23:48поработайте с ним руками. Не надо
539. 23:50полагаться на LLM-моделях в этом случае.
540. 23:52А дальше разбиваем текст на чанке. Что
541. 23:55такое чанки? Так как работа с
542. 23:58embedдингом она не нова, всё уже
543. 24:00придумано до нас. В библиотеке Linkchain
544. 24:03есть такой инструмент, как текст
545. 24:06splitter, который разбивает наш большой
546. 24:08текст на различные кусочки. Он принимает
547. 24:11в себя текст. Далее мы указываем размер
548. 24:15этого кусочка и каково должно быть
549. 24:18перекрытие. И указываем сепараторы, ну,
550. 24:21то есть разделители, где мы должны
551. 24:22делить этот самый текст. В ответ он
552. 24:25возвращает список с текстом. Но
553. 24:28опять-таки он делит его не просто по 300
554. 24:32символов, а он возьмёт, конечно, где-то
555. 24:34больше, где-то меньше, плюс добавит ещё
556. 24:36по 50 символов перекрытия, таким
557. 24:38образом, чтобы не терялся контекст. И
558. 24:41уже вот эти маленькие кусочки в 300
559. 24:43символов, они, конечно же, сильно ближе
560. 24:46по размеру к задаваемому вопросу от
561. 24:49пользователя. Ну, навряд ли пользователь
562. 24:51распишет вам вопрос на 1.00 символов.
563. 24:54Скорее всего, там будет, ну, максимум
564. 24:56одно или два предложения, из которого
565. 24:58половина ещё и будет мусор. Поэтому
566. 25:00подход с чинкованием текста выдаёт прямо
567. 25:04очень хороший результат. После этого мы
568. 25:07проходимся по всем чанкам и загружаем
569. 25:11каждый чанк на ме. Но при этом в
570. 25:16контекст мы помещаем весь наш текст
571. 25:19целиком. То есть, допустим, изчи
572. 25:22символов у нас получилось, ну, пускай
573. 25:24будет пять чанков. Мы эти пять чанков
574. 25:27отдельным образом передаём в бей, а в
575. 25:30пайлоуде, в контексте мы храним полную
576. 25:34нашу информацию, полный текст. И в таком
577. 25:37случае как бы будет происходить поиск,
578. 25:40ну, чуть ли не по предложениям. Ну, по
579. 25:42предложениям делить тоже плохо. Всё-таки
580. 25:45они должны быть именно что чанками, да,
581. 25:46вот этими кусками. по предложениям
582. 25:48делить тоже плохо, но тем самым мы,
583. 25:52вытащив нужную информацию, найдя нужную
584. 25:54информацию в базе, мы её вытаскиваем, а
585. 25:57в LM моделям передаём уже полностью
586. 25:59текст без потери контекста и, ну,
587. 26:02основную мысли, да. Поэтому чанки нужно
588. 26:05использовать. Ну, естественно, если вы
589. 26:07переводите в векторное представление,
590. 26:10там целую книгу, то целую книгу, конечно
591. 26:12же, в контекст передавать не нужно.
592. 26:14Здесь нужно нечто другое, может быть,
593. 26:16как-то абзац передавать, а либо главу,
594. 26:19если глава небольшая. Но, конечно, не
595. 26:21целую книгу в контент нужно передавать,
596. 26:24но на примере с Telegram-каналом, я
597. 26:26думаю, вы поняли, часть предложений мы
598. 26:28передаём в Aing, но в контексте храним
599. 26:32полную информацию. Ну и давайте
600. 26:34посмотрим на на результаты самой хорошей
601. 26:37модели, которая и очищенная, и с
602. 26:40чанками. запустим и вы сами сможете
603. 26:42оценить вопрос. Маркетинговая стратегия
604. 26:44магазина максимум результат быстро. Ну,
605. 26:47это именно вот так как бы будет
606. 26:48выглядеть. И здесь видим, да, быстрый
607. 26:50рост новых продаж, первый прорыв в
608. 26:52продажах. Вот какие-то кэвы пошли, то
609. 26:54есть уже что-то более-менее меняемое,
610. 26:57да, то есть какая-то даже стратегия тут
611. 27:00вырисовывается. Я правда не знаю, что
612. 27:01это такое. Не вы, не лулайк. Я не
613. 27:04маркетолог. Ну, видимо, что-то полезное.
614. 27:06Результаты, результаты продавцов. Ну,
615. 27:09что-то даже более-менее, опять-таки,
616. 27:10оцените сами. Но мне результат нравится
617. 27:13сильно больше. Тут вроде как даже что-то
618. 27:16интересное. И, наверное, lмо модель,
619. 27:17куда мы это будем передавать, наверное,
620. 27:19поймёт. А давайте зададим второй вопрос
621. 27:21точки роста бизнеса. Рост бизнеса - это
622. 27:24тесты. У каждого бизнеса есть ключевые
623. 27:26педали для роста и прибыли. В принципе,
624. 27:28да. В принципе, да. Из этого, наверное,
625. 27:30поста можно сделать какой-то ответ.
626. 27:32Разобрался в вопросе зарплат. Ну, здесь
627. 27:33что-то про зарплаты. Ну, наверное, тоже
628. 27:35про рост. Компания не может расти
629. 27:37быстро. У владельца нет видения своей
630. 27:39жизни. Ну, в целом, да, понятное дело,
631. 27:41что контент я подобрал вот максимально
632. 27:44такой, поэтому мы и получаем такие
633. 27:45ответы. Ну давайте спросим, как
634. 27:47заработать миллион. Всё-таки получится
635. 27:48ли у меня с помощью эмбединга понять,
636. 27:51могу ли я заработать миллион или нет.
637. 27:52Надо было добавить заработать миллион
638. 27:54быстро. Так, ну здесь он 1 млн руб.
639. 27:57чистой прибыли - это какой-то продукт с
640. 27:59какой-то маржинальностью. Надо сделать
641. 28:01продажи. Ну, понятное дело, чтобы
642. 28:02заработать миллион, надо сделать
643. 28:03продажи. Но в целом, да, в целом
644. 28:05неплохо. В целом неплохо. Даже на
645. 28:07основании этого можно передать. То есть
646. 28:10если мы, например, делаем какой-то
647. 28:11генератор контента, да, на основании
648. 28:13чужого контента, мы сделали эмбединг, а,
649. 28:16чужого Telegram-канала и просто в
650. 28:20чатбот, не знаю, присылаем, да, сделай
651. 28:23пост о том, как заработать миллион. И он
652. 28:26нам на основании вот умных мыслей, ну,
653. 28:28не знаю, насколько они умные, но на
654. 28:30основании вот этих вот умных мыслей мы
655. 28:31можем получить некую информацию, даже
656. 28:33ещё и стилистику, может быть, даже можем
657. 28:35как-то скопировать. То есть, в принципе,
658. 28:37это работает. И результатом в целом я
659. 28:39доволен. А, понятное дело, что у меня
660. 28:41был такой шуточный пример относительно,
661. 28:44но если вы хотите передать в LM модель
662. 28:47именно свои данные, то, конечно же, с
663. 28:49ними нужно работать, их нужно очищать.
664. 28:51Вот, кстати, здесь проникли эмодзи, в
665. 28:54том числе, да, здесь даже вот эмодзи не
666. 28:57отображается, и, естественно, это влияет
667. 29:00на работу эмбединга, и это является
668. 29:03мусором. Но в целом вы можете это
669. 29:06использовать, и это отлично работает. Но
670. 29:10вы могли заметить, что у меня помимо
671. 29:11здесь то, что это очищенный с чанками,
672. 29:15есть ещё и префикс. Что такое префикс?
673. 29:17Префикс есть не во всех моделях. Та же
674. 29:20самая модель от OpenI, она не использует
675. 29:22никакие префиксы, а это некие
676. 29:25инструкции. И модель от Сбера, она
677. 29:29использует эти префиксы. И у нас и при
678. 29:32добавлении документа в Eden, когда мы
679. 29:35загружаем, мы указываем prefix search
680. 29:38докумен, а на вычитку, когда мы его
681. 29:41вычитываем и пытаемся найти, мы
682. 29:43указываем search query. И это, на мой
683. 29:46взгляд, действительно повышает качество
684. 29:48этого самого имбединга. Вообще это не
685. 29:50обязательно, это просто совет, да, как
686. 29:53использовать. А в целом, если это не
687. 29:55использовать, оно тоже будет работать.
688. 29:57А, но я протестировал различные
689. 29:59варианты. Вы видите, да, у меня есть no
690. 30:02prefix, clear, no prefix, no clear. То
691. 30:05есть у меня не очищенные, не очищенные,
692. 30:07а, и с префиксом чистые, потом с чанками
693. 30:11и с префиксом, но не очищенный. Да, я
694. 30:14тестировал, а, абсолютно по-разному. Все
695. 30:17эти тесты показывать не особо хочу.
696. 30:19просто чтобы, ну, и так видео уже
697. 30:21получается долгим. Но я думаю, что вы и
698. 30:24так могли убедиться, что в целом это
699. 30:27работает и работает довольно-таки
700. 30:29хорошо. Ну и ещё важный момент. Если мы
701. 30:33в обычном нашем режиме у нас получалось
702. 30:361.357 точек, то вот с разделением
703. 30:38начанки, а, количество информации
704. 30:40оставалось всё тем же самым, то точек
705. 30:42уже получилось 5.493.
706. 30:45То есть у нас модель отмб дела, весь наш
707. 30:48текст, весь наш объём информации, объём
708. 30:50информации не менялся, и при этом
709. 30:52поинтов сильно больше, и поиск по этим
710. 30:55поинтам становится сильно точнее. В
711. 30:58целом по работе с нимоделями у меня всё.
712. 31:02Надеюсь, вам стало более-менее понятно.
713. 31:04Если непонятно, то
714. 31:06пишите и задавайте свои вопросы. Можете
715. 31:09здесь в комментариях можете писать мне в
716. 31:12группу в Telegram, у нас там есть чат. и
717. 31:15можете задавать свои вопросы по
718. 31:17настройке этой системы, по работе с
719. 31:20endдингмоделями. Ну а в следующих видео
720. 31:23мы, конечно же, настроим всю эту
721. 31:26систему, но уже в N8N. А на сегодня у
722. 31:30меня всё. Спасибо за внимание.
723. 31:32Подписывайтесь на канал и на
724. 31:33Telegram-канал тоже. Всего доброго. M.