Локальные AI в ТВОЁМ ТЕЛЕФОНЕ | Без ИНТЕРНЕТА и ПОДПИСОК #ai #android #НЕЙРОРАЗВЕДКА — Transcript

Full transcript

1. 0:03Всем привет. Давно не виделись.
2. 0:06Значит, сегодня у нас спецвыпуск
3. 0:08нейроразведки про локальные нейросети
4. 0:10без цензуры для Android. Это полный
5. 0:12обзор лучших приложений и GitHub
6. 0:14проектов. Ну, начнём с того, что ещё
7. 0:17недавно мы не могли подумать о том, что
8. 0:19мы можем запускать большие локальные
9. 0:21языковые модели на своих телефонах.
10. 0:24Вот. Но сейчас ситуация, собственно,
11. 0:26поменялась, э, благодаря тому, что
12. 0:29модели стали квантованными, а мобильные
13. 0:32процессоры стали гораздо мощнее, и мы
14. 0:34можем запускать даже модели без цензуры,
15. 0:37что, собственно, в основном мы и будем
16. 0:38сейчас рассматривать. Ну, что такое
17. 0:40локальная нейросеть, наверное, вы все
18. 0:42понимаете, да, для Android. То есть
19. 0:44неважно, Android, компьютер, то есть
20. 0:45локалка есть. Локалка это модель,
21. 0:47которая работает непосредственно на
22. 0:49устройстве, в данном случае на самом
23. 0:51смартфоне. Все вычисления происходят
24. 0:53тоже на самом устройстве пользователя
25. 0:56без отправки запросов на удалённые
26. 0:58серверы или ещё куда-нибудь.
27. 1:00Я буду показывать вам непосредственно со
28. 1:02своего блога на бусте. Даже чутка
29. 1:05увеличил экран, чтобы у вас всё было
30. 1:07перед глазами и вам было всё понятно.
31. 1:09Собственно, какие модели считаются без
32. 1:11цензуры? Без цензуры, ну, это значит
33. 1:15ослабление ограничений, которые
34. 1:17устанавливают сами производители своим
35. 1:19моделям. Вот энтузиасты эти ограничения
36. 1:22снимают. То есть вы получаете меньше
37. 1:25отказов нейросети в тех или иных
38. 1:27вопросах. Если вы на Хагингфейс либо
39. 1:29гитхабе находите вот такие пометки в
40. 1:32самом названии,
41. 1:34это значит, что нейросеть без цензуры.
42. 1:36Ну либо цензура сильно ослаблена уже, и
43. 1:39вы практически не получите отказов. Нет,
44. 1:41такое может быть, что гарантировать
45. 1:44здесь полного отсутствия отказов нельзя,
46. 1:46но в основном так и есть. Ну и начинаем
47. 1:49наш блицобзор. Лучшие приложения для
48. 1:51Android. Первое - это у нас PocketPi.
49. 1:54Лежит на гитхабе. Сегодня считается
50. 1:57одним из самых наиболее удобных клиентов
51. 1:59для запуска локальных больших языковых
52. 2:01моделей. Проект полностью открытый,
53. 2:03бесплатный. Скачивайте. А, кстати,
54. 2:06давайте его откроем.
55. 2:08Поддерживает любые фмодели, включая
56. 2:11Lama, Gen, Gemma, Missel, Dips F и
57. 2:13другие. Большинство современных открытых
58. 2:15моделей поддерживаются. Вот если вы
59. 2:18загружаете модель с пометкой без
60. 2:20цензуры,
61. 2:22неважно с какой, приложение само не
62. 2:24будет накладывать собственные
63. 2:26ограничения. То есть всё будет работать
64. 2:28без цензуры, как заявлено в самой
65. 2:30модели. Вот. Полностью локальная работа,
66. 2:33высокая скорость, поддержка большого
67. 2:35количества моделей, современный
68. 2:36интерфейс, открытый исходный код. Вот
69. 2:39недостатки,
70. 2:41это важно. 78B желательно иметь смартфон
71. 2:448-12 ГБ оперативной памяти.
72. 2:47Давайте посмотрим.
73. 2:50Вот она на гитхабе. Скачиваете,
74. 2:53устанавливаете, выбираете модель и пошла
75. 2:55вода горячая.
76. 2:57Идём дальше. Lla AI давайте тоже откроем
77. 3:02это. Закроем.
78. 3:06Значит, скачивайте прямо с сайта. Это
79. 3:08один из самых известных Android
80. 3:10приложений. Ну, одно из самых известных
81. 3:13Android приложений, да.
82. 3:14Для общения с неросетями поддерживаются
83. 3:16Джема MAL, локальные модели семейства
84. 3:20Лама и собственный каталог моделей.
85. 3:23Также поддерживаются пользовательские
86. 3:25модели, главное преимущество,
87. 3:26возможность самостоятельно выбирать,
88. 3:28загружать модели. Вот что, собственно,
89. 3:30нам и нужно. Прямо с сайта скачиваете
90. 3:35приложение, выбираете модель и
91. 3:37работаете.
92. 3:39Идём дальше. Чатерui лежит на гитхабе
93. 3:42тоже у нас.
94. 3:45представляет собой универсальный клиент.
95. 3:47Имеет умеет работать сразу с несколькими
96. 3:50источниками моделей. Поддерживается
97. 3:53алама, Open AI, Open Router, локальные
98. 3:57модели. Благодаря [фыркает] ему можно
99. 3:59легко переключаться между локальными и
100. 4:02облачными неростями. То есть и те, и те
101. 4:04есть. Вы можете сами выбирать, что
102. 4:06хотите.
103. 4:08Вот на гитхаме
104. 4:11MLC чат тоже лежит на гитхабе.
105. 4:16Это проект, ориентированный на запуск
106. 4:18моделей именно на мобильных устройствах.
107. 4:21Поддерживаются оптимизированные версии
108. 4:23Lama, GEM, Gen, F и другие модели,
109. 4:25подготовлены именно для MLC. Вот есть и
110. 4:28такие. Ну, внутри найдёте. Если телефон
111. 4:30достаточно современный, скорость будет у
112. 4:32вас нормальная, высокая.
113. 4:39Вот, собственно, она и лежит здесь.
114. 4:41Следующий у нас Мей тоже лежит на
115. 4:44гитхабе.
116. 4:46Значит, это ещё один открытый клиент,
117. 4:48поддерживающий одновременно локальные
118. 4:50модели и облачная P. Э, то есть, ээ,
119. 4:54этот подход особенно удобен, если
120. 4:55работаете сразу с несколькими AI
121. 4:57провайдерами. Вот можно подключить
122. 4:59Alama, Openoutу, Open AI и другие
123. 5:01буфмодели.
124. 5:04Ну и вот он на гитхаме.
125. 5:06Смотрите, если телефон у вас слабый, да,
126. 5:09ну мало ли,
127. 5:11тут получается, что у кого-то есть
128. 5:13оперативки побольше, у кого-то её нету,
129. 5:15да, сам телефон вроде всё нормально
130. 5:17тянет, вот, но параметры у всех разные
131. 5:20характеристики. Ну, в таком случае
132. 5:22эффективнее будет использовать облачные
133. 5:24модели. То есть смартфон у вас станет
134. 5:26лишь интерфейсом, а все вычисления будут
135. 5:28улетать в облака на удалённые сервера.
136. 5:31Вот, поэтому есть вот здесь вот два
137. 5:34примера. Это Open Roer, давайте откроем.
138. 5:39Позволяет использовать сотни моделей
139. 5:41через единые IP. Вот очень удобная
140. 5:43штука. И Google AI Studio, да,
141. 5:46представляет бесплатный доступ к моделям
142. 5:48G через IP. Ну, Google AI Studio все
143. 5:50знают. Вот Open Router тоже, наверное.
144. 5:53Так что здесь я сильно зацикливаться не
145. 5:55буду.
146. 5:56Третий пункт. На днях закрыли эту
147. 6:00лазейку. Можно было тестировать
148. 6:02современные модели вот через
149. 6:04инфраструктуру гитхаба. Ну, к сожалению,
150. 6:07закрыли. Надо будет, наверное, из статьи
151. 6:09это тоже удалить.
152. 6:12А теперь какие модели без цензуры
153. 6:14наиболее востребованы и популярны? Ну,
154. 6:16если говорить именно о моделях, да? То
155. 6:18есть, смотрите, то, что было до этого,
156. 6:22это получается у вас приложение
157. 6:24Интерфейс, через которой вы загружаете
158. 6:26уже сами модели. Вот далее идут модели.
159. 6:30Э, значит, по моделям здесь
160. 6:33чаще всего используются следующие.
161. 6:36Тут представлены именно ээ аккаунты
162. 6:39авторов, да, на Хаги Face. То есть
163. 6:42первый у нас, конечно же, мой любимый
164. 6:45уже, наверное, кто смотрел меня ранее.
165. 6:47Хуй-хуй.
166. 6:49Это я от этого названия, блин, всё время
167. 6:51балдею, честное слово. Вот спокойно не
168. 6:55могу такое переваривать, но это,
169. 6:57наверное, проблема во мне. Вот лучше
170. 7:00использовать поиск, естественно, по
171. 7:01коллекциям авторов, потому что они
172. 7:04модернизируют, добавляют, урезают,
173. 7:06что-то делают. То есть у них есть
174. 7:09там уже действительно целые семейство
175. 7:11этих моделей. Ну давайте перейдём на сам
176. 7:14хуй-хуй, то есть к автору хуйхуя.
177. 7:18Он регулярно публикует версии разные.
178. 7:21[фыркает]
179. 7:22И для для Android наиболее практичный
180. 7:25именно вот эти вот модели 2B9B.
181. 7:30[откашливается] Вот их и скачиваете и
182. 7:31смотрите. Вот, допустим, это уже аккаунт
183. 7:34самого автора. И здесь вы смотрите,
184. 7:37какие модели у него есть. Здесь их
185. 7:39много. Выбираете себе и скачиваете.
186. 7:42Ориентир у вас есть. Вот он.
187. 7:46Вот. от от двух до девяти можете себе
188. 7:50устанавливать и смотреть, как будет уже
189. 7:51работать. То есть это независимо от
190. 7:54того, какое у вас приложение до этого
191. 7:56установлено. Matechat
192. 7:59ну какой из них там модели, вы уже сами
193. 8:02выбираете и подгружаете.
194. 8:04Так, следующим у нас идёт Гермес. Э,
195. 8:08популярные модели для Android перед вами
196. 8:10на экране. переходите на страницу автора
197. 8:16и выбираете указанные модели. Но, в
198. 8:19принципе, вы можете тестировать и другие
199. 8:21модели, не обязательно, которые я
200. 8:23выписывал, средние. Вот вы можете
201. 8:26подбирать под ваш смартфон, может быть,
202. 8:27у вас какой-нибудь бешеный мощный
203. 8:29смартфон и потянет любую другую.
204. 8:32И [фыркает] мало того, что тут для
205. 8:33Android, в этих коллекциях вы можете
206. 8:35найти
207. 8:37кучу нейросетей, именно локалок, тоже
208. 8:40без цензуры, для ноутбука, для
209. 8:42компьютеров, тоже в зависимости от ваших
210. 8:44мощностей.
211. 8:45Тут очень много всего. Просто данный
212. 8:47выпуск посвящён именно Android
213. 8:49устройствам. Вот. А на самом деле в
214. 8:51коллекциях именно авторов, почему
215. 8:53показываю именно их страницу, чтобы
216. 8:55видели, какой здесь ассортимент большой.
217. 8:58То есть в любом случае для своего
218. 9:00устройства, неважно, Android это, это
219. 9:04компьютер, это ноутбук, вы сможете
220. 9:05подобрать локалку без цензуры и спокойно
221. 9:07с ней работать.
222. 9:09Идём дальше. Mistral тоже десятки
223. 9:13независимых сборок. Э, [фыркает]
224. 9:16лучший источник. Вот этот вот аккаунт.
225. 9:24Тоже можете здесь выбирать для себя
226. 9:27любые модели.
227. 9:28Вот популярные самы самые варианты тоже
228. 9:31перед вами на экране. Находите,
229. 9:33скачиваете.
230. 9:35Тут очень-очень много всего. То есть
231. 9:38куча моделей, 129 страниц папа
232. 9:40погинации.
233. 9:42Вот тут можно даже одним автором было
234. 9:44обойтись, я вам показываю, чтобы у вас
235. 9:46было больше информации.
236. 9:49Идём дальше. Значит, на на связи Лама.
237. 9:53[фыркает] Вот официальной страницы,
238. 9:55естественно, нету. Вот лучшие
239. 9:57гуфсточники тоже у него же, которого я
240. 9:59до этого показал, то есть у блока.
241. 10:04Вот. И популярные модели. Вот они именно
242. 10:07полама.
243. 10:09Дальше у нас еретик.
244. 10:11Тоже страница
245. 10:14отдельная.
246. 10:16Популярные модели. Вот они. Gen 253B.
247. 10:20Gen 359B.
248. 10:22Всё это еретик. И тоже здесь очень много
249. 10:25всего. То есть подбираете,
250. 10:28ну, можете просто опираться на на
251. 10:30указанные мною популярные модели, и они
252. 10:32у вас будут работать, в принципе, в 90%
253. 10:34должны обязаны работать.
254. 10:38Вот дополнительно смотрите, ещё я вам
255. 10:41рекомендую посмотреть, ну, по блоку мы
256. 10:45уже с вами проходились.
257. 10:47Значит, вот ещё есть аккаунт.
258. 10:51Тут специально подготовленные модели для
259. 10:53LM Studio.
260. 10:56Тоже очень много. 732 модели.
261. 11:02Это тоже вам просто в догонку, бонусом,
262. 11:05чтобы вы понимали, сколько всего на
263. 11:06самом деле есть. Ээ можно посмотреть и
264. 11:09подобрать себя. Вот здесь хорошие Н
265. 11:13моделила
266. 11:15без дополнительного обучения.
267. 11:19тоже очень много всего есть.
268. 11:26И Кван Factory, большая коллекция тоже
269. 11:28современных квантованных моделей. Не
270. 11:30проходите мимо, обязательно загляните,
271. 11:32посмотрите. То есть для обычного
272. 11:34человека, кто только начинает прямо
273. 11:36работать с неростями, кому, допустим,
274. 11:39половина моего базара вообще может быть
275. 11:41непонятно, либо какая-то часть, да, кто
276. 11:44ещё далёк от всего этого, конечно, лучше
277. 11:47использовать рекомендуемые мною
278. 11:49параметры, которые в блоге описаны, да.
279. 11:52А кто уже чуть-чуть пошустрее, кто уже
280. 11:54довольно-таки давно, хотя бы с годик с
281. 11:56полгодика, да, работать, пытается во
282. 11:58всём этом разобраться, то, конечно,
283. 12:00полистайте, посмотрите.
284. 12:03лишним не будет. Будет полезно даже
285. 12:05узнать, какие существуют, какие вам
286. 12:08пригодятся. Вы в любом случае найдёте
287. 12:10для себя кучу полезного. Вот. Ну, как
288. 12:13минимум одну хорошую нейронку, локалку
289. 12:16без цензуро подберёте и под смартфон,
290. 12:19одну подберёте и под компьютер. И всё у
291. 12:20вас будет летать, и всё будет без
292. 12:22цензуры.
293. 12:24Так, перед тем, как к телефонам перейти,
294. 12:26давайте ещё раз подытожим, что я вам
295. 12:28показал. Значит, изначально я вам
296. 12:31показывал,
297. 12:34то есть буду говорить простым языком,
298. 12:35как для простых людей, как будто бы вы
299. 12:37ещё университеми не занимались. Первое -
300. 12:39это приложение, то есть это основа, э,
301. 12:43за счёт чего у вас будут нейросети
302. 12:45работать на телефоне. Вот эти вот первые
303. 12:47моменты, которые я вам показывал.
304. 12:50[фыркает] Далее у нас пошли, э, ну,
305. 12:52здесь вот эти вот облачные, естественно.
306. 12:55Далее пошли именно сами модели, которые
307. 12:57будут работать через то, что, ну, через
308. 12:59основу, которую я показал наверху.
309. 13:04Понятно, да? Вот. То есть и здесь вы уже
310. 13:06выбираете после того, как выберете, что
311. 13:09устанавливать, через что будет работать
312. 13:11нейросеть, уже после этого вы будете
313. 13:13выбирать саму нейросеть,
314. 13:15вот именно нецензурированную.
315. 13:18И здесь вот уже я показывал дальше. Вот
316. 13:20они идут, Гермес, Херетик и все
317. 13:22аккаунты, что я вам показывал до этого.
318. 13:25Вот теперь по телефону подходят, ну, у
319. 13:29вас на всё на экране.
320. 13:31То есть для 6 ГБ подойдут модели
321. 13:35размером 13.
322. 13:37Вот 8 ГБ, 34 можно запускать в 12 ГБ у
323. 13:42вас оперативки 78B. В квантовке, конечно
324. 13:45же, Q4 km. Вот 16 Гб и больше, уже можно
325. 13:49экспериментировать.
326. 13:52Я думаю, денёк второй вы одну, другую,
327. 13:54четвёртую, десятую поставите и в любом
328. 13:56случае на чём тогда остановитесь. То
329. 13:58есть по-любому после этого выпуска, если
330. 14:01у вас телефон
331. 14:02хотя бы с вот такими параметрами, вы
332. 14:04по-любому без модели, которая без
333. 14:08цензуры не останетесь. [тяжело вздыхает]
334. 14:11Вот. Ну и что выбрать? Если полностью
335. 14:13автономный, без постоянного подключения
336. 14:16к интернету, наиболее удачным выбором,
337. 14:19естественно, является самый первый, что
338. 14:21я вам говорил, да, по Kiti. То есть, ну,
339. 14:24собственно, он топчик идёт, который я
340. 14:27рекомендую, который мне действительно
341. 14:28нравится. Но на вкус и цвет. У меня есть
342. 14:30знакомые, которые со мной спорят. Я
343. 14:32вообще не любитель спорить. Я говорю:
344. 14:33"Ну, нравится, да и хер с ним". Вот. То
345. 14:37есть это уже на ваш вкус. Я рекомендую
346. 14:40сначала попробовать это. А потом, когда
347. 14:42вы уже будет будете использовать, ну, то
348. 14:44есть пробовать остальные, вы уже поймёте
349. 14:47в сравнении с первым, что я говорил. Ну,
350. 14:49а на чём остановитесь, конечно же, это
351. 14:51ваше дело.
352. 14:53Эта статья вместе с ссылками находится в
353. 14:56бесплатном открытом доступе. Ссылка на
354. 14:58статью будет в описании. Переходите,
355. 15:01смотрите, изучайте, тестируйте,
356. 15:03устанавливайте, работайте с нейросетями
357. 15:06прямо с телефона. Ну а на этом всё. Меня
358. 15:09зовут Дмитрий. Встретимся на этом же
359. 15:12месте. Мне всегда есть, что вам
360. 15:13показать.