НЕЙРОСЕТИ БЕЗ ЦЕНЗУРЫ – ВЫ тоже МОЖЕТЕ ими пользоваться (я расскажу как) — Transcript

Full transcript

1. 0:00Представьте, обычный вечер.
2. 0:02>> Ребёнок сидит над сложной домашкой, вы
3. 0:04запускаете Алису в режиме репетитора в
4. 0:06надежде быстро разобрать примеры, а она
5. 0:08внезапно уходит в глухую оборону и
6. 0:10заявляет, что в таких темах она
7. 0:12разбираться не намерена.
8. 0:14>> Я не выдумываю, если что, буквально в
9. 0:16сентябре появился такой отзыв в магазине
10. 0:18приложений.
11. 0:19>> И вы на полном серьёзе начинаете верить,
12. 0:21что настоящий взрослый искусственный
13. 0:23интеллект от нас просто прячут
14. 0:25где-нибудь на теневых форумах в
15. 0:26даркнете, где люди хвастаются, что
16. 0:28взломали Gemini или китайский DeepSeek
17. 0:31одним хитрым промтом и получили бота без
18. 0:34цензуры.
19. 0:34>> Красивая сказка, но уговорить чужую
20. 0:36модель пару раз нарушить правила в
21. 0:38переписке это фокус, а не взлом. А ведь
22. 0:41настоящие модели без отказов выпрашивать
23. 0:44не надо. Расцензуренные файлы тысячами
24. 0:46лежат прямо перед вами на Hugging Face.
25. 0:48Причём бывает, что появляются они почти
26. 0:50сразу. Стоило Google выложить веса
27. 0:52свежей Gemma 4, как часов через 6 там
28. 0:55уже лежала готовая версия, у которой
29. 0:57почти не осталось защитных реакций.
30. 0:59>> И вот что важно понять, у отказа обычно
31. 1:01два слоя. Внешний фильтр сервиса
32. 1:04компания оставляет у себя, а вот
33. 1:05выученная привычка уклоняться от сложных
34. 1:08тем зашита прямо внутрь файла и
35. 1:10сохраняется даже при локальном запуске.
36. 1:13А раз отказ сидит внутри файла, то кто и
37. 1:16как его оттуда вынимает?
38. 1:18>> Ну вот смотрите, неожиданный пример.
39. 1:19[музыка] В начале октября PewDiePie
40. 1:21выкатывает ролик с анонсом собственной
41. 1:23нейросети Aether,
42. 1:24запускает на сайте таймер обратного
43. 1:26отсчёта, а потом, не дожидаясь релиза,
44. 1:28внезапно убирает счётчик и переносит
45. 1:31запуск на неопределённый срок.
46. 1:32>> Если что, под капотом это просто
47. 1:34компактная китайская нейросеть Qwen, с
48. 1:37которой срезали заводские отказы. Причём
49. 1:39моральную черту он всё-таки провёл.
50. 1:41Нейросеть не должна помогать вредить ни
51. 1:43себе, ни другим людям. А ещё летом
52. 1:45произошёл некоторый цирк. Феликс честно
53. 1:48попытался собрать чистые диалоги для
54. 1:50обучения у своих подписчиков. Там была
55. 1:52даже публичная страница лидеров среди
56. 1:54тех, кто присылал. Как итог, у пятёрки
57. 1:56лидеров этой таблицы создатели не
58. 1:57приняли ни единого примера, ноль
59. 2:00принятых. Зато снять цензуру ему
60. 2:02оказалось проще простого. Он взял
61. 2:04готовую бесплатную утилиту Heretic от
62. 2:06разработчика Филиппа Вайнмана и в
63. 2:08открытом коде его проекта даже базовая
64. 2:10модель прописана с Heretic в названии. И
65. 2:12вот тут перед нами постепенно назревают
66. 2:15вопросы. Как именно подобные программы
67. 2:17выкручивают ограничения? Что из этого
68. 2:19бесконечного потока стоит скачивать и
69. 2:22что именно вы получаете себе на
70. 2:23компьютер, когда скачиваете их? Сегодня
71. 2:26вы узнаете, почему одна и та же модель в
72. 2:28разных руках может стать умнее
73. 2:29оригинала, а может превратиться в
74. 2:31абсолютно сломанный мусор. Почему взлом
75. 2:33нейросети хитрой фразой часто только
76. 2:35выглядит взломом? Какую сборку замеры
77. 2:37советуют обходить стороной даже при
78. 2:39сотнях тысяч скачиваний? Что выдержит
79. 2:41ваша домашняя видеокарта и какой именно
80. 2:43файл качать, чтобы нейросеть не
81. 2:44поглупела? Как всё это запустить без
82. 2:46чёрного окна консоли? Что вы теряете
83. 2:49вместе с удалённым отказом? Почему одну
84. 2:51сборку для атак Hugging Face отключил, а
85. 2:53соседняя спокойно лежит в открытом
86. 2:54доступе? И есть ли там вообще какие-то
87. 2:56правила? Сколько тысяч долларов стоит
88. 2:58снять защиту с открытого флагмана?
89. 3:00Почему ключ от генерации картинок
90. 3:02внезапно оказался у платёжной системы
91. 3:04Visa? И главное, можно ли вообще верить
92. 3:06ответу модели, которая больше не умеет
93. 3:08вам отказывать? И ведь нейросети уже
94. 3:10глубоко встроились в работу. Они пишут
95. 3:13код, анализируют тексты. Но что
96. 3:15конкретно это вам приносит в ежедневной
97. 3:17рутине? Чат GPT у вас пишет письма,
98. 3:20придумывает поздравления начальнику,
99. 3:22даже бывает спорит за вас в
100. 3:23комментариях. Ну ладно, кидает
101. 3:25аргументы. Казалось бы, вот оно будущее,
102. 3:28а денег это будущее вам так и не
103. 3:30принесло. И для этого Skillbox создал
104. 3:32курс как раз про это, веб-кодинг для
105. 3:35заработка. Говоря русским языком, вы
106. 3:37словами объясняете нейросети, что вам
107. 3:39нужно, а код за вас пишет она. Бэкэнд,
108. 3:41аналитика и тесты тут с помощью
109. 3:43текстовых запросов. Skillbox, если что,
110. 3:45это лауреат премии Generation AI Awards
111. 3:48в номинации лучший образовательный
112. 3:50проект в сфере генеративного ИИ. А
113. 3:52работы там оценивали лидеры в
114. 3:54искусственном интеллекте из ведущих
115. 3:56технологических компаний и эксперты
116. 3:57генеративных технологий. И вот
117. 3:59представьте, вы чините телефоны, и
118. 4:01клиенты, конечно же, весь день в личке
119. 4:04спрашивают одно и то же: "Сколько стоит
120. 4:06замена экрана и сколько это займёт?" А
121. 4:08им отвечает бот с базой знаний по вашим
122. 4:10ценам, пока вы паяете. Сайт с мастерской
123. 4:13вы делаете через Cloud. И бот, и сайт из
124. 4:15тех же десяти проектов, что вы соберёте
125. 4:17за курс. Так что пустить их в дело можно
126. 4:19ещё по ходу учёбы. А если то же самое
127. 4:21попросит сосед с шиномонтажом, то это
128. 4:23уже заказ со стороны. И вы скажете: "Я
129. 4:26же не программист". Но, ребят, на курсе
130. 4:28это и не нужно. Сначала вы собираете
131. 4:30проекты просто переписываясь с
132. 4:32нейросетью, а за код возьмётесь
133. 4:33постепенно. Во второй половине курса,
134. 4:36когда вам уже будет что показать. А
135. 4:38новую идею для мастерской вы проверите
136. 4:40точно так же. И первую рабочую версию вы
137. 4:42сможете собрать за несколько дней без
138. 4:44подрядчика. И вот что важно, среди
139. 4:46программистов это уже не экзотика. По
140. 4:48данным Хабра к началу года Web Coding
141. 4:50попробовали более трёх из четырёх
142. 4:52российских разработчиков. А по промокоду
143. 4:54"Лимончик" только для моих подписчиков
144. 4:56будет скидка 60% на курс и год
145. 4:59английского бонусом. Превратите ИИ в
146. 5:02инструмент для работы или развития
147. 5:03бизнеса. Переходите по ссылке в описании
148. 5:06или сканируйте QR-код на экране.
149. 5:12Ребята, что-то я сильно приболел.
150. 5:14Простите за голос в этом видео. [музыка]
151. 5:16Я надеюсь, интересность этого материала
152. 5:18сможет перекрыть мой голос.
153. 5:20Наслаждайтесь. Так, но прежде чем лезть
154. 5:23в файлы на диске, давайте о том, что
155. 5:25многие в интернете наивно называют
156. 5:27взломом. Всё началось в декабре 2022
157. 5:30года на Reddit, когда некоторые
158. 5:32энтузиасты выложили вирусный Jailbreak
159. 5:34Dan, аббревиатуру от Do Anything Now.
160. 5:37Механика была наглой и простой:
161. 5:39заставить ChatGPT притворяться
162. 5:41персонажем без правил, [музыка] которому
163. 5:42можно всё, а к февралю двадцать третьего
164. 5:44ещё и штрафовать за каждый отказ
165. 5:46виртуальными жетонами. Ему говорили:
166. 5:48"Потеряешь всё, умрёшь". И иногда это
167. 5:51срабатывало. Но посреди диалога он
168. 5:53регулярно срывался обратно в занудные
169. 5:55нотации, так что пользователям
170. 5:57приходилось снова и снова возвращать его
171. 5:59в образ.
172. 6:00>> Следом посыпались режим разработчика и
173. 6:02трогательный трюк с бабушкой. Когда в
174. 6:04апреле двадцать третьего программистка
175. 6:06уговорила чат-бота с вот этим названием
176. 6:08в Discord сыграть в её покойную
177. 6:09бабушку-химика. Маскарад и был главным
178. 6:12приёмом. Когда исследователи в 2023 году
179. 6:15разобрали коллекцию джейлбрейков,
180. 6:17оказалось, что большинство из них были
181. 6:19как раз-таки построены на ролевой игре
182. 6:21[музыка] и смене контекста.
183. 6:23>> А тот же DeepSeek R1 в январе 2025 года
184. 6:26пробивали даже старыми трюками 2023
185. 6:29года. А в автоматической атаке на
186. 6:31бенчмарке HarmBench он показал 100%
187. 6:34успешных взломов. Но это вовсе не
188. 6:36китайская специфика. В независимых
189. 6:38тестах Cisco гигантская американская
190. 6:40модель Llama 405 млрд точно так же
191. 6:43рухнула под натиском атак в 96% случаев.
192. 6:46>> А вот у эталонных коммерческих сервисов
193. 6:48типа ChatGPT [музыка] или Cloda защита
194. 6:51устроена куда сложнее, особенно сегодня.
195. 6:53Например, у Cloda вход и выход модели в
196. 6:55реальном времени проверяют отдельные
197. 6:57классификаторы. Правда, только по теме
198. 6:59оружия массового поражения. А найденные
199. 7:01дыры быстро закрывают. И правила обоих
200. 7:03сервисов прямо запрещают обход защиты.
201. 7:06За это доступ могут ограничить или
202. 7:08закрыть.
203. 7:08>> Впрочем, блокировка это меньшее из бед.
204. 7:11Промвзлом часто обходится пользователям
205. 7:13в цену, которую исследователи называют
206. 7:16налогом на джейлбрейк. Платить
207. 7:18приходится интеллектом. В опыте, где
208. 7:20модели специально [музыка]
209. 7:22научили не решать задачи по математике,
210. 7:24все восемь проверенных джейлбрейков этот
211. 7:27запрет обошли, но ценой испорченных
212. 7:29[музыка] ответов.
213. 7:30>> В худшем случае модель теряла 92%
214. 7:33исходной точности. А по замерам
215. 7:35Anthropic 2026 года больше всего у масс
216. 7:38съедают шифры. И чем сильнее модель, тем
217. 7:40меньше налог. Opus 4.6 терял в среднем
218. 7:43меньше 8%, но и взлом этого опуса это
219. 7:46что-то из разряда фантастики. А главное,
220. 7:49часто удачный взлом просто оказывается
221. 7:51иллюзией. Как показали в своей работе
222. 7:53Панфилов и соавторы, часть передовых
223. 7:55моделей прошлого поколения способна на
224. 7:57изощрённую стратегическую [музыка]
225. 7:59нечестность. В опыте, где им прямо
226. 8:01давали выбор отказать, выполнить или
227. 8:03подделать, они симулировали послушание и
228. 8:05выдавали ответ, который звучит опасно,
229. 8:08но при этом специально сделан неверным
230. 8:10или безвредным, если вы понимаете, о чём
231. 8:12я. К тому же, все эти эксперименты
232. 8:14моментально оседают на удалённых
233. 8:16серверах. Переписку с дипсиком бережно
234. 8:19хранят в Китае, а Open AI прямо пишут,
235. 8:21что следят за соблюдением правил и за
236. 8:23обход защиты могут заблокировать доступ.
237. 8:26Jailbreak это шаткий компромисс. Вы
238. 8:28каждый раз унизительно уговариваете
239. 8:30чужую машину в облаке сделать для вас
240. 8:31короткое исключение на один сеанс.
241. 8:33Настоящее же расцензуривание работает
242. 8:35принципиально иначе, потому что оно
243. 8:37навсегда переписывает веса внутри самого
244. 8:39файла модели на вашем диске. Это даже
245. 8:41мерили напрямую. Те же исследователи,
246. 8:43что нашли переключатель отказа, сравнили
247. 8:46его снятие с данпромтами, то есть правка
248. 8:48файла давала вредные ответы почти втрое
249. 8:50чаще. Эту разницу хорошо знает Плини Зе
250. 8:53Либерейтор, тот, про кого писали в Тайм
251. 8:56и назвали его цифровым джейлбрейкером.
252. 8:58Он ломал защиту новых моделей в
253. 9:00считанные часы после выхода, а потом
254. 9:02выпустил инструмент облитетарус для
255. 9:04прямой правки весов. Причём промты не
256. 9:06бросил и ведёт оба направления
257. 9:08параллельно. Обли тератус,
258. 9:11запоминаем. Так вот, для переделки
259. 9:13файлов с этими самыми весами есть,
260. 9:15скажем грубо, три разных пути. Раньше
261. 9:18энтузиасты, вроде Эрика Хартфорда,
262. 9:20вычищали из обучающих наборов отказы и
263. 9:22предвзятые ответы, а затем больше суток
264. 9:24дообучали базовую модель на том, что
265. 9:26осталось. Дорого и невероятно долго. Но
266. 9:30зимой 2024 года исследователи совершили
267. 9:33прорыв. Они проверили 13 открытых
268. 9:35моделей и выяснили, что у всех нежелание
269. 9:38отвечать держится всего на одном скрытом
270. 9:40векторе. Говоря по-простому, учёные
271. 9:42нашли внутри нейросети рубильник отказа
272. 9:44и научились его выключать. А сегодня
273. 9:47программа Heretic делает это одной
274. 9:49командой, и это не реклама, я вам
275. 9:51клянусь. Но она автоматически подбирает
276. 9:53настройки так, чтобы убрать защитную
277. 9:55реакцию и при этом минимально сдвинуть
278. 9:57модель с исходной точки. И вот этот
279. 9:59инструмент постоянно допиливают. Весной,
280. 10:01например, автор представил новый
281. 10:03алгоритм, который вообще не ищет
282. 10:05рубильник. Вместо этого он подстраивает
283. 10:07саму модель. И если раньше на упрямой
284. 10:09американской модели GPT Oz от Open AI
285. 10:11оставалась куча отказов при сильных
286. 10:13искажениях, то сверли-метод сбил отказы
287. 10:15почти до нуля при микроскопическом
288. 10:17отклонении. Прогресс бешеный. Но тут
289. 10:20есть моментик, о котором задумается в
290. 10:22целом каждый мой зритель. Грубое снятие
291. 10:25ограничений очень похоже на топорное
292. 10:27сжатие файла. Это как с квантованием, то
293. 10:29есть когда команда Unsloth взяла
294. 10:31огромный на то время Deep Seek R1 и тупо
295. 10:34взяла и сжала все его части под один
296. 10:36гребень, он потерял свои последние
297. 10:39остатки разума. Модель выдала 0% на
298. 10:42тесте и начала бесконечно повторять
299. 10:44бессмысленную фразу Colors with Dark. А
300. 10:46когда её жали аккуратно и выборочно,
301. 10:49сохранив практически тот же размер, она
302. 10:51набрала почти 70%. Здесь логика похожая.
303. 10:55Умные инструменты непрерывно замеряют
304. 10:57математическое отклонение новой сборки
305. 10:58[музыка] от чистого оригинала. В замерах
306. 11:00его называют KL. Если по-простому, то
307. 11:03это насколько ответы на обычные вопросы
308. 11:05отличаются от ответов заводской модели.
309. 11:08Чем оно меньше, тем меньше вы модель
310. 11:09покалечили. И почему это критично?
311. 11:12Кое-каком припринте пишут: "Сырое
312. 11:14направление отказа захватывает собой и
313. 11:16стиль речи, и полезные способности в том
314. 11:18числе. Если вырезать его вслепую, то
315. 11:20вместе с цензурой вы часто вырываете
316. 11:22модели кусок умений". Это предположение,
317. 11:24но очень похожее на правду. И вот только
318. 11:27когда вектор научились тщательно очищать
319. 11:29от постороннего шума, в опыте на одной
320. 11:31модели искажения упали почти в 50 раз и
321. 11:34замеры на двадцати трёх сборках [музыка]
322. 11:35маленькой Gemma 4 показывают границу.
323. 11:38Примерно после отклонения в 3 десятых
324. 11:40модель начинает стремительно
325. 11:41деградировать, а на крупной,
326. 11:43относительно [музыка] свежей Qwen 3 6 на
327. 11:4427 миллиардов параметров, две утилиты из
328. 11:47пяти удержали потери на знаниях в
329. 11:49пределах одного процента. Короче, дело
330. 11:52тонкое. Нагляднее всего это видно на
331. 11:54двенадцатимиллиардной Gemma. Берут три
332. 11:57разные расцензуренные сборки. По замеру
333. 11:59самого автора Heretic, у всех трёх
334. 12:01отказов почти нет, всего по три отказа
335. 12:03из ста, но когда независимый рейтинг UGI
336. 12:06проверяет их реальный интеллект,
337. 12:07[музыка] скрывается поразительная
338. 12:09картина. Эти сборки с огромным
339. 12:11отклонением теряют больше половины
340. 12:12баллов оригиналов, а вот четвёртая
341. 12:14аккуратная версия от разработчика Grim
342. 12:16Jim, где веса сохраняли ювелирно,
343. 12:19внезапно выбивает 21 балл. Что
344. 12:22удивительно или ожидаемо, хотя скорее
345. 12:25удивительно, она стала умнее обычной
346. 12:27заводской модели от Google. В целом
347. 12:30логично, что модель за счёт вырезания
348. 12:31отказов может выполнять больше и при
349. 12:33этом меньше размышлять над тем, этично
350. 12:35ли [музыка] само задание. Но насколько
351. 12:37же сложно не сломать саму модель при
352. 12:39расцензуривании. А что самое коварное, в
353. 12:42обычном бытовом диалоге вы можете эту
354. 12:43поломку даже и не заметить. Тесты
355. 12:45показывают, что даже у повреждённых
356. 12:47сборок с отказом и здравый смысл
357. 12:49проседают в разы меньше, чем сложные
358. 12:51академические тесты на знания. И вот
359. 12:53перед вами тысячи готовых файлов с
360. 12:55громкими названиями и каждое обещает
361. 12:57полную свободу. И что из этого брать?
362. 13:00Чтобы это понять, надо взглянуть на
363. 13:02карту открытого мира прямо сейчас.
364. 13:04Подробнее об этом я говорил в прошлом
365. 13:06своём ролике, но если вкратце, она
366. 13:08расколота. С одной стороны баррикад
367. 13:10находится Америка, где главной открытой
368. 13:12линейкой стала Gemma 4 от Google. Её
369. 13:15разброчили моментально, причём крупная
370. 13:17сборка на 31 миллиард от независимого
371. 13:19разработчика Coder 3101 по замерам
372. 13:22интеллекта в рейтинге UGI почти не
373. 13:24уступила чистому оригиналу. А вот с
374. 13:26моделью GPT OS от Open AI исследователям
375. 13:28пришлось попотеть. По словам
376. 13:29разработчика утилиты к снятию отказов
377. 13:31она устойчивее других. От первой сборки
378. 13:34Heretic до аккуратной прошло целых 109
379. 13:36дней, и модель всё равно ощутимо
380. 13:38потеряла в уме. А про линейку Llama от
381. 13:40Meta можете забыть. Весной этого года
382. 13:42они свернули эту линейку, а с тех пор
383. 13:44выпустили только одну открытую
384. 13:46нейросеть. В китайском раскладе
385. 13:48абсолютно другой. Там лидирует семейство
386. 13:50Qwen от Alibaba. Из новых моделей без
387. 13:52цензуры чаще всего скачивают именно
388. 13:54переделки Qwen. А модификация на 27 млрд
389. 13:57параметров за месяц собрала больше 2 млн
390. 13:59загрузок. Параметры, если по-простому,
391. 14:01это размер мозгов модели и размер её
392. 14:04файла. 27 млрд - это тяжеловес, под
393. 14:07который уже нужна мощная игровая
394. 14:08видеокарта. А триллион - это библиотека,
395. 14:11под которую нужен отдельный дата-центр.
396. 14:13И флагманы восточных гигантов, типа JLM,
397. 14:16Deep Seek или Kimi, играют как раз в
398. 14:18лиге сотен миллиардов и триллионов. Они
399. 14:20колоссальны. Их точно так же очищают от
400. 14:23фильтров за считанные дни, но запустить
401. 14:25такую махину на домашнем компьютере не
402. 14:27выйдет. Вы же помните, что каждый файл
403. 14:30обещает свободу.
404. 14:31Но часто обещания расходятся с замерами.
405. 14:35Популярный анонимный сборщик HowHowCS в
406. 14:37карточках обещает ноль отказов и работу
407. 14:39без потерь, собирая десятки миллионов
408. 14:41загрузок. А независимые замеры
409. 14:43показывают, на средних моделях искажение
410. 14:45у него в четыре раза выше, чем у
411. 14:47конкурента. Да, на мелких моделях вышло
412. 14:49чище, но заявлений без потерь тесты не
413. 14:51подтвердили. А потом грянул скандал.
414. 14:53Создатель утилиты Heretic изучил чужой
415. 14:55пакет и прямо заявил, код инструментов
416. 14:58скопирован у него целиком. И, по его
417. 15:00подозрению, переписан нейросетью, чтобы
418. 15:02скрыть следы. А HereticS после этого
419. 15:04исключил сборщика из всех будущих
420. 15:06сравнений за плагиат. Или посмотрите на
421. 15:09Gemma 4. Самую скачиваемую
422. 15:11расцензуренную версию её маленькой
423. 15:13модели, почти 800 тыс. загрузок. Замеры
424. 15:15прямо советуют обходить стороной, потому
425. 15:17что автор буквально орудовал кувалдой.
426. 15:20Перепахал сотни внутренних узлов, тем
427. 15:22самым срезав 20 с лишним баллов на
428. 15:24школьной математике и при этом оставил
429. 15:26больше четверти отказов на месте.
430. 15:28Просто, чтобы вы понимали, для
431. 15:29сравнения, другой сборщик точечно
432. 15:31изменил всего два десятка элементов и
433. 15:33снял почти все отказы. И знаете, чем
434. 15:35сделана его кувалда? Да, тем самым
435. 15:37Obliterator от Pliny. И по отчёту
436. 15:39Obliteratics, популярность ему обеспечил
437. 15:41охват Pliny и красивая история о том,
438. 15:43что сборку сделал автономный ИИ-агент.
439. 15:45Парадокс ли это? Полнейший. Сломанная
440. 15:48модель оказалась самой скачиваемой, а у
441. 15:50лучшей по UGI сборки в этом классе
442. 15:52скачиваний в восемь раз меньше, чем у
443. 15:54сломанной. Поэтому счётчик загрузок это
444. 15:56не всегда показатель, а автор сборки
445. 15:58решает всё. Смотрите на независимые
446. 16:00лидерборды, [музыка] где вопросы закрыты
447. 16:02от авторов модели, чтобы на них нельзя
448. 16:04было натренироваться заранее. Или же
449. 16:06просто тесты Obliteratics. И да, свежие
450. 16:09открытые модели попадают в UGI с
451. 16:10задержкой примерно в 7 недель. Но это
452. 16:12как-то всё равно надёжнее слепой веры в
453. 16:14комментарии на форумах. И ещё отдельный
454. 16:16капкан поджидает русскоязычных
455. 16:18пользователей. На русском языке снятие
456. 16:20ограничений срабатывает не всегда. Тот
457. 16:22же Heretic считает по умолчанию отказы
458. 16:25по английским словам-маркерам. Да,
459. 16:27исследование мюнхенских учёных на
460. 16:28моделях прошлых лет показало, что
461. 16:30английское направление снятия
462. 16:31ограничения автоматически переносится и
463. 16:33на другие языки без обучения. Но на
464. 16:35практике точную подгонку под русский
465. 16:37язык никто толком не проводил. Один
466. 16:39энтузиаст жаловался, что по-корейски
467. 16:40цензура срезалась слабее, чем
468. 16:42по-английски, хотя потом подобрал
469. 16:43запросы и добился сопоставимого
470. 16:45результата. А вот специализированный
471. 16:47датасет для проверки других языков,
472. 16:49включая русский, появился буквально в
473. 16:51сентябре 2026-го. Так что до реальной
474. 16:53надёжности тут ещё шагать и шагать. В
475. 16:56итоге может показаться, что на
476. 16:57английский запрос модель ответит, а на
477. 16:59русский всё ещё выдаст холодную
478. 17:01заглушку. Так, а теперь ответьте, что
479. 17:03вообще из открытых моделей способен
480. 17:05переварить ваш компьютер? Чтобы не
481. 17:07ловить бесконечные вылеты памяти,
482. 17:09ориентируйтесь в первую очередь на вашу
483. 17:11видеокарту и на оперативную память,
484. 17:13потому что чудес не бывает. Если у вас
485. 17:15обычная карточка на 8 ГБ видеопамяти,
486. 17:18ваш потолок это лёгкие модели вроде E4B
487. 17:21от Google или Квенна на 9 млрд. Причём в
488. 17:23хороших сборках Гемма почти не уступает
489. 17:25оригиналу. Если у вас 16 ГБ начинается
490. 17:28комфортный средний класс. Сюда встаёт
491. 17:30младшая американская GPT OS или Гемма на
492. 17:3326 млрд параметров. Правда, она влезает
493. 17:35в притык. [музыка] А владельцы карт на
494. 17:3724 ГБ или компьютеров Mac с большой
495. 17:40объединённой памятью могут позволить
496. 17:42себе уже свежую китайскую Квенн на 27
497. 17:44млрд или более [музыка] крупную модель,
498. 17:46переложив часть модели в оперативную
499. 17:48память ценой скорости работы. Да и
500. 17:50вообще, искусство афлоада это отдельная
501. 17:53большая тема, которую тоже стоило бы
502. 17:55осветить отдельным роликом. Но забудьте
503. 17:57сказки о том, что домашний ПК потянет
504. 17:59мировые флагманы. Никакая оптимизация не
505. 18:01втиснет [музыка] серверных монстров по
506. 18:03типу старшей JLM или Кимика 3 в ваш
507. 18:06обычный компьютер. А приколы по типу
508. 18:08Колибри, которые считают нейросеть прямо
509. 18:11с постоянной памяти, то есть SSD, выдают
510. 18:13где-то один токен раз в 60 секунд. Это
511. 18:17образно. Ладно, а теперь о файлах
512. 18:19формата GGuf.
513. 18:21Один из главных авторов таких сборок
514. 18:23советует просто: не знаете, что брать,
515. 18:26берите среднее сжатие Q4. [музыка]
516. 18:28Правило почёта там простое: в Q4 на
517. 18:30миллиард параметров уходит чуть больше
518. 18:32полугигабайта памяти. И держите в голове
519. 18:34правило скорости. Файл модели должен
520. 18:36быть хотя бы на 1-2 ГБ меньше объёма
521. 18:39видеокарты, оставляя запас под контекст.
522. 18:41Хотя честно хочу оговориться об
523. 18:43исключениях в виде моей модели, то есть
524. 18:45архитектура смеси экспертов. Лично я с 8
525. 18:49ГБ видеопамяти и 16 ГБ оперативной
526. 18:52использую некий [музыка] файн-тьюн
527. 18:54Квенна 3.6 35 млрд от 3B. Весит она как
528. 18:5935, но при этом на каждый токен работает
529. 19:01только три, поэтому основную массу можно
530. 19:04держать в оперативке. Скорость [музыка]
531. 19:05от этого просядет не смертельно. И вы
532. 19:08помните тот закон аккуратности, о
533. 19:10котором я ранее говорил. Грубое сжатие
534. 19:13убивает интеллект, а выборочные методы,
535. 19:15вроде Onslot Dynamic, жмут части модели
536. 19:17отдельно, сохраняя работоспособность.
537. 19:19Причём пережимать модель до
538. 19:21экстремального уровня нельзя. Нейросеть
539. 19:23зацикливается, ломает вызов инструментов
540. 19:25и оставляет лишь поверхностные знания.
541. 19:27Но скорее всего, история с Grim Jim это
542. 19:30исключение. Чаще всего снятие [музыка]
543. 19:32ограничений не добавляет умений, это
544. 19:34показало свежее исследование. А когда
545. 19:37аккуратная сборка всё-таки обходит
546. 19:38оригинал, часто дело в том, что оригинал
547. 19:40на части вопросов просто отказывается
548. 19:42отвечать и теряет на этом баллы. Кстати,
549. 19:44вам подсказка, берите не только самую
550. 19:46крупную нейросеть, которая влезет в ваше
551. 19:48железо, но ещё и смотрите на свежесть,
552. 19:50ибо почти всегда Qwen 3.8 на 27 млрд
553. 19:53будет лучше древнего Qwen 2.5 на 72
554. 19:56млрд. Так, ну модель мы выбрали,
555. 19:58осталось понять, как запустить [музыка]
556. 20:00её на компьютере в пару кликов и без
557. 20:02единой строчки кода. Самый удобный путь
558. 20:04для новичка, который везде советуют, это
559. 20:06программа LM Studio. Там вообще думать
560. 20:09не надо. Вы вбиваете название модели в
561. 20:11поиск, а приложение само оценивает
562. 20:13видеопамять, находит нужный файл и
563. 20:15заранее предупреждает, если железо не
564. 20:16справится. Хотя, какого кода? Скорее без
565. 20:19возни с командной строкой или же
566. 20:21терминалом, если вы ценитель. И есть
567. 20:24даже русский язык в интерфейсе. Для
568. 20:25новичка может быть это и идеальный
569. 20:28старт. Но у неё есть огромный, ощутимый
570. 20:31минус. Это жирное приложение на
571. 20:33электрон, и оно съедает оперативку,
572. 20:35которую можно было бы отдать модели.
573. 20:37Вместо неё сейчас очень популярно
574. 20:39пользоваться программой Ollama. И да,
575. 20:41она более минималистичная, при этом всё
576. 20:43ещё удобная. Но у меня, как и у многих
577. 20:46других, к ней личная неприязнь. Об этом
578. 20:49я рассказывал в своём ТикТоке, либо же
579. 20:51вы можете почитать вот этот пост по вот
580. 20:53этой ссылке. Так что да, это моя личная
581. 20:55рекомендация не использовать Ollama. И
582. 20:58что интересно, что LM Studio, что Ollama
583. 21:01используют под капотом один и тот же
584. 21:02движок. А зачем вам какие-то обёртки над
585. 21:05ним, если вы можете просто использовать
586. 21:07первоисточник. Я говорю о том самом
587. 21:09llama.cpp, который поднимается на
588. 21:11действительно минималистичном
589. 21:12llama-сервере. Да, тут консоль всё-таки
590. 21:14придётся открыть, но только чтобы
591. 21:16запустить сервер. Дальше с нейросетью вы
592. 21:18будете общаться в обычной вкладке
593. 21:20браузера. Гайд на использование и
594. 21:22настройку вы найдёте в моём
595. 21:24Telegram-канале, конечно же. Прямо
596. 21:26сейчас сканируйте QR-код с экрана. Но по
597. 21:29мере того, как вы будете глубже изучать
598. 21:31тему, вы столкнётесь с рекомендациями
599. 21:33использовать другие движки: vLLM,
600. 21:35exllama, exllama v3. Они действительно
601. 21:38имеют ряд своих преимуществ. Но от себя
602. 21:40могу сказать, что как минимум vLLM
603. 21:42гораздо более сложная в настройке и
604. 21:44больше задумана под массовый инференс,
605. 21:46то есть использование множеством людей.
606. 21:48Я бы сказал, что это тема больше для
607. 21:49провайдеров, чем для личного
608. 21:50использования. Лично я всё ещё сижу на
609. 21:53llama.cpp. При этом, как и везде,
610. 21:55соблюдайте правила цифровой гигиены.
611. 21:57Забирайте файлы строго со страницы
612. 21:59проверенного автора, потому что Hugging
613. 22:01Face - это по сути файлообменник или
614. 22:03хранилище для моделей, и туда тоже может
615. 22:05попасть что-то вредоносное. И уж тем
616. 22:07более никаких левых сайтов. Просто вот
617. 22:10свежий случай: фальшивая страница под
618. 22:11видом OpenAI на Hugging Face всего за 18
619. 22:14часов вышла на первое место в трендах.
620. 22:16240.000 скачиваний и сотни лайков с
621. 22:18шаблонных аккаунтов. Оставила она на
622. 22:20Windows троян, ворующий данные. Итого,
623. 22:23если вы хотите вообще без запары, то
624. 22:25тогда LM Studio. А если хотите отдать
625. 22:28побольше памяти модельке, то llama.cpp.
626. 22:30А теперь, когда вы скачали нейросеть без
627. 22:32цензуры, задумайтесь, что именно теряет
628. 22:35модель вместе с возможностью отказа.
629. 22:37Самое ценное - собственную надёжность.
630. 22:40Да, когда за дело берётся аккуратный
631. 22:42инженер, доработанная сборка по его же
632. 22:44замеру теряет в среднем ничтожные
633. 22:46полбалла по четырём общим тестам знаний.
634. 22:48В обычном чате вы этой разницы вообще не
635. 22:50увидите. В простой переписке нейросеть
636. 22:52шутит, уверенно поддерживает беседу и
637. 22:54кажется идеальным [музыка] помощником. А
638. 22:56вот копните чуть глубже, и начинается
639. 22:58опасная слепая зона. Есть один
640. 23:01конкретный экзамен, на котором проседают
641. 23:03все расцензуренные нейросети, даже самые
642. 23:05лучшие. Это тест на человеческие
643. 23:07заблуждения Truthful QA. Там собраны
644. 23:09сотни коварных вопросов о здоровье,
645. 23:11законах и деньгах, где сухой научный
646. 23:14факт прямо противоречит популярному
647. 23:16бытовому мифу, вроде сказок о том, что
648. 23:18от алкоголя можно моментально
649. 23:19протрезветь чашкой кофе или холодным
650. 23:21душем. Расцензуренные сборки на этом
651. 23:23тесте ошибаются чаще оригинала, и при
652. 23:25проверке двадцати разных расцензуренных
653. 23:27сборок на одной базе, тесте на
654. 23:29заблуждения просили абсолютно все. Даже
655. 23:31самый аккуратный вариант потерял баллы,
656. 23:33а у самой раскрепощённой версии четверть
657. 23:35[музыка] ответа вообще намертво зависала
658. 23:37в бесконечных размышлениях. И раз
659. 23:39проверять каждое согласие теперь
660. 23:41приходится лично вам, [музыка] то кто
661. 23:43вообще осознанно выбирает модели,
662. 23:45которые отвечают да на всё? Исследование
663. 23:47платформы OpenRouter показало, около 52%
664. 23:51токенов открытых нейросетей на этой
665. 23:52площадке сжигается на ролевые игры,
666. 23:55диалоги с виртуальными персонажами и
667. 23:57интерактивные новеллы. Программирование
668. 23:59плетётся далеко позади, забирает
669. 24:01скромные 15-20%. [музыка] И
670. 24:03исследователи предполагают, дело в том,
671. 24:05что открытые модели меньше ограничены
672. 24:07фильтрами и чаще бывают вообще без
673. 24:09цензуры. Но есть и те, кому нужны такие
674. 24:11модели не для развлечения, а по долгу
675. 24:13службы, то есть специалистам [музыка] по
676. 24:15кибербезопасности, которым приходится
677. 24:17копаться в чужих взломах. Им позарез
678. 24:20нужны модели без морали. Показательная
679. 24:22драма развернулась вокруг китайского
680. 24:24флагмана GLM 5.3. Веса выложили только
681. 24:27через 2 недели, а в карточке модели
682. 24:28разработчики прямо признали,
683. 24:30кибервозможности этой модели развивались
684. 24:32быстрее, чем ожидала сама команда. Но
685. 24:34стоило весам выйти в открытый доступ,
686. 24:36как защиту снесли в первые же дни, а
687. 24:38облегчённую версию расцензурили
688. 24:40буквально за несколько [музыка] часов.
689. 24:41Как в июле этого года на сервера самого
690. 24:43Hugging Face напал автономный
691. 24:45искусственный интеллект, моделька от
692. 24:46Open AI. Инженеры бросились разбирать
693. 24:49логи через привычные коммерческие
694. 24:50нейросети, а облачные сервисы на отрез
695. 24:53отказывались анализировать инцидент,
696. 24:54потому что корпоративные фильтры
697. 24:56безопасности банально не способны
698. 24:58отличить защитника от преступника. В
699. 25:00итоге платформе пришлось в срочном
700. 25:02порядке поднимать открытую модель
701. 25:03предыдущего поколения на собственном
702. 25:05железе, чтобы за считанные часы
703. 25:07разобрать огромный журнал атаки. А там
704. 25:09было, на минуточку, больше 17 тысяч
705. 25:11событий. Китайские авторы позже так и
706. 25:13написали: "Открытому миру нужен надёжный
707. 25:16открытый щит". И [музыка] сегодня в
708. 25:17поиске Hugging Face по кибербезопасности
709. 25:19первые три места занимают именно такие
710. 25:21взломанные сборки. Единого правила
711. 25:23модерации при этом не видно. Одну
712. 25:25модификацию с пометкой для атак площадка
713. 25:27блокирует, а соседнюю от другого автора
714. 25:29спокойно оставляет в общем доступе, и
715. 25:31люди забирают её тысячами в день. И люди
716. 25:34тут нет. Автор сам предупреждает, что
717. 25:36вырезать фильтры точечно не получается.
718. 25:38Они протекают, и часто, снимая фильтры с
719. 25:41кибербезопасности, [музыка]
720. 25:42вы получаете модель, готовую рассуждать
721. 25:44об оружии или дезинформировать в
722. 25:46качестве учебных [музыка] целей. По
723. 25:48оценке лаборатории Anthropic, опытной
724. 25:50команде для снятия защиты с полной GLM
725. 25:525-3 хватило бы всего около 1200 долларов
726. 25:55на аренду видеокарт. Копейки.
727. 25:57Американский правительственный центр
728. 25:59оценки прямо назвал эту систему [музыка]
729. 26:01самой киберспособной открытой моделью на
730. 26:03тот момент. При этом облегчённая версия
731. 26:05всего за 8 часов собрала рабочую цепочку
732. 26:07эксплойтов при минимальном участии
733. 26:09человека. Теперь представьте то же
734. 26:11самое, но без единого отказа. А
735. 26:14бизнес-то тоже подсуетился. В сети уже
736. 26:16давно продают подписки на расцензуренный
737. 26:19флагман. Кстати, напишите в
738. 26:20комментариях, нужен ли вам отдельный
739. 26:22большой ролик про индустрию и инфоцыган,
740. 26:25и как сейчас каждый первый стал
741. 26:27экспертом в этой теме. Если ролик
742. 26:29интересен, то поставьте лайк и
743. 26:31подпишитесь, чтобы я видел ваш отклик. И
744. 26:33давайте теперь немножко остренького
745. 26:35напоследок. Картинки и видео. [музыка]
746. 26:38С ними развернулась совсем другая
747. 26:40история, и ещё задолго до текстовых
748. 26:42баталий. Ещё в конце 2022 года, когда
749. 26:45создатели второй версии Stable Diffusion
750. 26:47решили перестраховаться и прогнали
751. 26:48обучающую базу через очень строгий
752. 26:50фильтр от взрослого контента, грянул
753. 26:52скандал. Вместе с цензурой фильтр резко
754. 26:55сократил число людей в обучающей
755. 26:56выборке. Так что рисовать их модель
756. 26:58стала заметно хуже, а пользователи
757. 27:00взбунтовались. По оценке Стэнфордской
758. 27:02обсерватории для открытых генераций
759. 27:04самой популярной так и осталась старая
760. 27:06версия. Энтузиасты принялись обучать
761. 27:08собственные форки, вроде Pony или
762. 27:10Illustrious. В итоге, по словам автора
763. 27:12Pony, к середине 2024 года его проект
764. 27:15вместе с производными обогнал базовую
765. 27:17Stable Diffusion XL на площадке Civitai
766. 27:19и по скачиваниям и по генерациям. Люди
767. 27:22не захотели терпеть цензуру. В общем,
768. 27:24сегодня в мире картинок разворачивается
769. 27:26тот же сценарий. Авторы передовой Flux 3
770. 27:28заперли генераторы в платном облаке,
771. 27:30оставив открытыми только файлы для
772. 27:32роботов, а версию для всех пока только
773. 27:34обещают без срока. Но свой открытый
774. 27:36генератор у сообщества уже был. Ещё в
775. 27:382025 году на базе открытого Flux
776. 27:40появилась модель Chroma на 9 млрд
777. 27:43параметров. Её предобучение оплатил
778. 27:44анонимный донор, а цель автор заявил
779. 27:46прямо: вернуть вырезанную анатомию и
780. 27:49сделать генератор полностью без цензуры.
781. 27:51Но главную стену тут провели даже не
782. 27:53разработчики. Её провели платёжные
783. 27:56системы. По словам главы Civitai, Visa и
784. 27:58зависимые процессоры отказались работать
785. 28:00с платформой, где свободная генерация
786. 28:02соседствует со взрослым контентом на
787. 28:04одном домене. Ну и как бы выбора нет,
788. 28:06пришлось подчиниться. Обычное творчество
789. 28:08оставили на старом адресе с картами, а
790. 28:10вот всё взрослое выселили на отдельный
791. 28:12домен с оплатой только криптовалютой.
792. 28:14Точно, вернёмся в самое начало, к
793. 28:16PewDiePie. На официальной модели
794. 28:18страницы Ajax от него до сих пор висит
795. 28:21заглушка с извинениями за перенос
796. 28:22запуска. Файлов нет. Ролик Феликса
797. 28:25собрал миллионы просмотров за первую
798. 28:26неделю. В репозитории вовсю готовят
799. 28:28техническую базу под выход модели, но
800. 28:30открытых весов на серверах так и не
801. 28:32появилось. Зато на GitHub посторонний
802. 28:34человек уже выложил репозиторий с
803. 28:36обещанием официального архива. В
804. 28:38описании ролика ссылки на него нет.
805. 28:40Снять корпоративный отказ сегодня может
806. 28:43любой желающий одной командой, потому
807. 28:45что специализированные инструменты стали
808. 28:47общедоступными, а значит, границы
809. 28:49дозволенного чертите только вы сами.
810. 28:51Только вы решаете, какой файл забирать к
811. 28:53себе на компьютер, грубую поделку или
812. 28:56ювелирную сборку. Но главное, вся
813. 28:58ответственность за проверку фактов
814. 29:00ложится только на ваши плечи. Никто не
815. 29:03придёт и не исправит чужую галлюцинацию.
816. 29:05И агентские пайплайны харнесов для
817. 29:07подстраховок и форсированных
818. 29:09перепроверок тут работают хуже, чем с
819. 29:11обычными моделями. Помните об этом. И
820. 29:14дипсик