Локальные AI в ТВОЁМ ТЕЛЕФОНЕ | Без ИНТЕРНЕТА и ПОДПИСОК #ai #android #НЕЙРОРАЗВЕДКА — Transcript
Full transcript
- 0:03Всем привет. Давно не виделись.
- 0:05Значит, сегодня у нас спецвыпуск
- 0:08нейроразведки про локальные нейросети
- 0:10без цензуры для Android.
- 0:12Это полный обзор лучших приложений и
- 0:14GitHub-проектов.
- 0:16Ну, начнём с того, что ещё недавно мы не
- 0:18могли подумать о том, что мы можем
- 0:20запускать большие локальные языковые
- 0:22модели на своих телефонах.
- 0:24Вот, но сейчас ситуация, собственно,
- 0:26поменялась. Благодаря тому, что модели
- 0:29стали квантованными,
- 0:31мобильные процессоры стали гораздо
- 0:33мощнее, и мы можем запускать даже модели
- 0:36без цензуры, что, собственно, в основном
- 0:38мы и будем сейчас рассматривать. Ну, что
- 0:40такое локальная нейросеть, наверное, вы
- 0:42все понимаете, да, для Android. То есть,
- 0:44не важно, Android, компьютер, то есть,
- 0:45локалка есть локалка. Это модель,
- 0:47которая работает непосредственно на
- 0:49устройстве, в данном случае на самом
- 0:50смартфоне.
- 0:52Все вычисления происходят тоже на самом
- 0:54устройстве пользователя, без отправки
- 0:56запросов на удалённые серверы или ещё
- 0:59куда-нибудь.
- 1:00Я буду показывать вам непосредственно со
- 1:02своего блога на Бусте.
- 1:05Даже чутка увеличил экран, чтобы у вас
- 1:06всё было перед глазами и вам было всё
- 1:08понятно.
- 1:09Собственно, какие модели считаются без
- 1:11цензуры?
- 1:12Без цензуры, ну, это значит, с с
- 1:15ослаблением ограничений, которые
- 1:17устанавливают сами производители своим
- 1:18моделям.
- 1:20Вот, энтузиасты эти ограничения снимают.
- 1:23То есть, вы получаете меньше отказов
- 1:25нейросети в тех или иных вопросах. Если
- 1:28вы на Hugging Face либо GitHub находите
- 1:30вот такие пометки в самом названии,
- 1:33это значит, что нейросеть без цензуры,
- 1:36ну, либо цензура сильно ослаблена уже.
- 1:39И вы практически не получите отказов.
- 1:41Нет, такое может быть, что гарантировать
- 1:44здесь полного отсутствия отказов нельзя,
- 1:46но в основном так и есть. Ну, и начинаем
- 1:48наш блиц-обзор лучшие приложения для
- 1:51Android. Первое это у нас Pocket Pal AI.
- 1:54Лежит на Гитхабе.
- 1:56Сегодня считается одним из самых
- 1:57наиболее удобных клиентов для запуска
- 2:00локальных больших языковых моделей.
- 2:02Проект полностью открытый, бесплатный,
- 2:04скачивайте.
- 2:05А, кстати, давайте его откроем.
- 2:08А, поддерживает любые гуф-модели,
- 2:10включая лама, гвен, джема, мистр,
- 2:12дипсик, фи, другие. Большинство
- 2:14современных открытых моделей
- 2:16поддерживаются.
- 2:17Вот, если вы загружаете модель с
- 2:19пометкой без цензуры,
- 2:21неважно, с какой, а, приложение само не
- 2:24будет накладывать собственные
- 2:26ограничения. То есть всё будет работать
- 2:27без цензуры, как заявлено в самой
- 2:30модели.
- 2:31Вот. Полностью локальная работа, высокая
- 2:33скорость, поддержка большого количества
- 2:35моделей, современный интерфейс, открытый
- 2:37исходный код. Вот, недостатки.
- 2:41Это важно.
- 2:427-8 Б желательно иметь смартфон 8-12 ГБ
- 2:45оперативной памяти.
- 2:47Давайте посмотрим.
- 2:50Вот она на гитхабе. Скачиваете,
- 2:52устанавливаете, выбираете модель и пошла
- 2:55вода горячая.
- 2:57Идём дальше. Лейла AI. А, давайте тоже
- 3:00откроем.
- 3:02Это закроем.
- 3:05Значит, скачивайте прямо с сайта.
- 3:08Значит, это один из самых известных
- 3:10Android-приложений, ну, одно из самых
- 3:12известных Android-приложений, да,
- 3:14э, для общения с нейросетями.
- 3:16Поддерживаются джема, мистр, гвен, э,
- 3:18локальные модели семейства лама
- 3:21и собственный каталог моделей.
- 3:23Также и поддерживаются пользовательские
- 3:25модели. Главное преимущество возможность
- 3:27самостоятельно выбирать, загружать
- 3:28модели. Вот, что, собственно, нам и
- 3:30нужно.
- 3:31Прямо с сайта скачиваете,
- 3:35приложение, выбираете модель и
- 3:37работаете.
- 3:39Идём дальше. Chatter UI. Лежит на
- 3:41гитхабе тоже у нас.
- 3:45А, представляет собой универсальный
- 3:47клиент, имеет, э, умеет работать сразу с
- 3:49несколькими источниками моделей.
- 3:51Поддерживается
- 3:52Алама, Open AI, Open Router, Лама,
- 3:56локальные модели. Благодаря [фыркает]
- 3:58ему можно легко переключаться между
- 4:01локальными и облачными нейросетями. То
- 4:03есть и те, и те есть. Вы можете сами
- 4:05выбирать, что хотите.
- 4:08Вот на Гитхабе.
- 4:11MLC Chat э-э тоже лежит на Гитхабе.
- 4:15Э-э это проект, ориентированный на
- 4:17запуск моделей именно на мобильных
- 4:19устройствах. Оптими- поддерживаются
- 4:21оптимизированные версии Лама, Джема,
- 4:23Гвен, Фи и другие модели, подготовленные
- 4:26именно для MLC. Вот есть и такие. Ну,
- 4:28внутри найдёте. Если телефон достаточно
- 4:31современный, скорость будет у вас
- 4:32нормальная, высокая.
- 4:39Вот, собственно, она и лежит здесь.
- 4:41Следующий у нас Mate, тоже лежит на
- 4:44Гитхабе.
- 4:45Э-э значит, это ещё один открытый
- 4:47клиент, поддерживающий одновременно
- 4:49локальные модели и облачные API.
- 4:52Э-э то есть э-э
- 4:53этот подход особенно удобен, если
- 4:55работать сразу с несколькими
- 4:56AI-провайдерами. Вот, можно подключить
- 4:59Алама, Open Router, Open AI и другие
- 5:01гуф-модели.
- 5:04Ну, и вот он на Гитхабе.
- 5:06Смотрите, если телефон у вас слабый, да,
- 5:09ну, мало ли,
- 5:11э-э тут получается, что у кого-то есть
- 5:13оперативки побольше, у кого-то её нету,
- 5:15да, сам телефон вроде всё нормально
- 5:17тянет.
- 5:18Вот, ну, параметры у всех разные
- 5:20характеристики. Ну, в таком случае
- 5:22эффективнее будет использовать облачные
- 5:23модели.
- 5:25То есть смартфон у вас станет лишь
- 5:26интерфейсом, а все вычисления будут
- 5:28улетать в облака, на удалённые сервера.
- 5:31Вот, поэтому э-э есть вот здесь вот два
- 5:33примера, это Open Router.
- 5:36Давайте откроем.
- 5:39Позволяет использовать сотни моделей
- 5:40через единый API.
- 5:42Вот, очень удобная штука. И Google AI
- 5:45Studio, да, предоставляет бесплатный
- 5:47доступ к моделям Gemini через API. Ну,
- 5:49Google AI Studio все знают.
- 5:51Вот, Openrouter тоже, наверное, так что
- 5:53здесь я сильно зацикливаться не буду.
- 5:56А, третий пункт, э,
- 5:58на днях закрыли
- 6:00эту лазейку. Можно было тестировать
- 6:02современные модели,
- 6:03вот, через инс- инфраструктуру Гитхаба.
- 6:06Ну, к сожалению, закрыли. Надо будет,
- 6:08наверное, и статьи это тоже удалить.
- 6:11А теперь, какие модели без цензуры
- 6:13наиболее востребованы и популярны? Ну,
- 6:16если говорить именно о моделях, да? То
- 6:18есть, смотрите,
- 6:19э, то, что было до этого,
- 6:21это, получается, у вас приложение,
- 6:23интерфейс,
- 6:25через который вы загружаете уже сами
- 6:27модели.
- 6:28Вот, далее идут модели.
- 6:30Э, значит, по моделям здесь, э,
- 6:33чаще всего используются следующие.
- 6:36Э, тут представлены именно, э,
- 6:39аккаунты авторов, да, на Hugging Face.
- 6:42То есть, первый у нас, кон- конечно же,
- 6:44мой любимый любимый уже, наверное, кто
- 6:46смотрел меня ранее, Хуйхуй.
- 6:49Это я от этого названия блин всё время
- 6:51балдею.
- 6:52Ну, честное слово.
- 6:54Вот, спокойно не могу такое
- 6:56переваривать.
- 6:57Ну, это, наверное, проблема во мне. Вот,
- 6:59лучше использовать поиск, естественно,
- 7:01по коллекциям авторов, потому что
- 7:03они модернизируют, добавляют, урезают,
- 7:06что-то делают. То есть, у них есть,
- 7:09там уже действительно целое семейство
- 7:10этих моделей. Ну, давайте перейдём
- 7:13э, на сам Хуйхуй, то есть, к автору
- 7:15Хуйхуя.
- 7:18Он регулярно публикует версии разные.
- 7:21[фыркает]
- 7:22И для для Android наиболее практичный
- 7:25именно э, вот эти вот модели,
- 7:282B, 9B.
- 7:30>> [откашливается]
- 7:30>> Вот, их и скачиваете и смотрите. Вот,
- 7:32допустим, это уже аккаунт самого автора.
- 7:35И здесь вы смотрите, какие модели у него
- 7:38есть. Здесь их много, выбираете себе и
- 7:41скачиваете. Ориентир у вас есть, вот он.
- 7:46От от от двух до девяти можете себе
- 7:50устанавливать и смотреть, как будет уже
- 7:51работать.
- 7:52То есть это независимо от того, какое у
- 7:55вас приложение до этого установлено,
- 7:57Mate, MLC Chat,
- 7:58э, ну, какой из них там.
- 8:01Модели вы уже сами выбираете и
- 8:02подгружаете.
- 8:04Так, следующим у нас идёт Hermes, э,
- 8:08популярные модели для Android перед вами
- 8:10на экране. Переходите на страницу автора
- 8:16и выбираете
- 8:17указанные модели. Ну, в принципе, вы
- 8:19можете то есть и тестировать и другие
- 8:21модели, не обязательно, которые я
- 8:23выписывал средние.
- 8:24Вот, вы можете
- 8:26подбирать под ваш смартфон, может быть,
- 8:27у вас какой-нибудь бешеный мощный
- 8:29смартфон и потянет любую другую.
- 8:31Э, и [фыркает] мало того, что тут для
- 8:33Android,
- 8:34в этих коллекциях вы можете найти
- 8:37э, кучу нейросетей именно локалок тоже
- 8:40без цензуры, для ноутбука, для
- 8:42компьютера тоже в зависимости от ваших
- 8:44мощностей.
- 8:45Тут очень много всего, просто данный
- 8:47выпуск посвящён именно Android
- 8:49устройствам.
- 8:50Вот, а на самом деле и в коллекциях
- 8:52именно авторов, почему показываю именно
- 8:54их страницу, чтобы вы видели, какой
- 8:55здесь ассортимент большой.
- 8:58То есть в любом случае для своего
- 9:00устройства, неважно, Android это, это
- 9:04компьютер, это ноутбук, вы сможете
- 9:05подобрать локалку без цензуры и спокойно
- 9:07с ней работать.
- 9:09Идём дальше. Mistral.
- 9:12Тоже десятки независимых сборок.
- 9:15Э, [фыркает] лучший источник вот этот
- 9:18вот
- 9:19аккаунт.
- 9:23Тоже можете здесь выбирать для себя
- 9:26любые модели.
- 9:28Вот, популярный самый самый вариант тоже
- 9:31перед вами на экране.
- 9:32Находите, скачиваете.
- 9:35Тут очень очень много всего.
- 9:37То есть куча моделей, 129 страниц по
- 9:40пагинации.
- 9:41Вот. Тут можно даже одним автором было
- 9:44обойтись, но я вам показываю, чтобы у
- 9:46вас было больше информации.
- 9:48Идём дальше. Значит, на на связи Lama.
- 9:53Вот. [фыркает]
- 9:54Официальной страницы, естественно, нету.
- 9:56Вот, лучшие гуф источники тоже у него
- 9:58же, которого я до этого показал.
- 10:01То есть у блока.
- 10:03Вот. И популярные модели, вот они.
- 10:07Именно по Lama.
- 10:09Дальше у нас Heretic.
- 10:11Тоже страница
- 10:14отдельная.
- 10:16А популярные модели, вот они. Gwen 2.5
- 10:193B, Gwen 3.5 9B. Всё это Heretic. И тоже
- 10:24здесь очень много всего. То есть
- 10:26подбираете.
- 10:28Ну, можете просто опираться на на
- 10:30указанные мною популярные модели, и они
- 10:32у вас будут работать. В принципе, в 90%
- 10:34должны. Обязаны работать.
- 10:38Вот.
- 10:39Дополнительно смотрите ещё я вам
- 10:41рекомендую
- 10:42посмотреть, ну
- 10:44по блоку мы уже с вами проходились.
- 10:47Значит, вот ещё есть аккаунт.
- 10:50Э-э, тут специально подготовленные
- 10:52модели для LM Studio.
- 10:56Тоже очень много. 732 модели.
- 11:02Это тоже вам просто в догонку, бонусом,
- 11:05чтобы вы понимали, сколько всего на
- 11:06самом деле есть. Э-э, можно посмотреть и
- 11:09подобрать себе. Вот здесь хорошие Gwen
- 11:13модели, Njem, Lama, без дополнительного
- 11:16обучения.
- 11:18Тоже очень много всего есть.
- 11:26И Kvant Factory, большая коллекция тоже
- 11:28современных квантованных моделей. Не
- 11:30проходите мимо, обязательно загляните,
- 11:32посмотрите.
- 11:33Ну, если для обычного человека, кто
- 11:35только начинает прямо работать с
- 11:36нейросетями, кому, допустим, половина
- 11:39моего базара вообще, э, может быть,
- 11:41непонятна, либо какая-то часть, да, кто
- 11:44ещё далёк от всего этого,
- 11:46конечно, лучше использовать
- 11:47рекомендуемые мною параметры,
- 11:50э, которые в блоге описаны, да? Э, кто
- 11:52уже чуть-чуть пошустрее, кто уже
- 11:54довольно-таки давно, хотя бы с годик, с
- 11:56полгодика, да,
- 11:57работать пытается, во всём этом
- 11:59разобраться, ну, конечно, полистайте,
- 12:01посмотрите,
- 12:03э, лишним не будет, будет полезно даже
- 12:05узнать, какие существуют, какие вам
- 12:07пригодятся, э, вы в любом случае найдёте
- 12:10для себя кучу полезного. Вот. Ну, как
- 12:13минимум, одну хорошую нейронку, локалку,
- 12:16без цензуры, вы подберёте и под
- 12:18смартфон, одну подберёте и под
- 12:19компьютер, и всё у вас будет летать, и
- 12:22всё будет без цензуры.
- 12:24Так, перед тем, как к телефонам перейти,
- 12:26давайте ещё раз подытожим, что я вам
- 12:28показал, значит, изначально
- 12:31я вам показывал,
- 12:34то есть, буду говорить простым языком,
- 12:35как для простых людей, как будто бы вы
- 12:37ещё нейросетями не занимались. Первое -
- 12:39это приложение,
- 12:41то есть, это основа, э, за счёт чего у
- 12:44вас будут нейросети работать на
- 12:45телефоне. Вот эти вот первые моменты,
- 12:48которые я вам показывал.
- 12:50>> [фыркает]
- 12:50>> Далее у нас пошли, э, ну, здесь вот эти
- 12:53вот облачные, естественно.
- 12:55Далее пошли именно сами модели, которые
- 12:57будут работать через то, что, ну, через
- 12:59основу, которую я показал наверху.
- 13:03Понятно, да?
- 13:05Вот, то есть, и здесь вы уже выбираете
- 13:07после того, как вы то, что выберите, что
- 13:09устанавливать, через что будет работать
- 13:10нейросеть,
- 13:12уже после этого вы будете выбирать саму
- 13:14нейросеть.
- 13:15Вот, э, именно, не цензурированную.
- 13:18И здесь вот уже я показывал дальше, вот
- 13:20они идут, Hermes, Heretic и все
- 13:22аккаунты, что я вам показывал до этого.
- 13:25Вот.
- 13:27Теперь по телефонам подходят, ну у вас
- 13:29на всё на экране.
- 13:31То есть
- 13:32для 6 ГБ подойдут модели размером 1 3 B.
- 13:37Вот, э-э, 8 ГБ 3 4 B можно запускать, 12
- 13:41ГБ с 2 с оперативки 7 8 B.
- 13:44В квантовке, конечно же, Q4 KM.
- 13:47Вот, 16 ГБ и больше уже можно
- 13:49экспериментировать.
- 13:51Э-э,
- 13:52я думаю, днём вторую, одну, другую,
- 13:54четвёртую, десятую поставить и в любом
- 13:56случае на чём-то да остановитесь. То
- 13:58есть по любому после этого выпуска,
- 14:00если у вас телефон
- 14:02хотя бы с вот такими параметрами, вы по
- 14:04любому без модели,
- 14:07которая без цензуры, не останетесь.
- 14:10>> [тяжело вздыхает]
- 14:10>> Вот. Ну и что выбрать? Если полностью
- 14:13автономный, э-э, без постоянного
- 14:15подключения к интернету,
- 14:17э-э, наиболее удачным выбором
- 14:18естественно является самый первый, что я
- 14:21вам говорил, да, PQ AI.
- 14:23То есть, ну собственно, он топчик идёт,
- 14:26который я рекомендую, который мне
- 14:27действительно нравится. Ну на вкус и
- 14:29цвет, у меня есть знакомые, которые со
- 14:31мной спорят. Я вообще не любитель
- 14:33спорить, я говорю, ну нравится, да и хер
- 14:34с ним.
- 14:35Вот.
- 14:37То есть это уже на ваш вкус. Я
- 14:39рекомендую сначала попробовать это, а
- 14:42потом, когда вы уже будете будете
- 14:43использовать, ну то есть пробовать
- 14:45остальные, вы уже поймёте в сравнении с
- 14:47первым, что я говорил.
- 14:49Ну а на чём остановитесь, конечно же,
- 14:51это ваше дело.
- 14:53Эта статья вместе с ссылками находится в
- 14:56бесплатном открытом доступе. Ссылка на
- 14:58статью будет в описании. Переходите,
- 15:01смотрите, изучайте, тестируйте,
- 15:03устанавливайте, работайте с нейросетями
- 15:05прямо с телефона.
- 15:07Ну а на этом всё. Меня зовут Дмитрий.
- 15:10Встретимся на этом же месте, мне всегда
- 15:12есть что вам показать.
About this transcript
This page contains the full transcript of Локальные AI в ТВОЁМ ТЕЛЕФОНЕ | Без ИНТЕРНЕТА и ПОДПИСОК #ai #android #НЕЙРОРАЗВЕДКА by НЕЙРОРАЗВЕДКА | Dmitriy $. Oganessov, generated from the public captions YouTube serves with the video. The transcript has 1,968 words across 409 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.