Я обучил ИИ на своих файлах: Локальный RAG без цензуры (n8n + Qdrant) — Transcript
Full transcript
- 0:00У каждого из нас есть целое кладбище
- 0:01файлов: договоры, записи встреч,
- 0:04регламенты, огромный массив информации.
- 0:07Но выделить из этого массива что-то
- 0:09небольшое нужное, бывает очень долго и
- 0:12сложно. Искать информацию в файле
- 0:14вручную, пытаясь зацепиться глазом за
- 0:16нужный фрагмент или пользоваться
- 0:18стандартным поиском винды, перебирая
- 0:20файл за файлом. Всё это тратит кучу
- 0:22вашего времени. А загрузить файлы в
- 0:25нейросеть, если это конфиденциальная
- 0:27информация, ну просто нельзя. А что,
- 0:29если я вам скажу, что вы можете создать
- 0:31полностью локальный поисковик по вашим
- 0:34файлам? Он будет работать на вашем
- 0:36железе полностью бесплатно. И он не
- 0:39будет не просто искать какие-то
- 0:41отдельные слова, он будет понимать смысл
- 0:43того, что вы ищете, и давать вам внятный
- 0:45ответ. Это называется рак. Retrieval
- 0:48augmented generation или, по-простому,
- 0:50генерация, дополненная поиском. То есть
- 0:52нейросеть не просто генерирует ответ на
- 0:54основе своего контекста, на котором она
- 0:56обучена, а она генерирует этот ответ на
- 0:59основе информации, полученной из ваших
- 1:01файлов. Система будет строиться всего на
- 1:03трёх компонентах, два из которых мы уже
- 1:05знаем. Nat,
- 1:08мы с вами уже поставили его в докере,
- 1:11Олаama и модель Quen 3, которая отлично
- 1:14понимает русский язык. И новый
- 1:16контейнер, который нам понадобится - это
- 1:18векторная база данных. Это память, на
- 1:21которую будет ссылаться ваша нейросеть.
- 1:24Я буду использовать дрант. Ну, квадрант,
- 1:27как я его называю. Не знаю, как он
- 1:28правильно называется, поэтому поехали.
- 1:30Как всегда, чтобы не переписывать
- 1:32информацию с монитора, я подготовил для
- 1:34вас готовый конфиг, который загрузил на
- 1:37мой канал в Телеграме. Ссылка будет в
- 1:39описании. Файл немного переработан. Если
- 1:41ранее вы устанавливали NM и у вас всё
- 1:43работает, лучше добавьте нужные разделы
- 1:45и строки вручную, потому что если вы
- 1:47скопируете полностью файл, есть шанс,
- 1:49что что-то из того, что вы уже делали, у
- 1:51вас а слетит. Этот раздел вам нужно
- 1:55скопировать в ваш Docker Compe. Это
- 1:58нужно для того, чтобы у вас просто
- 2:00создался новый контейнер и у вас
- 2:03работала векторная база данных на вашем
- 2:05компьютере. А второй момент, если вы
- 2:08качали N8N в версии 2.0 и старше, то там
- 2:14есть нюансы по безопасности. Там
- 2:16немножко прикрутили гайки и есть
- 2:19необходимость добавить две
- 2:20дополнительные строчки. Здесь я их
- 2:22пометил как фикс безопасности. А первая
- 2:25из них даёт доступ к чтению файлов для
- 2:30N. И вторая открывает, э, закрытые ноды.
- 2:34Те ноды, которые работают
- 2:35непосредственно с файлами на дисках,
- 2:38которые имеют доступ к папкам и файлам
- 2:41на вашем компьютере или сервере, из
- 2:44соображения безопасности в версии 2.0
- 2:46разработчиками были закрыты. Поэтому без
- 2:49этих двух строчек у вас просто ничего не
- 2:52заработает. Ну и то, что мы с вами ранее
- 2:53уже делали - это связь с локальной
- 2:56папкой data. То есть вы сможете
- 2:58загружать файлы в папку data и ваши ноды
- 3:03смогут работать с этими файлами. Всё,
- 3:04что вам потребуется сделать далее - это
- 3:06открыть терминал, перейти в нужную вам
- 3:09папку, где у вас лежит Docker Comp,
- 3:11ввести команду Docker Comp.
- 3:14Можем начинать работать с нашей
- 3:16векторной базой данных. Нерост не умеет
- 3:18читать в привычном нам понимании. Для
- 3:20того, чтобы она поняла текст, нам нужно
- 3:22его векторизовать, превратить в числа.
- 3:24Причём нельзя скармливать весь файл
- 3:26целиком. Нейросель в таком случае не
- 3:28сможет в нём грамотно ориентироваться.
- 3:29Чтобы перевести привычный нам файл в
- 3:32удобный нейросети формат, нам и нужен
- 3:34первый рабочий процесс. Что делает этот
- 3:37рабочий процесс? Он видит, что файл упал
- 3:39в конкретную папку, читает, э, нарезает
- 3:42на кусочки, превращает в цифры и
- 3:45сохраняет в нашей векторной базе базе
- 3:48данных. Запускать этот рабочий процесс
- 3:50будет как раз та нода, которую мы с вами
- 3:53открывали. Local File Trigger. Эта нода
- 3:55следит за папкой. Мм, здесь вот
- 3:59прописываете путь к папке, за чем
- 4:01конкретно она следит, за добавлением
- 4:03файлов в моём случае. И у меня почему-то
- 4:06без использования полинга она не
- 4:09работала. Поэтому эту галочку тоже
- 4:11ставим. Как только вы помещаете файл в
- 4:15нужную вам папку внутри папки data, у
- 4:18меня это будет, например, давид, то у
- 4:20вас запускается этот рабочий процесс и
- 4:21начинается обработка файла. Следующая
- 4:24нода read files from disc читает
- 4:29файл с вашего диска и превращает его в
- 4:31бинарный файл. Следующая нода, которая
- 4:33нам нужна - это quadва vector Store. И к
- 4:36этой ноде нам нужно привязать,
- 4:38во-первых, модель, во-вторых, э datoader
- 4:41для того, чтобы информацию мы могли
- 4:42загружаться в нашу базу данных. Внутри
- 4:45даталодера мы выбираем тип входящей
- 4:47информации, то есть у нас бинарный файл,
- 4:50а, загружает всю входящую информацию.
- 4:53Выбираем формат файла, в моём случае это
- 4:56стандартный вордовский docx, и выбираем
- 5:00нарезку. Самая простая - это 1.000
- 5:03символов с перекрытием 200, но лучше
- 5:06поставить кастомную, чтобы не размывать
- 5:08точность. Кастомный сплитер мы
- 5:10настраиваем на 500 символов с
- 5:12перекрытием в 50 символов для того,
- 5:14чтобы у нас
- 5:16чанки шли последовательно и информация,
- 5:19контекст не прерывался. Модель, которая
- 5:21будет это всё векторизовать, переводить
- 5:22в бединге, будет QN3 Beding, самая
- 5:26лёгкая 0,6B, несмотря на то, что она
- 5:28очень маленькая и очень быстрая. Она
- 5:31очень неплохо справляется со своей
- 5:34задачей. Всё. После того, как вы собрали
- 5:37этот рабочий процесс, у вас есть
- 5:38возможность собрать эту самую базу
- 5:43данных. Для теста я загружаю сюда
- 5:45нормативную документацию.
- 5:47Вот, как мы видим, зелёные галочки
- 5:49везде, всё обрабатывается.
- 5:51Мы нарезали файл на кусочки, модель
- 5:54обработала, векторизовала всё. И всё. У
- 5:57нас есть 23 чанка из одного файла. Вы
- 6:00спросите: "А можно ли увидеть эту самую
- 6:02базу данных? Можно ли посмотреть
- 6:04начанки, которые мы сделали?" Да, можно.
- 6:07Нужно зайти в админку квадранта через
- 6:08порт 633.
- 6:10Аа, собственно, если мы перейдём сюда,
- 6:13м, вот в коллекцию, у нас будет как раз
- 6:16наша коллекция, наша база данных 111.
- 6:20Здесь мы видим те самые наши кусочки
- 6:24текста, наши чанки, на которые мы
- 6:27нарезали этот файл. нейросети абсолютно
- 6:29плевать на текст, который вы в неё
- 6:31загрузили. Для неё важны точки, которые
- 6:35она создала. Ваша база данных для
- 6:37нейросети, ну, для понимания, похожа,
- 6:40наверное, на карту, где каждый эмбединг
- 6:42- это какая-то координата, и её задача -
- 6:46найти ту координату, тот мembдин,
- 6:49который будет максимально близок к
- 6:52координатам вашего запроса. И чем ближе
- 6:55они окажутся друг к другу, тем точнее
- 6:57будет ответ нейросети. Созданием базы
- 6:58данных мы закончили. Теперь наша задача-
- 7:01научить нейросеть пользоваться ею. А для
- 7:03этого нам понадобится второй workflow.
- 7:05Здесь для пользования базой данных, для
- 7:07пользования нейросетью мы можем
- 7:08использовать всё тот же Telegram, с
- 7:10которым мы уже работали. Мы добавляем
- 7:13стандартный Telegram-тригр, который
- 7:14будет реагировать на сообщение.
- 7:16Подключаем к нему агента. А агенту
- 7:20задаём промт. А даём ему информацию, что
- 7:24ему нужно использовать квадрант Vector
- 7:26Store для ответа на вопрос. Если
- 7:28информации нет в инструменте, отвечай. К
- 7:30сожалению, в моей базе данных я не нашёл
- 7:32ответ на вопрос. Обратитесь к менеджеру.
- 7:34Если вы хотите максимально его
- 7:36ограничить, также для того, чтобы
- 7:37ограничить нейросеть, а при выборе
- 7:40нейросети мы ставим температуру. Если мы
- 7:44ставим температуру на ноль, то мы
- 7:46полностью ограничиваем творчество
- 7:48нейросети. Она будет стараться отвечать
- 7:50строго в соответствии с той информацией,
- 7:52которую мы ей дали. Для работы с базой
- 7:56данных я использовал модель QN 3
- 7:59аliterated 14B. Неплохая модель. QN 3
- 8:04работает отлично с русским языком,
- 8:06поэтому рекомендую попробовать вот
- 8:08конкретно эту модель. В качестве
- 8:10инструмента дляагента мы добавляем
- 8:12квадрант Vector Store. Во-первых, нам
- 8:14нужно подключиться по AP, а APK здесь не
- 8:18нужен. Ключа никакого не надо. А здесь
- 8:21нужно ввести только URL. Обычно всё
- 8:23работает через host Docker internal и
- 8:26поч33, который мы выставили в нашем YAM
- 8:30файле. IPK оставляем пустым,
- 8:33подключаемся и у нас должно загореться
- 8:35зелёненьким подключение. Если не
- 8:37работает, попробуйте заменить host
- 8:39decorer internal на local host. Ну,
- 8:41скорее всего, вот с этим вариантом у вас
- 8:43тоже всё будет отлично работать. А далее
- 8:45выбираем режим операции работа с
- 8:48документами как инструмент для агента.
- 8:52Пишем описание, чтобы всегда
- 8:55использовала нейросеть этот инструмент
- 8:58для ответа на любой вопрос. Ответ должен
- 9:00содержать
- 9:02что-то из инструмента. Выбираем
- 9:05коллекцию, выбираем базу данных, которую
- 9:07мы с вами создали. В нашем случае это
- 9:09три единица, выбираем лимит, сколько
- 9:11максимально близких кусочков будут
- 9:13использоваться нейросетью для ответа на
- 9:16ваш вопрос. И самый важный момент в
- 9:17настройки векторной базы данных - это
- 9:20выбрать ту же самую модель, которую вы
- 9:23использовали для того, чтобы нарезать и
- 9:25обработать чанки. А в моём случае QN3
- 9:28beding 06B. Всё, в принципе, это уже
- 9:31рабочая схема, но так как мы
- 9:33использовали а Quentiterated,
- 9:36а это думающая модель. И в ответе своём
- 9:41она выдаёт, в том числе размышление.
- 9:43Думающие модели выдают размышление
- 9:46обычно между тегами think. И для того,
- 9:49чтобы убрать информацию между этими
- 9:51тегами, нам потребуется небольшая
- 9:52код-нода. Здесь, э, ну, собственно, всё,
- 9:55что она делает, это просто убирает
- 9:57лишнюю информацию до нужного вам ответа.
- 9:59И финальная нода - это отправка
- 10:02информации вам обратно в Telegram уже с
- 10:05ответом по вашей базе данных. Ну и
- 10:07давайте протестируем, посмотрим, как это
- 10:09работает вживую. У меня это нормативная
- 10:11строительная документация, поэтому
- 10:13давайте для начала зададим ей вопрос,
- 10:14какие нормативы есть по площадям
- 10:17помещений. Нейросеть довольно тяжёлая,
- 10:19поэтому на первую загрузку ей
- 10:20потребовалось пару минут, и мы получили
- 10:21ответ. Нормативы по площадям
- 10:24помещений согласно предоставленной
- 10:26информации и чем регламентированы исходя
- 10:29из этого документа. То есть вся
- 10:30информация, которая там указана. Давайте
- 10:33спросим ещё, например,
- 10:36минимальные границы
- 10:39от
- 10:40дома. Ну, так абстрактно напишем
- 10:43минимальные границы от дома. То есть
- 10:45поймёт ли она вообще о чём речь. М в
- 10:49файле есть информация о минимальных
- 10:51отступах дома от границ участка. На
- 10:53ответ понадобилось где-то 20 секунд. А
- 10:56опять же соответствити требованиями
- 10:58минимальное расстояние от дома
- 10:59регулируется следующими правилами. от
- 11:01границ земельного участка до жилого
- 11:03дома, до построек, до стен домов, до
- 11:06сараев. Точные значения могут зависеть
- 11:09от локальных норм. Для уточнения
- 11:11рекомендуется обращаться к специалистам
- 11:12или местным нормативам, а вот точнее к
- 11:16ПЗ, но это вам не интересно. И,
- 11:19например, спросим у него, как варить
- 11:21борщ. Этой информации в файле точно нет.
- 11:24К сожалению, в моей базе данных я не
- 11:26нашёл ответ на ваш вопрос. Обратитесь к
- 11:28менеджеру. То есть, а, мы убедились в
- 11:30том, что база данных и наша нейросеть
- 11:32работает верно. Она отвечает на
- 11:34информацию, исходя из контекста файлов,
- 11:37которые мы в неё загрузили. И если мы не
- 11:40хотим, чтобы она отвечала на совсем
- 11:42левые вопросы, она этого не делает. То
- 11:44есть на вопрос, как варить борщ, она уже
- 11:46не ответила, потому что этой информации
- 11:49мы в нейросеть не загрузили. Итого двумя
- 11:51простыми рабочими процессами мы можем
- 11:53сэкономить вам часы поиска по папкам.
- 11:56Причём эта система масштабируемая. То
- 11:58есть хотите подключить
- 12:00десяток сотрудников, да, пожалуйста,
- 12:02хотите загрузить туда 1.000 файлов, да,
- 12:04без проблем, база данных свободно это
- 12:06переварит и выдержит. Как и всегда, вам
- 12:09не придётся переписывать эту информацию
- 12:11с экрана или делать всё вручную. Рабочие
- 12:14процессы и doer compс вы можете найти в
- 12:16моём Telegram-канале по ссылке в
- 12:18описании. А у меня на этом всё. Ставьте
- 12:20лайк, подписывайтесь и развивайте
- 12:23автоматизации.
About this transcript
This page contains the full transcript of Я обучил ИИ на своих файлах: Локальный RAG без цензуры (n8n + Qdrant) by Borodat, generated from the public captions YouTube serves with the video. The transcript has 1,740 words across 304 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.