0200 Создание и монтаж любых AI видео в ComfyUI и Davinci Resolve — Transcript

Full transcript

1. 0:00Это 3Dр.
2. 0:02Делаем переход в реальное видео.
3. 0:05Теперь это реальное видео переходит в
4. 0:07историческое фото. А это у нас медведь.
5. 0:13[музыка]
6. 0:13[аплодисменты]
7. 0:23Привет, друзья. В этом видео я подробно
8. 0:26расскажу, как создавать AI видео на
9. 0:28своём компьютере, как делать уникальные
10. 0:31видеопереходы,
11. 0:33оживлять фотографии и вообще создавать
12. 0:36всё, что хотите. И всё это бесплатно,
13. 0:38локально на своём компьютере бесплатных
14. 0:41сервисов. Делать мы это всё будем в Кофе
15. 0:44UI. Поехали. И начнём мы с того, что мы
16. 0:47возьмём базовый шаблон, встроенный в
17. 0:50Conf UI, и его адаптируем. Заходим в
18. 0:53templates в Conf UI. Здесь переходим на
19. 0:56вкладку Видео. И здесь большое
20. 0:58количество разных моделей. Самый
21. 1:01интересный из них - это One Animate, но
22. 1:04о ней я сделаю отдельное видео. И One
23. 1:072,2. Вот это First Last Frame. Мы
24. 1:10возьмём с вами вот этот шаблон и его
25. 1:13адаптируем. Открываем его. Выглядит он у
26. 1:16нас вот таким образом. Здесь у нас, по
27. 1:18сути, две версии шаблона в одной. Ну,
28. 1:21они отличаются, на самом деле, только
29. 1:24модельками. Здесь есть версия
30. 1:26оригинальная, без ускоряющих Loreр, но,
31. 1:29на мой взгляд, она слишком долго
32. 1:31работает. Даже на мощных видеокартах вы
33. 1:33потратите огромное количество времени.
34. 1:36Поэтому мы вот эту версию снизу, которая
35. 1:38и выключена, кстати, мы вот так её зажав
36. 1:41Ctrl, выделяем, всё удаляем. И вот с
37. 1:43этой версией будем работать. Тоже удалим
38. 1:47пока что вот эти вот лишние заметочки.
39. 1:50удалим все группы снизу, чтобы они нас
40. 1:53не отвлекали. Чем меньше нот, тем будет
41. 1:56вам всё понятнее и доступней. И мы будем
42. 1:59использовать не только встроенные ноды в
43. 2:01Кофе UI. И для того, чтобы нам сделать
44. 2:04этот шаблон более удобным, мы ещё с вами
45. 2:06поставим несколько дополнительных нот.
46. 2:09Зайдём в conf UI Manager. Кстати, если
47. 2:12хотите, можете поставить мой пак Time
48. 2:15Saver, потому что там есть очень
49. 2:17интересные ноды. Например, нода Resize,
50. 2:19которая очень удобная и позволяет
51. 2:22адаптировать размеры изображений очень
52. 2:24гибко. Если хотите мой пак поставить, то
53. 2:27тогда нужно здесь вот в коменеджере
54. 2:29включить channel develop. вот этот вот
55. 2:34зайти в custom noteer и в поиске просто
56. 2:37написать time saver и отсюда можно
57. 2:40установить этот пак confui saver notes.
58. 2:43Ну пока я вам буду показывать без этого
59. 2:45пака, так скажем, с основными нодами,
60. 2:48которыми я рекомендую пользоваться. Мы
61. 2:50поставим ноды для сжатого формата JGOF.
62. 2:53Для этого мы вернёмся обратно, включим
63. 2:55канал Default, стандартный канал, по
64. 2:58которому скачиваются ноды. Выбираем
65. 3:00здесь опять же менеджер и здесь пишем в
66. 3:03поиске JGF. Нас интересует вот этот пак
67. 3:06note, Confi UI JGF. Также пишем в поиске
68. 3:10Ultimate и также очень популярный packet
69. 3:13Ultimate SD Uscale. Тоже его
70. 3:16устанавливаем. И ещё ставим pack video
71. 3:18Helpers. Вот этот пак Conf UI video
72. 3:22helpers. Эти ноды нам пригодятся для
73. 3:25более удобной работы с видео, потому что
74. 3:28мы удалим теперь вот эти ноды, которые
75. 3:30сохраняют видео, встроенные в Conf UI.
76. 3:33Они очень ограничены по функционалу. И
77. 3:36после установки этих паков вы confui
78. 3:38перезапустите, и у вас
79. 3:41появятся вот такие ноды. Нас интересуют
80. 3:43нода video комбайн из пака Helpers. Вот
81. 3:47эта нода. В неё мы подключим готовые
82. 3:49картинки, которые будут генериться. То
83. 3:51есть это набор изображений, а Noa
84. 3:54видеокомбайн будет превращать это всё в
85. 3:56видео. Здесь мы в качестве формата можем
86. 3:59выбрать, например, H264
87. 4:03или H265.
88. 4:05Давайте для начала выберем H264.
89. 4:07И, кстати, вы можете здесь выбрать, в
90. 4:09том числе и Pro, что очень полезно при
91. 4:13последующей обработке видео. Если вы
92. 4:15хотите выбрать прорес, то выбираете вот
93. 4:17здесь видео Прорес. Но Прорес не будет
94. 4:20виден вот здесь вот в браузере. У вас
95. 4:23будет сохраняться видеофайл, но превью
96. 4:24вы здесь не увидите. Вам нужно будет в
97. 4:26папку зайти и там его смотреть. Поэтому
98. 4:29я буду показывать на примере H264.
99. 4:32Я ставлю вот этот вот параметр CRF
100. 4:35где-нибудь на 16. Это сжатие. Чем меньше
101. 4:38этот параметр, тем качественнее видео.
102. 4:40Ну, меньше 15 смысла ставить нет. 1516
103. 4:43оптимально. Эта нода у нас будет
104. 4:45сохранять видео. И файл name prefix мы
105. 4:48можем задать куда сохранять. Я сразу вам
106. 4:51рекомендую здесь написать видео,
107. 4:53поставить косую черту. То есть таким
108. 4:56образом он создаст папку видео в папке
109. 4:59output и там, например, написать уже AI
110. 5:04видео. Вот так. Так будет называться
111. 5:06файл, и к нему будет добавляться
112. 5:08порядковый номер. Частоту кадров мы
113. 5:10поставим 25. И подстроим немножко.
114. 5:13Теперь наш шаблон для генерации видео
115. 5:16встроенный. То есть мы будем
116. 5:18генерировать видео на основе
117. 5:19изображений. Это единственно правильный
118. 5:22способ. Генерить видео по тексту - это
119. 5:25бессмысленная трата времени. Вы не
120. 5:27знаете, что получите. Будете долго
121. 5:29ждать. Сначала делаем качественную
122. 5:31картинку, потом из неё делаем видео.
123. 5:34Только так. И здесь конструкция вот
124. 5:36такая. Модель one разделена на две
125. 5:39части, так называемую
126. 5:41low и high. Вот они здесь у нас
127. 5:44грузятся. У них у каждой свой сэмплер.
128. 5:46Сейчас мы вот это всё вот так выставим,
129. 5:48и вы поймёте, как это всё выглядит
130. 5:50наглядно, чтобы было понятно, что куда.
131. 5:53Вот так разложим. Для начала вот
132. 5:55сделаем, а картинки поставим вот здесь
133. 5:57сверху. Итак, смотрите, как это всё
134. 6:00работает. Модель High Noise и ускоряющая
135. 6:04лора для неё попадают в первый сэмпlerр
136. 6:07и генерят два шага. Они генерят так
137. 6:10называемое движение в начале. То есть
138. 6:12они генерят всё, что отвечает за
139. 6:14движение. На выходе будет такой
140. 6:15специальный двигающийся шум, который
141. 6:18моделька Low превращает уже в картинку,
142. 6:22тоже с ускоряющей лорой. И это
143. 6:24происходит вот в этом в следующем
144. 6:25смплере. Здесь, я думаю, вы должны
145. 6:27понимать, что это такое. Это промт. То
146. 6:29есть мы здесь пишем текстом, описываем,
147. 6:32что у нас происходит.
148. 6:34Негативный промт можно, в принципе, не
149. 6:35трогать, поскольку модель китайская, то
150. 6:38и промт прописан на китайском. Можно
151. 6:40писать на английском, это неважно.
152. 6:43Можно, в принципе, его не трогать. Мы с
153. 6:45вами будем работать вот с этими
154. 6:46основными параметрами. То есть у нас все
155. 6:49параметры я вынесу вверх. Я так делаю в
156. 6:52своих workflow и, соответственно, сделаю
157. 6:54сейчас в этом примере, чтобы всё это
158. 6:56упростить и наглядно вам показать. Вот в
159. 6:58этой заметке есть ссылки на модели.
160. 7:01Здесь указано, куда их положить, откуда
161. 7:05их скачать, но модели довольно большие
162. 7:07здесь. Здесь указаны модели FP16. Также
163. 7:10есть ссылки на модели FP8. Тоже можно их
164. 7:13скачать, но я вам рекомендую сделать
165. 7:15по-другому. Я вам рекомендую скачать мои
166. 7:18версии моделей, ссылочки на которые я
167. 7:20сейчас в эту заметку запишу. Итак, вот
168. 7:23такая будет у вас в этом Workflow
169. 7:25модифицированная версия заметки.
170. 7:26Workflow, естественно, я приложу к видео
171. 7:29ссылочку на него. Соответственно, вот
172. 7:31эти модельки Artius One High Noise и
173. 7:34Artius One Lowise вы скачиваете и
174. 7:36кладёте в папку Conf UI Models Diffusion
175. 7:39Models. Чем эти модели хороши? Тем, что,
176. 7:42во-первых, эти модели сделаны на основе
177. 7:45не добавленных LOR Lite X, а прямо
178. 7:49исходных моделей Lite X, которые
179. 7:51натонированы. Но я эти модели сжал с
180. 7:54помощью технологии динамического
181. 7:56квантования формат Q4КМ. Сейчас не будем
182. 8:00много технических подробностей этих вам
183. 8:02рассказывать, я думаю, чтоб сильно вы не
184. 8:04запутались. Но смысл в том, что в этих
185. 8:06моделях не все слои сжаты. Там, так
186. 8:09скажем, часть слоёв в FP16, часть слоёв
187. 8:13в Q6, часть в Q4. Таким образом, эти
188. 8:16модели занимают в четыре раза меньше
189. 8:18места, чем FP16. А по качеству
190. 8:21практически такие же. и памяти
191. 8:23потребляют тоже меньше. Чтобы эти
192. 8:25модельки загрузить, мы добавляем ноды
193. 8:27Unet Loader из пака JG, который вы
194. 8:30поставили, и выбираем в нём эти модели.
195. 8:33Выбираем модельку
196. 8:35High. Можно теперь ноду продублировать.
197. 8:37Ctrl C, Ctrl V. И здесь выбираем
198. 8:39модельку Low. И подключаем модельку High
199. 8:44вот сюда. Эти две ноды удаляем, а
200. 8:47модельку low, соответственно, вот сюда.
201. 8:50У нас получается ещё более компактная
202. 8:52конструкция. Вам нужно будет скачать все
203. 8:54вот эти модели, положить их туда, куда
204. 8:57здесь указано всё. То есть моделья в
205. 9:00папку, модель энкодера в папку
206. 9:04Encoders или Clip. Я в уроке по Confui
207. 9:07рассказывал, что эти папки, они в
208. 9:08принципе взаимозаменяемы. И, кстати,
209. 9:11если вы скачаете мой пакнот, то там есть
210. 9:14очень крутая нода, которая прямо самая
211. 9:17популярная в моём паке. Это File
212. 9:20Downloader, так она называется. TSver
213. 9:23file Downloader. Вот эта нода. Что она
214. 9:26делает? В ней вы можете указать ссылки
215. 9:29на модели на HAGENF, ссылку на модель и
216. 9:32дальше указываете относительный путь. То
217. 9:36есть, допустим, models VI. Вот так. И
218. 9:39модельку VI вот сюда вставляете вот эту
219. 9:42ссылку. И тогда при запуске эта нода
220. 9:44автоматически скачает модель и положит
221. 9:47её в эту папку.
222. 9:49При этом она поддерживает докачку. Если
223. 9:51вдруг закачка прервётся, она проверит и
224. 9:54впоследствии будет проверять размер
225. 9:55файлов. Если вдруг какая-то модель не
226. 9:57докачана, то она её скачает. То есть
227. 10:00работает она просто здесь список, адрес
228. 10:03файла, пробел и путь относительно вот
229. 10:07этих папок, то есть models и так далее.
230. 10:09Указываете, и модель скачает все файлы
231. 10:12автоматически. Но я не буду сейчас её
232. 10:14здесь добавлять, потому что если вы пак
233. 10:17не ставили, то эта нода у вас не
234. 10:18откроется. Я оставлю всё в оригинальной
235. 10:21кофеавской заметки ссылки. Это у нас,
236. 10:23значит, модельки для генерации мы сюда
237. 10:27загрузили. Вот здесь мы выбираем
238. 10:29модельку текстового энкодера. У меня она
239. 10:32лежит в отдельной подпапке. Я выбираю её
240. 10:34вот здесь. И тоже у меня лежит в
241. 10:37отдельной подпапке. Вот она. One 21 V.
242. 10:41Несмотря на то, что модели 2,2 для вот
243. 10:44этих моделей высокого качества 14 млрд
244. 10:47параметров, для них используется One 2.1
245. 10:50Y. Вот этот вот Variable Autoder. Опять
246. 10:53же, если вы не смотрели мой вводный урок
247. 10:55по Confi UI, обязательно посмотрите, там
248. 10:57я объясняю, что это такое вообще, как
249. 10:59устроена система моделей. Здесь у нас
250. 11:02модели разделены, то есть у нас идут
251. 11:04отдельно diffusion модели, отдельно
252. 11:07клип, который превращает текст в
253. 11:10понятной модели вид, и отдельно
254. 11:12энкоodдер, который конвертирует
255. 11:14изображение и латентное пространство.
256. 11:17Вот это L and Space. Этот нам нужен для
257. 11:19того, чтобы превратить сначала наши
258. 11:22картинки в понятной модели вид, а затем
259. 11:25то, что она сделала в понятный нам вид.
260. 11:28Таким образом работают вот эти все
261. 11:30разделённые модельки. Итак, значит,
262. 11:33смотрите, друзья, давайте мы с вами вот
263. 11:34этот текст тоже сюда перенесём. Можно,
264. 11:37кстати, сделать позитивный промт, он нам
265. 11:39нужен. Можно эту ноду переименовать.
266. 11:42Давайте её назовём промт. Сделаем
267. 11:44побольше. Здесь мы пишем наш промт. То
268. 11:47есть сюда мы закидываем картинки. Тоже
269. 11:51мы их переименуем. назовём Start Image,
270. 11:54а здесь назовём end image. И ещё нам
271. 11:57понадобится несколько настроек вынести в
272. 11:59наш визуальный интерфейс. Вот сюда нам
273. 12:02понадобится вот этот, чтобы здесь в ноде
274. 12:05его не писать, а всё вынести отдельно
275. 12:07вот сюда. И параметры ширины и высоты
276. 12:10нашего видео. И для того, чтобы нам эти
277. 12:12параметры вынести, мы добавим ноду int,
278. 12:15встроенную в conf UI. Вот эту. Здесь
279. 12:17поставим фиксированное значение. Int -
280. 12:20это целые числа. Это у нас будет ширина.
281. 12:23Продублируем её. Ctrl C, Ctrl V. А это,
282. 12:26соответственно, высота. Ширину
283. 12:28подключаем к ширине, высоту к высоте. И
284. 12:30эти ноды теперь можно разместить, где
285. 12:32нам удобно, где мы будем прописывать
286. 12:35ширину и высоту видео. Вот сюда их
287. 12:37вынесем. Давайте вот так чуть пониже,
288. 12:39потому что ещё сит нам нужен. Se у нас -
289. 12:42это большое число. И это то же самое,
290. 12:45тоже это же нода int. Можно её
291. 12:47продублировать. Назовём её си подключим
292. 12:50вот сюда в site. Seit. Поставим его вот
293. 12:54здесь. Вот так вот можно выставить.
294. 12:57Такие вот у нас настроечки: картинки,
295. 13:00текст, сит, ширина, высота. Ну и
296. 13:03конечное видео у нас будет вот здесь.
297. 13:05Соответственно, здесь у нас техническая
298. 13:08часть workflow, которой можно не
299. 13:10трогать. Все параметры здесь уже
300. 13:12настроены, зафиксированы. Вот так их
301. 13:14оставим вот здесь снизу. А здесь у нас
302. 13:16основные параметры, с которыми мы и
303. 13:19будем работать. Ну и, соответственно,
304. 13:20что теперь у нас здесь и как работает. В
305. 13:24старт иageж мы закидываем картинку, с
306. 13:26которой хотим начать генерацию видео.
307. 13:29Если end image, то есть если конечная
308. 13:32картинка нам не нужна, то мы просто
309. 13:34можем в bypass её поставить. Вот так. И
310. 13:36всё. И работает только со стартовым
311. 13:38изображением. Ну давайте какое-нибудь
312. 13:40видео для теста сгенерим. Вот эту старую
313. 13:43фотографию мы сейчас оживим.
314. 13:44Соответственно, вам нужно написать
315. 13:46текстом, что будет происходить на видео.
316. 13:48Здесь можно всё стереть и написать, что
317. 13:51вы хотите, чтобы здесь было. Я пишу
318. 13:53сначала по-русски. Я пишу, что у нас
319. 13:55фиксированная камера, мужчины стоят на
320. 13:58улице и что-то оживлённо обсуждают.
321. 14:00Теперь переводим этот промт на
322. 14:01английский. Получаем вот такой вариант.
323. 14:04И дальше настраиваем параметры. Пока
324. 14:07можно выставить в randomй или в
325. 14:09incкремен. Можно написать здесь любое
326. 14:11число, там 1 2 3 4 5 6 7. Давайте для
327. 14:14начала напишем размеры. Это самое
328. 14:16важное. Здесь нам надо задать размеры.
329. 14:19Давайте ещё покомпактнее немножко это
330. 14:21всё соберём. Вот так сделаем, чтобы всё
331. 14:23было на одном экране. Размеры, то есть
332. 14:25ширина и высота - это самые важные
333. 14:27параметры, потому что если вы поставите
334. 14:29очень большие, у вас будет потребляться
335. 14:31очень много памяти и, соответственно,
336. 14:34генерация видео либо будет очень долгой,
337. 14:36либо она вообще не случится. Я напишу
338. 14:39размеры 512 на 720. То есть ширина у
339. 14:43меня 720, высота 512. И всё. Нажимаем
340. 14:47Generate. Давайте посмотрим, что у нас
341. 14:49происходит. Вот у нас после нажатия
342. 14:52кнопки пошли загружаться модели. Сначала
343. 14:55у нас загрузился текстовый энкоoder,
344. 14:58потом загрузился, и у нас пошла
345. 15:01стартовая картинка вот сюда. Теперь у
346. 15:03нас пошли загружаться модели и пошёл
347. 15:07работать первый сэмпlerлер. То есть
348. 15:09первый сэмплер, он генерит
349. 15:12два шага из четырёх. У нас вся картинка
350. 15:14генерится за четыре шага. И первые два
351. 15:17шага генерятся в виде шума. Вот здесь у
352. 15:20нас сейчас это и происходит. Вот у нас
353. 15:22сгенерился первый шаг из двух. Сейчас
354. 15:24пойдёт второй. И после того, как
355. 15:26отработает этот кассемплер, начнёт
356. 15:28работать вот этот. И после того, как
357. 15:30второй кассемпер отработает, мы получаем
358. 15:32готовое видео. Как видим, очень даже у
359. 15:35нас получилось интересное видео. Таким
360. 15:38простым образом можно взять какие-то
361. 15:40архивные фото, оживить, добавить вашему
362. 15:44видеоконтенту привлекательности. Как
363. 15:47видите, качество очень даже хорошее. Вот
364. 15:49мужчины стоят, что-то там обсуждают.
365. 15:51Действительно, генерация у меня заняла
366. 15:53260 секунд. Это с загрузкой модели.
367. 15:56последующей генерации проходит где-то
368. 15:58примерно за 215 секунд. Это на карточке
369. 16:02RTX 3080.
370. 16:04Если добавить различные ускорялки, так
371. 16:07называемые SG attention, Flash
372. 16:10Attention, то тогда там можно скорость
373. 16:13ещё в два раза увеличить. Особенно
374. 16:16хорошо это работает на четырёхтысячных
375. 16:18карточках. Ну и сейчас уже на
376. 16:20пятитысячных карточках там вообще
377. 16:22генерации можно разогнать прямо
378. 16:23серьёзно. Но смотрите, вот, допустим,
379. 16:26это у нас получилось вот такое видео,
380. 16:29где действительно то, что описано, то и
381. 16:31происходит, да, мужики стоят и о чём-то
382. 16:33там трендят, но мы можем сделать его
383. 16:36гораздо детальнее, то есть сделать его
384. 16:39реально в Full HD разрешении. И я вам
385. 16:43сейчас покажу одну крутую технику,
386. 16:45лучшую на сегодняшний момент, потому что
387. 16:47я пробовал их все, все апскеллеры.
388. 16:51Просто уже реально, поскольку занимаюсь
389. 16:52этим уже 5 лет, всеми этими нейронками,
390. 16:55и я пробовал все. И сейчас вот самые
391. 16:57современные, там Flash VCR, SedVR и
392. 17:00прочие штуки. Это всё, конечно,
393. 17:03замечательно, но есть гораздо более
394. 17:04простой и элегантный способ. У него есть
395. 17:07небольшие ограничения, в принципе, но в
396. 17:10большинстве кадров он отлично работает.
397. 17:13И для того, чтобы его применить, мы
398. 17:15добавляем ноду, которая называется
399. 17:17Ultimate SD Upscaler. Кликаем два раза
400. 17:20по полю с нодами и пишем Ultimate.
401. 17:23Поскольку мы установили этот packк, он у
402. 17:25нас есть. И выбираем вот этот вариант No
403. 17:27upscale. Звучит странно, да? Но сейчас
404. 17:29объясню, что это значит. И ещё добавим
405. 17:31ноду, встроенную в conf UI, upscale.
406. 17:34Выберем её. upscale. Называется она
407. 17:36image upscale buy. Это значит, что она
408. 17:39увеличивает изображение на какой-то
409. 17:41процент. Подключаем сначала в неё наше
410. 17:45изображение, потом в ноду Al Ultimate
411. 17:48upscale. Вот так можно сразу их
412. 17:50расставить вот такую штуку и сделать для
413. 17:51них группу, чтобы потом можно было это
414. 17:53tscaler включать и выключать одной
415. 17:56кнопкой. Вот таким образом я их
416. 17:58раскладываю. Подключаю выход ноды
417. 18:00Ultimate Upscale в ноду Video combine,
418. 18:03где которое видео собирает. Вот так
419. 18:05выделяю эти ноды правой кнопкой Add
420. 18:08group for selected node. Ну, для них
421. 18:10создастся вот такая группа. Назову её
422. 18:12upscale. Это будет наш upscaler. Его
423. 18:16можно будет включать, если у вас
424. 18:18установлен кнот RG3, по-моему,
425. 18:20называется, то вот такая кнопочка будет.
426. 18:22Я не знаю, есть она сейчас кофе по
427. 18:23умолчанию, но если её нет, то вы просто
428. 18:26кликаете по группе правой кнопкой, и
429. 18:29здесь есть bypass group notes. А потом,
430. 18:32опять же, правой кнопкой set groupes to
431. 18:34always. Таким образом можно её включать
432. 18:36и выключать. В ноде image upscale buy мы
433. 18:38выбираем алгоритм самый качественный -
434. 18:41это LSOS. Выбираем его. Upscale buy -
435. 18:45это во сколько увеличить. Можно
436. 18:47поставить сразу в два раза, но я обычно
437. 18:50ставлю немножко поменьше. Здесь вы
438. 18:52подбираете уже под свои задачи, под свою
439. 18:55видеокарту. Я ставлю 1,7. Сейчас
440. 18:58объясню, почему. Когда я генерирую видео
441. 19:01вот по малой стороне в 512 пикселей и
442. 19:04ставлю 1,7, в итоге получается
443. 19:06разрушение почти Full HD. И этот UPS
444. 19:08работает следующим образом. Он разбивает
445. 19:10картинку на так называемые тайлы, на
446. 19:12такие вот квадратики. Если я поставлю в
447. 19:15два раза увеличить, а размер квадратиков
448. 19:17у меня указан вот здесь 512 на 512. Это,
449. 19:20в принципе, оптимальный вариант. Можно,
450. 19:22конечно, тоже его менять, в принципе. Но
451. 19:24вот 512 на 512, если я поставлю в два
452. 19:27раза увеличение, то у меня будет
453. 19:29генериться восемь квадратов. То есть
454. 19:32будет сетка 4х2.
455. 19:34При этом там совсем чуть-чуть не хватает
456. 19:38пространства, так скажем. Для этого
457. 19:40появляется четвёртый квадрат. А если я
458. 19:42ставлю 1,7, то получается сетка 6х2, и
459. 19:45это гораздо быстрее просто генериться и
460. 19:47вполне достаточно. Поэтому я поставил
461. 19:50вот такое значение. Соответственно, мы
462. 19:52теперь этот Ultimate Upscer подключаем к
463. 19:54остальным нодам. Подключаем в него
464. 19:57модель. Нас интересует модель вот такая
465. 20:00же, которая здесь. Low noise, которая
466. 20:03генерит саму картинку, потому что
467. 20:04движение у нас уже есть. То есть мы вот
468. 20:06отсюда из вот этой ноды, Shift, которая
469. 20:09называется у нас, мы из неё перетягиваем
470. 20:11модельку вот сюда. Из ноды First Last
471. 20:14Frame мы берём позитивный промт,
472. 20:17негативный промт и из модельки
473. 20:20подключаем Vя. Вот так. Seed мы ставим
474. 20:24вот этот вот параметр в fixed ноль. Так
475. 20:27же как и здесь. CFG ставим тоже, как и
476. 20:30здесь, в единицу. Сэмплеры можно
477. 20:32оставить по умолчанию. Вот он мне
478. 20:34написал: "Негативный пром-то забыл".
479. 20:36Видите, я его не подключил немножко тут
480. 20:38надо подправить. Вот так. В принципе,
481. 20:41негативный промт вообще не работает. Вот
482. 20:42этот можно его убрать, вместо него
483. 20:45поставить. Но есть такая conditioning
484. 20:46zero. То есть она обнуляет этот вот вот
485. 20:48кондининг. Потому что когда у нас CFG
486. 20:51стоит один, когда мы используем
487. 20:52ускоряющие лоры, негативный промт не
488. 20:55работает. Есть метод его обойти, так
489. 20:58называемый видео наг, но я сейчас про
490. 20:59него рассказывать не буду, чтобы не
491. 21:01перегружать качество видео. и так будет
492. 21:03очень даже хорошим. Количество шагов мы
493. 21:05выставляем в два или три. Давайте
494. 21:08поставим три. На мой взгляд, три - это
495. 21:10идеальный баланс между качеством и
496. 21:13скоростью. Можно поставить вообще там до
497. 21:16восьми. И вот здесь, кстати, тоже вот в
498. 21:17этих семплерах. Здесь тоже подробно
499. 21:20можно об этом рассказать. В принципе, я
500. 21:22думаю, вам это будет полезно. Первый
501. 21:24смплер, который генерит движение, вот
502. 21:26здесь вы можете поставить шагов
503. 21:28побольше. Здесь они работают в связке,
504. 21:31поэтому здесь надо указывать сначала
505. 21:32общее количество шагов. Вот здесь четыре
506. 21:34у них стоит. Вы можете поставить,
507. 21:36допустим, здесь шесть и здесь шесть. И
508. 21:39тогда вы вот здесь вот ставите три. То
509. 21:42есть он первые три шага сделает и
510. 21:44переключится на этот. А здесь вы тоже
511. 21:46вот сюда вбиваете три. Это значит, что
512. 21:48он с третьего шага начнёт. Но если вы
513. 21:51используете систему апскелинга
514. 21:52последующую, то вот это не очень важно.
515. 21:54Единственное, что можно, конечно,
516. 21:56поднять количество шагов в сэмплере,
517. 22:00который отвечает за движение. Тогда
518. 22:01движение будет более активным. То есть
519. 22:03можно, в принципе, сделать как общее
520. 22:06количество шагов вот здесь поставить
521. 22:09шесть, но вот здесь написать так, чтобы
522. 22:11он генерил четыре шага для движения. То
523. 22:14есть здесь поставить четыре, а здесь
524. 22:16положено поставить четыре, что он с
525. 22:18четвёртого шага начнёт и два всего шага
526. 22:20сделает для самой картинки. Я пока не
527. 22:22трогаю, оставляю параметры по умолчанию,
528. 22:24чтобы вы видели, как модель работает с
529. 22:26ними. А в апхиеллере я ставлю три шага.
530. 22:29И в принципе вот три шага - это
531. 22:31оптималочка для апслара. И самый главный
532. 22:34параметр здесь, который влияет на
533. 22:36детализацию - это ещё параметр denoise.
534. 22:39Вот этот параметр. На него стоит
535. 22:41обратить особое внимание. Что он
536. 22:43означает? Он означает, насколько сильно
537. 22:45картинка будет перерисовываться, в неё
538. 22:47будут добавляться детали.
539. 22:49Соответственно, этот параметр можно
540. 22:51увеличивать, и я его рекомендую вам
541. 22:53поставить для начала в 30. И где-то от
542. 22:57вот в интервале от 20 до 40, даже, может
543. 23:01быть, 45 можно пробовать. Если у вас не
544. 23:04видны в процессе вот эти квадратики, на
545. 23:06которые делится картинка на готовом
546. 23:08видео, то этот параметр можно поднимать.
547. 23:10Если вдруг они становятся видны, то
548. 23:12тогда его надо опускать. Для большинства
549. 23:15видео, да, процентов, наверное, 90. Вот
550. 23:17параметр 30.
551. 23:19Отлично работает.
552. 23:21Итак, в общем, берём всё мы и запускаем
553. 23:23теперь наш upscale. Если зайти в
554. 23:26консоль, то здесь видно, что, видите, у
555. 23:27нас style amount 6, грид 2х3, то есть
556. 23:31шесть тайтлов, сетка 2х3. Если бы я
557. 23:34здесь поставил не 1,7, а в два раза
558. 23:37увеличить, то тайтлов было бы восемь.
559. 23:40Ещё два тайтла, а это каждый тайтл
560. 23:43примерно по 2 минуты генерится,
561. 23:45соответственно. Ну зачем это надо? можно
562. 23:48сэкономить довольно много времени, а
563. 23:50качество картинки будет всё равно на
564. 23:51уровне. Сейчас увидите. И после
565. 23:53завершения апсла мы получаем высоко
566. 23:56детализированное видео. Обратите
567. 23:58внимание, какая детализация. Такое видео
568. 24:01уже реально можно спокойно использовать
569. 24:03в документалке, и никто вам даже не
570. 24:05скажет, что это нейронка. Я специально
571. 24:08взял именно этот пример, ни каких-нибудь
572. 24:11там аниме и котиков, потому что вот
573. 24:13здесь реально видно четыре человека в
574. 24:16кадре, там руки, лица, это всё на самом
575. 24:19деле очень сложно для нейросети. Вот эта
576. 24:21тросточка, то есть такие вот маленькие
577. 24:23нюансы, они на самом деле показывают
578. 24:26качество и уровень модели. По времени,
579. 24:30как я вам говорил, 2 минуты примерно на
580. 24:32один тайл уходит. То есть 13 минут у
581. 24:35меня занял вот этого видео.
582. 24:38Соответственно, если вы подключите,
583. 24:39например, синtion, то это будет в два
584. 24:42раза быстрее. Но вот у меня на
585. 24:44трёхтысячной карточки он нормально не
586. 24:47завёлся, но я могу включить flash
587. 24:49attention, тогда скорость будет где-то
588. 24:51процентов на 40 быстрее. То есть вместо
589. 24:5413 минут upsquale будет занимать минут
590. 24:57семь. Я вам сейчас показываю всё со
591. 24:59стандартными настройками, потому что это
592. 25:01максимально универсальный вариант,
593. 25:03который должен работать на практически
594. 25:05любом компьютере. А дальше там можно
595. 25:08наворачивать уже что угодно. Давайте вот
596. 25:11в отдельную вкладочку его закинем. То
597. 25:13есть вот у нас изображение до апсла, вот
598. 25:15после апсла. И вот если в первый кадр
599. 25:18перейти, вот они эти тайлы. Видите? При
600. 25:20этом даже видно здесь, что можно было
601. 25:22ещё немножко оптимизировать процесс. То
602. 25:25есть вот здесь, видите, у меня сюда
603. 25:27вписывается
604. 25:28шесть тайлов, но по сути вот эти два
605. 25:31обрезаны. То есть можно, в принципе, так
606. 25:33подобрать такую конфигурацию, что их
607. 25:34будет четыре. Я вот сейчас как раз занят
608. 25:37тем, что делаю специальную ноду. Пишу
609. 25:39ноду для Коfui, которая автоматически
610. 25:42будет рассчитывать оптимальный размер
611. 25:44тайлов, чтобы сделать их под каждую
612. 25:46картинку, чтобы их было четыре и чтобы
613. 25:50их размер был оптимален. Тогда можно
614. 25:52сократить время апсла ещё выше. И,
615. 25:54соответственно, вот эта заметность
616. 25:56стайлов, она тоже её не будет. В
617. 25:58принципе, здесь её не видно нигде, да?
618. 26:00То есть вот как бы как знаете старые
619. 26:03поговорки: "Видишь, суслика нет". А он
620. 26:05есть. Вот тут где-то есть тайлы, но их
621. 26:09не видно. И бывает заметно на каких-то
622. 26:13видео, где очень сложное движение камеры
623. 26:15и абсолютно однотонный однородный фон.
624. 26:17Но такие виде очень редкие. Обычно фон
625. 26:20всё-таки чем-то заполнен, поэтому эта
626. 26:22технология, на мой взгляд, очень
627. 26:23классная. И она работает на любом
628. 26:25компьютере. То есть видеопамяти она
629. 26:27потребляет мало, потому что каждый тайл
630. 26:30здесь 512 на 512. Если вдруг у вас там
631. 26:33карточка вообще совсем слабенькая, то
632. 26:35можно размер тайла уменьшить. Ну что,
633. 26:37друзья, это у нас пример создания из
634. 26:40старой фотографии видео. Давайте теперь
635. 26:42перейдём к ещё одному примеру, где будем
636. 26:45уже использовать endдж, то есть у нас
637. 26:48будет сейчас использоваться две
638. 26:49картинки: стартовая и конечная. Итак,
639. 26:51поехали. Вот у нас есть
640. 26:54рендер вот такой.
641. 26:58И нам надо сделать переход вот в этот
642. 27:00реалистичный кадр и сделать его крутым.
643. 27:04И это с помощью нейросетей можно
644. 27:06сделать. Итак, смотрите, друзья, берём,
645. 27:08экспортируем сначала последний кадр
646. 27:11этого рендера в виде картинки. То есть я
647. 27:14делаю вот так, перехожу в конец, потом
648. 27:16нажимаю стрелочку назад. Это последний
649. 27:18кадр. File export current frame as
650. 27:23steel. и называю его startframe. Потом я
651. 27:26беру первый кадр видео, в которое будет
652. 27:29переход файл экспорт current frame as
653. 27:33steel и называю его end frame. Потом это
654. 27:36мы дело всё сохраняем, до инчикваем,
655. 27:39потому что сейчас будет у нас тяжёлый
656. 27:41рендер в conf UI. В стаф мы закидываем
657. 27:45стартовых кадр. В endrame мы закидываем
658. 27:47конечный кадр. Здесь самое главное
659. 27:50промт. Что здесь у меня написано? Ну,
660. 27:51вы, в принципе, можете прочитать. Я
661. 27:53описываю стартовый кадр вначале вкратце
662. 27:57чуть-чуть, чтобы нейронка
663. 27:58синхронизировалась с тем, что в начале.
664. 28:01Потом описываю движение камеры. То есть
665. 28:04мы пишем, что камера, куда она летит,
666. 28:07какое происходит вращение, и немножечко
667. 28:10описываем начальный кадр и в конце
668. 28:13описываем конечный кадр. То есть у меня
669. 28:15написано Final Shot, да, что мужчина
670. 28:18сидит спокойный, типа, и камера
671. 28:20статическая внутри. Это важно, чтобы она
672. 28:23зафиксировалась, потому что дальше
673. 28:24пойдёт у нас уже видео. Соответственно,
674. 28:27разрешение для 169 для формата
675. 28:29стандартного я обычно выставляю вот
676. 28:31такое 512910.
677. 28:33Ну, здесь можно чуть-чуть её вменять,
678. 28:36если необходимо. И после создания вот
679. 28:38такого морфинга я просто беру, закидываю
680. 28:41это видео в DVIN, размещаю его между
681. 28:44двумя клипами, подрезаю на один
682. 28:47где-нибудь два кадра склейки и на
683. 28:50склейке кладу переход, который
684. 28:52называется Smooth Cut, который
685. 28:54дополнительно также уже использует
686. 28:57довинчевский морфинг. И вот таким
687. 28:59образом, смотрите, какая получается
688. 29:01эффектная склейка. Такую склейку
689. 29:02невозможно сделать никаким другим
690. 29:04способом. Небольшой перепад яркости и
691. 29:06цветов я подкорректировал с помощью
692. 29:08цветокоррекции. И, в принципе, здесь уже
693. 29:11практически незаметен этот переход.
694. 29:13Таким образом, можно получать вот такие
695. 29:15интересные эффекты, используя
696. 29:17нейроночки. Ну что, друзья, workflow я
697. 29:19этот бесплатно выложу. По ссылке в
698. 29:21описании будет статья на сайте, где
699. 29:23будет, соответственно, прямая ссылка на
700. 29:25этот Workflow. Ну а внутри Workflow
701. 29:27лежат ссылки на мои модели.
702. 29:30Соответственно, вы можете скачать их,
703. 29:31можете использовать стандартные модели,
704. 29:33которые есть в стандартном Workflow
705. 29:35Video Generation. Тогда подключаете
706. 29:37сначала ноду загрузки модели, за ней
707. 29:40ноду, которая называется Laora Loader.
708. 29:42Там ускоряющие Lore отдельно
709. 29:44подключаются. В моей модели они сшиты. Я
710. 29:46сам ими пользуюсь, именно вот этими
711. 29:48версиями Q4, потому что это динамическое
712. 29:50квантование, как я сказал ранее. Там
713. 29:53часть слоёв в Q4, часть в Q6, а основная
714. 29:56часть слоёв вообще FP16 и даже FP32
715. 29:59некоторые слои. Соответственно, такая
716. 30:01моделька даёт хорошее качество, экономно
717. 30:04расходует видеопамять и, соответственно,
718. 30:06место тоже на диске занимает меньше, чем
719. 30:08модели FP8 и уж тем более, чем модели
720. 30:11FP16. И немножко пройдёмся по
721. 30:13постобработке. Я вам покажу на примере
722. 30:15заставки к этому видео. Смотрите, здесь
723. 30:18у нас вот compound cliлип, который вот
724. 30:20мы сделали, да? То есть у нас здесь идёт
725. 30:22реальный рендер, потом переход,
726. 30:25сделанный в нейронке, в кофе UI, потом у
727. 30:27нас идёт кусочек настоящего видео.
728. 30:31Дальше последний кадр этого видео, вот
729. 30:33этот кадр экспортируется опять же в виде
730. 30:35картинки. Потом мы берём первый кадр
731. 30:38оживлённой фотографии, экспортируем его
732. 30:40в виде картинки. И, соответственно, вот
733. 30:42у нас идёт такой переход. В проте
734. 30:44прописано, что машина уезжает вправо, а
735. 30:47камера немножко отдаляется.
736. 30:49Соответственно, здесь вот эти наши
737. 30:51джентльмены поправляют галсточки. Они
738. 30:54ещё не знают, что их ждёт. И вот у нас
739. 30:56вот эта фотография оживлённая в Кофе UI.
740. 30:59И опять же берётся последний кадр,
741. 31:02экспортируется в виде картинки. Берётся
742. 31:04первый кадр вот этого видео с медведем.
743. 31:07Это уже целиком сделанное в нейронке
744. 31:09видео, понятное. И вот берётся первый
745. 31:11кадр этого видео и последний кадр вот
746. 31:13этот вот, э, чёрно-белой фотографии. И
747. 31:17опять же в промте здесь прописано, что в
748. 31:18кадр забегает медведь, а они все эти
749. 31:22господа, они в ужасе разбегаются. Вот
750. 31:25вот этот слева прямо вообще отлично. Он
751. 31:27просто испарился. Дополнительно также я
752. 31:30написал, что медведь в цвете, а картинка
753. 31:33на фоне чёрно-белая. И получается, что
754. 31:35на чбка картинку сбегает цветной
755. 31:37медведь,
756. 31:39что-то дожбавляет эффектности. А дальше
757. 31:41в промте прописано, что фон рассыпается
758. 31:44и проваливается вниз.
759. 31:47Вот видите, что в принципе так и
760. 31:49происходит. Соответственно,
761. 31:51проваливается вниз, а на его место
762. 31:52встаёт
763. 31:54фон из вот этого AI видео. И всё. И
764. 31:57дальше уже идёт это видео. Ну и
765. 32:00дополнительно часто я использую такие
766. 32:03плагины, как Motion Blur. Вот здесь вот
767. 32:06на нейронке он накинут. Видите? Без него
768. 32:08будет такая очень резкая картинка. А с
769. 32:10монблюром она более киношная становится.
770. 32:13И на всю эту колбасу уже здесь
771. 32:14дополнительно применён плагин фильм Look
772. 32:16Creator, который добавляет зерна
773. 32:18немножко и добавляет небольшую
774. 32:20цветкоррекцию. Ну что, друзья, вот такая
775. 32:22штука Коfui, это отличное дополнение к
776. 32:25Давинчи и фьюжену. Позволяет
777. 32:27генерировать любые AI видео у себя на
778. 32:30компьютере, совмещать их с монтажом и
779. 32:33делать крутые эффекты. Если видео
780. 32:35понравилось, ставьте лайк, не
781. 32:37подписывайтесь, конечно же, потом не
782. 32:39отпишитесь. На сегодня всё. С вами был
783. 32:41Санчез и канал Time Saverр. До встречи.
784. 32:45На моём канале вас ждёт большое
785. 32:46количество уроков по монтажу и
786. 32:48визуальным эффектам. Также у нас есть
787. 32:51крутые онлайн-курсы, в том числе и
788. 32:53бесплатный курс по Fusion. Большое
789. 32:55спасибо всем, кто поддерживает канал на
790. 32:57Бусте, Патреоне и ВКонтакте. И для
791. 33:00патронов каждый месяц я выкладываю
792. 33:02уникальные уроки: ке, трекинг,
793. 33:05ратоскопинг, моя сборка Коfi UI и
794. 33:07различный workflлоow для генерации
795. 33:09изображений, видео, музыки и так далее.
796. 33:13Превью большинства уроков можно
797. 33:14посмотреть на моём сайте. Все ссылки
798. 33:17есть в описании. С вами был Санчез и
799. 33:19канал Север. До встречи, друзья.
800. 33:27เ