Сегодня генерация видео с помощью нейросетей уже не обязательно означает платные облачные сервисы и оплату за каждую попытку. Если компьютер позволяет, часть моделей можно запускать полностью локально — прямо на своём ПК.
Один из самых удобных инструментов для этого — ComfyUI. Это визуальный интерфейс на основе нод, в котором можно собирать цепочки генерации изображений и видео, использовать готовые workflow и запускать модели локально. ComfyUI работает на Windows, Linux и macOS, а для Windows доступна portable-версия, которую можно просто скачать, распаковать и запустить.
Что такое ComfyUI
Вместо классического интерфейса с одной формой и кнопкой Generate в ComfyUI используется система связанных между собой блоков — нод.
Каждая нода отвечает за отдельную часть процесса: загрузку модели, промпт, исходное изображение, параметры генерации, обработку результата и так далее.
За счёт этого можно собирать достаточно сложные сценарии, например:
текст → изображение → видео
или:
готовая картинка → анимация → видео
При этом необязательно создавать такие схемы самостоятельно. В ComfyUI есть готовые шаблоны workflow, которые можно открыть и адаптировать под свою задачу.
Как установить ComfyUI
Я в видео использую portable-версию для Windows.
Официальный репозиторий:
https://github.com/Comfy-Org/ComfyUI
Portable-сборка доступна прямо через официальный проект. После загрузки архив достаточно распаковать и запустить соответствующий файл для своей видеокарты.
Сам ComfyUI при этом занимает лишь часть места. Основной объём обычно приходится на нейросетевые модели.
Почему после загрузки workflow не всегда всё работает
Это один из важных моментов, который я отдельно показываю в видео.
Вы можете скачать готовый workflow, открыть его в ComfyUI и обнаружить, что каких-то моделей у вас нет.
И это нормально.
Workflow фактически описывает схему работы, но сами модели обычно необходимо загрузить отдельно.
ComfyUI использует папку models, внутри которой есть отдельные директории для разных типов файлов. Например, checkpoints обычно располагаются в:
ComfyUI/models/checkpoints
Более сложные современные модели могут состоять сразу из нескольких файлов, которые необходимо разместить в разных директориях. Поэтому лучше ориентироваться на инструкции конкретного workflow или модели.
Как я генерировал видео
В ролике я показываю полный небольшой сценарий — от идеи до результата.
Сначала с помощью моего сервиса ToVideo я создаю сценарий и промпт для будущей сцены:
После этого в ComfyUI использую первый workflow и генерирую изображение.
Это изображение становится референсом для следующего этапа.
Затем открываю второй workflow, передаю туда полученную картинку и уже на её основе запускаю генерацию видео.
Получается примерно такая цепочка:
идея → сценарий и промпт → изображение → видео
Такой подход удобен тем, что изображение можно сначала довести до нужного вида, а уже потом тратить ресурсы компьютера на более тяжёлую генерацию видео.
Можно ли действительно генерировать видео бесплатно
В плане оплаты стороннему сервису — да.
Если модель запускается локально, вам не нужно оплачивать каждую генерацию или покупать дополнительные кредиты.
Но полностью «бесплатной» такую генерацию всё же можно назвать условно: вы используете собственную видеокарту, электричество и тратите время на обработку.
Также генерация видео заметно требовательнее генерации изображений. Чем тяжелее модель, выше разрешение и длиннее ролик, тем больше требуется видеопамяти и времени.
Зато весь процесс происходит на вашем компьютере, а исходные изображения и видео не нужно обязательно отправлять во внешний облачный сервис.
Что ещё можно делать в ComfyUI
Генерация видео — только один из вариантов.
Через ComfyUI можно собирать workflow для:
- генерации изображений;
- image-to-image;
- увеличения разрешения;
- работы с референсами;
- удаления и изменения объектов;
- генерации видео;
- стилизации;
- последовательной обработки контента несколькими моделями.
Именно возможность соединять модели и этапы обработки в один workflow делает ComfyUI особенно интересным инструментом для экспериментов с локальными нейросетями.
Вывод
ComfyUI сначала может выглядеть довольно сложно из-за огромного количества нод и настроек.
Но для старта вовсе не обязательно разбираться во всём интерфейсе.
Можно установить portable-версию, выбрать готовый workflow, скачать необходимые модели и постепенно разбираться, за что отвечает каждый блок.
В видео я как раз показываю этот процесс практически с нуля: установку ComfyUI, работу с готовыми шаблонами, загрузку моделей и два workflow — для генерации изображения и дальнейшего превращения изображения в видео.
Видео
https://rutube.ru/video/private/a4489ed88c2319f7fe83288342bbe45a/?p=MaHmfZKTF0qbXfexKFA3Wg
https://vkvideo.ru/video-238292605_456239030
Хотите такой же результат?
Бесплатно посчитаем ваш проект и покажем, где автоматизация даст максимальный эффект.
Обсудить проект →
Комментарии · 0