FramePack: новый генератор видео от автора Forge и Fooocus
Всем привет)) Хоть видео это не мой профиль, мимо этого видеогенератора я не мог пройти мимо, потому что его создал наш знакомый гений из Китая, автор Forge, Fooocus, Controlnet, и много других интересных вещей.
Кратко о том что это такое и с чем его едят.
FramePack — это инновационный инструмент с открытым исходным кодом, созданный командой разработчиков во главе с lllyasviel. Эта программа решает одну из критических проблем современных систем генерации видео на основе искусственного интеллекта: сохранение временной согласованности между кадрами. Проще говоря он оживляет ваши картинки и превращает их в видео.
Как это работает?
FramePack использует уникальный алгоритм для анализа и обработки последовательностей изображений, что позволяет сохранить плавность и согласованность при генерации видео с помощью различных моделей ИИ. Инструмент не просто упаковывает кадры, а создает специальные «сигнальные карты», которые помогают ИИ лучше понимать контекст каждого кадра в последовательности.
Минимальные требования
Автор пишет, что программа может пойти даже слабых на видеокартах - от 6 гб., подробнее смотрите на странице генератора:
Установка
Устанавливается он очень легко, так же как и Forge, у него есть установщик для виндовс. Переходите к установке, жмете на ссылку и после распаковки запускаете - run.bat
После того как программа установиться и загрузятся все модели (у меня размер папки со всеми моделями составил 45 гб.), запуститься окно интерфейса.
Настройки очень простые, можно их практически не трогать, все в основном зависит от вашего промпта и вашей фантазии. Для общего понимания я перевел их на русский язык, смотрите скриншот ниже:
Галочку - Use TeaCache снимать не рекомендую, особенно если у вас слабая видео карта, генерировать будет очень долго.
Кидаете в окно картинку (без картинки работать не будет), пишете к ней промпт, выставляете количество секунд и жмете - Start Generation.
После того как видео сгенерируется, по окном генерации появиться такая надпись:
что можно перевести как:
"Обратите внимание, что конечные действия будут сгенерированы раньше начальных из-за инвертированной выборки. Если начального действия нет в видео, вам просто нужно подождать, и оно будет сгенерировано позже.
Общее количество сгенерированных кадров: 105, продолжительность видео: 3,50 секунды (FPS-30). Видео сейчас расширяется..."
Если умножить кадры на секунды то получается около 6 инут, на самом деле вся генерация видео у меня заняла 13 минут, возможно остальное время заняла загрузка моделей, расширение видео и пр.
Если умножить кадры на секунды то получается около 6 инут, на самом деле вся генерация видео у меня заняла 13 минут, возможно остальное время заняла загрузка моделей, расширение видео и пр.
У меня карта по прежнему 3090, возможно на картах 4 серии будет даже побыстрее. Если кому не сложно, напишите в комментариях у кого сколько заняла генерация на установках по умолчанию и на каких картах, интересно сравнить результаты.
Если интересно, вот скрин того что у меня происходило в диспетчере задач в момент генерации:
Пара результатов с разными промптами:
1. 5 сек. стандартный промпт:
2. Промпт от картинки, тоже 5 сек.
Я думаю это отличный способ оживлять старые фотографии, как это сейчас стало модно, только без танцев с бубном и доступно практически для каждого.
В этом плане автор - lllyasviel большой молодец, он всегда старается облегчить жизнь своим пользователям, за что ему большое спасибо. Будем надеяться, что теперь он вернется к обновлениям Forge, как обещал в прошлом году.
На этом больше про новый генератор сказать нечего, если есть вопросы, пишите в комментариях. А вам желаю, что бы ваши нейронные сети всегда были полны творчества и вдохновения, а генерации всегда радовали глаз и приносили радость) до новых встреч))
ОБНОВЛЕНИЕ 04.05.2025
ОБНОВЛЕНИЕ 04.05.2025
Вышла новая модель FramePack-F1
FramePack-F1 – это версия модели FramePack, которая предсказывает будущие кадры на основе предыдущих.
🔹Что значит "F1"?
F = "Forward" (вперёд) – модель смотрит в будущее.
1 – первая версия такой однонаправленной модели.
🔹Чем она отличается от обычной FramePack?
Обычная FramePack может анализировать кадры в обе стороны (и прошлые, и будущие), что делает её более точной, она может давать более смелые и неожиданные результаты + она более динамичная – движения и изменения будут выразительнее.
Возможны заметные отклонения – предсказания могут сильнее отличаться от исходного видео, но зато выглядеть живее.
видео
Neural_Lens
Качаемс ))) Много
Apr 18 2025 18:44 
1
Дмитрий Невский
Neural Lens - AI-фотографии, да, он долго устанавливается))
Apr 18 2025 18:49
Aliya Ojoko
Дима, огромное человеческое спасибо! 
Буду пробовать. Если получится, то отпишусь по времени генерации
Буду пробовать. Если получится, то отпишусь по времени генерацииApr 18 2025 18:46 
1
Дмитрий Невский
Aliya Ojoko, 👍💖
Apr 18 2025 18:49 
1
Aliya OjokoReplying to Дмитрий Невский
на карте 4060 (8 Гб) это заняло больше часа, но! Качество отменное, без размазываний и логотипов, и без ожидания своей очереди по полдня. Спасибо еще раз
Apr 21 2025 10:46
1
Neural_Lens
Настройки как стояли оставил. 8 минут делалось на 4070ti super. Блин тут видео не загрузить
Apr 18 2025 19:02 (changed)
1
Дмитрий Невский
Neural Lens - AI-фотографии, круто)) загрузи в вк чате, я там тоже пост запостил - https://vk.me/join/ZI6H_rx0SBSgGT6MSq9U8sGUlDVajC2VrIA=
Apr 18 2025 19:24 
1
AI под капотом | AI Under the Hood
Дима, класс! Работает! На стандартных настройках 5 секунд ровно 10 минут. 4080
Apr 18 2025 19:24
1
Дмитрий Невский
Алмаз Абзалов, 
Apr 18 2025 19:29
AI под капотом | AI Under the Hood
Спасибо!!!
Apr 18 2025 19:24
1
Дмитрий Невский
Алмаз Абзалов, 👍💖
Apr 18 2025 19:29
Пётр Михайличенко
шикарная новость, этого не хватало!
Apr 18 2025 20:52
1
Дмитрий Невский
Пётр Михайличенко,
Apr 18 2025 21:06
Николай Груданов
вау.. 😊😊😊
Apr 18 2025 22:27 
1
Stanislav Nazarov
Дмитрий, спасибо за Framepack. Загрузил картинку 1024*1024, простой промт, время 5 сек, на карточке 4090 время генерации 07.33.24, качество очень даже неплохое
Apr 19 2025 16:10 
2
Дмитрий Невский
Stanislav Nazarov, 👍💖
Apr 19 2025 16:55
Stanislav Nazarov
На выходе получил
Apr 19 2025 16:12 
2
Hyva
Он только онлайн, офлайн не запускается.
Apr 21 2025 06:53
Shiny Lust
Огромное спасибо за наводку! Просто WAN 2.1 плохо работает на видеокартах с малым объемом видеопамяти.
Apr 22 2025 06:36
1
Дмитрий Невский
Shiny Lust, надеюсь фреймпак поможет))
Apr 22 2025 10:42
GA3D / NORDART
вопрос такой. есть ли смысл в промте писать улучшатели - типа realistic skin, 8K quality, detailed skin, и тд или он это не воспринимает?
Apr 22 2025 23:34
Stas GordonReplying to GA3D / NORDART
GA3D / NORDART, 30 сек на одном промпте?!
Apr 24 2025 11:36
GA3D / NORDARTReplying to Stas Gordon
Stas Gordon, да у меня модель движется вертится мащет руками и тд. Даже лицо сохранено. Можно и больше я просто останавливаю.
Apr 24 2025 16:42
1
Stas Gordon
Пробовал img2video, промпт слушает хорошо, но если смысл в более 5 сек? К тому же на 4060ti я ожидал большего качества генерации.
Что есть "стандартный промпт" для первой картинки?
Apr 24 2025 11:28 (changed)
1
Дмитрий Невский
Stas Gordon, Весь смысл в согласованности кадров на длинном отрезке времени, в других пока так не получиться, максимум 6 секунд. Качество по моему очень даже ничего, при том что чайный пакетик включен по умолчанию, без него будет еще лучше, но на моей карте мне показалось это долго, на 4 серии должно быть быстрее. Стандартный, это тот который по умолчанию написан в качестве примера.
Apr 24 2025 13:58
1
Stas GordonReplying to Дмитрий Невский
Дмитрий Невский, есть такое, на комфи поболе будет параметров для Frame, хотя то что я хотел там такого же качества.
Apr 25 2025 10:33
Gordeev Fitness
А есть Video2video портативка какая нибудь интересно?
Apr 27 2025 15:53
Дмитрий НевскийReplying to Gordeev Fitness
Gordeev Fitness, да им никто раньше не интересовался)) последний воркфлоу
Apr 27 2025 18:54
Stas Gordon
Gordeev Fitness, нода framepacksampler вам в помощь, вход initial_samples
Apr 30 2025 19:33
YourCat
на 2060 super 8 Gb super пока не получается завести что на comfy что через выкачиваемую сборку.. поборол кто?
Apr 30 2025 07:40 (changed)
Игорь
Весьма. Но изначально заглючила: ConnectionResetError: [WinError 10054] Удаленный хост принудительно разорвал существующее подключение.
Лечится внесением строк в demo_gradio.py
import asyncio
asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
May 15 2025 17:06 (changed)
Константин Сломецкий
rtx 3060 12gb, ram 32gb ddr4, 28 минут на 2 секунды видео с отключеным teacache. Со включенным качество проседает, время не засёк, уснул. Заказывал 5 сек видео, но почему-то только 3,5 секунды сгенерилось.
Jun 12 2025 13:25 (changed)
Дмитрий НевскийReplying to Константин Сломецкий
Константин Сломецкий, добавил, почитай, новая модель быстрее генерирует, попробуй
Jun 12 2025 14:01 
1
Константин СломецкийReplying to Дмитрий Невский
Дмитрий Невский, Спасибо! Затестирую.
Jun 12 2025 14:03
1
Stas Gordon
FramePack Studio будет мощнее.
Jun 27 2025 09:58
Сергей Морарь
Супер! Спасибо огромное за инфо. НО теперь новость для тех у кого 50х NVIDIA. Не работает если использует оригинальную сборку. Если Вы скачали сборку ранее для 50х (
https://boosty.to/nevskiyart/posts/fc966396-e3b7-4815-a13f-92fd0411c373 ) , то скопируйте из папки \system из нее данные файлы и вставьте в папку \system в FramePack . По скорости генерации... 1 секунда ~25 кадров за 3 минуты делает.
Oct 15 2025 23:16
1
Дмитрий Невский
Сергей Морарь, интересный способ, спасибо что поделился 👍
Oct 16 2025 12:20
