Flux для ComfyUI - как ставить и стоит ли?
Flux - очередная "интересная" модель для генерации изображений, доступна в трёх вариантах: FLUX.1 [pro] для высочайшей производительности распространяется через API за $, FLUX.1 [dev] для точного и эффективного некоммерческого использования и FLUX.1 [schnell] для быстрой локальной разработки и личного использования.
Прежде чем ставить разберёмся зачем?
Основное преимущество данной модели - в точности выполнения сложных запросов включая текст и пальцы. По поводу качества можно поспорить. Из минусов: менее восприимчив к Artist (художники/фотографы/скульпторы..), постоянно уходит в стить MJ, а это не всегда нужно. Ещё в минус можно занести цензуру как на известные лица так и NSFW. Т.е. по факту это локальный, бесплатный MJ.
Как ставить:
1) Ставим encoders:
Кладём вот сюда: ComfyUI/models/clip/
*Если оперативной памяти много (32 и более), качайте t5xxl_fp16.safetensors вместо fp8
2) Ставим VAE:
Файл: ae.sft
Кладём вот сюда: ComfyUI/models/vae/
*что бы данная модель была видна в списке выбора - нужно обновить ComfyUI, для этого запускаем update_comfyui.bat из папки ComfyUI/update/
3) Качаем модель:
Для закачки потребуется войти/зарегистрироваться
В качестве альтернативы, для видеокарт 12GB можно скачать вот отсюда https://huggingface.co/Kijai/flux-fp8/tree/main
flux1-dev-fp8.safetensors или flux1-schnell-fp8.safetensors - Flux Schnel это дистиллированная 4-ступенчатая модель
Размещаем модель вот сюда: ComfyUI/models/unet/
4) Скачиваем рабочий пример для Flux Schnel 4-х шаговой модели:
ComfyUI_00011_.png1.15 MbDownload
Соответственно после запуска, выбираем модели:
Данная конфигурация работает успешно на GeForce RTX 3060 12GB с 24GB ОЗУ. Время генерации в том числе зависит от длины подсказки, и семплера. На разрешении 1216*832 = менее 3 минут.
Стоит ли ставить? Пока не попробуешь, не узнаешь. У каждого разные потребности и возможности. Но моделька достойна внимания, особенно если есть подходящее железо.
А вот пример:
4 девушки на одном фото, слева девушка в очках и красной майке, справа девушка в жёлтой кепке и голубой шубе, по центру две девушки с одинаковой причёской в виде косичек но с разной длиной волос одетые одна из этих девушек в bikini top а другая в tuxedo
Точность выполнения запроса потрясает, жаль что не фото :)
Обновление от 10.08.2024
Flux в Forge
Модельки:
lllyasviel рекомендует модельку nf-v2 по умолчанию. Она хоть и немного больше на 0.5 ГБ, но намного точнее и немного быстрее.
Версии flux1-dev-bnb-nf4.safetensors и flux1-schnell-bnb-nf4.safetensors работают на обновлённой версии Forge.
Вот пример на flux1-schnell-bnb-nf4.safetensors с форжа на 4 шагах:
Вот пример на flux1-dev-bnb-nf4.safetensors с форжа на 20 шагах:
Усложним тест, а то слишком легко всё выходит, вот подсказка:
На одной фотографии 4 женщины, слева девушка в очках и красной футболке, в центре две девушки с одинаковыми прическами в виде косичек, но с разной длиной волос, одеты одна из этих девушек в бикини, а другая в смокинг, справа на девушке желтая кепка и синяя шубка, слева у девушки надпись на футболке "CCCP", на заднем плане mcdonald's, все девушки вытянули перед собой руки.
Вот пример на flux1-dev-bnb-nf4-v2.safetensors с форжа на 20 шагах:
Выводы напрашиваются сами собой - но результат в плане следования подсказке очень даже достойный. Осталось решить проблему с пальцами и повторением персонажа на разных композициях.