DNK 

Универсальная схема. Подробнее тут: https://stalogen.ru/comfyui-universalnaya-shema/

Схема рассчитана на работу с ИЗОБРАЖЕНИЯМИ на моделях из семейств: SD1.5, XL, Flux, Qwen и легко расширяется по аналогии с примерами. В текущей версии используются квантованные, дистиллированные, GGUF и обычные модели.

- ручной ввод подсказки на любом языке с автоматической комбинацией описаний полученных от загруженных изображений (Florence2 и/или Redux).

- выбор различных моделей и их специфических настроек. Загрузка привязанных Lora к модели и дополнительный загрузчик с основного вида рассчитанный на быстрое включение/отключение и использование триггерных слов.

- выбор источника Latent

- непосредственно генератор изображения с возможностями inpaint. комбинирования изображений для Flux, загрузкой Controlnet, заменой лиц.

- предпросмотр/сравнение с сохранением.

Кроме генерации картинок есть возможность работы с готовым изображением:

- замена лиц и стиля;

- детализация;

Фишка Subgraph пришла на замену групповым нодам и является довольно интересным инструментом для упрощения интерфейса.

В качестве примера выше выбран загрузчик Flux модели с дополнительной нодой wavespeed для ускорения генерации. Если перейти в Subgraph (двойным щелчком по пустому месту в ноде), то мы попадём внутрь и увидим схему с нодами, входами и выходами:

Самой схемы в материале не будет, сразу предупреждаю. Однако материал будет полезен тем, кто задумывался над данной темой.

Почему не будет схемы, потому что схема:

- СЛОЖНАЯ для понимания, первоначального запуска и последующего использования. Для простой генерации нужно не просто держать логику работы всей схемы, но и перепроверять каждый раз несколько переключаторов и все используемые дополнительные файлы моделей в соответствии с основной моделью генерации. Добавим сюда необходимость установки недостающих нод и моделей - которыми не факт что будите пользоваться, но для запуска схемы они нужны. Кроме того всё это может в один прекрасный момент обновиться и сломаться :) 

- ДОЛГАЯ. Ввиду универсальности в ней присутствуют различные ноды которые в определённых процессах не нужны, а отключать их либо нельзя, либо надо переместиться в область переключателя для её деактивации - что увеличивает время не только на генерацию, но и предварительную настройку.

Все подсказки естественно пишем на английском, т.к. это шпаргалка то обойдёмся без примеров, подходит для всех моделей Flux kontext. Для следования подсказке можно чуть-чуть подкрутить CFG, например до 1.2

> Оставьте центральный объект композиции <описание объекта>, но измените <объект на другой объект>

> Сохраняйте структуру этого изображения идентичными, но измените <объект на другой объект>

В качестве объекта может выступать например:

Материал будет полезен не только тем кто хочет ускорить Flux модель, но и тем у кого мало видеопамяти (VRAM). На RTX 3060 с 12 GB загрузка составляла 32% на дистиллированной CLIP модели со скоростью генерации в 25 сек.  Когда даже на урезанной модели FP8 скорость генерации составляет свыше 3 минут.

Flux — это тип модели для генерации изображений, работающей в ComfyUI — визуальном интерфейсе для нейросетей. Модель Flux отличается высокой качественной детализацией и реалистичной анатомией, но требует много ресурсов, особенно VRAM. Инструкция актуальна для владельцев карт с 12ГБ VRAM и менее.

1) nunchaku — система управления ускорением нейросетей, использующая современные методы оптимизации. Дабы не вдаваться в подробности установки, воспользуемся готовой сборкой в которой есть всё необходимое от автора OreX🔗 Ссылка на Boosty с инструкцией и файлами - сборка бесплатная (будем использовать triton сборку), помимо сборки нам понадобится скачать от туда же модели📺 Обзор от OreX на YouTube

Cхема которая позволяет изменить лицо по описанию с использованием референса лица и референса для стиля/композиции.

Возможности:

- полная перегенерирация изображение используя референс для стиля и описание для композиции.

- изменение части или всего лица,

- копирование стиля и/или композицию референса

Кроме замены лица на референсе и новой генерации изображения по подсказке  в стиле референса, рабочий процесс позволяет:

В любом деле важен не только результат, но и сам процесс. Этот материал как раз раскроет суть удобного использования ComfyUI и как следствие это приведёт к более качественным результатам.

Первое что нам понадобится - это преднастроенная сборка с исходными моделями. Для этих целей рекомендую воспользоваться например сборкой OreX. Отличная сборка с пояснением что к чему, за что огромное ему спасибо.

Второе что нам понадобится - это разобраться и настроить символические ссылки. Они нужны для быстрой переустановки ComfyUI и для одновременного использования папок с другими программами генерации типа Automatic1111, Forge. Конкретно для ComfyUI нам понадобится создать сначала 4 символические ссылки: custom_nodes, models, output, user. Внутри папки models будет символическая ссылка с ControlNet моделями, т.к. их расположение в ComfyUI и других программах отличается. Для папок отличающихся по названию, например: checkpoints, loras, unet - нужно делать символические ссылки внутри этих папок. Например папка моделей для Automatic1111 называется Stable-diffusion а для comfyUI  - checkpoints, поэтому ссылку делаем на внутренние папки, а если у Вас модели лежат просто в корне - самое время раскидать их по вложенным папкам.

Вот пример символических ссылок на папки с моделями:

Супер быстрая генерация в режиме реального времени — идеально подходит для тестов или игр с детьми. 

Ранее я затрагивал тему ускорения генерации с одновременным повышением качества. Теперь же сделаем упор на скорости. Вот пример генерации сразу двух изображений на двух разных ускорялках (видеокарта nvidia 3060 GTX 12GB) на разрешении 1024 на 1024:

В схеме есть возможность использования одного или обоих сразу методов ускоренной генерации. Lighting и Turbo generator позволяют сравнить результаты при тонкой настройке параметров для последующего использования.

Далее мы разберём не только способы ускорения, но и улучшения генераций.

Основные методы ускорения включают в себя использование специальных моделей, Lora и семплеров в совокупности с настройками. Однако мы ускоримся с минимальными усилиями, всё что нам понадобится - это скачать Lora:  SPO-SDXL_4k-p_10ep_LoRA_webui.

Подробные тесты, использование Turbo, lighting и обычных XL модели, а также использование различных Lora для ускорения можно посмотреть вот тут - Stalogen.ru, здесь же я выложу только основные настройки. Ключевым моментом является упор не только на скорости, но и на улучшении качества генерации. Методика применима ко всем оболочкам Stable Diffusion включая автоматик и ComfyUI - на котором можно достичь максимальное ускорение.

  Главным элементом будет являться совокупность из настроек для модели и применение - SPO Lora. Настройки будут немного отличаться в зависимости от используемой модели, если нужно максимальное ускорение и акцент на ART - пользуемся Lighting моделью, для фотогенераций берём обычную модель. Настройки будут варьироваться в указанных диапазонах, начните со средних значений и регулируйте исходя из примечаний.  

Перед началом рассмотрения материала следует уяснить что реалистичность и кожа - это разные вещи. Обычно под первым понятием понимают изображение фотографического качества, а под вторым - наличие реалистичных дефектов кожи характерных для живого человека. Объединяя эти два понятия в "реалистичную кожу" мы подразумеваем изображение фотографического качества с явными характеристиками определяющими реалистичную кожу живого существа.

Краткий рецепт для генерации кожи заключается в следующих моментах:

1. Берём модель которая может генерировать реалистичные портреты, и естественно которая тренировалась на подходящих по разрешению и качеству исходников. Параметры кожи зашиты в модели и никак не иначе. Лучшим вариантом генерации кожи это использование модели FLUX с подробным описанием кожаного объекта. Пример на Flux