Cхема которая позволяет изменить лицо по описанию с использованием референса лица и референса для стиля/композиции.

Возможности:

- полная перегенерирация изображение используя референс для стиля и описание для композиции.

- изменение части или всего лица,

- копирование стиля и/или композицию референса

Кроме замены лица на референсе и новой генерации изображения по подсказке  в стиле референса, рабочий процесс позволяет:

- получать автоописания лица и/или референса с последующим смешиванием результата и Вашего ручного описания.

- подключать маску для большей точности с сохранением исходного референса или отключить маску и получить автозамену

- так же присутствует возможность увеличения/обрезки мелких лиц с помощью группы "Только для мелких лиц на исходнике". Полезная штука если в качестве референса идёт изображение по пояс или в полный рост с захватом ненужных объектов окружения.

Основные применения: 

- полная перегенерация по описанию с заменой лица и с использованием стиля  референса

- изменение лица с частичным изменением композиции.

Дополнительные плюшки:

- частичное изменение лица, для этого маску наносим на нужную часть референса

- смешивание лица с нечеловеческим

Из минусов — как бы мы не хотели, но перегенерация происходит всего изображения, а не только выделенного маской. Однако степень изменений можно контролировать.

Из плюсов — лицо меняется в стиле референса и хорошо согласуется с окружением и стилем.

С полноценными изображениями и тестами можно ознакомиться на сайте Stalogen.ru. Далее будут приведены примеры для общего ознакомления. 

Пример :

Усложним пример - помимо нестандартной эмоции с высунутым языком на ЧБ изображении в качестве референса лица, используем референс с ярким цветным стилем и мелким лицом в антропоморфном стиле:

Для лица можно использовать стилизованных персонажей

Т.к. перегенерация происходит не только в указанной области, а во всём изображении, то можно изменить референс в соответствии с описанием. Например можно преобразовать портрет в микс со зверем. Поместим в лицо и референс стиля Животное и Стилизованное лицо, затем поменяем последовательность. 

Обычная замена в зависимости от Ksampler denoise:

Частичная замена лица:

Одним из потенциально основных режимов применения схемы является полная перегенерация с упором на подсказку, при этом используется стиль с референса и лицо с подгруженной картинки.

Пример карикатурного стиля, для этого:

В картинку 1 - вставляем лицо.В подсказку вставляем расширенный или сокращённый вариант подсказки. Ключевыми будут художники art by Nicoletta Ceccoli и/или art by Skottie Young:

Рекомендуемые Lora: 3DМилашка и SDXL- smiling

Обязательные параметры: IPAdapter Advanced weight_type=style transfer и KSampler denoise=1 - уменьшая добавляет больше стиля основной модели, увеличивая повышается сходство персонажей.

  С примерами подобных рабочих схем для inpain/outpaint, upscale, исправлением рук, рисованием в реальном времени и т.д. можно ознакомиться вот тут - Stalogen.ru.  Там же будут конкретные примеры использования, пояснения и тесты. Всё бесплатно, пользуйтесь на здоровье. Подписывайтесь на телеграмм - там новости выходят гораздо чаще чем тут.