FACE SWAP (замена лица для нейрофотосессии) на Flux-2-Klein 9B
Приобрести рабочий процесс для Flux-2-Klein 9B и 4B можно
по ссылке: https://boosty.to/stevelasmin/posts/8e25705e-77f8-4c60-b6f6-5915cc41f319
А если вы подписчик, он доступен вам уже сейчас!
по ссылке: https://boosty.to/stevelasmin/posts/8e25705e-77f8-4c60-b6f6-5915cc41f319
А если вы подписчик, он доступен вам уже сейчас!
Полный обзор возможностей модели доступен бесплатно по
ссылкам:
• https://boosty.to/stevelasmin/posts/ece3b514-6b68-41d3-a327-efd0994e3e19
• https://boosty.to/stevelasmin/posts/e8b3793e-6490-418c-8fac-fe5e085b70ca
• https://boosty.to/stevelasmin/posts/3811c3f8-d9b8-4e5a-8323-c370db15cb32
ссылкам:
• https://boosty.to/stevelasmin/posts/ece3b514-6b68-41d3-a327-efd0994e3e19
• https://boosty.to/stevelasmin/posts/e8b3793e-6490-418c-8fac-fe5e085b70ca
• https://boosty.to/stevelasmin/posts/3811c3f8-d9b8-4e5a-8323-c370db15cb32
1. Подготовка исходника
Кадрируем изображение 2x3 или 3x4
– в идеале так, чтобы было похоже на итоговое изображение.
– в идеале так, чтобы было похоже на итоговое изображение.
1024 px
по большей стороне.
по большей стороне.
Если фон очень сложный – можно его удалить.
Далее есть 2 варианта:
2. Прямая генерация
Просто вставляем лицо в качестве первого референса.
В промпте ничего не пишем про «оставить лицо», «использовать
лицо» и т.п.
лицо» и т.п.
Также не описываем лицо в самом промпте – т.е. не «загрязняем»
информацию о лице, получаемую моделью из нашего исходника.
информацию о лице, получаемую моделью из нашего исходника.
Также можно временно отключить модуль с референсом, чтобы
просто протестировать промпт.
просто протестировать промпт.
Размер генерации 1216 px – 1024 px по большей
стороне.
стороне.
3. Замена лица
Замена лица – более простой вариант.
Скачиваем Lora:
https://civitai.com/models/2027766?modelVersionId=2610018
https://civitai.com/models/2027766?modelVersionId=2610018
И помещаем в папку ComfyUI/models/loras и запускаем в ноде Lora со
значениями 0.7 – 1.0
значениями 0.7 – 1.0
Sampler выбираем по
вкусу: sa_solver, lcm, res_multistep,
ddim
вкусу: sa_solver, lcm, res_multistep,
ddim
В качестве промпта можно либо вообще ничего не использовать,
либо использовать 1 из следующих вариантов:
либо использовать 1 из следующих вариантов:
1)
head_swap:
start with Picture 1 as the base image, keeping its lighting, environment, and
background. remove the head from Picture 1 completely and replace it with the
head from Picture 2, strictly preserving the hair, eye color, nose structure of
Picture 2. copy the direction of the eye, head rotation, micro expressions from
Picture 1, high quality, sharp details, 4k.
Describe the expression in Picture 1 and copy it to the new image.
start with Picture 1 as the base image, keeping its lighting, environment, and
background. remove the head from Picture 1 completely and replace it with the
head from Picture 2, strictly preserving the hair, eye color, nose structure of
Picture 2. copy the direction of the eye, head rotation, micro expressions from
Picture 1, high quality, sharp details, 4k.
Describe the expression in Picture 1 and copy it to the new image.
2)
head_swap:
start with Picture 1 as the base image, keeping its lighting, environment, and
background. remove the head from Picture 1 completely and replace it with the
head from Picture 2, strictly preserving the hair, eye color, nose structure of
Picture 2. copy the direction of the eye, head rotation, micro expressions from
Picture 1, high quality, sharp details, 4k.
start with Picture 1 as the base image, keeping its lighting, environment, and
background. remove the head from Picture 1 completely and replace it with the
head from Picture 2, strictly preserving the hair, eye color, nose structure of
Picture 2. copy the direction of the eye, head rotation, micro expressions from
Picture 1, high quality, sharp details, 4k.
3)
Use head
from Picture 2, strictly preserving the hair, eye color, nose structure, lips,
jawline, and other facial features. Use artistic make-up from Picture 1. high
quality, sharp details, 4k.
from Picture 2, strictly preserving the hair, eye color, nose structure, lips,
jawline, and other facial features. Use artistic make-up from Picture 1. high
quality, sharp details, 4k.
4)
Use head
from Picture 2, strictly preserving the hair, eye color, nose structure, lips,
jawline, and other facial features. Use make-up from Picture 1. high quality,
sharp details, 4k.
from Picture 2, strictly preserving the hair, eye color, nose structure, lips,
jawline, and other facial features. Use make-up from Picture 1. high quality,
sharp details, 4k.
Референсное изображение – с основной картинкой (В куда
вставляем лицо) вставляем в первое поле референсов (Model), наше лицо (откуда берем лицо)
вставляем во второе поле референсов (Object). – Так натренирована Lora.
вставляем лицо) вставляем в первое поле референсов (Model), наше лицо (откуда берем лицо)
вставляем во второе поле референсов (Object). – Так натренирована Lora.
Размер картинки по большей стороне 1216 px мне
представляется как оптимальный, но попробовать и 1024 px.
представляется как оптимальный, но попробовать и 1024 px.
Соотношение сторон такое же, как у исходной картинки В_КУДА вставляем
лицо. Его можно задать как примерно, так и точно в пикселях.
лицо. Его можно задать как примерно, так и точно в пикселях.
4. Возможные
проблемы
1) Низкое качество исходника:
Модели типа Flux-2-Klein, Flux-2, Flux-Kontext и другие (не обязательно семейства
Flux), пытаясь
сохранить оригинальные черты лица, в том числе, могут реагировать на шум, jpeg-сжатие, низкое качество
исходника, отсутствие текстуры кожи и пр.
Flux), пытаясь
сохранить оригинальные черты лица, в том числе, могут реагировать на шум, jpeg-сжатие, низкое качество
исходника, отсутствие текстуры кожи и пр.
2) Отсутствие дополнительной информации
Не смотря на некое знание о мимике, распространении света и
пр. небольшим моделям бывает сложно генерировать новые ракурсы по одному снимку
исходного лица, особенно если ракурс отличается разительно. То же относится к
качеству кожи и т.п.
пр. небольшим моделям бывает сложно генерировать новые ракурсы по одному снимку
исходного лица, особенно если ракурс отличается разительно. То же относится к
качеству кожи и т.п.
Особенно, если исходное лицо снято на телефон с расстояния
вытянутой руки (эффект рыбьего глаза), а результат ожидается в полный рост
и/или снятый издали.
вытянутой руки (эффект рыбьего глаза), а результат ожидается в полный рост
и/или снятый издали.
3) Анатомия в Flux-2-Klein
При генерации первичных референсов общей картинки (В_КУДА
будем вставлять лица при выборе второго способа) рекомендуется использовать Lora: https://civitai.com/models/2324991/klein-anatomy-quality-fixer
с интенсивностью 2.0 - 5.0
будем вставлять лица при выборе второго способа) рекомендуется использовать Lora: https://civitai.com/models/2324991/klein-anatomy-quality-fixer
с интенсивностью 2.0 - 5.0
4) Seed
При генерации изображений или face swap на
своем ПК, мы не ограничены количеством попыток или оплатой. Соответственно, у
нас есть множество попыток для достижения нужного результата при смене Seed.
своем ПК, мы не ограничены количеством попыток или оплатой. Соответственно, у
нас есть множество попыток для достижения нужного результата при смене Seed.
5) Когнитивные искажения
Как и при проведении обычной фотосессии известен факт, что
модель в полном макияже и студийном свете, снятая на проф. камеру, может
казаться себе непохожей на себя. В случае же нейрофотосессий мы как исполнители,
имея на руках в качестве исходников лишь пару селфи нашей модели не всегда даже
сами можем оценить полученный результат.
модель в полном макияже и студийном свете, снятая на проф. камеру, может
казаться себе непохожей на себя. В случае же нейрофотосессий мы как исполнители,
имея на руках в качестве исходников лишь пару селфи нашей модели не всегда даже
сами можем оценить полученный результат.
comfyui
бесплатно
flux-2-klein
flux-2
faceswap
замена лица
нейрофотосессии