Steve Lasmin

Steve Lasmin 

ИИ-энтузиаст, профессиональный фотограф и ретушер

40subscribers

31posts

Showcase

3
goals1
$0 of $5 499 raised
Новый ПК

FACE SWAP (замена лица для нейрофотосессии) на Flux-2-Klein 9B

Приобрести рабочий процесс для Flux-2-Klein 9B и 4B можно
по ссылке: https://boosty.to/stevelasmin/posts/8e25705e-77f8-4c60-b6f6-5915cc41f319
А если вы подписчик, он доступен вам уже сейчас!
Полный обзор возможностей модели доступен бесплатно по
ссылкам:
https://boosty.to/stevelasmin/posts/ece3b514-6b68-41d3-a327-efd0994e3e19
https://boosty.to/stevelasmin/posts/e8b3793e-6490-418c-8fac-fe5e085b70ca
https://boosty.to/stevelasmin/posts/3811c3f8-d9b8-4e5a-8323-c370db15cb32

1. Подготовка исходника

Кадрируем изображение 2x3 или 3x4
– в идеале так, чтобы было похоже на итоговое изображение.
1024 px
по большей стороне.
Если фон очень сложный – можно его удалить.
Далее есть 2 варианта:

2. Прямая генерация

Просто вставляем лицо в качестве первого референса.
В промпте ничего не пишем про «оставить лицо», «использовать
лицо» и т.п.
Также не описываем лицо в самом промпте – т.е. не «загрязняем»
информацию о лице, получаемую моделью из нашего исходника.
Также можно временно отключить модуль с референсом, чтобы
просто протестировать промпт.
Размер генерации 1216 px – 1024 px по большей
стороне.

3. Замена лица

Замена лица – более простой вариант.
Скачиваем Lora:
https://civitai.com/models/2027766?modelVersionId=2610018
И помещаем в папку ComfyUI/models/loras и запускаем в ноде Lora со
значениями 0.7 – 1.0
Sampler выбираем по
вкусу: sa_solver, lcm, res_multistep,
ddim
В качестве промпта можно либо вообще ничего не использовать,
либо использовать 1 из следующих вариантов:
1)
head_swap:
start with Picture 1 as the base image, keeping its lighting, environment, and
background. remove the head from Picture 1 completely and replace it with the
head from Picture 2, strictly preserving the hair, eye color, nose structure of
Picture 2. copy the direction of the eye, head rotation, micro expressions from
Picture 1, high quality, sharp details, 4k. 
Describe the expression in Picture 1 and copy it to the new image.
2)
head_swap:
start with Picture 1 as the base image, keeping its lighting, environment, and
background. remove the head from Picture 1 completely and replace it with the
head from Picture 2, strictly preserving the hair, eye color, nose structure of
Picture 2. copy the direction of the eye, head rotation, micro expressions from
Picture 1, high quality, sharp details, 4k.
3)
Use head
from Picture 2, strictly preserving the hair, eye color, nose structure, lips,
jawline, and other facial features. Use artistic make-up from Picture 1. high
quality, sharp details, 4k.
4)
Use head
from Picture 2, strictly preserving the hair, eye color, nose structure, lips,
jawline, and other facial features. Use make-up from Picture 1. high quality,
sharp details, 4k.
Референсное изображение – с основной картинкой (В куда
вставляем лицо) вставляем в первое поле референсов (Model), наше лицо (откуда берем лицо)
вставляем во второе поле референсов (Object). – Так натренирована Lora.
Размер картинки по большей стороне 1216 px мне
представляется как оптимальный, но попробовать и 1024 px.
Соотношение сторон такое же, как у исходной картинки В_КУДА вставляем
лицо. Его можно задать как примерно, так и точно в пикселях.

4. Возможные
проблемы

1) Низкое качество исходника:

Модели типа Flux-2-Klein, Flux-2, Flux-Kontext и другие (не обязательно семейства
Flux), пытаясь
сохранить оригинальные черты лица, в том числе, могут реагировать на шум, jpeg-сжатие, низкое качество
исходника, отсутствие текстуры кожи и пр.

2) Отсутствие дополнительной информации

Не смотря на некое знание о мимике, распространении света и
пр. небольшим моделям бывает сложно генерировать новые ракурсы по одному снимку
исходного лица, особенно если ракурс отличается разительно. То же относится к
качеству кожи и т.п.
Особенно, если исходное лицо снято на телефон с расстояния
вытянутой руки (эффект рыбьего глаза), а результат ожидается в полный рост
и/или снятый издали.

3) Анатомия в Flux-2-Klein

При генерации первичных референсов общей картинки (В_КУДА
будем вставлять лица при выборе второго способа) рекомендуется использовать Lora: https://civitai.com/models/2324991/klein-anatomy-quality-fixer
с интенсивностью 2.0 - 5.0

4) Seed

При генерации изображений или face swap на
своем ПК, мы не ограничены количеством попыток или оплатой. Соответственно, у
нас есть множество попыток для достижения нужного результата при смене Seed.

5) Когнитивные искажения

Как и при проведении обычной фотосессии известен факт, что
модель в полном макияже и студийном свете, снятая на проф. камеру, может
казаться себе непохожей на себя. В случае же нейрофотосессий мы как исполнители,
имея на руках в качестве исходников лишь пару селфи нашей модели не всегда даже
сами можем оценить полученный результат.
Subscription levels3

Хочу поддержать!

$2.07 per month
ВНИМАНИЕ! ЭТОТ ВАРИАНТ ПОДПИСКИ НИЧЕГО НЕ ДАЕТ, кроме моей глубокой благодарности! И, изредка, некоторых видео. Но воодушевляет меня на будущие открытые вебинары/трансляции.

Базовый курс

$27.5 per month
Вы учитесь, я записываю. Отвечаю на вопросы по мере возможности.

Базовый курс + личное участие

$69 per month
Вы учитесь, я помогаю всеми силами! Также могу лично натренировать вам 1 Lora в месяц или создать рабочий процесс (workflow) исходя из ваших пожеланий!
Go up