DNK

DNK 

Stable Diffusion - учусь сам, делюсь с другими.

57subscribers

29posts

goals1
$4.34 of $218 raised
На развитие сайта по тематике Stable Diffusion - stALogen.ru

Stable Diffusion. Выделение стиля из понравившейся картинки.

Наверняка у Вас есть изображения которые цепляют своей стилистикой, однако хотелось бы изменить композицию. В этом материале мы выделим экстракт стиля с чужой картинки для последующего применения в своих работах.
Вот исходный Prompt: 
Cyberpunk, sci-fi, dark-fantasy, soft light, volumetric lighting, highly detailed, HDR, 8k, portrait photo of a war man cyborg robot in a laboratory face, face is skullbone with scares, intricate, elegant, highly detailed, devil-armor, 2D motifs detailed dark fantasy digital painting, concept art, sharp focus, Art by Greg Rutkovski and Wlop, Cosmic Light in BackFront
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 4, Seed: 3844448926, Size: 768x768, Model hash: c9e3e68f89, Model: juggernautXL_v9Rundiffusionphoto2, Hypertile U-Net: True, Hypertile VAE: True, Version: v1.7.0
Сразу оговоримся, стили для XL и SD1.5 отличаются, но алгоритм выявления стиля одинаковый. Для примера возьмём исходный Prompt и сделаем варианты на другой XL и SD1.5 моделях.
   На этом этапе полезно воспользоваться такими расширениями как:
DAAM - Attention Heatmap - тепловая карта влияния токенов, оф. разраб  к сожалению забил на столь полезное расширение, а его продолжатель  на момент написания статьи так же не смог "победить" ошибку в версии Автоматика  v1.7 - выдаёт часто пустые окна, вместо картинки с картой, либо кучу других ошибок. Но возможно позже ситуация поправится - внимательно следим.
Условно поделим процесс выжимки стиля на несколько этапов и рассмотрим каждый из них по подробнее.
1. Обрезаем всё лишнее
  Все токены которые не вписываются в определение чёткого эффекта от его применения, удаляем с особой жестокостью. Например мы незнаем за что отвечает HDR и 8K - отмаз что они делают изображение "получше" не прокатит, должен быть чёткий эффект влияния на картину. Так же удаляем дубли токенов, все Lora и прочее. В идеале оставляем только то, что должно отвечать стилю который мы выделяем и минимальное количество улучшалок. Вот вариант без токенов HDR и 8K:
2. Удаляем Токены-стили в подсказке
   Художники, дизайнеры, скульпторы, жанры и направления в искусстве - это сами по себе стили, если они напрямую не относятся к разбираемому стилю (чётко не отвечают что они добавляют или на что влияют), то лучше их добавить позже, на заключительном этапе экспериментов. Иначе получаем стиль в стиле, а это влияет на контроль композиции и превращает вашу работу в красивый, но мусор. Лучше применить несколько разных стилей, чем сочетать всё в одном. В итоге получим более контролируемый результат. В данном случае мы исключаем "Art by Greg Rutkovski and Wlop" но оставляем стиль Cyberpunk - ибо это основа нашего текущего стиля, получаем результат:
3. Удаляем определяющие токены
   Определяющие - это те токены, которые рисуют конкретный объект в конкретном окружении, позе, одежде и прочем. Всё что мы можем добавить в свои будущие подсказки, мы должны удалить из исходного стиля. То есть, если элементы не предусмотрены самим стилем, то и ненужно им там быть. Таким образом мы получаем универсальность применения. Мы можем применить стиль как к молодой девушке, так и брутальному мужчине или вообще к животному, в форме портрета или в полный рост, с эмоцией бешеного хомячка или слюнявого вожделения. 
Важно: на этом этапе нам покажется что картинка ухудшается, но эта и не итоговая картинка, это стиль применяемый к вашей композиции и его суть не вызывать "ВАУ" эффект самим своим фактом существования, а преобразовать вашу картину определённым контролируемым образом. "ВАУ" - будем делать на заключительном этапе, сейчас важен контроль!!
Вот результат без применения токенов: "portrait, man, in a laboratory face, face is,with scares"
4. Удаляем непонятки
   Непонятки - это хреньки которые мы не понимаем, а следовательно не можем контролировать. Не можем контролировать и не понимаем на что влияет, ну и нефиг тогда их использовать. Ещё раз, стиль - это минимальный набор токенов влияющих строго определённым образом на ВАШУ картину. Сам стиль не обязан и не должен за Вас рисовать картину. А вот расширенный стиль - это другое дело, но об этом чуть далее. Генерируем без следующего содержания: "2D motifs detailed dark fantasy digital painting, concept art, sharp focus, Cosmic Light in BackFront":
Вот текущая подсказка: "Cyberpunk, sci-fi, dark-fantasy, soft light, volumetric lighting, highly detailed, photo of a war cyborg robot, skullbone, intricate, elegant, highly detailed, devil-armor"
5. Экспериментируем
   На этом этапе добавляем короткое описание для проверки текущей стадии стиля, например добавляем: центральный элемент картины, и позу. Ваша часть подсказки формирующая композицию картины совершенно необязательно должна идти перед стилем. Вполне вероятно, но необязательно, что ваша подсказка с основой композицией будет идти в середине или даже в конце стиля. Методом научного тыка подбираем результат с устраивающим Вас стабильным результатом.
   Модель к которой применяется стиль - играет большую роль, ибо для SD1.5 токен cyborg/robot/android - предполагает наличие человека, а для XL - это смесь живого и роботизированного. Теперь сравним исходный стиль с тем что у нас вышло:
Вот наш скорректированный стиль: "sci-fi, dark-fantasy, Cyberpunk style, cat dynamic pose,highly detailed, war cyborg robot, skullbone, intricate armor" - где кошка в динамической позе является основой композиции, а всё остальное стиль. И токен Cyberpunk дополнен токеном style - ибо это стиль сам по себе, так пускай и называется соответствующим образом.
6. Повторяем пункты 1-5
   В тот момент когда Вам покажется что всё готово - перекреститесь и ещё раз пройдитесь по всем пунктам. Затем проверьте стиль и ваши ожидания, нужна ли вам броня в нём или может наоборот не хватает торчащих проводов? Лучшим вариантом конечно же будет создать второй стиль со своими особенностями и при необходимости оставить возможность их комбинации.
Вот на такой подсказке: "sci-fi, dark-fantasy,  war robot,cat dynamic pose, skullbone, intricate armor"
7. Расширяем стиль
   Добавляя токены улучшайзеров, негатив, стили художников/дизайнеров или скульпторов мы получаем уже расширенный стиль. На этом этапе ОСОЗНАНО дополняем текущий стиль токенами в нужном нам направлении, например для нашего конкретного стиля:
biomechanical cyberpunk - биомеханический киберпанк
machine fusion - слияние машин
mixed metal and flesh skin - смесь метала и кожной плоти
   Так же стоит попробовать добавить Художников или направления:by Hajime Sorayama, by H.R. Giger, by Ron Arad, Strandbeest style ...
   Так же неплохо показывает себя ввод в подсказку название популярного фильма в нужном нам стиле.
   Попробуйте самостоятельно изменить токен основы композиции cat dynamic pose на что-то своё, если результат меняется контролируемо и даёт "ВАУ" эффект, значит мы выделили стиль.
   Так же имейте ввиду, что на результат очень сильно влияют настройки генерации, в частности семплер и особенно модель генерации.
Вот пример Prompt на нашем новом стиле: 
"sci-fi, dark-fantasy, war robot, cat dynamic pose, skullbone, (mixed metal and flesh skin:1.2), intricate armor
Negative prompt: (worst quality:2), (low quality:2), (normal quality:2), dot, mole, lowres, cropped, jpeg artifacts, ugly, duplicate, morbid, mutilated, out of frame, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck, natural, colorful, deformed, sketch, low contrast, watercolor
Steps: 20, Sampler: DPM++ 3M SDE Exponential, CFG scale: 4, Seed: 1, Size: 1024x768, Model hash: aeb7e9e689, Model: juggernautXL_v8Rundiffusion, Style Selector Enabled: True, Style Selector Randomize: False, Style Selector Style: base, Version: v1.7.0"
   Если результат нас устраивает, значит мы всё сделали правильно.
   Вот сравнение стиля и исходной подсказки:
Стиль:  "sci-fi, dark-fantasy, war robot, {prompt}, skullbone, (mixed metal and flesh skin:1.2), intricate armor"
Исходная подсказка: "Cyberpunk, sci-fi, dark-fantasy, soft light, volumetric lighting, highly detailed, HDR, 8k, portrait photo of a war man cyborg robot in a laboratory face, face is skullbone with scares, intricate, elegant, highly detailed, devil-armor, 2D motifs detailed dark fantasy digital painting, concept art, sharp focus, Art by Greg Rutkovski and Wlop, Cosmic Light in BackFront"
   Стиль позволяет легко и просто применять его к различным композициям - с разными центральными элементами и концептами, а так же видоизменять и дополнять его при необходимости, при этом не теряя контроль над результатом. В то время, как банальный копипаст подсказки, предназначен только под определённую композицию и очень сложен для изменения и контроля.
   Спасибо что дочитали до конца, надеюсь этот алгоритм даст Вам больше контроля для своих будущих творений!
Кстати, примеры других стилей и их применение на разных моделях можете посмотреть перейдя по ссылке - stALogen.ru
Subscription levels3

Поддержка штанов автора

$0.15 per month
Благодарность автору, на пропитание.

Признательность

$1.45 per month
На вдохновение и последующие материалы 

Благословление на подвиги

$14.5 per month
Просто так 
Go up