Дмитрий Невский

Дмитрий Невский 

О нейросетях - просто, заходи

1 075subscribers

152posts

Showcase

7
goals1
100 of 100 paid subscribers
Объединить людей, увлеченных нейросетями, в позитивное и дружественное сообщество с целью изучения принципов работы нейросетей и обмена опытом.

Что такое Clip-Skip в Stable diffusion Web Ui (Automatic1111/Forge) для чего он нужен и как его установить

Что такое Clip-Skip и для чего он нужен?
Clip-Skip — это функция, позволяющая пропускать определенные слои модели CLIP (Contrastive Language-Image Pre-Training) при генерации изображений. Модель CLIP, является одной из составных частей Stable Diffusion и она связывает текстовые описания с визуальными данными, что помогает генерировать изображения на основе текстовых запросов. Clip Skip работает за счет пропуска определенного числа слоев в CLIP-модели, что может влиять на результаты генерации изображений для моделей 1.5, но для моделей XL, которые уже имеют улучшенную текстовую и визуальную обработку, такие изменения могут не давать заметного эффекта.

Я сгенерировал несколько наглядных примеров на моделях 1.5 и XL 1.0
что бы по ним можно было понять какие изменения Clip Skip вносит в картинку в диапазоне от 1 до 12.

Prompt: A high-resolution, detailed portrait of a beautiful woman with long flowing hair, standing in a vibrant garden filled with blooming flowers and lush greenery. The woman is wearing an elegant, vintage dress with intricate lace patterns. The scene is set during the golden hour, with warm sunlight casting a soft glow on her face. The background features a picturesque landscape with a distant mountain range and a clear blue sky. The overall composition is balanced and visually pleasing, with a focus on realism and natural beauty. natural light, 35mm photograph, film, professional, 4k, highly detailed, golden hour lighting, depth of field F2, rule of thirds composition.

Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1418664296

Модели 1.5

Model: dreamshaper_8
Model: artUniverse_v80
Model: realisticVisionV60B1_v51VAE
Модели XL 1.0
Model: juggernautXL_v9Rundiffusionphoto2
Model: wildcardxXLFantasy_wildcardxXLFantasy10
На этих примерах видно что в моделях 1.5 примерно с 4 пропуска картинка начинает отходить от концепции промта, сначала исчезают горные хребты, затем пропадает сад, появляются посторонние персонажи и т.д., причем на разных моделях он работает по разному.
А вот на XL моделях он оказался бесполезен, и изменений ни на той ни на другой моделях нет.
На civitai.com многие авторы рекомендуют использовать для своих lora CLIP SKIP: 2 для получения лучшего качества картинки
в том числе и для lora xl и pony
хотя разницы при использовании CLIP SKIP: 2 на этих моделях я если честно не заметил, может я чего то не понимаю, если вы знаете для чего он нужен для этих моделей, напишите в комментариях.
Как использовать Clip-Skip в Automatic1111 / Forge
В интерфейсе перейдите в настройки (Settings), затем спуститесь в раздел - User interface и последняя строчка с таким же названием.
Во втором выпадающем окне (Quicksettings list) выберите - CLIP_stop_at_last_layers, затем нажмите - Apply settings и перезагрузите интерфейс. 
Если вы скачали сборку у меня, то вам ничего делать не нужно, он уже установлен.
Экспериментируйте с разными настройками Clip-Skip,  чтобы найти оптимальные параметры которые вас устроят, а мои примеры пусть послужат хорошей отправной точкой для вашего собственного эксперимента, всем интересных генераций)
Ребята, зачем ставите дизлайки просто так, лучше напишите, что вам не понравилось, и что можно улучшить, к критике я нормально отношусь, мне важнее обратная связь)
Юрий Зотов, Юрий Вы о чем?, дайте ссылку на свой комментарий, я ничего не затираю, мне это не зачем, если человек пишет глупости это в первую очередь характеризует его, а не меня))
Юрий Зотов, не обижайтесь, я кажется понял в чем дело, у меня на канале стоит фильтр матерных выражений и неприличных слов, даже если Вы хотели написать хороший комментарий, но там к примеру есть слово "жопа" - он удаляет комментарий)) Такие же фильтры стоят у меня и в группах в Вк, только на ютубе я не знаю где удаленные комментарии искать) А дизлайки мне ставит один не очень умный блогер, который с чего то взял, что я у него копирую контент, он потом сам мне об этом написал.
сделала ,как вы написали, но клип скип так и не появился на рабочем интерфейсе
Оксана Андреева, какая версия форжа у Вас? в последней он появляется когда выбираете - all в меню UI
Вчера весь день экспериментировал с этим самым клипскипом :)
Для моделей пони и SDXL разницы практически нет.
IMHO устаревшая функция.
Надо на Flux проверить но думаю там влияния еще меньше будет.
Дмитрий Невский, Ставил, практически ничего не меняется :) ну и фиг с ним. А вот плагины по детайлерам из сборки прямо в тему зашли. Как небо и земля.
Спасибо.
Александр Булгаков, да, не так как на полторашке, 👍
Clip skip SDXL игнорируется в А1111. Если генерить в Комфи или даже, прости господи, Фокусе, то вполне себе работает и влияет на результат так же, как и в примере с 1,5
Попробуйте поменять ClipSkip в Fooocus и результат на SDXL моделях будет на лицо и кстати вы сразу увидите что ClipSkip 2 дает лучшие результаты
あかたきやかすぬ, спасибо за подсказку, обязательно попробуем  clapping_hands
Subscription levels3

⭐️ НОВИЧОК ⭐️

$0.66 per month
✨ От нуля к первой картинке: просто, ясно, красиво

⭐️ СПАСИБО ⭐️

$1.32 per month
⭐ Если вам нравятся мои посты и всё, что я делаю, то можете сказать "спасибо", оформив эту подписку. Для вас это мелочь, а мне приятно))
-------------------------------------
⭐ Подборки промптов + посты доступные для новичков

⭐ ЭНТУЗИАСТ ⭐

$4.7 per month
⭐ Присоединяйтесь ко мне в моих творческих начинаниях и помогайте воплощать мои идеи в жизнь.
⭐ Полезные гайды, лайфхаки и мои эксперименты с нейросетями, разные интересные находки.
⭐ Авторские стили и промты, лоры и модели а так же настроенные сборки Forge / A1111 и многое другое.
Go up