EN
Дмитрий Невский
Дмитрий Невский
656 subscribers
goals
100 of 100 paid subscribers
Объединить людей, увлеченных нейросетями, в позитивное и дружественное сообщество с целью изучения принципов работы нейросетей и обмена опытом.

Что такое Clip-Skip в Stable diffusion Web Ui (Automatic1111/Forge) для чего он нужен и как его установить

Что такое Clip-Skip и для чего он нужен?
Clip-Skip — это функция, позволяющая пропускать определенные слои модели CLIP (Contrastive Language-Image Pre-Training) при генерации изображений. Модель CLIP, является одной из составных частей Stable Diffusion и она связывает текстовые описания с визуальными данными, что помогает генерировать изображения на основе текстовых запросов. Clip Skip работает за счет пропуска определенного числа слоев в CLIP-модели, что может влиять на результаты генерации изображений для моделей 1.5, но для моделей XL, которые уже имеют улучшенную текстовую и визуальную обработку, такие изменения могут не давать заметного эффекта.

Я сгенерировал несколько наглядных примеров на моделях 1.5 и XL 1.0
что бы по ним можно было понять какие изменения Clip Skip вносит в картинку в диапазоне от 1 до 12.

Prompt: A high-resolution, detailed portrait of a beautiful woman with long flowing hair, standing in a vibrant garden filled with blooming flowers and lush greenery. The woman is wearing an elegant, vintage dress with intricate lace patterns. The scene is set during the golden hour, with warm sunlight casting a soft glow on her face. The background features a picturesque landscape with a distant mountain range and a clear blue sky. The overall composition is balanced and visually pleasing, with a focus on realism and natural beauty. natural light, 35mm photograph, film, professional, 4k, highly detailed, golden hour lighting, depth of field F2, rule of thirds composition.

Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1418664296

Модели 1.5

Model: dreamshaper_8
Model: artUniverse_v80
Model: realisticVisionV60B1_v51VAE
Модели XL 1.0
Model: juggernautXL_v9Rundiffusionphoto2
Model: wildcardxXLFantasy_wildcardxXLFantasy10
На этих примерах видно что в моделях 1.5 примерно с 4 пропуска картинка начинает отходить от концепции промта, сначала исчезают горные хребты, затем пропадает сад, появляются посторонние персонажи и т.д., причем на разных моделях он работает по разному.
А вот на XL моделях он оказался бесполезен, и изменений ни на той ни на другой моделях нет.
На civitai.com многие авторы рекомендуют использовать для своих lora CLIP SKIP: 2 для получения лучшего качества картинки
в том числе и для lora xl и pony
хотя разницы при использовании CLIP SKIP: 2 на этих моделях я если честно не заметил, может я чего то не понимаю, если вы знаете для чего он нужен для этих моделей, напишите в комментариях.
Как использовать Clip-Skip в Automatic1111 / Forge
В интерфейсе перейдите в настройки (Settings), затем спуститесь в раздел - User interface и последняя строчка с таким же названием.
Во втором выпадающем окне (Quicksettings list) выберите - CLIP_stop_at_last_layers, затем нажмите - Apply settings и перезагрузите интерфейс. 
Если вы скачали сборку у меня, то вам ничего делать не нужно, он уже установлен.
Экспериментируйте с разными настройками Clip-Skip,  чтобы найти оптимальные параметры которые вас устроят, а мои примеры пусть послужат хорошей отправной точкой для вашего собственного эксперимента, всем интересных генераций)
Если у вас остались вопросы или вам нужна помощь с настройками или расширениями пишите в наш - Нейро чат в Дискорде.  
avatar
Ребята, зачем ставите дизлайки просто так, лучше напишите, что вам не понравилось, и что можно улучшить, к критике я нормально отношусь, мне важнее обратная связь)
Show more replies
avatar
Юрий Зотов, Юрий Вы о чем?, дайте ссылку на свой комментарий, я ничего не затираю, мне это не зачем, если человек пишет глупости это в первую очередь характеризует его, а не меня))
avatar
Юрий Зотов, не обижайтесь, я кажется понял в чем дело, у меня на канале стоит фильтр матерных выражений и неприличных слов, даже если Вы хотели написать хороший комментарий, но там к примеру есть слово "жопа" - он удаляет комментарий)) Такие же фильтры стоят у меня и в группах в Вк, только на ютубе я не знаю где удаленные комментарии искать) А дизлайки мне ставит один не очень умный блогер, который с чего то взял, что я у него копирую контент, он потом сам мне об этом написал.
avatar
сделала ,как вы написали, но клип скип так и не появился на рабочем интерфейсе
avatar
Оксана Андреева, какая версия форжа у Вас? в последней он появляется когда выбираете - all в меню UI
avatar
Вчера весь день экспериментировал с этим самым клипскипом :)
Для моделей пони и SDXL разницы практически нет.
IMHO устаревшая функция.
Надо на Flux проверить но думаю там влияния еще меньше будет.
Show more replies
avatar
Дмитрий Невский, Ставил, практически ничего не меняется :) ну и фиг с ним. А вот плагины по детайлерам из сборки прямо в тему зашли. Как небо и земля.
Спасибо.
avatar
Александр Булгаков, да, не так как на полторашке, 👍

Subscription levels

⭐️ Спасибо

$ 1,15 per month
Если вам нравятся мои посты и всё, что я делаю, то можете сказать "спасибо", оформив эту подписку. Для вас это мелочь, а мне приятно))

★ Ранний доступ к некоторым записям

⭐⭐ Энтузиаст

$ 3,5 per month
★ Присоединяйтесь ко мне в моих творческих начинаниях и помогайте воплощать мои идеи в жизнь.
★ Полезные гайды, лайфхаки и мои эксперименты с нейросетями, разные интересные находки.
★ Авторские стили и промты, а так же настроенная сборка Forge Web Ui и многое другое.
★ Генеративные боты FLUX Dev и SDXL на сервере в Discord, а так же продвинутые боты на моделях Claude, Mistral, Llama и др.
★ Копилка полезных ссылок на каналах в Discord
+ chat
Go up