Что такое Clip-Skip в Stable diffusion Web Ui (Automatic1111/Forge) для чего он нужен и как его установить

Clip-Skip — это функция, позволяющая пропускать определенные слои модели CLIP (Contrastive Language-Image Pre-Training) при генерации изображений. Модель CLIP, является одной из составных частей Stable Diffusion и она связывает текстовые описания с визуальными данными, что помогает генерировать изображения на основе текстовых запросов. Clip Skip работает за счет пропуска определенного числа слоев в CLIP-модели, что может влиять на результаты генерации изображений для моделей 1.5, но для моделей XL, которые уже имеют улучшенную текстовую и визуальную обработку, такие изменения могут не давать заметного эффекта.

Я сгенерировал несколько наглядных примеров на моделях 1.5 и XL 1.0
что бы по ним можно было понять какие изменения Clip Skip вносит в картинку в диапазоне от 1 до 12.

Prompt: A high-resolution, detailed portrait of a beautiful woman with long flowing hair, standing in a vibrant garden filled with blooming flowers and lush greenery. The woman is wearing an elegant, vintage dress with intricate lace patterns. The scene is set during the golden hour, with warm sunlight casting a soft glow on her face. The background features a picturesque landscape with a distant mountain range and a clear blue sky. The overall composition is balanced and visually pleasing, with a focus on realism and natural beauty. natural light, 35mm photograph, film, professional, 4k, highly detailed, golden hour lighting, depth of field F2, rule of thirds composition.

Steps: 30, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1418664296

Модели 1.5

Model: dreamshaper_8

Model: artUniverse_v80

Model: realisticVisionV60B1_v51VAE

Model: juggernautXL_v9Rundiffusionphoto2

Model: wildcardxXLFantasy_wildcardxXLFantasy10

На этих примерах видно что в моделях 1.5 примерно с 4 пропуска картинка начинает отходить от концепции промта, сначала исчезают горные хребты, затем пропадает сад, появляются посторонние персонажи и т.д., причем на разных моделях он работает по разному.
А вот на XL моделях он оказался бесполезен, и изменений ни на той ни на другой моделях нет.

На civitai.com многие авторы рекомендуют использовать для своих lora CLIP SKIP: 2 для получения лучшего качества картинки

в том числе и для lora xl и pony

хотя разницы при использовании CLIP SKIP: 2 на этих моделях я если честно не заметил, может я чего то не понимаю, если вы знаете для чего он нужен для этих моделей, напишите в комментариях.

Как использовать Clip-Skip в Automatic1111 / Forge
В интерфейсе перейдите в настройки (Settings), затем спуститесь в раздел - User interface и последняя строчка с таким же названием.

Во втором выпадающем окне (Quicksettings list) выберите - CLIP_stop_at_last_layers, затем нажмите - Apply settings и перезагрузите интерфейс. 

Если вы скачали сборку у меня, то вам ничего делать не нужно, он уже установлен.

Экспериментируйте с разными настройками Clip-Skip,  чтобы найти оптимальные параметры которые вас устроят, а мои примеры пусть послужат хорошей отправной точкой для вашего собственного эксперимента, всем интересных генераций)
Если у вас остались вопросы или вам нужна помощь с настройками или расширениями пишите в наш - Нейро чат в Дискорде.