Все о написании промптов для Stable Diffusion (Automatic1111 / Forge / Fooocus): Полное руководство

Всем привет, в этом посте попробуем разобраться что такое промт и как же правильно его писать. Пост будет длинным, но очень информативным)

Перекопав весь интернет в поисках универсальной формулы для написания промта для СД (Stable Diffusion), я пришел к выводу, что на самом деле точной формулы, как например в математике нет, кроме небольших рекомендаций и правил, на которых основаны большинство статей и заметок в интернете. Я постарался собрать всю информацию на эту тему, которую нашел в открытом доступе и попробую ее обобщить и подрезюмировать в этом посте. Основная информация была взята со страницы Automatic1111, очень рекомендую вам с ней ознакомиться, это поможет вам устранить пробелы в освоении Stable Diffusion Ui.

В контексте Stable Diffusion, слово «промпт» происходит от английского "prompt", что переводится как "подсказка", оно используется для описания текстового запроса или указания, которое подаётся модели для генерации изображений. Эти указания могут включать описания сцен, объектов, персонажей, эмоций, стилей и тонов, которые необходимо превратить в картинки. Исходя из того, что «промпт» в переводе на русский звучит тяжело, в ИТ-сфере прижилась вариация «промт», которая так же не считается ошибочной, оба варианта понятны и используются для описания одного и того же понятия, в том числе и для описания запросов для генеративных нейросетей, таких как Stable Diffusion, Dalle-3, Midjourney и др.

Токены

Промт (или подсказка, кому как удобнее) состоит из токенов. Токены в Stable Diffusion и подобных моделей генерации изображений на основе текстовых описаний — это основные строительные блоки текстового ввода, которые модель использует для анализа и интерпретации запроса (промта). Токен может быть словом, частью слова, может включать в себя короткое сочетание слов или даже целое предложение, а так же знаком препинания или даже пробелом.

Токены, расположенные в начале промта, обычно уделяется больше внимания, поскольку модели обучены воспринимать начало текста как наиболее значимую часть информации. Это значит, что стиль, настройки и ключевые объекты, указанные в начале, могут задать тон и направление для всего изображения. Начальные токены помогают установить контекст для всего запроса. Например, если вы начнете промт с фразы "в стиле импрессионизма", модель сфокусируется на этом стиле во время генерации изображения, что окажет влияние на интерпретацию всех последующих деталей. Расположение тематических и стилевых элементов в начале промта может также повлиять на композицию изображения. Модель будет стремиться разместить ключевые элементы так, чтобы они соответствовали первоначально установленным ожиданиям. Помещение важных атрибутов и характеристик в начало промта может повысить вероятность их корректного восприятия и визуализации, так как модели могут лучше распознавать и интерпретировать информацию, представленную в начале текста.

Токены по середине и последние токены могут иметь меньшее влияние на результат, но они всё ещё важны для дополнения и уточнения описания.
Все же в зависимости от обучения модели и специфики промта, некоторые токены, такие например как "masterpiece" могут оказывать более значительное влияние на результат, даже если они расположены не в начале.

Давайте рассмотрим пример того, как размещение различных элементов в начале промпта может влиять на результат генерации изображения. Я приведу в пример два разных промта, чтобы подчеркнуть влияние начальных токенов.

Промпт 1: Акцент на стиле - Impressionist style, serene forest landscape with a calm river flowing under a bridge, sunlight filtering through the trees, early autumn, vibrant colors.
Стиль "импрессионизм" указан в самом начале, что задает тон всему изображению. Модель сфокусируется на использовании характерных для импрессионизма приемов: размытые края, яркие кляксы краски, общее ощущение движения и динамики. Это повлияет на весь способ изображения ландшафта, реки и света сквозь деревья.

Промпт 2: Акцент на объекте - Serene forest landscape in impressionist style, with a calm river flowing under a bridge, sunlight filtering through the trees, early autumn, vibrant colors. 

Здесь акцент смещен на сам ландшафт, стиль указан вторым. Это значит, что модель сначала воспримет запрос как необходимость точно и детально изобразить лесной пейзаж, а затем применит стиль импрессионизма к уже сформированной картине. Это может привести к более структурированному и детализированному подходу к изображению леса и реки, с последующим "наложением" стилистических особенностей импрессионизма.

Кроме помещения токена в начало, усилить его можно так же с помощью заключения его в круглые скобки, пример: (((токен))), или с помощью комбинации клавиш shift +стрелочка вверх, предварительно его выделив - пример: ( токен:1.1), где 1.1 = () - одной круглой скобке. C помощью же квадратных скобок, пример: [[[токен]]] или уменьшения коэффициента сила веса токена аналогично уменьшается, где 1.1=[].

Пример: 

(токен) – увеличение веса токена в 1,1 раза

((токен)) – увеличение веса токена в 1,21 раза (= 1,1 * 1,1)

[токен] – уменьшение веса токена в 1,1 раза

(токен:1.5) - увеличение веса токена в 1,5 раза

(токен:0.25) - уменьшение веса токена в 4 раза (= 1 / 0.25) \(токен\) - косая черта нужна для того что бы усиленный токен читался моделью в связке с предыдущим токеном.

Стили и токены обычно обрабатываются вместе в рамках одного промта. Если стиль оформлен в виде токенов и включён в общий промпт, то он влияет на результат в соответствии с его позицией внутри промта, т.е. так же как обычные токены слева направо.

Если стиль указывается отдельно, это может оказать более сильное и специфичное воздействие на результат, чем если бы стиль был встроен прямо в текст промпта. Вот несколько причин, почему это может происходить:

- фокус на стиле: когда стиль указывается отдельно, это дает модели четкий сигнал о том, что стиль является приоритетным аспектом задания. Модель может активировать специфические внутренние механизмы или слои, нацеленные на воспроизведение этого стиля, минимизируя влияние других элементов промпта на стилистическую интерпретацию.

- чистота обработки: отделение стиля от остального текста промпта может помочь избежать "шума" или конфликта приоритетов между разными указаниями. Это позволяет модели более чисто и точно следовать стилистическим указаниям без необходимости балансировать между различными аспектами описания сцены или объекта.

- оптимизация ресурсов: модели могут быть оптимизированы для обработки стилей как отдельных модулей, что позволяет более эффективно распределять вычислительные ресурсы. Когда стиль выделе в отдельный компонент, AI может применять более сложные и мощные алгоритмы для его воспроизведения, не отвлекаясь на другие элементы промпта.

- управление сложностью: отдельное указание стиля позволяет лучше управлять сложностью визуальной интерпретации, делая стиль основным вектором визуализации, в то время как сам промт обрабатывается как второстепенный.

Строгого ограничения на количество токенов, отведённых исключительно под стиль нет, но важно учитывать общее ограничение на длину промта. Когда стиль указывается отдельно от основного промпта он все равно учитывается в общем числе токенов. Это означает, что каждое слово или фраза, включая стиль, влияет на общий лимит токенов, который вы можете ввести для генерации изображения.

В моделях 1.5, лимит токенов меньше чем  (например, 75 токенов), в то время как в моделях XL этот лимит может быть значительно увеличен (до 150-200 токенов или более). Благодаря увеличенному лимиту токенов в моделях XL, пользователи могут включать более сложные промты, включают в себя более подробное описание стилей, эмоций, сцен и объектов, что может способствовать созданию более качественных и точных изображений, а улучшенные алгоритмы обработки информации позволяют им лучше справляться с многослойными и многозначительными запросами. Как правило для моделей 1.5 конкретные и короткие описания работают лучше, так как они позволяют модели сфокусироваться на ключевых моментах изображения без лишних деталей.

Но и для моделей Xl важно не превышать лимит токенов и сохранить конкретность каждого из них. При превышении лимита важные элементы и детали, могут быть упущены, если например ключевые части контекста находятся в конце промта, то изображение может получится не таким как вы его задумали.

Пример промта для 1.5

(Безмятежный закат на берегу озера с мягким светом, отражающимся от воды, минималистский стиль, акцент на спокойствии и природной красоте.)

Пример промта для XL

(Безмятежный закат на берегу озера в стиле импрессионизма, с мягким рассеянным светом, отражающимся от спокойной воды, детализированными текстурами окружающей пышной зелени и далеких гор, подчеркивающий спокойствие и тонкую игру природных цветов в золотой час, богатый деталями и глубиной цвета.)

Однако исходя из того что у Automatic1111 / Forge нет ограничений на токены, а 75 токенов является ограничением CLIP tokenizer, то при превышения этого лимита, он установит новый лимит для промта в 150, который так же будет увеличен, важно помнить, что при каждом увеличении лимита скорость генерации так же увеличивается.

Каждая порция из 75 токенов обрабатывается отдельно, а затем полученные результаты собираются вместе перед тем, как быть отправленными в U-сеть Stable Diffusion, и в результате вы получаете в изображении не концепцию вашего изначального, одного большого промта, а что то среднее между двумя / тремя отдельными промтами, что в итоге приведет к потере важных составляющих изначальной идеи, но иногда это приводит к очень неплохим результатам. Лично я сторонник длинных промтов и намешивания разных стилей, поэтому не бойтесь экспериментировать, иногда такие эксперименты приятно удивляют.

В Automatic1111 / Forge счетчик токенов установлен в правом верхнем углу промта, вы можете проверить количество токенов, посмотрев на небольшое поле в правом верхнем углу поля ввода подсказки.

Рекомендации по правильному написанию промта
Правильный промт для Stable Diffusion должен быть чётким, детализированным и структурированным, чтобы модель могла точно интерпретировать желаемый результат.

Вот некоторые рекомендации по написанию промта:

1. Ясность и конкретика: четко и подробно описывайте, что вы хотите увидеть на изображении. Включайте детали внешности, эмоции, освещение, атмосферу и фон.

2. Использование ключевых слов: используйте специфические термины, которые точно описывают ваш запрос. Это могут быть стили искусства, техники рисования, времена года, времена суток и так далее.

3. Позитивные и негативные промты: указывайте не только то, что вы хотите видеть (позитивные промпты), но и то, чего вы хотите избежать (негативные промты). Это поможет сузить область генерации и избежать нежелательных элементов.

4. Структурированность: разделяйте ваш промпт на части, если это необходимо, чтобы облегчить понимание каждого аспекта вашего запроса. Например, отдельно укажите требования к персонажу, фону, освещению и т.д.

5. Баланс между детализацией и гибкостью: слишком подробные промты могут ограничить креативность генерации, в то время как слишком общие запросы могут привести к неожиданным результатам. Найдите баланс, который работает для вас.

Основные составляющие промта:
1. Описание Субъекта или Центрального Объекта:

Это описание Сцены или Предмета - начните с ясного описания основной сцены или предмета. Укажите, что именно должно быть изображено, включая ключевые детали и элементы.
Пример: "Лесная поляна в свете заката, покрытая первым снегом."

Если в сцене присутствуют персонажи, опишите их внешность, эмоции и позиции. 

Начните с ясного описания главного объекта или персонажа. Укажите внешний вид, эмоции, позу и другие важные характеристики, потому что как мы уже знаем главный акцент будет на токенах которые будут вначале промта и именно они будут концептуальной основой изображения.  

2. Окружение:

Опишите фон или окружающую среду, в которой находится субъект. Включите элементы, такие как пейзаж, локация, интерьеры или абстрактные элементы, которые поддерживают и дополняют основной объект.

3. Атмосфера и Настроение:

Укажите настроение или атмосферу изображения. Это может включать освещение, погодные условия, цветовую палитру и эмоциональный тон.

4. Цвета и Текстуры:

Укажите предпочтительные цвета и текстуры, которые должны присутствовать в изображении. Пример: "Преобладание мягких зимних оттенков, таких как белый, голубой и бледно-жёлтый."

5. Стилистические Детали:

Если есть предпочтения к определенному стилю или художественному направлению (например, импрессионизм, футуризм, киберпанк, укажите это. Можно также добавить конкретных художников, детализацию, визуальные стили и пр.

Промт для моделей 1.5: Illustration, digital watercolor style, a young warrior, long red hair fluttering in the wind, a serious and concentrated expression, light blue leather armor, she stands on a green hill, magical symbols floating in the air around, an ancient castle surrounded by fog in the background, the sky is filled with bright colors of sunset

(Иллюстрация, стиль цифровой акварели, молодая воительница, длинные рыжие волосы развеваются на ветру, выражение лица серьезное и сосредоточенное, светло-голубые кожаные доспехи,  она стоит на зеленом холме, на заднем плане старинный замок, окруженный туманом, небо наполнено яркими красками заката, волшебная атмосферу мира, где смешиваются реальность и фантазия)

Промт для моделей XL: The illustration is made in the style of digital watercolor. In the foreground is a young warrior standing on top of a green hill at sunset. She is wearing light blue leather armor, and her long red hair is blowing in the wind. The expression on his face is serious and focused. The magical symbols floating in the air around her emit a warm light. An ancient castle surrounded by fog is visible in the background. The sky is filled with the bright colors of sunset

(Иллюстрация выполнена в стиле цифровой акварели. На переднем плане изображена молодая воительница, стоящая на вершине зеленого холма на закате. На ней светло-голубые кожаные доспехи, ее длинные рыжие волосы развеваются на ветру. Выражение лица серьезное и сосредоточенное. На заднем плане виден древний замок, окруженный туманом. Небо наполнено яркими красками заката, с намеками на волшебную атмосферу мира, где смешиваются реальность и фантазия)

Этот промт подробно описывает ключевые элементы изображения, включая внешний вид и экипировку персонажа, её действие и эмоциональное состояние, окружающую среду и особенности атмосферы.

Давайте разберём предложенный промт на ключевые моменты и обсудим, как каждая часть влияет на итоговое изображение:

1. Стиль Иллюстрации:

Это указание на стиль и технику, которую должна имитировать модель. "Цифровая акварель" подразумевает использование лёгких, прозрачных цветов и возможность видеть характерные для акварели "пятна" и "разводы".

2. Основной Персонаж:

"молодая воительница... в лёгких кожаных доспехах синего цвета": Описание персонажа, его внешности и одежды даёт модели информацию о том, кого и в чём нужно изобразить. Детали, такие как "лёгкие кожаные доспехи синего цвета", вносят конкретику в образ.

3. Действие и Эмоция:

Описание позы, выражения лица и действий персонажа помогает создать динамичное и эмоционально выразительное изображение.

4. Окружающая Среда и Атмосфера:

Описание локации, окружения и атмосферы обогащает контекст сцены и влияет на настроение всего изображения.

Введение фантастических или магических элементов добавляет уникальности и специфики в сцену, подчёркивая жанр иллюстрации.

Синтаксис в контексте написания промптов для моделей генерации изображений, таких как Stable Diffusion, играет ключевую роль в том, как модель интерпретирует введенные данные и какой результат она производит. Правильное использование синтаксиса помогает точно и ясно передать намерения пользователя, увеличивая шансы на получение желаемого изображения. Вот некоторые ключевые аспекты синтаксиса промптов, которые следует учитывать:

1. Квадратные скобки [ ]

Квадратные скобки могут использоваться для чередования токенов  в промте.

Пример: Against the background of landscape [sun | rain], the character a leather armor [blue | red|

Здесь при каждом шаге генерации  " sun " сменяет " rain ", а " blue " чередуется с " red ", в результате чего получаются более сложные композиции.

А еще при смешивании стилей можно использовать специальный синтаксис, который позволяет указать два разных ключевых слова (или стиля) и "фактор", который определяет момент перехода от одного стиля к другому. Это осуществляется через формат [ключевое слово 1 : ключевое слово 2 : фактор]. Ключевое слово 1 и Ключевое слово 2 — это стили или темы, между которыми происходит переход. Фактор — это десятичное число от 0 до 1, которое указывает, на каком этапе процесса должен произойти переход. Число 0.5 означает, что переход произойдет на полпути процесса.

Пример: Landscape [summer : winter : 0.7]

В этом случае модель начнет с создания летнего пейзажа, а затем на 70% пути процесса перейдет к зимнему пейзажу. Это позволит наблюдать интересный переход от теплых летних тонов на переднем плане к виднеющимся на заднем плане горам со снежными склонами. 

2. Фигурные скобки { }

Фигурные скобки так же могут использоваться для генерации для указания альтернативных вариантов или возможных выборов внутри промпта. Этот механизм позволяет вам задать несколько возможных вариантов для одного элемента, из которых система выберет один при генерации.

Пример: Against the background of landscape {day | night}, the character a leather armor {blue|red}

Как это работает: выбор между "day" и "night": Фигурные скобки {day | night} означают, что система должна выбрать между "днем" и "ночью" для фона изображения. Это предложение системе два варианта для фона ландшафта, и она случайным образом выберет один из них. Выбор цвета брони: Аналогично, {blue | red} указывает, что броня персонажа может быть либо синей, либо красной. Модель выберет один из этих цветов для элемента брони на персонаже.

3. Скобки ()

Скобки могут быть использованы для добавления дополнительных пояснений или для указания альтернативных или дополнительных деталей, которые могут быть включены в изображение по усмотрению модели. Например: "портрет женщины (в возрасте около 30 лет, смеющейся)".

4. Запятые (,)

Запятые используются для разделения токенов или для введения паузы между различными аспектами промта, что позволяет уточнить и разделить разные характеристики. Например, в промте "собака на лугу, ясный день, стиль винтаж" каждый элемент после запятой рассматривается как отдельный токен, что помогает модели точно идентифицировать и интегрировать каждый элемент в изображение.

5. Точки с запятой (;)

Точка с запятой может использоваться для разделения сложных идей или элементов, которые тесно связаны, но являются отдельными частями запроса. Это помогает создать более сложные и многоуровневые изображения. Например: "лесной пейзаж; туманный утренний свет" может указывать на то, что эти два элемента должны быть объединены, но обработаны как отдельные визуальные темы.

6. Точки (.)

Точка может сигнализировать о завершении одной полной мысли или указания и начале другого. В контексте промтов это может помочь модели
понять, что следует переход к новому аспекту или изменению сцены.

7. Восклицательные знаки (!)

Восклицательные знаки могут использоваться для добавления влияния на определенные элементы запроса или для придания драматичности изображению. Они могут указывать на то, что определенная часть промта должна быть выражена более ярко или интенсивно.

8. Вопросительные знаки (?)

Хотя вопросительные знаки редко используются в промптах для создания изображений, они могут вносить некоторую неопределенность или предположение, которое может быть интерпретировано по-разному моделью. Однако, обычно их использование не рекомендуется, так как это может привести к неоднозначным или нежелательным результатам.

Помимо уже упомянутых знаков препинания, в промптах для и подобных систем могут использоваться и другие знаки и символы для различных целей. Вот некоторые из них и примеры их использования:

Знак плюс (+): Используется для явного указания на комбинацию характеристик или стилей, которые должны быть объединены в одном изображении. Пример: "футуристический городской пейзаж + неоновое освещение + атмосфера киберпанка."

Знак минус (-): Может использоваться для краткого указания
на нежелательные элементы в негативном промпте, аналогично использованию скобок для негативных инструкций. Пример: "переполненные детали - карикатурные пропорции."

Подчеркивание (_): В некоторых контекстах может использоваться для объединения слов или фраз, когда пробелы могут быть неправильно интерпретированы системой или для выделения ключевых терминов.Пример: "старинный_замок_на_закате."

Звездочка (*): Иногда используется для указания на важность или для выделения ключевых слов, хотя это менее распространено и зависит от контекста использования. Пример: "осенний лес золотой час мягкое освещение."

(|) Вертикальная черта без применения фигурных и квадратных скобок может смешивать разные токены в единую концепцию.  Пример: "средневековый рыцарь | футуристический боец в полном обмундировании."

Значения символов, таких как %, #, &, в контексте промптов могут зависеть от конкретной реализации и интерпретации модели. Вот общий обзор их потенциального использования:

% (процент): Редко используется в промптах, кроме как в контексте, где нужно указать буквальное значение, например, "изображение заполнено на 70% светом".

# (решётка): в промтах для генерации изображений его применение
нестандартно и может привести к непредсказуемым результатам.

& (амперсанд): Обычно означает "и", так же приводит к смешению объектов, при этом чаще всего первый токен  будет доминировать над следующим после знака &.

В процессе экспериментов со знаками пунктуации я заметил, что большинство знаков пунктуации, поставленных в конце промта ведут к незначительным изменениям в изображениях, так напримересли поставить в конце любого токена поставить “::”, либо любое числовое значение например - 10, персонаж может незначительно изменить позу, при этом основная концепция изображения не изменится, это может быть полезно когда на картинке появились незначительные дефекты, типа кривых пальцев или скошенных глаз, если с первой генерации проблема не ушла, просто добавляйте следующие “::” либо повышайте или понижайте число и генерируйте снова. 

Использование специальных ключевых слов

В промптах для Stable Diffusion, применение таких токенов как "BREAK", "AND", "STOP", "NOT или OR", значительно улучшает гибкость и контроль над, результатом генерации изображений. Эти ключевые слова действуют как логические операторы, позволяя точно структурировать запросы и уточнять желаемые или нежелаемые элементы в изображении. Вот как они могут быть использованы:

1. BREAK

Назначение: Ключевое слово BREAK используется для разделения промпта на различные части, каждая из которых описывает определенные аспекты или элементы изображения. Это позволяет уточнить, к каким конкретным элементам применимы определенные описательные характеристики. Пример использования: "Portrait of a woman BREAK in the style of impressionism." Здесь BREAK помогает четко отделить описание персонажа от стиля изображения.

2. AND

Назначение: AND используется для объединения нескольких элементов или атрибутов в одном промпте, указывая на то, что все они должны быть представлены вместе в одном изображении. Пример использования: "Forest path AND misty morning light." Это указание создать изображение, включающее и лесную тропу, и туманный свет утром.

3. NOT

Назначение: NOT служит для исключения определенных элементов или атрибутов из изображения. Это полезно, когда нужно ясно указать, чего не должно быть в конечном результате. Пример использования: "A kitten with a smooth coat is NOT black." Это указание создать изображение котенка с гладкой шерстью, который не должен быть черного цвета.

4. Ключевое слово STOP в контексте промптов для моделей генерации изображений, как Stable Diffusion, может использоваться для разных целей, в зависимости от контекста и точной спецификации модели. Вот несколько возможных применений этого слова:

1). Разграничение Областей Обработки.

STOP может быть использовано как сигнал для модели остановить внимание или обработку на определённой точке промта. Это особенно актуально, если промт содержит несколько инструкций или элементов, и нужно чётко разделить, какие из них должны быть применены или проигнорированы. Например, если вы хотите, чтобы модель сосредоточилась только на первой части промта, а остальное проигнорировала.

2). Остановка Процесса на Определённом Этапе.

Если модель поддерживает поэтапную обработку промптов, STOP может быть использовано для инструкции модели прекратить дальнейшую обработку после достижения определённого этапа. Это может быть полезно для экспериментов с различными стадиями генерации изображения.

3). Как Условие Ограничения.

В более сложных системах STOP может быть использовано для условного прекращения включения определенных типов контента или стилей, аналогично использованию NOT, но с более сильным акцентом на полное прекращение стилевых элементов после указанной точки.

5. OR

Использование OR в промпте помогает указать модели, что следует рассмотреть несколько возможных элементов или характеристик и выбрать один из них для включения в результат. Это может быть применено как к конкретным объектам, так и к атрибутам или стилям.

Пример: "Create an image of a dog OR cat in the park". Здесь модель может выбрать, изобразить ли собаку или кошку.

Использование "BREAK", "AND", “STOP”, "NOT" и "OR" в промптах является мощным способом уточнения запросов, что особенно важно в сложных и детализированных изображениях. Эти инструменты помогают управлять композицией изображения, делая процесс более предсказуемым и контролируемым. Однако то, что многие люди используют определённое ключевое слово, не гарантирует его эффективность, очень многое зависит от самой модели и о том какие команды были в нее интегрированы.

Ну а на этом у меня все, спасибо что дочитали, если я что то упустил, напишите в комментариях к этому посту я его дополню, возможно что то появится новое с новыми обновлениями автоматика или фокуса, кто знает) 

Основная информация для поста была взята со страницы AUTOMATIC1111, различных форумов и постов с Reddit 

Отдельное спасибо Марине Кулабуховой  и ребятам из нашей группы в Вк Neuro Digital Art за поддержку)