В необъятной вселенной нейросетей обитают большие диффузные модели. Есть модели-демократы, живущие в открытом доступе, как Stable Diffusion (опенсорс для народа!). А есть модели-аристократы — коммерческие DALL-E, Midjourney, Кандинский и прочие высокородные особы. 🏰

Но вот незадача! Как показала суровая практика, все эти диффузные модели, несмотря на свою крутость, понятия не имеют, что такое стежок машинной вышивки. Попросите их нарисовать стежковый дизайн — и они выдадут вам что угодно, только не то, что нужно для вышивальной машинки! 😱

Тут-то и появляется наша спасительница — LoRA (Low-Rank Adaptation). Это модель тонкой настройки, которая позволяет адаптировать предварительно обученные модели к конкретным задачам. Представьте, что LoRA — это строгая учительница рукоделия, которая берет талантливого, но невежественного в вопросах вышивки художника (основную модель) и учит его рисовать стежками 📚

Именно лоры хранят тот особый набор данных, который заставляет модель отображать изображение в определенном стиле. В нашем случае — в стежках машинной вышивки. Например, наша Гжелина специализируется на сине-белых узорах в стежковом исполнении.

Но лоры могут быть разными! Некоторые обучены создавать конкретных персонажей — как наша лора Нейроши, которая научилась рисовать этого цифрового проказника в разных позах и окружениях 🤖

Как это работает технически? При генерации основная модель (например, RealVisXL) создает очертания и базовую композицию картинки, а лора накладывает на нее свой стиль — в нашем случае, стежковое заполнение. Если что-то не получается с одной моделью, мы пробуем другую. Например, не вышло с RealVisXL — пробуем с JuggernautXL. Моделей в семействе XL великое множество, и скоро мы покажем, где они обитают и как с ними можно подружиться🔍

Создать универсальную стежковую лору, которая может абсолютно всё — конечно, мы замахнулись на этот амбициозный проект! Нейроша три дня не выходил из виртуальной лаборатории, питался только кодом и мечтал о великом. Но, увы, что-то пошло не так. Наша суперлора вместо универсальности начала выдавать странные гибриды: коты с крыльями бабочек и цветы с мордочками хомяков 🤪

Поэтому мы приняли мудрое решение и переключились на создание узконаправленных моделей, которые великолепно справляются с конкретными темами: КотоЛора мастерски рисует котиков, Собачья Лора — песиков и т.д.

Для создания каждой лоры нам приходится перебирать разные модели, создавать обучающие датасеты, дизайны машинной вышивки для этих датасетов, долго тестировать результаты.

Каждый раз процесс создания лоры — это длительный и ресурсозатратный марафон. Нейроша во время обучения моделей съедает терабайты данных и выпивает галлоны виртуального кофе ☕️

Мы, конечно, упорно пытаемся создать супер-лору мечты, которая сможет абсолютно всё. Нейроша работает по ночам, пьёт виртуальный энергетик и регулярно кричит "Эврика!", но пока результаты, честно говоря, заставляют нас нервно хихикать. Поэтому, пока наши универсальные эксперименты продолжают удивлять нас своей креативностью, мы будем радовать вас тематическими лорами, где каждая — хотя бы понимает, что от неё требуется (в большинстве случаев).