SMG Buddies

Я вырос в Подмосковье в небольшом поселке, который стоит рядом с "градообразующим предприятием" - гидроаккумулирующей электростанцией. Я рос в окружении остатков этой СССР цивилизации, и поэтому у меня много теплых чувств ко всем этим "панелькам". Они хоть и страшненькие, холодные, но все равно мне как-то прикольно от взгляда на них.

Эта LoRA захватывает "холодный" период Русской глубинки - это или осень или очень ранняя весна, деревья еще без листвы, травы зеленой еще (или уже) нет. Ну и по большей части на изображениях ночь, т.к. это эдакое... мистическое состояние города) Когда никого нет на улицах и ты в и без того холодном городе совсем один

скачать / пользоваться тут: https://civitai.com/models/414473

Давно уже лежит у меня подборка изображений, 3д рендеров всяких персонажей, которые выглядят как виниловые фигурки. Я не знал зачем их собираю, мне просто нравились эти картинки. И вот, время пришло! Мое собирательство принесло плоды :) 

Ну а еще на этом датасете я обкатал технологию разметки изображений с помощью CGPT. Результат мне нравится. Пока, к сожалению, не могу сказать правда ли такое хорошее качество достигается благодаря качественной текстовой разметке или же дело в довольно простом концепте, который и так обильно представлен в основной SDXL (виниловые игрушки есть)

Качаем/пользуемся тут: https://civitai.com/models/389149/gummy-3d-render-vynil-toy

https://civitai.com/models/373267

Собрал LoRA, вайб которой мне сложно объяснить. Есть некий схожий вайб визуальный, который я ассоциирую с современными Jazz Fusion (и около) музыкантами: KNOWER, Louis Cole, Nelward, Sam greenfield, Bill Wurtz и другими. Если попробовать описать это с помощью aesthethic wiki, то самое близкое это, пожалуй dreamcore, kidcore, nostalgia core + всякая эстетика 90х и 00х

Набрал я значит 100+ изображений с пинтереста, разметил все описаниями и давай тренировать в разных сочетаниях. Спустя 3 дня разных итераций заливаю одну из версий, которая мне нравится больше всего

Из проблем, которые мне не нравятся - из-за переобучения модель искажает формы и нужно искать правильный вес, который бы давал достаточно стиля, но при этом не искажал бы формы слишком сильно. Пока не знаю как это решать, но датасет уже есть, осталось только пробовать тренить в разных конфигах) Следите за апдейтами, эта модель точно будет обновляться

Грязный, странный, безумный, поехавший, с глитчами, с помехами, на VHS, на пленку... И КАК ТОЛЬКО НЕ!

Я давно собирался сделать weirdcore LoRA и у меня даже лежал датасет для нее и даже есть уже обученая версия, но там несколько чекпоинтов и я никак не решу какие из них стоит релизить. В итоге я просто собрал новый датасет со схожим вайбом (спасибо pinterest) и назвал это все Y2K Mad, потому что тут не только weirdcore, но в целом какая-то эстетика нулевых и немного поехавших гиков

Пробуем на civitai: https://civitai.com/models/360281?modelVersionId=403754

0.0.1

Вот и готова LoRA, которая пытается воссоздать вайбы Дэвида Линча. Да не одна а целых две! Я сначала обучил пару вариантов на маленьком датасете в 9 изображений, выбрал лучшую версию (0.0.2), а потом вспомнил про pinterest, зашел в David Lynch Aesthetics и понеслось... 

В итоге увеличил датасет, сделал еще одну LoRA (0.0.3) в чем-то прикольнее, а в чем-то нет. 0.0.3 генерит картинки больше похожие на артворки Линча, а 0.0.2 скорее что-то твинпиксовское-киношное.

А еще мне кажется что 0.0.3 генерит картинки, которые похожи на работы Рене Магритт :D

Встречайте и пробуйте сами: https://civitai.com/models/356278?modelVersionId=398611

Я снова экспериментирую с ретро 3д графикой. В этот раз сделал LoRA для SDXL, так что можно будет генерировать стилизованные изображения прямо на сайте: https://civitai.com/models/353117

Вообще, хотелось чтобы она была более "грязная", глитчевая, с ваерфреймами... Но что-то как-то не прям так как надо вышло. Может в будущих версиях получше будет

TLDR: Я сделал LoRA для рисования левелдизайна уровней для игр. Работает переменным успехом

-----

Мне кажется, нет. И я это говорю исходя из своих экспериментов с LoRA, которую я пытался обучить рисовать карты для видеоигр. Вообще, можно и не только для видеоигр. Я загрузил пачку изометрических визуализаций карт классических платформеров, типа Mario64, Spyro, Banjoo-Kazooie итд. в надежде, что ИИ будет выдавать качественные картинки, которые можно будет просто отмоделить и собрать уровень.

В итоге получилось... Ну... Интересно) Как по мне максимум который можно сейчас получить от моей LoRA - концепты и какая-то помощь в брейншторме, поиске общего направления. После того как ИИ выдаст концепт, его все еще нужно дорабатывать, прорабатывать логику и топологию пространства

Прикольный сайдэффект - если просто описывать людей, животных и какие-то отдельные вещи, а не пространства, то модель пытается эти объекты отрисовать в стиле похожем на psx/ps2 графику

Попробовать можно как обычно на civitai: https://civitai.com/models/348281/videogame-cartography

Бился с этой LoRA много дней, пробовал разные конфиги. Основная хотелки была - сделать такую лору, которая бы работала даже без активационных слов. Самое лучшее что я придумал - зафайнтюнить UNet (полноценное дообучение) и потом вытащить лору из файнтюна

Я пробовал и просто обучать лору, но результаты мне показались не достаточно интересными и крутыми, так что я все таки пошел по пути полного файнтюна. Это крайне долго, но, кажется, результат того стоил :)

В итоге оставил 3 версии с немного разными параметрами LR в обучении, и с немного разными датасетами

Польозваться и скачать можно тут: https://civitai.com/models/342202/glitched

Сегодня выложил свежую LoRA для создания стилизованных изображений в духе старых жутких детских ТВ Шоу.

А больше тут и нечего сказать ¯\_(ツ)_/¯

Модель идет в двух вариантах - HOT и обычная. HOT при обучении переобувала ВСЮ сетку, а в обычной использовался ключ --network_train_unet_only так что по идее там обучался только UNet

HOT версия выглядит более явной, но у нее (как мне кажется) проблемы с геометрией/топологией и она часто выдает какие-то странные артефакты. Вообще, в данном кейсе, это как будто даже и не проблема.

Обычная версия выдает более спокойные изображения, но у нее все очень хорошо со следованием текстовому запросу и не так много неожиданных артефактов.

Прикладываю примеры - выбирайте то, что больше приглянулось

Модель тут: https://civitai.com/models/335856/unsettling-kids-tv-show