Хачатур

Хачатур 

Автор

10 433subscribers

132posts

Showcase

10

Stable Diffusion – Train (супер короткая версия)

Хачатур, Добрый день! Подскажите плз. Мне нужно сделать стилизацию. Есть картины этого художника на фото.
Но это не портреты как у вас в видео про Embedding, а пейзажи, жанровые сцены, натюрморты.
Подскажите плз. Embedding подойдет для такой стилизации?( пейзажей и жанровых сцен) есть опыт?
Добрый 🖐
Стилизация = Embedding.
А можно подробнее про Prompt template файл? Из чего его составлять и как. Можно ли использовать стандартные файлы?
У меня есть персонаж, я нагенерил 30 фоток ему, вот трейн собрался обучать
В корне Stable Diffusion есть папка textual_inversion_templates.
Создайте в ней текстовый файл и назовите его, например, character.txt
Внутри этого файла напишите a [name] character
Во вкладке Train обновите список шаблонов, как на скриншоте ниже и выберите его.
Хачатур, благодарю за всё! Вопросы по трейну (занимуюсь им 3-й день, вернее пытаюсь, но результат пока не айс):
1. В файле custom.txt нужно заменить [filewords] на [name] во всех строках, верно?
2. Если вдруг у вас, или у кого из подписчиков получится отличный (прям очень) результат трейна, можно поделиться исходниками фото, чтобы "препарировать" дома самому? Я пока не могу понять, что не так. Фотографии делал нормальные))) Он меня упорно не так рисует. Я несколько подборок своих фото пробовал.
Хачатур, благодарю за помощь. Возможно ли выложить для нас - подписчиков несколько фото - исходников, и несколько картинок (максимально близких с фактурой и текстурой) - результаты. Чтобы понимать, к чему стремиться. По видео не всё видно (скрины не качественные выходят). Я натренировал, но у меня что-то среднее между фото и рисованным получилось. Хочу понять, можно ли выжать что-то ещё из гиперсети... Или пробовать другие методы трейна. Цель - реальное фото себя делать с кожей и всеми "делами"
Если нужно получить даже поры, то сэмплы не нужны. Нужны фотографии, на которых эти самые поры и реснички всегда одинаковые. Чем более одинаковые фото, тем лучше. Но есть одно большое НО. Картинки 512x512 чисто физически не могут содержать настолько хорошо отличимые детали, поэтому можно обучать на более высоких разрешениях, скажем 768x768. Но тогда на низких вообще будет не вариант делать себе Generate. И да, размер будет гигантским.
И про то, к чему стремиться.Посмотри на превьюшки Train, Train 2, Вопросы ответы, там, где Моё лицо. К этому нужно стремиться.
Хачатур, благодарю за ваш труд! у меня вопрос один, как запихнуть hypernetwork в список скриптов (X/Y/Z Plot) во вкладке "txt2img"?
Сейчас Hypernetwork под кнопкой Generate выбирается, а чтобы сделать разные промты, нужно не в X/Y Plot, а в предыдущем пункте.
Пример:
Попытался сделать трейн. Так как у неё мало нормальных фоток в полный рост и с разным ракурсом, отдаляя получается фуфло. Портреты получаются отлично.
Вот пример
Очень приятная внешность. Про отдаление объяснял в цикле Вопросы/Ответы на YouTube. Не пропускай =)
Добрый день Хачатур. Подскажите пожалуйста в чем может быть проблема, после установки sd и закидывание модели с твоими свежими файлами настроек (под себя ничего не настраивал), я сделал пошагово инструкции для трейна, но когда начинаю тренить, то процесс каждый раз заканчивается через 100 шагов, вместо того чтобы продолжить до 10к шагов, если я меняю значение в поле "сохранять фото через каждые n шагов", где стоит 100 на условно 1000, то процесс продолжится до значения 1000 и закончится, а фото в процессе трейна не появляются. Так должно или я что-то мог упустить?
Добрый, Леонид 🖐
Уверен, что проблема в памяти. Тебе стоит выставить разрешение предпросмотра меньше, либо вообще вместо сотен выставить нули. Посмотри консоль.
Хачатур, благодарю, попробую. 👍
Сделал все как вы учили. Хачатур, вы просто лучший!
Первая фотка модели, а вторая уже после трейна!
Шикарно 👏
Всем привет! У меня проблема с BLIP for caption. Просто не работает, в консоли ошибка object is not subscriptable. Может кто сталкивался?
Привет 🖐
Фотки проверь. Чтобы были png 512x512.
Хачатур, благодарю, а то я с jpeg пробовал)
Итак сегодня опробовал на себе трейн.. сделал до 10000.. показалась херня. Когда просто себя генерируешь. Но когда сделал замену лица с инпейнтом на супергероях. .дико поугорал, прям работает!!! Решил потренить ещё. При следующих проходах когда он показал мне мои веснушки на груди я просто охуел)))) Вспомнил в ролике про татухи, родинки и прочее
☝ Красавчик
Трейн на моей супруге. Копия) Здесь я использовал ControlNet на основе фотки модели из интернета. Поза весьма прикольная. Кстати, я заметил, что развевающиеся волосы она так же сделала, исходя из референс картинки с другой женщиной и на основе скелета уже.(Open Pose) Странно. Как это работает? где в скелете указаны волосы? В промте я не писал про ветер ничего. В фото для модели тоже нет похожих вариантов
🤟
Скажите, а если в Треню запихнуть фотки трёх разных людей,
разного возраста, то потом можно будет их как-нибудь сгенерировать, чтоб они втроём были на одном изображении?Или это так не работает?
Может, подскажите, при трейне вылазит ошибка "destination datatype must be fp32" и вылетает пайтон. Как это решить?:)
Могу ошибаться, но судя по ошибке Python свалился на попытке сделать просчёт в fp32, которого macOs не понимает. По логике вещей, всего установленного должно хватать, но видимо не всё. Увы, но проверить не могу, потому что Windows =)
Хачатур, Да, видимо... я поискала в интернете, не нашла, что кто-то делал это на макос. Ну, и отлично, хотела Лолу, и ваши сборки, теперь поставлю на комп сына. Заодно и его научу. Спасибо!
Добрый день, Хачатур, подскажите пожалуйста, в чем лучше тренировать нейросеть для создания игровых иконок, в hypernetwork? 
https://www.artstation.com/artwork/QnbElx
Хачатур, я думала Embedding нужен, чтобы вытащить стиль из модели, а модели нет, есть только пачка готовых иконок, на которых надо тренировать.
И еще вопрос, почему не получается сгенерировать то же самое изображение, с теми же настройками и сидом на другом компе, в гугле или коллабе?
Это специфика сразу нескольких свойств. Подробнее говорил тут: https://www.youtube.com/watch?v=QQFabEW1ltE
Хачатур приветствую, подскажите, на этом фото ваше лицо было обучено на Лоре?
Именно. Сейчас всё делаю только в LoRA 👍
Хачатур, подскажите, пожалуйста, можно ли натрейнить стиль художника, чтобы делать разные картики (не только один объект)
? Я пробовал в трейне, но у меня не вышло( И в таком случае лучше использовать train или lora?
На данный момент можно тренить что угодно в одной LoRA. Поэтому советую сейчас полностью переключиться на неё.
Касаемо датасета, как Я показывал по ссылке ниже, достаточно всего 7 картинок и стиль будет передаваться:
https://discord.com/channels/1081197645671960618/1083173855020994591/1125242615483334707
Хачатур, Спасибо!
Здравствуйте, Хачатур! Сильно извиняюсь за неосведомленный и невежественный вопрос - проблему никак не смог решить даже с учетом всех ваших рекомендаций. На этапе "generate" в trane hypernetwork в прогресс баре процесс стопится ошибкой: убирал галки с чекбоксов до минимального разрешения, выбирал разные модели, перезагружал комп, вычищал RAM/vRAM максимально, более 30% диска свободно и imgtoimg работает хорошо на 640*640, НО тщетно - trane не получается сделать((( карточка rtx3050ti - 4gb. Понимаю, что буду юзать в дальнейшем LoRA, но пока не изучил её и пытливый ум хочет разобраться с основами.. Простите за многобукв! Надеюсь на хоть-какой-нибудь ответ от бога SB))
А вот LoRA как раз должна работать. Точно не могу сказать, но автор заверяет, что возможно. Так или иначе, видео про Train будет полезным опытом того, как и что устроено. На данный момент актуальна только LoRA.
Спасибо большое! Да, так и подозревал. А LoRA завелась без проблем🙏✨
можно такой вопрос, почему в лоре тренить модель в разы быстрее чем в треине? получается она делает лучше? или я чего то не понимаю
LoRA – это совершенно другой алгоритм обучения и совершенно другой формат обучения. И да, сейчас она актуальнее всего 👍
Хачатур, благодарю
Хачатур, приветствую!
Спасибо за классную инструкцию. Вопрос: а зачем писать некий промт в text2img в самом начале процесса? Что это даёт? Нужно что-то сгенерировать перед тем, как приступать к трейну? И ещё вопрос: если я трейню модель X, то я потом по завершении в промте пишу a photo of X и должен получить то, что натренил, я правильно понимаю?
Привет, Илья.
Не задавайся этим вопросом, просто переходи к видео LoRA:
https://youtu.be/A15M4cbUM5k
Хачатур, ха, окей, спасибо :)
Приветствую, Хачатур! Ещё один вопрос. Если я назначаю ему делать превью раз в определённое количество шагов, то он почему-то при наступлении этого количества шагов просто паузит трейн. Пишет training finished on xx steps. Приходится возобновлять. При этом возобновляет с того количества шагов, на котором стопорнулось.
Привет, Илья 🖐
Пожалуйста, оставь Train 🙏
Полностью переходи на LoRA.
hypernetwork сильно отстаёт.
Хачатур, я попробовал LoRA, но, видимо, ввиду криворукости, получилось что-то несуразное. Не так красиво, как у тебя на видео. Видимо, надо попробовать ещё :)
https://www.dropbox.com/scl/fi/vjihg070171f8gyf2umc8/400.zip?rlkey=zn0h01aqlmkm694w3dke7q4vj&st=xpwuqccw&dl=0
Subscription levels3

Boosty

$10.6 per month
💎 Доступ ко всем материалам
за всё время
🤖 Доступ ко всем нейронкам: deepfake, музыкальным, голосовым
💥 Доступ к авторским стилям и настройкам
💥 Доступ к авторским конфигам и скриптам
😎 Доступ к закрытым и скрытым областям Discord, к которым не имеют доступ простые люди
+ chat

Boosty +ПОДДЕРЖКА АВТОРА

$15.9 per month
+ Этот уровень подписки даёт возможность сильнее поддержать автора.
+ chat

Boosty +ПОДДЕРЖКА АВТОРА+

$29.1 per month
+ Этот уровень подписки даёт возможность значительно поддержать автора.
+ chat
Go up