Олег Юрков (Oritey)

Олег Юрков (Oritey) 

развитие пайплайна для работы с ИИ для художников

128subscribers

132posts

О VAE коротко

Variational Autoencoder
Вкратце: чтобы усилить выходные данные и убрать артефакты той или иной модели под что заточена эта VAE ( люди, аниме, задники...)
Чуть развернуто:
Источник:
https://neurohive.io/ru/osnovy-data-science/variacionnyj-avtojenkoder-vae/
Генеративные модели используют для того, чтобы производить случайные выходные данные, которые выглядят схоже с тренировочным набором данных, и тоже самое вы можете делать с помощью VAEs. Однако, зачастую необходимо изменить или исследовать вариации на данных, которые уже имеются, и не случайным образом, а определённым желаемым способом. В этом случае VAEs работают лучше, чем любой другой ныне доступный метод
Если вы используете стандартную модель от SD, то при процессе раскодировки SD использует дефолтный VAE, который входит в сборку автоматика или другие сборки, которые вы используете. Если же вы скачали какую-то другую модель, то тут начинаются нюансы.
Стандартную VAE можно использовать, но больше подойдет для пейзажей, архитектуры и паинтов. Авторы новых моделей, которые можно найти на сайтах каталогах, иногда, добавляют VAE заточенные под их модели. Они тренируют модель VAE под себя, под свою модель, тем самым улучшают те детали, на которые была заточена модель, это может быть космический сет, аниме, аналоговое фото и т.д. Например, есть VAE заточенные под аниме, они натренированы под стиль аниме. С таким VAE отлично получается генерация анимешных артов, но с помощью аниме VAE вы уже не разожмете, например, реалистичное фото человека или животного.
Источник: https://artxtop.ru/chto-takoe-vae-dlya-stable-diffusion-obyazatelno-dobavlyaem/
___
Ссылки на некоторыеVAE:
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors
(Sd1.5) классическая
https://huggingface.co/andite/anything-v4.0/resolve/main/anything-v4.0.vae.pt
(Anime)
Отобрал самые 100% безопасные. Остальные на свой страх и риск. Говорят Orangemix и Anything хорошие, но там стоит предупреждение о pickle. Не решусь рекомендовать лично🙃
____
Куда:
...models/ VAE
Как включить:
Settings/user interface/
Найти Quicksettings list и вписать туда :sd_vae

Потом apply и reload UI
Должен появиться сверху у выпадающего меню чекпоинтов(моделей)
Quick UI? Не вижу
Максим Шаговиков, fixed, pls check)
Олег Юрков (Oritey), ага спасибо)
Go up