Ирина Бондарева

Ирина Бондарева 

Нейрохудожник и аниматор

561subscribers

74posts

FLUX/Расширение границ изображения/Outpainting/ComfyUI

Здравствуйте, Прошу подробнее расписать что куда положить в папки моделей. По ссылкам другие имена файлов не такие как в ролике!
Иван, добрый день. По ссылке для скачивания Лоры находится файл с именем:
diffusion_pytorch_model, весом 694 мб. Это стандартное название (по умолчанию) для многих файлов. При скачивании файлу нужно дать понятное название, к примеру: FLUX1_Turbo_8steps и положить в папку: models/loras. Страницу comfyUI необходимо обновить, чтобы лора отобразилась в рабочей среде.
На этой странице разработчика рядом с меню для скачивания находится меню Model card. Там дано подробное описание этой модели и приведены примеры сравнения:
Модели: FLUX-dev-FILL и Pixel_Wave должны находиться в папке: models/unet
Модель CLIP-GmP-ViT-L-14 в папке: models/clip
Добрый день. в какую папку поместить 4x_NMKD-Siax_200k.pth
av431784, добрый день. В папку models/upscale_models
спасибо
 Процесс остановился на Ran out of memory when regular VAE encoding, retrying with tiled VAE encoding Что делать?
av431784, это сообщение означает, что недостаточно памяти. Это происходит на апскейле? Может, стоит попробовать уменьшить масштаб
Ирина Бондарева, хорошо, буду пробовать
Добрый день. Подскажите, если мне нужно расширить фотографию размера например 5000*4000 Какой алгоритм действий.
было бы не плохо, если бы вы оперативно отвечали на вопросы
av431784, Добрый день. Увы, это не всегда получается по нескольким причинам: когда вопрос задан в выходной день, когда большая загрузка другими проектами и по причине того, что я не могу постоянно находиться на "горячей линии". Я стараюсь отвечать на все вопросы, но не всегда есть такая возможность. Ваш предыдущий вопрос был не по теме. Если хотите, я могу провести для вас консультацию.
Ирина Бондарева, спасибо разберусь без платных консультаций
Ирина, спасибо за отличную работу и понятные объяснения! Было, стало.
Video Tests, пожалуйста😊 Рада, что получилось👍
Но руки - бяда...
Также дополню, что в ноде Detail Transfer заменил начальное значение blur_sigma с 5 на 0.10. С 5 края маски на воздухе были видны, а с 0.10 границы не видно.
Video Tests, отличное дополнение!
Все отлично. Спасибо
av431784, пожалуйста😊
Добрый день! Ирина, подскажите, пожалуйста:
подгрузила все что светилось красным, но в третьем разделе один из нод "evaluate" светится красным все равно, хотя в менеджере показывает, что все загружено. Подскажите, пожалуйста, как это исправить?
Екатерина Кр., добрый день! К сожалению, не могу подсказать что-то конкретное в этом случае. Для начала я бы попробовала обновить comfyUI и обновить всё. Но, дело может быть в самой конфигурации... 🤔
Ирина Бондарева, Все обновлено до последней версии. Попробую узнать, может разберусь с этим. Вам огромное спасибо за схему и разъяснения!
у меня такая же проблема с 'evaluate', всё обновлено но она не работает. Можно ли как нибудь обойти эту ноду?
Limi, да, эта нода больше не работает, автор прекратил ее поддержку. По сути, это проверка "если маски не существует". А так как в этом рабочем процессе маска всегда присутствует (так как мы расширяем изображение на основе фрагмента), можно просто удалить ее и еще две зависимые от нее ноды. Я немного переделала этот рабочий процесс - в самом посте вы можете скачать обновленный файл.
Ирина, спасибо что подправили воркфлоу. Скорость какая у вас генерации всех секций включая апскейл? На 4090 чет прям уже на второй секции 10 минут, я думаю где то идет забивание памяти в обновленном воркфлоу. 24gb VRAM забито . В общем разобрался, вы дали не ту ссылку на Lora, надо вот эта https://huggingface.co/ByteDance/Hyper-SD/blob/main/Hyper-FLUX.1-dev-8steps-lora.safetensors. Время упало с 10 мин до 2мин на 2 блоке) Ну и в масках в 3 блоке что то не так, естественно и апскейл не правильно работает.
Sergey Balyasnyy, вы нашли другую Лору? У меня работает та Лора, что по ссылке в текстовой ноде. Не буду спорить, возможно, ваша более оптимизирована:) Скрин слишком уменьшенный, и никакие параметры в нодах не видны. Пришлите мне в личку свой рабочий процесс, я запущу его у себя. Судя по картинке, маски отрисованы правильно. Но, любом случае, причина странной пикселизации не в них. Скорее всего или в VAE или в модели чекпойнт. В третьем блоке меняется модель чекпойнт на Pixel Wave. Но нужно увидеть рабочий процесс. Когда я тестировала свой workflow, таких артефактов не возникало. Надо разбираться)
на третьей группе у меня наоборот портится изображение. я не те модели поставил? Подскажите пожалуйста правильные ссылки на правильные модели?
COSTA TV, да, причина, скорее всего, в неправильном выборе моделей. У меня вот эта модель: 
 Но можно пробовать и другие, главное, чтобы подошли.
И еще проверьте модель VAE:)
Ирин, спасибо за разъяснения по теме.
В воркфлоу llava-onewision, а не florence2.
Блин. Где-то читал описание про температуру и токены. Не подскажете значения этих настроек?
Ибо llava генерит очень слабо текст. В духе "The image you've provided appears to be a photograph of person etc.." Абстрактней некуда.
всё стандартно, ибо вообще не понятно и имеет ли смысл менять значения, или проще самому писать полностью промт.
Dmitry, добрый день! Вот что удалось найти:
temperature регулирует "остроту" вероятностного распределения токенов, которые модель выбирает для генерации. Она влияет на то, насколько случайным или предсказуемым будет выбор следующего токена.
Как работает:
Модель выдаёт вероятности для каждого возможного токена (например, 0.7 для слова "кот", 0.2 для "собака", 0.1 для "птица").Температура изменяет эти вероятности перед выбором:
Низкая температура (например, 0.1–0.7): Усиливает вероятности для самых вероятных токенов, делая выбор более детерминированным. Модель чаще выбирает "очевидные" токены, что даёт более предсказуемые и "безопасные" результаты.Высокая температура (например, 1.0–2.0): Сглаживает распределение, увеличивая вероятность менее вероятных токенов. Это делает результат более разнообразным и креативным, но иногда менее логичным. Если temperature = 1.0, модель использует исходное распределение вероятностей без изменений. (ПРОДОЛЖЕНИЕ В СЛЕДУЮЩЕМ КОММЕНТЕ...)
(...ПРОДОЛЖЕНИЕ КОММЕНТА)
Пример:
Если модель генерирует подпись к изображению кошки с temperature = 0.1, она, скорее всего, выдаст что-то вроде "Кот сидит на ковре" (предсказуемо).
С temperature = 1.5 результат может быть более необычным, например, "Кот мечтает о приключениях на ковре".
При слишком высоком значении (например, 5.0) текст может стать хаотичным, вроде "Кот ковёр звёзды летает".
Когда использовать:
Низкая температура (0.1–0.7): Для задач, где важна точность и предсказуемость, например, для object detection (<OD>) или OCR.
Высокая температура (1.0–2.0): Для креативных задач, таких как генерация подписей (<CAPTION> или <DETAILED_CAPTION>), где хочется разнообразия.
Значение по умолчанию часто около 0.7–1.0, чтобы сбалансировать точность и разнообразие.
Здравствуйте, в первом блоке выдает ошибку 
LayerUtility: ImageBlendAdvance V2
`np.asfarray` was removed in the NumPy 2.0 release. Use `np.asarray` with a proper dtype instead.
Подскажите пожалуйста, как это можно исправить?
Go up