Занимаюсь обучением нейросети на советскую тематику.

Подробнее в этом блоге и на моём Telegram-канале— актуальные новости и много примеров генераций!    

Цель: чтобы по запросу «Soviet» генерировалось не западное ретро с парой советских элементов (как у большинства нейросетей сейчас), а более полная картина:

типажи людей (причёски, одежда),

окружение (машины, интерьеры, архитектура),

детали быта и многие другие аутентичные элементы.

Создать датасет, который охватит ВСЁ многообразие марок машин, предметов быта и т.д.-в одиночку нереально!

В прошлом посте я упоминал, что один подписчик прислал архив фото тепловоза 2TE116. Тема мне не особо близка, но подборка была сделана качественно — пришлось лишь немного её доработать перед добавлением в обучение.

Даже если тема не моя (например, конкретная марка авто, самолёта или тепловоза), но материал собран хорошо — он с высокой вероятностью попадёт в обучение. Рано или поздно.

Разберу на примере ГАЗ-21 «Волга»:

Предпочтительны именно фото советских времен в аутичном окружении.

1. Ракурсы — спереди, сбоку, три четверти, сзади, в движении и в статике.

2. Детали — интерьер, руль, приборная панель, эмблемы, фары, решётка радиатора.

3. Фон и окружение — контекст эпохи (улицы, здания, элементы быта). Это поможет нейросети связать объект с советской тематикой и запомнить дополнительные характерные детали.

Примеры:

Учитывая всё многообразие модификаций — обучать каждую отдельно точно не буду.

Например:

«Волга» с «китовым усом» и другие варианты решётки радиатора — все пойдут в общий набор.

Цель: чтобы на выходе получалась не конкретная модификация, а машина, похожая на Волгу в советском окружении.

Так же в этой куче есть фото ГАЗ-22-они обучаются как ГАЗ-21 но с дополнительным тегом "minivan" (нейронка все скорее не знает что такое тип кузова-Универсал, а я еще в добавок не автомобилист и плохо в этом разбираюсь).

Современные фото тоже подойдут — но только если фон нейтральный и нет «опознавательных знаков» нашего времени:

Людей в современной одежде с айфонами в руках.

Современных машин, зданий с рекламой и кондиционерами.

Пластиковых окон, «влассовских» флагов и прочей новизны.

Пример: некоторые фото пришлось немного чистить от современных деталей. Не идеально, но работает.

Москвич-402

Фото со съемок современные фильмов и сериалов и кадры из них тоже могут быть источником фото — но осторожно! Там часто встречаются дикие косяки:

В одном сериале показывают квартиру советского инженера 70х или 80-х годов с японским ЭЛТ-телевизором (с плоским экраном), которые появились только в конце 80х или позже и стоил как новенькая «Волга» ГАЗ-24.

Отличный способ развенчать миф о «средней зарплате в СССР в 120 рублей»! 😄

Такие кадры годятся только если:

В кадре нет явных анахронизмов (как тот телевизор).

Можно вырезать или заретушировать ляпы.

детали интерьера, элементы дизайна на примере Москвич-402

JPG- сжатие с потерей информации и сильное сжатие привносить специфические артефакты. Этот формат создан для использования над которыми уже не предполагаются ни какие манипуляции -типа уменьшения и редактирования!

Если над картинкой производятся даже незначительные манипуляции -сохранять только в PNG что бы повторном сжатием еще не ухудшить картинку -кроме того в процессе подготовки датасета и обучения фото может еще уменьшаться. 

Минимальный размер для редких фото примерно от 320х512 пикселей.

В крайнем случае для особо редких и интересных фото 320х320. 

Если серьезно не владеете обработкой фото-то лучше не пользоваться программами типа TOPAZ и Фотошеп для увеличения размера!

— Ватермарков, логотипов, посторонних надписей;

— Рамок, полосок от неаккуратной обрезки;

— Шума, царапин, пыли, JPG-артефактов.

Например шум-типа пленочного зерна можно свести на нет если фото изначально большого размера -надо грамотно уменьшить размер фото, что бы зерно не было визуально заметным.

Особенность нейросети что она очень легко учиться на нежелательные артефакты, зерно, пыль, царапины, разводы, полоски шириной даже в один пиксель по краю кадра, JPG артефакты и прочие.

И если в наборе данных есть несколько кадров с похожими артефактами они очень легко усваиваются и нейросеть начинает генерировать их чуть ли не на каждой генерации даже тот сюжет обучен на качественных фото!

Правила названий файлов:

• Используйте только латиницу.

Примеры:

— soviet car GAZ-21 VOLGA

— soviet car GAZ-M20 POBEDA

— soviet car Moskvich-402

— soviet diesel locomotive 2TE116

— soviet trolley bus + марка на латинице (например, ZiU-9).  

именно по этим названиям потом будут делаться генерации.

➔ В архиве вы найдете примеры фрагментов моих датасетов для ориентира.

*Так как троллейбусов пока мало - они учатся все вместе и без указания марок. 

**Для уменьшения размера архива все фото специально сохранил в JPG - но обучение производиться на их оригиналах в PNG.

Для обучения к каждой фото или картинке идет файл .TXT с таким же названием (например: soviet_car_GAZ-21.txt

• Описания в этих файлах генерируются нейросетями, но требуют ручного редактирования в программах типа "taggui"  где это удобно делать с большими подборками, в ней же и создаются описания. Эту нудную работу мне придется делать самому. 

• От вас нужно: только отсортированные хорошие фото отвечающие перечисленным выше требования и с четкими названиями. Остальное я сделаю сам.

— Так же актуальны любые тематические отсортированные подборки советских фото, снятых в СССР (например, городские сцены, архитектура, быт, кадры из вашего города, сделанные в советский период.

— Фото 90х слать не надо!

— Так же не надо всякие шаблонные мрачности типа ебеней, панелек и бараков.

— Что лучше присылать - смотрите в моей прошлой заметке про процесс обучения модели на советскую тематику.

• Присылать сразу архивами мне в Телеграмм или ссылками например на яндекс диск — но обязательно укажите, что внутри.