Available to everyone
Обучение собственной голосовой модели
Нейросеть so-vits-svc позволяет вам менять голос на любой другой. Об этом я уже рассказывал в другом своем посте.
Единственная проблема - где взять модель, как ее обучить? В этом посте мы разберемся как это сделать.
Я подготовил colab-ноутбук, ниже прокомментирую основные шаги.
Шаг 0. Подготовка.
Нам нужно создать коллекцию голоса. Все это можно сохранить 1 длинным wav файлом или нарезать на маленькие (но необязательно - я обучал на файле длиной 10 минут).
Шаг 1. Установка библиотек
Чтобы все работало - нужно установить библиотеку и дать коду доступ к своему гугл диску. Это нужно для того, чтобы модель сохраняла чекпоинты на ваш диск, а процесс этот небыстрый. Код не будет больше ничего делать в вашем диске: репозиторий so-vits-svc имеет уже больше 2000 звезд и если бы он что-то творил то об этом сразу бы заговорили, а остальные команды связаны с копированием временных файлов (cp/mv/..) и тоже легко проверяются. Другие пользователи от этого действия тоже доступ к диску не получают, доступ к диску получает только код во время запуска.
Шаг 2. Подготовка датасета.
Выбираем название спикера (я выбрал erlich). Выбираем английские названия без спецсимволов и пробелов. Кладем наш файл (или файлы) на диск по адресу: so-vits-svc-fork/dataset/erlich (erlich меняем на ваше название)
В эту папку кладем файл(ы) с голосом.
Меняем обведенный параметр на то же самое ваше название.
Запускаем код - он подготовит данные, а именно:
- нарежет
- переформатирует
- составит конфигурационные файлы
Шаг 3. Обучение.
Следующие 2 команды выведут tensorboard и запустят цикл обучения.
Примерно каждые 60 эпох (это полный проход по обучающим данным) промежуточная модель будет сохраняться по адресу: so-vits-svc-fork/logs/44k на гугл диске (именно для этого мы подключали гугл диск)
Файлы модели будут иметь вид:
config.json D_134.pth D_67.pth G_134.pth G_67.pth D_0.pth D_200.pth G_0.pth G_200.pth.
Ваша наилучшая модель составляет пару файлов: G_200.pth (чем больше число тем лучше выучилась модель) + config.json.
Далее эти файлы вы можете использовать для запуска кода на замену голоса.
Остались вопросы? Пишите в комментарии, обсудим.
Firdavs Sultonov
После запуска тренировки модели пишет "NumExpr defaulting to 2 threads" и зависает. Так должно быть или где-то есть ошибка?
Show more replies
IHAVENICEASSReplying to vasily.ai
vasily.ai,
No dashboards are active for the current data set. В tensorboard пишет это
No dashboards are active for the current data set. В tensorboard пишет это
vasily.aiReplying to IHAVENICEASS
IHAVENICEASS, тензорборд не влияет на обучение, просто помогает отслеживать метрики
турция
после запуска подготовки данных пишет
Preprocessing: 36% 380/1056 [00:04<00:03, 186.37it/s][14:21:00] INFO [14:21:00] Skip
и дальше ничего не делает, иногда на 17 иногда на 35% остановится, все делал одним файлом
Preprocessing: 36% 380/1056 [00:04<00:03, 186.37it/s][14:21:00] INFO [14:21:00] Skip
и дальше ничего не делает, иногда на 17 иногда на 35% остановится, все делал одним файлом
Show more replies
vasily.aiReplying to IHAVENICEASS
IHAVENICEASS, надо смотреть config.json файл, по умолчанию должен сохранять раз в 200 эпох, но меня часто это либо 160 эпох либо что-то вроде 138
IHAVENICEASSReplying to vasily.ai
vasily.ai, экран с количеством эпох пропал,файл так и на показателе 0,пишет эпох уже 220 прошло
Фёдор Гребнев
у меня на каждом step 2023-05-17 12:06:21.418446: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT
Фёдор Гребнев
после 2000 шага не улучшается качество аудио,думаю ошибка
Warning: Could not find TensorRT как то влияет на это
Warning: Could not find TensorRT как то влияет на это
турция
Electric58, у всех по разному, я на локальной машине почти 2 часа для 200 эпох потратил
Артём Лебедев
Я не понимаю что нужно делать после того как я нажал на Tensor board, могу ли я как то написать тебе в тг?
igroman sap
А где взять ссылку на эту модель, тоесть я ее обучили, и как вставить so vitc svc
Станислав Райзенов
Мужики, такой вопрос. столкнулся с такой проблемой что закончились лимиты на использование гпу, а модельку то все таки обучать надо. Видел что челы запускают обучение локально, то бишь на своем пк. А так как я обладаю адекватным компом вопрос, как запустить всю эту процедуру локально?
Andre Alexa
Станислав Райзенов, такой же вопрос. нарезанный звук готов. so-vits-svc есть а хелпов нет
Иван Кузнецов
Позавчера перестала работать. Не создается ничего на гугл диск. Ну и ошибки потом идут, что конфига нет, директории нет. Накрылась?
johiamii
создала модель, проверила в so-vits-svc и в принципе работает, но нейросеть всё так же глючит и выдаёт растянутые вздохи и тд. Хотелось потренировать её, но на этом коллабе сделать это не получается, а другие коллабы с этой моделью не совместимы, потому что там нужен именно zip с wav файлами а не гугл папка. Есть ли способ решить эту проблему?
Sergey Popov
No dashboards are active for the current data set.Probable causes:You haven’t written any data to your event files.TensorBoard can’t find your event files.If you’re new to using TensorBoard, and want to find out how to add data and set up your event files, check out the README and perhaps the TensorBoard tutorial.If you think TensorBoard is configured properly, please see the section of the README devoted to missing data problems and consider filing an issue on GitHub.Last reload: Jun 4, 2023, 9:23:05 PMLog directory: drive/MyDrive/so-vits-svc-fork/logs/44k
Хотя всё подгрузил по интсуркции( что может быть?
Хотя всё подгрузил по интсуркции( что может быть?
Log in, to post comments
Go to all posts
Subscription levels
Джун
$ 1,9 per month
• Месячный дайджест новостей нейросетей - список самых важных событий из мира нейронок за месяц, с моими комментариями и обзорами.
• Доступ к большинству эксклюзивных материалов
Сеньор
$ 8,9 per month
• Все предыдущие бонусы
• Мастер-классы по вашим заявкам (разбор проекта, резюме, модели)
• Общий созвон с подписчиками раз в месяц. Ты можешь задать свои вопросы по нейронкам, карьере или просто поболтать в хорошей компании
Шеф
$ 24 per month
• Все предыдущие бонусы
• Персональный чат со мной по твоей проблеме (карьера в Data Science, использование нейросетей, ведение тиктока).
I’m CEO, b*tch
$ 101 per month
• Все предыдущие бонусы
• Личный созвон (или встреча) до 30 мин по любой твоей проблеме