Вчера закончилась обучаться новая версия базовой части модели, именно той, что отвечает за всё (разборчивость, эмоциональность и прочее), кроме тональности.

Напомню, что предыдущая версия обучалась итеративно, и на протяжении 2-х лет мы учились и улучшали ее путем очистки и разметки датасета. Сначала мы обучили ее на 200 часах аудио, потом дополнили датасет и обучали уже на 500 часах, потом мы улучшили алгоритмы разметки аудио, затем мы улучшили ударения в тексте, затем мы улучшили алгоритмы оценки качества аудио и очистили датасет до 100 часов.

На каждом из этих этапов мы дообучали существующую модель. Модель улучшалась и показывала неплохие результаты, но при этом она наследовала (запоминала) проблемы предыдущих версий.

Поэтому, чтобы довести текущую модель до совершенства (в рамках ее архитектуры), мы с нуля обучили базовую часть модели с учетом всего накопленного ранее опыта по подготовке датасета.

Судя по кривым обучения, мы получили улучшения по показателям:

Разборчивость — насколько синтезированная речь похожа на текст.

Эмоциональность — придыхания, крик, радость и прочие эмоции.

Стабильность — ранние обрывы речи или лишние звуки в конце фразы.

Похоже, размер датасета действительно не так важен, как его качество, я имею в виду разметку и оценку аудио по показателям разборчивости.

Так как обучение закончилось только вчера вечером, было не так много времени, чтобы протестировать ее. Поэтому теперь можно вернуться к озвучке игр и тестированию новой модельки.

Ну и да, мы продолжаем работать над доступностью модели для всех. Я, пользуясь своими знакомствами на работе, нашел крутого UX-дизайнера, и она разрабатывает новый интерфейс для полноценного приложения по озвучке, дизайн будет готов в ближайшие месяцы.