Плагин для синтеза речи с и использованием RVC моделей в MiniChat.

Итак, первый пост.
На коленке написанный плагин для MiniChat, вариация стандартного плагина "Синтез речи", но подключается к API RVC Text-to-Speech WebUI.
Добавляет возможность озвучивания сообщений и событий кастомными RVC моделями, которые можно взять, например тут: weights.gg.

1) Установить Python (На момент написания поста, необходима версия 3.10), Git for Windows, а также может понадобиться Microsoft C++ Build Tools (MSVC версии 143).

2) Поэтапно выполнить шаги установки указанные тут RVC Text-to-Speech WebUI.

3) После установки, необходимо поместить свои модели в папку weights как в примере на Github.

4) Запустить RVC Text-to-Speech WebUI, для первого и последующих запусков можно использовать прикрепленный bat-файл.

bat

start.bat103 Byte

5) Установить плагин в MiniChat (Путь рядом с исполняемым файлом: MiniChat\Plugin\RVCSpeech):

zip

RVC Speech.zip7.00 Kb

6) Запустить MiniChat, перейти в настройки плагинов, выбрать плагин "Синтез речи (RVC)", активировать плагин, в поле "Голос" указать название папки одной из моделей (Например: "model1"), в поле "Speaker" указать или "ru-RU-DmitryNeural-Male" (Для мужского) или "ru-RU-SvetlanaNeural-Female" для женского.
7) Изменить другие интересующие вас параметры.

Пример:

Еще примеры:

MegaXa

bandit

1.0x

0:00

bandit.wav

femalev.wav

jesusAVGN.wav

papich.wav

zelensky.wav

putin.wav

rvc

minichat

синтез речи

текст в речь

Mikulski

Пушка

Sep 22 2023 21:54

Retroman

целый час ковырялся так и ничего не понял,сделайте видео инструкцию! Syntax error и прочее не понять ничего!

Sep 24 2023 17:38

MegaXa

Retroman, По установке я особо не подскажу, все таки не я отвечаю за сам инструмент. Видео можно найти на YouTube, но если что то идет не так, вряд ли они сильно помогут, учитывая что вся установка это просто поочередный ввод команд. Могу предположить что проблема в установке PyTorch, попробуй вместо установки версии с CUDA выполнить без параметров: pip install torch torchvision torchaudio

Sep 25 2023 04:07

MegaXa

Retroman, Например тут есть процесс установки: https://youtu.be/IfwTzD-VaEs?si=IvTf_g3XWrqZRFGK

Sep 25 2023 04:10

Retroman

нажимаю на start.bat ничего не происходит,черное окно мелькает и все,все установлено,и ничего нет)

Sep 25 2023 11:32

Retroman

(venv) E:\rvc-tts-webui>python app.py
Traceback (most recent call last):
File "E:\rvc-tts-webui\app.py", line 8, in
import edge_tts
ModuleNotFoundError: No module named 'edge_tts'

Sep 25 2023 11:47

MegaXaReplying to Retroman

Retroman, В общем попробовал под виртулкой на чистой ОС, видимо тебе надо
поставить (Microsoft C++ Build Tools): https://visualstudio.microsoft.com/ru/visual-cpp-build-tools/ И после установки выбрать (MSVC версии 143) как на скрине. Еще проверь, что у тебя Python версии 3.10, как указано в инструкции на Github, иначе при запуске тогда тоже будет ошибка.

Sep 26 2023 03:09

RetromanReplying to MegaXa

MegaXa, получилось!) благодарю!) 2 часа мудрил)))

Sep 26 2023 18:38

Retroman

и вот еще что ошибки которые не могу понять LINK : fatal error LNK1158: не удается запустить "rc.exe"
error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\BIN\\x86_amd64\\link.exe' failed with exit code 1158
[end of output]
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for fairseq
Failed to build fairseq
ERROR: Could not build wheels for fairseq, which is required to install pyproject.toml-based projects

Sep 25 2023 12:28

Retroman

Еще такая проблема,работает,но постоянно закрывается командная строка,с чем это связано? именно когда озвучка работает.

Oct 07 2023 03:01 (changed)