Ссылка на Fish Speech MOD: https://t.me/neuroport/134

Репакер: #NerualDreming

Дата обновления: 15 февраля 2025

Версия: 0.06

Категории: #TTS, #voiceclone, #AIaudio, #dialogue

Платформа: #Windows

Язык: RU

Место на диске: 10kb

Системные требования: NVIDIA GPU 8GB

Совместимость: #Nvidia

 Описание софта:

Fish Speech Dialogue — это мощное дополнение на базе Fish Speech MOD, разработанное для генерации озвучки целых диалогов с использованием различных голосов. Этот инструмент позволяет автоматически распознавать и назначать голоса говорящим в диалоге, что делает процесс создания озвучки быстрым и удобным. Это мой первый эксперимент такого рода на базе одного приложения, создано другое. Это не отдельное приложение, это дополнение которое устанавливается в папку к уже существующему Fish Speech MOD.

😬 Основные возможности Fish Speech Dialogue:

🟣 Автоматическое распределение голосов: Просто вставьте текст диалога, в формате Говорящий 1: и система автоматически определит говорящих и назначит им случайные голоса.

🟣 Поддержка до 10 говорящих: Создавайте сложные диалоги с большим количеством участников (хотя автор не тестировал так много говорящих, поэтому возможны некоторые ограничения).

🟣 Гибкая настройка голосов: Использует ту же базу голосов, что и Fish Speech MOD из папки examples. Все готово сразу после установки. Дополнительные голоса.

🟣 Форматы сохранения: Сохраняйте результаты в форматах WAV, MP3 и FLAC.

🟣 Расширенные настройки: Настройте параметры генерации, такие как длина промпта, максимальное количество токенов, температура и штраф за повторение.

 Установка и запуск:

⁍ Скачайте zip архив Fish Speech Dialogue.
⁍ Распакуйте архив в ту же директорию, где находится Fish Speech MOD.
⁍ Запустите файл start_dialogue.bat.
⁍ После загрузки компонентов интерфейс приложения откроется в браузере.

Дополнительные видео:

▶️Смотреть видеоинструкцию

💾Скачать Fish Speech MOD:

Notice: ffmpeg is not installed. torchaudio is used to load audioIf you want to use ffmpeg backend to load audio, please install it by:  sudo apt install ffmpeg # ubuntu  # brew install ffmpeg # mac2025-02-19 19:19:11.778 | INFO     | __main__:<module>:500 - Loading Llama model...2025-02-19 19:19:17.602 | INFO     | tools.llama.generate:load_model:682 - Restored model from checkpoint2025-02-19 19:19:17.602 | INFO     | tools.llama.generate:load_model:688 - Using DualARTransformer2025-02-19 19:19:17.603 | INFO     | tools.llama.generate:load_model:696 - Compiling function...2025-02-19 19:19:17.633 | INFO     | __main__:<module>:507 - Llama model loaded, loading VQ-GAN model...2025-02-19 19:19:18.617 | INFO     | tools.vqgan.inference:load_model:43 - Loaded model: <All keys matched successfully>2025-02-19 19:19:18.618 | INFO     | __main__:<module>:515 - Decoder model loaded, warming up...2025-02-19 19:19:18.626 | INFO     | tools.llama.generate:generate_long:789 - Encoded text: Hello world.2025-02-19 19:19:18.627 | INFO     | tools.llama.generate:generate_long:807 - Generating sentence 1/1 of sample 1/10%| |                                                           | 23/8168 [00:01<06:30, 20.87it/s]2025-02-19 19:19:19.984 | INFO     | tools.llama.generate:generate_long:852 - Compilation time: 1.36 seconds2025-02-19 19:19:19.984 | INFO     | tools.llama.generate:generate_long:861 - Generated 25 tokens in 1.36 seconds, 18.44 tokens/sec2025-02-19 19:19:19.985 | INFO     | tools.llama.generate:generate_long:864 - Bandwidth achieved: 11.76 GB/s2025-02-19 19:19:19.985 | INFO     | tools.llama.generate:generate_long:869 - GPU Memory used: 1.75 GB2025-02-19 19:19:19.990 | INFO     | tools.api:decode_vq_tokens:191 - VQ features: torch.Size([8, 24])Traceback (most recent call last):  File "D:\fish_speech_Portable_Mod_NeuroPort\fish-speech\app.py", line 518, in <module>    list(  File "D:\fish_speech_Portable_Mod_NeuroPort\fishenv\env\lib\site-packages\torch\utils\_contextlib.py", line 35, in generator_context    response = gen.send(None)  File "D:\fish_speech_Portable_Mod_NeuroPort\fish-speech\app.py", line 175, in inference    fake_audios = fake_audios.float().cpu().numpy()
RuntimeError: Numpy is not available
Для продолжения нажмите любую клавишу . . .

Проблема заключается в последней строке: RuntimeError: Numpy is not available. Программа не может найти библиотеку numpy, которая необходима для обработки аудио.

start.bat Открой через блокнот, удали там все и вставь вот это

@echo off
cd /d "%~dp0fish-speech"
call "..\fishenv\conda\condabin\conda.bat" activate "..\fishenv\env"
REM Удаляем текущую версию numpy (если установлена) и устанавливаем требуемую версию (<2)
pip uninstall -y numpy
pip install "numpy<2"
python app.py
pause

И уже при последующих запусков нужно удалить следующую часть кода:

 

REM Удаляем текущую версию numpy (если установлена) и устанавливаем требуемую версию (<2)pip uninstall -y numpypip install "numpy<2"

И оставить что бы было так:

@echo off
cd /d "%~dp0fish-speech"
call "..\fishenv\conda\condabin\conda.bat" activate "..\fishenv\env"
python app.py
pause