Derur 

Changelog (отчет о проделанной работе): URL

Все полные примеры (со всеми файлами, которые создаёт переводчик), включая оригиналы: URL

Платные онлайн и офлайн сервисы:   (дорогие и дешевые)

В следующих обновлениях (FAST TODO):

- Добавить и офлайн переводчики;

- Добавить LLM перевод;

- Сделать логику понятнее (лично для меня);

- Добавить хотя бы ещё одну качественную модель озвучки (TTS);

- Исправить ударения в русском (обычная тактика "зам+ок" или "з`амок" не работает);

- Уменьшение веса (удаление лишних/отладочных файлов);

- Кастомизация (возможность легко создавать переводы/темы и т.д.);

- Добавление всех качественных моделей (перевода/озвучки (TTS)/распознавания (STT));

- Ускорение (подбор оптимальных настроек);

- Куча тонких настроек для профи;

- CLI+GUI+WEBUI интерфейс;

- Уменьшение веса переводчика до минимума и ускорение до максимума (замена умных, но больших моделей на глупые, маленькие, но дообученные - то есть почти то же качество, но меньший вес и больше скорость);

- Тестирование/отладка и добавление более крупных, но качественных моделей переводчиков/озвучки (TTS)/распознавания (STT) и т.д. (например, Suno/Bark, Google/Madlad400-10B и т.д.);

- Улучшение качества перевода/озвучки (TTS)/распознавания (STT)(благодаря их дообучению (finetuning’у));

- Возможная тренировка собственных моделей;

Честно говорю — работы ещё много, до хорошей реализации примерно год. Я выгорел, потому что долго делать одно и то же тяжело морально, но я буду его переписывать  как минимум все лето.
Да, сейчас вес проекта составляет ~300 GB — из-за моделей и модулей, которых довольно много. Одних только переводчиков — на 100 GB, и это более 20 разных моделей / видов.

Качество перевода часто лучше, чем у Яндекса (+ клонирование голоса). Многие модели на уровне DeepL, и даже есть поддержка LLM — то есть, если система позволяет, можно загрузить, например, DeepSeek для перевода.

Сейчас всё ещё далеко от идеала, и интерфейса (GUI / WEBUI) пока нет — доступна только CLI-версия.

Он будет поддерживать: Youtube (даже с скачкой субтитров), Spotify (даже с скачкой lyrics), сайты которые поддерживает yt-dlp и локальные аудио / видео файлы.

Из хороших новостей — самая минимальная версия может весить ~40 GB.
Но: на минимальных характеристиках перевод 2-минутного фрагмента занимает около 3 часов.  Также из хорошего — значительный прирост качества (хотя и за счёт времени обработки): в 2–3 раза лучше, чем в текущих примерах. Ошибки от неверного ввода также исключены (я называю это системой "Защита от дебилов").

Код пока переписан примерно на 7%. Планирую внедрить систему лицензирования. И чтобы быть честным — код будет зашифрован, но без каких-либо вирусов, исключительно для целей лицензирования.

  CPU: i5 (10-го поколения)

  GPU: GTX 1660

  RAM: 16 GB

  Space: ~50–60 GB  

EyePilot - ИИ который по камере выслеживает куда вы смотрите на экран.

Скачать распаковать и запустить "!run.bat" (что-бы не насиловать SSD), можно просто запустить .exe но оно будет распаковывается в temp.

Сейчас я массово переписываю переводчики, и мне это надоедает поэтому я решил отдохнуть и сделать... Свою версию Doulingo а именно приложение которое будет тебя обучать: языкам, математике, биологии, химии, физике, информатике(excel, powerpoint, word и тд.) и даже программированию(java, C++, C#, python)! И оно будет иметь уровни пользователя, настойчивости и даже режим обучения как в школах(считайте по учебнику и тд.) или по понятнее / репетиторский (с пояснением, более легкими путями и тд.). И сразу отвечу на вопросы!

1Q: Оно будет работать локально(без интернета)?

1A: Да, я добавлю возможность скачивать уроки заранее и возможно использовать локальные модели!

2Q: На чем оно работает? На каких моделях?

2A: Оно будет работать на chatgpt, gemin, моделях переводчиков и не только!

Сейчас ведется очень большая работа с кодом переводчиков!

В аудио / видео переводчике код состоит из суммарно ~20к строк и работает медленно и не эффективно (+нету gui / webui есть только cli).

Но сейчас я переписываю весь код полностью под более эффективную  и компактную тактику! Учитывайте еще то-что я переписываю даже некоторые библиотеки по типу TTS! Вес переводчика только увеличивается ведь добавляется много новых моделей и подходов, но я планирую сделать его модульным а именно разные модели / модули которые занимают много места будут загружаться только если они нужны. 

Я очень стараюсь добиться результатов онлайн сервисов и это иногда даже получается но у меня занимает много времени, качественный перевод 2 минутной песни на gtx 1650 занимает ~2-3 часа, но среднего качество перевод и клон. голоса ~20-30 минут. Планируется анти пиратская система но мало вероятно что она будет. Самое большое что планируется это своя модель или что-то  другое для создание более короткого (или более большого) перевода без потери смысла (пример: "Ох, как же тут прекрасно и красиво" -> "Ухты, как тут потресающе") для нормального сопоставления длины входного и выходного аудио!

Сейчас ведется очень большая работа с кодом переводчиков!

В переводчике игр код состоит из суммарно ~1к строк и работает медленно, багано и не эффективно (+нету gui / webui есть только cli).

Но сейчас я переписываю весь код полностью под более эффективную и компактную тактику! Учитывайте еще то-что я переписываю даже некоторые библиотеки! Вес переводчика игр не больше 25GB и это хорошо но далеко не все. Пока что он умеет багано (много ошибок) переводить игры на Unrel Engine, RenPy и Unity, Но почти во всех случаях (кроме Unrel Engine) оно именно заменяет оригинальные файлы создавая backup оригинальных файлов. Планирую исправить это с помощью так называемого режима "dlc" или "mods" а именно доп файл который легко удалить (как это и работает в Unreal Engine).

В скором времени исправлю главную ошибку "пропажа перевода" где пропадает некоторый перевод. Планируется целый локализатор который добавляет перевод в игру не как замена оригинального, а как доп опция (язык)! Планируется еще ИИ улучшение и перевод текстур! Еще планируется ИИ улучшение моделей (очень тяжело реализуемо)! И самое главное, как вишенка на торте будет (когда-то) добавлена возможность создания русской озвучки (полноценного русификатора)! И естественно добавить кучу поддерживаемых движков и игр!

fish-speech-Derur это форк fishaudio/fish-speech в который я добавил больше функционала в файлы vqgan/inference.py и llama/generate.py!

Инструкция по работе с этими файлами и моими дополнениями:

1.Сначала установите все зависимости:

python -m pip install -U torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

2. Скачайте модель:

3.Инструкция из оригинального репозитория:

WebUi: 

python tools/run_webui.py \

--llama-checkpoint-path checkpoints/fish-speech-1.5 \

--decoder-checkpoint-path checkpoints/fish-speech-1.5/firefly-gan-vq-fsq-8x1024-21hz-generator.pth \

# --compile

CLI:

1. Encode reference audio:  

python tools/vqgan/inference.py -i {src_audio} --checkpoint-path "checkpoints/fish-speech-1.5/firefly-gan-vq-fsq-8x1024-21hz-generator.pth"  \