Derur

Платные онлайн и офлайн сервисы:   (дорогие и дешевые)

EyePilot - ИИ который по камере выслеживает куда вы смотрите на экран.

Скачать распаковать и запустить "!run.bat" (что-бы не насиловать SSD), можно просто запустить .exe но оно будет распаковывается в temp.

Сейчас я массово переписываю переводчики, и мне это надоедает поэтому я решил отдохнуть и сделать... Свою версию Doulingo а именно приложение которое будет тебя обучать: языкам, математике, биологии, химии, физике, информатике(excel, powerpoint, word и тд.) и даже программированию(java, C++, C#, python)! И оно будет иметь уровни пользователя, настойчивости и даже режим обучения как в школах(считайте по учебнику и тд.) или по понятнее / репетиторский (с пояснением, более легкими путями и тд.). И сразу отвечу на вопросы!

1Q: Оно будет работать локально(без интернета)?

1A: Да, я добавлю возможность скачивать уроки заранее и возможно использовать локальные модели!

2Q: На чем оно работает? На каких моделях?

2A: Оно будет работать на chatgpt, gemin, моделях переводчиков и не только!

Сейчас ведется очень большая работа с кодом переводчиков!

В аудио / видео переводчике код состоит из суммарно ~20к строк и работает медленно и не эффективно (+нету gui / webui есть только cli).

Но сейчас я переписываю весь код полностью под более эффективную  и компактную тактику! Учитывайте еще то-что я переписываю даже некоторые библиотеки по типу TTS! Вес переводчика только увеличивается ведь добавляется много новых моделей и подходов, но я планирую сделать его модульным а именно разные модели / модули которые занимают много места будут загружаться только если они нужны. 

Я очень стараюсь добиться результатов онлайн сервисов и это иногда даже получается но у меня занимает много времени, качественный перевод 2 минутной песни на gtx 1650 занимает ~2-3 часа, но среднего качество перевод и клон. голоса ~20-30 минут. Планируется анти пиратская система но мало вероятно что она будет. Самое большое что планируется это своя модель или что-то  другое для создание более короткого (или более большого) перевода без потери смысла (пример: "Ох, как же тут прекрасно и красиво" -> "Ухты, как тут потресающе") для нормального сопоставления длины входного и выходного аудио!

Сейчас ведется очень большая работа с кодом переводчиков!

В переводчике игр код состоит из суммарно ~1к строк и работает медленно, багано и не эффективно (+нету gui / webui есть только cli).

Но сейчас я переписываю весь код полностью под более эффективную и компактную тактику! Учитывайте еще то-что я переписываю даже некоторые библиотеки! Вес переводчика игр не больше 25GB и это хорошо но далеко не все. Пока что он умеет багано (много ошибок) переводить игры на Unrel Engine, RenPy и Unity, Но почти во всех случаях (кроме Unrel Engine) оно именно заменяет оригинальные файлы создавая backup оригинальных файлов. Планирую исправить это с помощью так называемого режима "dlc" или "mods" а именно доп файл который легко удалить (как это и работает в Unreal Engine).

fish-speech-Derur это форк fishaudio/fish-speech в который я добавил больше функционала в файлы vqgan/inference.py и llama/generate.py!

Инструкция по работе с этими файлами и моими дополнениями:

1.Сначала установите все зависимости:

python -m pip install -U torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

2. Скачайте модель:

3.Инструкция из оригинального репозитория:

WebUi: 

python tools/run_webui.py \

--llama-checkpoint-path checkpoints/fish-speech-1.5 \

--decoder-checkpoint-path checkpoints/fish-speech-1.5/firefly-gan-vq-fsq-8x1024-21hz-generator.pth \

# --compile

У меня для вас новости насчет Аудио переводчика. В сумме в нем `10 000-15 000 строк кода. У моего Аудио переводчика много плюсов, ведь у него есть поддержка кастомизации, своих локализаций (совсем скоро доделаю) и множество настроек! Но и есть минусы в виде его веса, сейчас он весит примерно 200GB максимум на который я смогу его сжать это 100GB :( Но у этого веса есть свои плюсы: 1. Почти все модели уже загружены заранее. 2. Много настроек, много моделей по типу TTS, VoiceCloning, Whisper, Translators, Lipsync и тд. 

И я уже начинаю добиваться результатов похожих на онлайн сервисы благодаря переделанной мной модели fish-speech-1.5!

Надеюсь скоро обновить ПК для использования bark.

Буду рад любой поддержке!

Сначала скачайте g4f от Neurogen: ссылка

Закиньте мой updater.bat в папку с start.bat: