creator cover Айвист
Айвист

Айвист 

Не AI-артист

385subscribers

12posts

goals2
100 of 100 paid subscribers
Это вообще реально?)
$6.46 of $130 raised
На развитие блога

About

Всем привет и добро пожаловать!
Меня зовут Алексей и я рад, что вы посетили эту страницу!
Мой канал - про интеграцию нейросетей в жизнь музыканта. Как бы вокруг не кричали о том, что нейросети заменят музыкантов, я считаю, что это просто инструмент, которым нужно научиться пользоваться. И на этом канале я планирую рассказывать не только про музыкальные нейросети, но и про вполне обычные: как их использовать музыкантам и что с помощью них можно сделать. 
На данный момент я делаю упор на умные скрипты для Reaper. Хочу сделать эту DAW полноценным ассистентом в студии. Готовые скрипты - ниже.
Скрипты для Windows:
AI Transcriber и Ai Transcriber Plus - перевод аудио в MIDI
AI YuE2 - генерация аудио внутри Reaper
ElevenLabs_bridge - генерация речи в Reaper через ElevenLabs
Скрипты на MacOS находятся здесь
Мои соцсети:
Для сотрудничества писать сюда:
Ai Transcriber Plus
+ Очередь обработки
+ Уточнение динамики через Basic Pitch
+ Дополнительная обработка Midi барабанов.
+ Модель TransKun v2 для фортепиано.
Level required:
Угостить шаурмой 🌯

Ai Transcriber стал легче, быстрее и бесплатнее😉 (архив внутри поста)

Два месяца я скурпулезно дорабатывал этот скрипт, упрощая ни разу не легкую установку нейронки через Python-окружение, делал инструкции, снимал ролики, пока буквально на днях не обнаружил, что мастера из Dr. Audio (те, кто написал Neural Note 2) разработали C++ движок для MuScriptor... И сделали это просто великолепно! Я уже перевел скрипт на их рельсы, и знатно прифигел от результата!
Как итог - без потери качества скорость транскрибации выросла раза в 4! Даже длинную композицию в 5 минут самая тяжелая модель у меня на RTX5070 обрабатывает максимум за минуту! А установка теперь не требует регистраций на Huggingface, создания токенов, окружений и т.п. А, ну еще и веса стали легче. А еще, если установить Neural Note 2, то можно будет подключить к скрипту уже скачанные веса MuScriptor.
Приветствую) Достаточно ссылку для реапак использовать или надо установить еще, скачав архив скрипта? Я использовал ссылку и вот такую штуку выдает в плане ошибки 
Айвист, Все получилось)))

Ai Transcriber и пара важных обновлений.

Начнём с первого - и это очередь обработки. Вернувшись к перебивкам нейропесенок поймал себя на мысли, что я каждый раз отдельный стем преобразовываю в MIDI и все время вызываю этот скрипт... Открыл, выставил инструмент, запустил, закрыл... А потом по-новой с другим стемом. Действие повторяющееся, а значит подлежит автоматизации =)

И вот тут мое предыдущее разделение на модули оказалось как нельзя кстати. Я сделал модуль, благодаря которому можно выставить очередь из нескольких стемов для преобразования. Причем для каждого стема можно выбрать как свою модель, так и свои инструменты. Экономия времени, конечно, не очень большая... Но тут как с рендерингом: можно каждую дорожку отдельно рендерить, а можно взять и выставить настройки мультитреком. Разница в том, что здесь это работает последовательно. И пока производится транскрипция одного из стемов, мы можем начать обрабатывать полученный midi-сигнал уже параллельно =)
А вот второй модуль полностью закрывает вопросы с барабанами. Многие, думаю, заметили что при транскрипции барабанов MuScriptor частенько выдает MIDI не точно в миг транзиента. Это не проблема скрипта, так работает нейросеть: сигнал полученный то чуть спешит, то чуть отстает. 
Здравствуйте, не подскажете, как правильно удалить старый скрипт?
У меня установлен скрипт от 24.09.26
Заранее спасибо!
Aleksey80, Привет! Под последним постом с актуальной версией в комментариях я писал, что можно удалить. 
Хорошо, понял, спасибо!
Ai Transcriber 2.8.4 (только для Windows)
Транскрибация аудио в Midi внутри Reaper с помощью MuScriptor.
Level required:
Угостить шаурмой 🌯
В Ai YuE2 добавлена LoRA (только Windows)
Скрипт YuE2 с добавленным модулем LoRA.
Level required:
Угостить шаурмой 🌯
ElevenLabs Bridge
Скрипт для работы ElevenLabs внутри Reaper. 
Для работы требуется API-ключ от ElevenLabs.
Level required:
Угостить шаурмой 🌯

А вот так Suno уже не умеет...

Решил добавить новую вкладку в YuE2. Покопался я чуть-чуть еще в параметрах audio.cpp, пообщался с нейросеткой как следует, и получилось реализовать аналог "Extend" из Suno. Только работает это здесь волшебно! Продолжение трека настолько органично звучит, что такого я даже в Suno не слышал.
Очень интересная работа, хочется попробовать, но пока нет походящей видеокарты, можно ли организовать работу через аренду на облачном сервере?
Вадим Гайнанов, Здравствуйте! Мне кажется, уже имеются сервисы, на которых есть возможность генерировать через YuE2. Но вот для реализации этого внутри скрипта нужно заводить свой сервер)) Я пока не готов на такие эксперименты  beaming_face
дОБРОГО СУТОК, ПОДСКАЖИТЕ, ВСТАВКУ В ОКНА, ГОТОВОГО ТЕКСТА СКОПИРОВАНОГО, ВОЗМОЖНА? У МЕНЯ КАК ТО НЕ РЕАГИРУЕТ МЫШКА, НА ЭТО ДЕЙСТВИЕ...
Айвист, спасибо!

Полностью переработал установщик!

Друзья! Я обновил установщик. Проведена сложная работа по упрощению, а самое главное, по чистоте установки. У нейросетей есть лицензии, а в прошлый раз мой ИИ-агент начудил с поиском весов в интернете. И как-то устанавливал всё в обход Huggingface, о чем мой скрипт все время предупреждал, ругаясь на отсутствие токена. "Так не пойдет" - подумал я, и всё переделал.
Короче: я сделал помощник установки самого MuScriptor. В принципе, его самого можно скачать отсюда https://huggingface.co/MuScriptor, и самостоятельно установить. Но ведь гораздо проще, когда можно выбрать, что хочется поставить, подставить токен, принять лицензионное соглашение и радоваться установке без танцев с бубном? Вот.
подскажите как правильно все установить? Что такое личный токен? я зарегестрировался на хаггинг фейс и что делать дальше?
Возможно что-то поменялось, но я так и не смог найти установщик на ханиг-фейсе.

Обновление ReaMuScriptor!

Друзья! Категорически благодарю всех и каждого за поддержку и за шаурму 🌯 Вы меня настолько замотивировали, что работа над инструментами кипит с удвоенной силой!

Что нового в ReaMuScriptor:

  • Ансамбль с нейросетью Basic Pitch: В скрипт интегрирована вторая нейросеть (Basic Pitch). За основу транскрипции по-прежнему отвечает надёжный движок MuScriptor, а Basic Pitch теперь считывает динамику и передаёт реальные значения velocity для каждой ноты (больше никакой сплошной стены из нот со значением 100).
  • Динамика барабанов прямо в REAPER: Добавлено извлечение велосити для бочки, рабочего и томов. На хай-хэтах и тарелках динамика не работает в силу ложных срабатываний алгоритмов, поэтому железо будет требовать ручной доводки.
  • Сведение всех нот на 1-й MIDI-канал: Добавлена галочка, которая принудительно перенаправляет весь поток на первый канал — актуально для VST-инструментов, которые не умеют работать с мультиченнелом.
  • Исправление смещения стемов: Исправлен баг, из-за которого скрипт обрезал начальную тишину аудиофайла и смещал итоговый MIDI-айтем мимо сигнала. Теперь привязка держится намертво.
Все класс затестил все работает, шикарный вид.call_me
Всё отлично! Спасибо за проделанную работу! Установилось с первого раза!!! Если темп проекта и темп аудио-трека совпадают (аудио выставлен по сетке) - то и MIDI встает куда надо (+-)

ReaMuScriptor - аудио в миди в Reaper.

Накодить скрипт оказалось намного проще, чем упаковать в инсталлятор, чтобы им можно было делиться. Старался сделать его максимально простым. Но должен предупредить!!! Автоустановщик пока в бета-режиме. Я полноценно протестировал установку с нуля только на рабочем ноутбуке без дискретной видеокарты и там всё завелось: на легковесной модели скрипт показал себя хорошо. На основном ПК у меня уже столько тестовых директорий и скриптов, что чистый тест провести нереально, поэтому выкатываю как есть для первых тестеров.
Друже, привет, спасибо за программулину, у меня одна проблема - не определяет динамику трека. Скормил для теста пианинную мелодию, сыгранную с разной динамикой - а на выходе идеально ровная колбаса, сталкивался? В чём может быть дело?
p.s. Моделька large, на гитаре и драмке такая же история
Айвист, ай, я через батник ставил, думаю "что за галочка") ок, попробую через установщик
подскажите пожалуйста где почитать инструкцию по установке. спасибо!
Subscription levels2

Угостить шаурмой 🌯

$5.2 per month
Если хочешь порадовать автора - угости шаурмой, а автор угостит шаблонами, конфигами и авторскими скриптами.

Хочу консультацию!

$13 per month
Доступ к контенту
+ 1 консультация в месяц по интересующим вопросам (работа с музыкальными ИИ, настройка Reaper и т.п.)
Go up