Вспомнил про ещё один музыкальный проект, который не перечислял в творческих планах. Это, получается, уже два: четырёхбитник и вот этот. Задумал я его давным-давно, и писал про него аж два года назад, в посте про покупку видеоплеера IconBIT. Он был нужен для этой темы. Сейчас я подумал, что надо бы всё-таки сделать, благо теперь это стало проще.

Суть идеи: формируя изображение определённым образом, можно получить в композитном видеосигнале управляемую составляющую звуковой частоты, и таким образом проиграть музыку. Услышать её можно через втыкание видеовыхода в звуковой вход. Таким образом роль звукового чипа-синтезатора выполняет видеочип. Прикольно? Прикольно.

Формировать такой сигнал можно чем угодно: любым компьютером, видеомагнитофоном, видеокамерой, снимающей нужные паттерны. Я не думаю, что задумка настолько прикольная, чтобы ударяться во все тяжкие, и делать её на какой-нибудь ретро-технике. Для начала вполне подойдёт USB-медиаплеер, а потом можно сделать демонстрацию на VHS-кассете (записав с плеера).

Есть ряд технических сложностей. Мне было лень начинать, потому что требуется подключать железо, тыкать туда-сюда флешки — не было обратной связи. Хорошо бы иметь симулятор видеосигнала, чтобы проводить основные эксперименты на компьютере. Но теперь, и вы понимаете, куда я клоню, есть ИИ.

В данном случае он оказался полезен просто как знающий подсказчик. Он подсказал имеющиеся готовые решения, которые позволили реализовать базовый фреймворк для этого проекта буквально за пару часов: утилита hacktv, которая умеет перегонять видеофайлы в запись видеосигнала многих форматов (типа WAV-файла с мегагерцовыми частотами дискретизации), потом с помощью sox можно имитировать подключение видеовыхода в аудиовход.

Генерируется исходное видео скриптом на Питоне, который пробрасывает данные в ffmpeg — про такую возможность я тоже не знал, тоже подсказано ИИ. Мне лишь остаётся написать синтезатор самого видео и построить цепочку для создания музыкального контента. Синтезатор сделать легко, это несколько строк кода. С редактированием сложнее: MIDI тут не очень подходит, лучше задействовать трекер, и хотелось бы иметь обратную связь во время редактирования.

Пока накидал тест, генерирующий четырёхканальный звук внутри видеосигнала. Скорее всего каналов будет динамическое количество, от одного до восьми, плюс прерывающие ударные. По сути это очень похоже на биперный движок, принцип синтеза такой же. Теперь надо сообразить какое-то расширение для 1tracker. Есть задумка поддержать новый формат скриптов для синтеза звука на лету самим скриптом, без применения ассемблера Z80, и таким образом расширить экспериментальные возможности редактора. Думаю.