Ar'Vi

Pico 4 Pro и Lighthouse без трекера на голове: порт QuestLHSync

Всё что ниже - это обработанный пересказ утренних изысканий относительно возможности избавиться от трекера на голове для синхронизации с Lighthouse девайсами в частности - базовыми станциями. Спасибо технологиям что позволяют набросать прототипы за пару часов, а не 1-2 недели плотных задротских технических вечеров. Спасибо.

Кто играет в VRChat с фулбоди на Lighthouse и шлемом не от Valve, знает эту боль: пространство трекеров и пространство шлема живут отдельно, и их приходится постоянно сводить. Обычно это SpaceCalibrator плюс трекер на голове или перекалибровка каждые полчаса. Для Quest уже есть QuestLHSync от CreoleVR: шлем сам видит базовые станции своими камерами и держит всё выровненным, без трекера на голове. Для Pico такого не было. Теперь есть: я портировал QuestLHSync на Pico 4 Pro. Ниже история целиком: как это устроено, на какие грабли наступил и как поставить себе.

⚠️ Сначала о рисках и ограничениях

Нужен root (Magisk) на шлеме. Как я его получал, есть в прошлом посте про раздельные глаза: разблокировка загрузчика стирает все данные в шлеме.
Порт экспериментальный. Проверен на одном шлеме: Pico 4 Pro, PICO OS 5.13.3S, стриминг через Virtual Desktop, три станции 2.0. На обычном Pico 4 и других прошивках не проверялся.
Готовых сборок пока нет, собирать из исходников. Это несложно, команды ниже.
Модуль на шлеме ничего не прошивает и не меняет в системе. Удаляется из Magisk одной кнопкой.

Как работает QuestLHSync

Базовые станции 2.0 крутят лазерные плоскости. Если в момент короткой экспозиции камеры шлема через неё проходит лазер, в кадре вспыхивает яркая точка. Направление на неё - это луч из камеры на станцию. Шлем знает свою позу, SteamVR знает, где стоят станции. Если набрать достаточно таких лучей, можно найти поворот и сдвиг, при которых все лучи попадают в станции. Это и есть выравнивание двух пространств, и драйвер применяет его ко всем Lighthouse-устройствам прямо на лету.

Устроено из двух частей:

на шлеме: модуль Magisk. Читает кадры камер трекинга, ищет яркие точки и отдаёт их по сети (TCP 47280);
на ПК: драйвер SteamVR. Принимает точки, решает задачу выравнивания и добавляет свою страницу в дашборд SteamVR.

Чтобы запустить это на Pico, нужно было переписать часть на шлеме под его камеры и научить драйвер понимать калибровку Pico. Дальше самое интересное.

Шаг 1. Найти камеры

У Pico 4 Pro четыре камеры трекинга OV9282: глобальный затвор, 640×480, 10 бит. Все кадры живут в системном процессе pvrtrackingservice, в кольце из 32 буферов dmabuf, по 8 на камеру. Камеры снимают 50 кадров в секунду, чередуя длинную и короткую экспозицию. Лазеры видны только в коротких.

Грабля №1: буферы не читаются снаружи. Даже из-под root /proc/pid/mem на этих областях отвечает ошибкой ввода-вывода. Пришлось делать как в оригинале для Quest: внедрять Frida прямо в процесс трекинга и искать точки там, на маленьком C-коде, скомпилированном на лету.

Грабля №2: двойные кадры. Сначала я видел около 80 кадров в секунду вместо 50: один и тот же кадр иногда засчитывался дважды. Оказалось, что в конце каждого буфера есть служебный «хвост» с номером кадра и точным временем экспозиции в наносекундах. По нему кадры идут ровно 50,0 в секунду. Заодно время каждого кадра теперь точное, без задержки опроса.

гайд

pico 4 pro

root

magisk

vrchat

steamvr

lighthouse

questlhsync

Ar'Vi

Джип-штука +- доведена до ума, но основные тесты под нагрузкой постоянного движения и перекрытия пройдут в выходные.

Oct 28 08:34

Oct 12 12:40 · AI content

Рут Pico 4 Pro ради раздельного айтрекинга в VRChat: полный путь, грабли и команды

Всю жизнь хотелось, чтобы в VRChat мой аватар смотрел каждым глазом отдельно, а не одним «усреднённым» взглядом. У Pico 4 Pro есть айтрекинг и трекинг лица, прошивка даже считает взгляд для каждого глаза отдельно, но наружу отдаёт только усреднённый результат. Чтобы это исправить, понадобился root. Ниже история целиком: что делал, на какие грабли наступил и как выбирался. Все команды на месте, так что при желании можно повторить у себя.

⚠️ Сначала о рисках

Разблокировка загрузчика стирает все данные в шлеме (factory reset). Игры перекачаются из аккаунта, а вот локальные файлы, скриншоты и записи сохрани заранее.
Прошивка через EDL - низкоуровневая операция. Обрыв во время записи может окирпичить шлем. Во время чтения (бэкапа) обрыв не страшен.
Всё, что ниже, делается на свой страх и риск. У меня сработало на Pico 4 Pro, PICO OS 5.13.3S. На других версиях прошивки результат может отличаться.

Что в итоге получилось

Цепочка выглядит так:

PicoET-Enhance (модуль Magisk на шлеме): включает раздельный трекинг глаз и реальные данные зрачков внутри сервиса айтрекинга;
PicoFacialBridge (приложение на шлеме): забирает данные трекинга и отправляет их по локальной сети (UDP 9030);
UnifiedPicoModule (модуль VRCFaceTracking на ПК): принимает данные и передаёт их в VRCFT;
VRCFaceTracking → OSC → VRChat.

Результат по логам: глаза идут на ~90 Гц, лицо на ~23 Гц, без потерь пакетов. Взгляд для каждого глаза свой (native-per-eye), раскрытие век и размер зрачков реальные, а не оценочные.

PicoFacialBridge работает и без root, но тогда взгляд будет общий на оба глаза. Root нужен именно для раздельных глаз через PicoET-Enhance.

Что понадобится

ПК с Windows и хороший USB-C кабель (почему это важно, ниже);
more-picohaxx-tool: скрипт для бэкапа, разблокировки загрузчика и рута Pico 3/4 (запускается через picounlock.bat);
PicoET-Enhance: модуль Magisk для раздельного трекинга глаз;
PicoFacialBridge: APK на шлем (нужна версия 0.3.0+);
UnifiedPicoModule: модуль для VRCFaceTracking 5.4.5;
VRCFaceTracking на ПК.

Шаг 0. Режим разработчика и USB-отладка

В шлеме: Настройки → Общие → О устройстве → 7 раз быстро нажать на «Версию ПО». Появится вкладка «Разработчик», в ней включаем USB Debug. Подключаем шлем к ПК и в самом шлеме разрешаем отладку («Всегда разрешать с этого компьютера»). Проверка из папки tools инструмента:

.\adb.exe devices

Статус должен быть device, а не unauthorized.

Шаг 1. Бэкапы, и первые грабли

В picounlock.bat: b → 1 Backup Device. Бэкапов три вида, и я делал все:

LUNs: посекторный образ всех «дисков» памяти. Страховка на случай кирпича.
Partitions: те же данные, но отдельными файлами по разделам (boot, abl и т.д.). Нужны в процессе рута.
UserData: пользовательские данные. Есть экспериментальный режим Used UserData, он сохраняет только занятые участки.

При выборе устройства для Pico 4 Pro нужен вариант DDR 5 (Lite firehose). DDR 4 для обычного Pico 4.

Грабля №1: «Could not determine userdata partition size»

Скрипт переводил шлем в EDL (экран гаснет, это нормально) и сразу падал:

[Error] edl-ng failed with ExitCode: 1 / Could not determine userdata partition size

гайд

pico 4 pro

root

magisk

vrchat

vrcfacetracking

AVAБЭЛLЬ

Харош змей, харош, молодец, красавчик star

Oct 14 15:15

Mr.Patrion

что то на сложном.. 0.о

Oct 14 17:00

Sep 22 09:57

Virtual Desktop + Pico 4 Pro Eye & Face Tracking

⚠️ Ниже опущен момент установки и получения Virtual Desktop в РФ. Автор предполагает, что приложение у вас либо куплено в магазине Pico, либо вы пользуетесь народными версиями.

🤔 Что это и зачем

PicoFacialBridge - приложение для шлема, которое отправляет данные трекинга глаз и лица с Pico 4 Pro напрямую на ПК в VRCFaceTracking, минуя стриминговый клиент. Поэтому мимика работает даже там, где клиент сам её не передаёт.

На осень 2026 такой клиент по сути один - Virtual Desktop. PICO Connect, Steam Link, ALVR и WiVRn передают трекинг сами, так что на практике мост нужен именно для связки с VD.

гайд