Robotics visual novels 

Визуальное управление - техника, позволяющая задавать положение робота, по отношению к некоторому целевому объекту на основе визуальной информации. Робот наблюдает целевой объект с помощью камеры, размещенной на исполнительном механизме, принимает решение о перемещении. Информация, поступающая с камеры, может быть интерпретирована  физических координатах (задача PBVS, рис. а) или в координатах изображения (задача IBVS, рис. b).

Изображение из книги Peter Corke "Robotics, Vision and Control. Fundamental Algorithms in Python"

Более подробно о визуальном управлении можно почитать в книге

Peter Corke "Robotics, Vision and Control. Fundamental Algorithms in Python"

и статьях

François Chaumette, S. Hutchinson "Visual servo control, Part I: Basic approaches"  и "Visual servo control, Part II: Advanced approaches"

В заметке разобрано внутреннее устройство минимальной URDF-модели rrbot'a.

Бонус для подписчиков: во вложении находится вариант решения самостоятельного задания. Это launch-файл, запускающий все необходимые ноды.

Мы уже попробовали загрузить готовую модель в систему ROS2. Теперь будем разбираться в том, как всё устроено изнутри. В ближайших заметках обсудим, форматы, используемые для создания моделей роботов, а также каким образом можно эти модели загружать в симулятор. В качестве примера воспользуемся уже знакомым rrbot'ом.

Общий план работ такой:

1. Создаем простейшую urdf-модель rrbot'a и пробуем ее визуализировать с помощью rviz.

2. Усложняем модель, добавляя физические свойства, необходимые для загрузки в симулятор Gazebo (classic).

Добавлена предварительная версия конспекта к видео о преобразовании координат.

Введение в симуляцию роботов: загрузка информации из URDF-модели в систему ROS2 и использование инструмента визуализации rviz2.

Преобразования координат и способы работы с ними с помощью библиотеки tf. 

Туториал по библиотеке tf2 для ROS2 Humble

Подборка статей по математике координатных преобразований от Articulated Robotics:

Завершая знакомство с именами в ROS2, рассмотрим пример launch-файла для одновременного запуска робочерепашки и геймпада.

При необходимости рекомендую пересмотреть серии про переопределение имен и подключение геймпада

Разбираемся, как пробрасывать устройства в docker-контейнера на примере PS3-совместимого джойстика.

пакеты для работы с джойстиками

драйвер джойстика joy

преобразователь данных teleop_twist_joy

В видео разбираем как определять и использовать область видимости --ros-args для определения ROS-специфических аргументов.

Дизайн-документ по аргументам командной строки.

Заметки к видео

Ссылки на предыдущие серии, упомянутые в видео:

Всем привет, это плейлист нашего подкаста о роботах. 

В настоящее время основной темой обсуждения является система ROS2 + периодически выходят другие забавные видео.