Augmented Reality

Дополненная реальность

Дополненная реальность (AR) позволяет накладывать элементы станции RoboDK поверх входного видео или потока видео в реальном времени.

Эта функция доступна в RoboDK после включения дополнения «Image Processing Editor».

Функции дополнения «Image Processing Editor» можно включить, перейдя в меню «Tools» ➔ «Add-In Manager» и активировав «Image Processing Editor».

Augmented Reality - Изображение 1

После включения дополнения «Image Processing Editor» необходимо подготовить станцию к работе с дополненной реальностью. Шаги, необходимые для успешного рендеринга AR, можно разделить на три этапа:

1.Выберите и создайте ориентирный маркер. Импортируйте маркер в RoboDK.

2.Создайте моделируемую камеру в RoboDK.

3.Создайте конвейер распознавания.

Выбор и создание ориентира

Дополнение дополненной реальности требует использования маркеров для оценки позы и траектории движения камеры.

RoboDK поддерживает 4 типа маркеров OpenCV: Aruco, Chessboard, Charuco Diamond и Charucoboard соответственно, как показано на следующих изображениях:

Augmented Reality - Изображение 2Augmented Reality - Изображение 3Augmented Reality - Изображение 4Augmented Reality - Изображение 5

При выборе маркера необходимо учитывать множество факторов. Важно принимать во внимание размер станции, разрешение камеры, частоту смены кадров, движение, освещение и заслонение. Например, для большой станции с фиксированной незаслонённой камерой использование маркера Aruco будет чрезвычайно выгодным, поскольку идентификатор одного такого маркера можно распознать с гораздо большего расстояния, чем 4 или более идентификаторов на маркерах Charuco Diamond или Charucoboard того же размера; кроме того, отсутствие смазывания изображения при движении и заслонения гарантирует, что маркер будет распознаваться в любое время. Если маркер время от времени частично закрывается, следует выбрать Charucoboard, поскольку для определения положения камеры не требуется распознавание всех идентификаторов. Ниже приведена таблица, которая поможет вам выбрать тип маркера:

Aruco

Charuco Diamond

Charucoboard

Chessboard

 

Преимущества

- Более простая настройка

- Наиболее быстрое время рендеринга

- Наиболее сбалансированный вариант

(Точность/время рендеринга)

- Устойчивость к частичной окклюзии

- Наибольшая точность

- Калибровка камеры

 

Недостатки

 

(Маркеры должны постоянно находиться в поле обзора камеры)

 

- Потеря отслеживания при заслонении

- Наименее точная поза

- Потеря отслеживания при заслонении

- Более сложная настройка

- Длительное время рендеринга

- Не подходит для AR в реальном времени

- Сложность обнаружения

- Не допускает заслонения

 

 

 

Рекомендуемые области применения

- AR в реальном времени с высокой частотой кадров и низким разрешением

- Длинные видеоролики

- Видео без препятствий

- Стационарная камера

- Крупные станции

- Улучшенное отслеживание для AR в реальном времени

- Видео высокого разрешения

- Медленное перемещение камеры

- Видео, в котором маркер частично закрыт

- Видеоролики с высокими требованиями к точности определения положения объекта

- Калибровка камеры

(Шахматная доска может использоваться для генерации пользовательских файлов калибровки камеры, если стандартной калибровки недостаточно)

После выбора подходящего маркера можно настроить идентификаторы маркера, его размер, расположение шахматной доски и размер квадратов.

Затем маркер необходимо сохранить и распечатать. С помощью функции «Сохранить как…» можно сохранить изображение маркера в формате PNG на вашем компьютере, после чего его легко импортировать в RoboDK. Для печати маркера можно воспользоваться опцией «Копировать в буфер обмена», чтобы быстро импортировать изображение в текстовый или графический редактор, например Word или GIMP, где его можно масштабировать до нужного размера и распечатать.

Импортируйте маркер

Вам необходимо импортировать маркер в RoboDK, чтобы указать его положение относительно робота и других объектов.

Для правильного размещения маркера выполните следующие действия:

1.В вашей станции RoboDK создайте новую систему отсчета.

2.Щелкните правой кнопкой мыши по новой системе отсчета и выберите «Добавить элемент…».

3.Найдите и выберите файл PNG с маркером, созданный с помощью генератора реперных маркеров (Fiducial Marker Generator).

4.Отрегулируйте масштаб виртуального маркера в соответствии с размером реального маркера:

Пример: по умолчанию размер маркера Charuco Diamond составляет 106,186 мм × 106,186 мм. Если размер напечатанного маркера составляет 280 мм × 280 мм, необходимо применить коэффициент масштабирования 2,63688 → (280 / 106,186). Для этого дважды щелкните объект-маркер и выберите «Дополнительные параметры» ➔«Применить масштаб».

5.Выровняйте центр маркера по началу системы отсчета, при этом ось Y должна быть направлена к верхнему идентификатору.

Пример: чтобы переместить маркер, дважды щелкните по объекту-маркеру и измените его положение относительно системы координат маркера. В нашем примере маркер необходимо было сместить на 140 мм по оси X, на 140 мм по оси Y и провести вращение на 180° вокруг оси Z. Пример правильного положения см. на изображении ниже.

Augmented Reality - Изображение 6

6.Разместите систему координат маркера на станции, чтобы выровнять объекты станции относительно маркера.

Настройте симулированную камеру

Для точного наложения объектов станции на видеопоток необходимо создать симулированную камеру. Эта симулированная камера использует позу и траекторию камеры, рассчитанные с помощью ориентировочных маркеров, для записи станции RoboDK под тем же углом, с того же расстояния и по той же траектории, что и входной видеопоток.

Разрешение этой симулированной камеры должно совпадать с разрешением входного видеосигнала, чтобы масштабирование маркеров было точным. Ниже приведены инструкции по добавлению виртуальной камеры к станции:

1.Добавьте камеру на свою станцию, выбрав в панели инструментов «Редактор обработки изображений» ➔«Добавить камеру RoboDK».

2.Щелкните правой кнопкой мыши по камере или потоку видео с камеры и выберите «Настройки камеры».

3.Настройте параметры виртуальной камеры в соответствии с разрешением входного видеосигнала.

4.Выровняйте систему отсчета таким образом, чтобы симулированная камера могла видеть виртуальный маркер Aruco.

Augmented Reality - Изображение 7

Для достижения наилучших результатов физический входной видеосигнал следует записывать с учётом следующих рекомендаций:

1.Разместите маркер на ровной поверхности в хорошо освещённом помещении. Для достижения оптимальных результатов учитывайте размеры и расстояние объектов на виртуальной станции относительно маркера и условий съёмки.

2.Согласованные настройки камеры (реальные и камеры для моделирования должны иметь одинаковые настройки разрешения).

3.Разборчивые идентификаторы Aruco (камера должна обеспечивать разборчивость идентификаторов. Следует избегать: быстрого/размытого видео, низкого разрешения камеры, большого расстояния между маркером и камерой).

4.Убедитесь, что видеозапись имеет формат .mp4 или .avi

Создание пользовательского файла калибровки камеры

Чтобы создать пользовательский файл калибровки камеры, распечатайте шахматную доску и сделайте с помощью камеры около 10–20 снимков доски, используя те же настройки, что и при съёмке видео.

Каждый снимок должен содержать шахматную доску целиком. На снимках ориентация и расположение шахматной доски должны варьироваться.

После съёмки снимков перейдите в «Image Processing Editor» ➔«Calibrate from files…» и введите параметры шахматной доски. Затем выберите снимки. RoboDK сгенерирует файл калибровки, который можно будет использовать при создании конвейера обработки.

Создание конвейера обнаружения

Заключительным этапом подготовки станции RoboDK к работе с AR является создание конвейера для обнаружения реперных маркеров. Этот конвейер обнаружения будет использоваться для расчёта позы по реальным и виртуальным маркерам, а также для наложения объектов, сгенерированных симулированной камерой RoboDK, на входной видеопоток.

Для создания конвейера обнаружения выполните следующие действия:

1.Перейдите в меню «Редактор обработки изображений» «Редактор обработки изображений» (Image Processing Editor)на панели инструментов.

2.Если вы используете Video AR, выберите симулированную камеру RoboDK; для Camera AR выберите источник камеры.

3.Выберите нужный маркер в разделе «Детекторы» ➔«Маркеры Charuco Diamond».

4.Установите необходимые параметры с учётом физических размеров маркера.

5.В разделе «Устройство» укажите файл калибровки. Рекомендуется использовать «Общую калибровку».

6.Сохраните проект конвейера в разделе «Файл» ➔«Сохранить проект как…»

После подготовки станции, записи входного видео и сохранения конвейера обработки мы можем приступить к созданию AR-видео. В следующих разделах подробно описано, как создавать AR-видео и рендеры AR в реальном времени, а также приведён раздел по устранению неполадок, который поможет исправить нежелательные результаты рендеринга.

Создание AR на основе видеопотока

Инструмент «Видео AR» используется для создания AR-наложения поверх заранее записанного видео. Это идеально подходит для демонстрационных или рекламных роликов. Настройки станции можно изменять во время рендеринга видео, и изменения будут применены немедленно.

Выполните следующие действия, чтобы создать эффекты AR-наложения на видео:

1.Скройте все объекты в вашей станции, которые не должны отображаться в AR-видео.

2.Выберите «Редактор обработки изображений» → «Дополненная реальность (видео)».

3.Если сохранено несколько конвейеров обработки, выберите тот, который соответствует вашему маркеру.

4.Выберите систему отсчета, содержащую маркер.

5.Выберите входной видеофайл.

6.Укажите местоположение и имя выходного видеофайла.

7.Контролируйте процесс рендеринга и вносите необходимые изменения для достижения желаемого качества.

8.По завершении рендеринга видео вы можете закрыть окно «AR Camera Frame».

Смешанная реальность

Термин «смешанная реальность» (MR) в RoboDK означает замену фона RoboDK на прямую трансляцию с гарнитуры виртуальной реальности. Использование этой функции в RoboDK VR позволяет объединить ваше реальное окружение, SteamVR и RoboDK.

Требования:

●VR-гарнитура Quest 2 / Quest 3 и ПК с поддержкой VR

●Virtual Desktop + Virtual Desktop Streamer

●SteamVR + Meta Quest Link

Для включения смешанной реальности выполните следующие действия:

1.Включите режим разработчика на Quest 2/3:

Как включить режим разработчика на Meta Quest 3? (vr-expert.com)

2.Запустите приложение Meta Quest Link на вашем ПК и следуйте инструкциям, чтобы подключить гарнитуру к ПК:

Настройка и подключение Meta Quest Link и Air Link | Meta Store

3.Подключитесь к компьютеру с помощью приложения Virtual Desktop

4.В приложении Virtual Desktop включите API VR Passthrough.

5.Измените настройки VR Passthrough: установите цвета маски Passthrough на 0, 255, 0 (зеленый).

Augmented Reality - Изображение 8

6.В RoboDK установите для верхнего и нижнего фона одинаковый оттенок зелёного:

«Инструменты» → «Параметры» → «Отображение» → «Цвет фона» → Установите значения 0, 255, 0 (зелёный)

Augmented Reality - Изображение 9

7.Запустите SteamVR через Virtual Desktop.

8.Запустите RoboDK и включите режим VR: «Подключение» ➔«Подключить VR-гарнитуру».