RoboDK предоставляет множество утилит для моделирования, разработки и внедрения систем компьютерного зрения. RoboDK позволяет моделировать 2D- и 3D-камеры для разработки и обучения ваших алгоритмов компьютерного зрения. Вы также можете интегрировать реальные 2D- и 3D-камеры.
В данном документе представлены инструкции по выполнению некоторых шагов для моделирования камер.

Моделируемые камеры позволяют увидеть то, что видит камера. Вы можете задать параметры камеры, такие как размер сенсора, размер пикселя, поле обзора, и увидеть смоделированное изображение с камеры. Камеры можно прикрепить к роботу или разместить в стационарном положении.
Для добавления камеры необходимо прикрепить её к опорной точке, чтобы определить её положение. Обычно это делается с помощью системы отсчета.
1.Выберите «Программа» ➔«Добавить систему отсчета», чтобы создать новую систему координат. Более подробная информация приведена в разделе «Начало работы».
2.Разместите систему координат в желаемом месте расположения камеры, где координата XYZ соответствует положению камеры, ось Z+ обозначает направление наведения, а ось Y+ — направление вниз.
3.Выберите «Подключить» → «Моделирование 2D-камеры» и выберите систему отсчета.
Теперь у вас есть камера по умолчанию, привязанная к опорной точке.
Окно предварительного просмотра камеры позволяет увидеть то, что видит камера. Это окно открывается автоматически при добавлении новой камеры.
Чтобы вновь открыть окно предварительного просмотра камеры, достаточно дважды щелкнуть по элементу камеры в дереве. Вы также можете щелкнуть по нему правой кнопкой мыши в дереве и выбрать пункт «Показать камеру». По умолчанию окно предварительного просмотра можно изменять по размеру, сворачивать или закрывать (дополнительные параметры см. в следующем разделе).

При открытии окна предварительного просмотра рабочая область камеры также отображается в 3D-среде. Вы можете отключить рабочую область камеры, щелкнув правой кнопкой мыши по камере и выбрав пункт «Показать рабочую область камеры».
Настройки камеры позволяют настроить параметры вашей камеры для получения реалистичного изображения в среде RoboDK, подвергаемой моделированию.
Чтобы изменить настройки камеры, щелкните её правой кнопкой мыши в дереве и выберите «Настройки камеры». RoboDK предоставляет следующие настройки по умолчанию для вновь добавленных камер:
●Камера: указывает имя привязки (Система координат 1)
●Фокусное расстояние (мм): фокусное расстояние в миллиметрах (5,00). Это расстояние между виртуальным оптическим центром объектива и виртуальным датчиком изображения камеры. Изменение этого значения повлияет на размер пикселя.
●Размер пикселя (мкм): размер пикселя в микрометрах (2,481). Изменение этого значения повлияет на поле зрения.
●Поле зрения (град.): поле зрения (FOV) в градусах (30,0). Этот параметр определяет размер области, которую может охватить камера. Изменение этого значения повлияет на размер пикселя.
●Рабочее расстояние (мм): рабочее расстояние в миллиметрах (2000,0). Это расстояние, на котором камера может воспринимать окружающую среду; объекты, расположенные за пределами этого расстояния, не будут отображаться на изображении.
●Фиксированный размер датчика: если этот флажок не установлен, размер датчика камеры (или разрешение) определяется размером окна предварительного просмотра камеры, размер которого пользователь может изменять.
●Размер датчика камеры: при фиксированном размере датчика указывает ширину и высоту камеры в пикселях. Изменение размера окна предварительного просмотра не повлияет на этот размер.
●Разрешить изменение размера окна: позволяет пользователю изменять размер окна предварительного просмотра без изменения размера датчика. Например, можно изменить размер окна до 720p, сохранив разрешение на уровне 4K.
●Перспективный вид: снятие флажка превращает камеру в ортогональную, устраняя перспективу.
●Тип вида: определяет тип вида камеры, например «Цвет», «Оттенки серого» или «Глубина». Тип вида изменяет выходное изображение в соответствии с относящимися к нему данными.
●Закреплённый вид: позволяет перетаскивать окно предварительного просмотра на панели инструментов, в отличие от отдельного плавающего окна.
●Настройка цветов освещения: заменяет цвета освещения по умолчанию на заданные вами (цвета окружающего, рассеянного и зеркального освещения). Это не влияет на цвет фона и совместимо только с типом вида «Цвет».
●Цвет фона: цвет неизвестного, бесконечности. Этот цвет используется в том случае, если на расстоянии от датчика камеры до рабочего расстояния не обнаруживается никаких объектов.

Через API можно получить доступ к изображению с камеры для всех типов просмотра. Например, вы можете получить цветное изображение (8 бит), изображение в оттенках серого (8 бит) и карту глубины (8 бит или 32 бита) в виде файла на диске или в виде необработанных данных.
Доступ к данным симулированной камеры позволяет обрабатывать их внешними средствами — либо с помощью стороннего каталога обработки изображений, либо с помощью вашего собственного.
Хотя RoboDK не предоставляет собственного каталога для обработки изображений и не связано с каким-либо каталогом, наш API на языке Python содержит примеры кода для обработки 2D- и 3D-изображений. Рассматриваются следующие темы:
●Получение данных изображения и их отображение в режиме реального времени.
●Калибровка камеры-обскуры с использованием шахматного шаблона.
●Оценка позы камеры с использованием поддерживаемых шаблонов.
●Наложение изображения от симулированной камеры на сигнал с аппаратной камеры для создания дополненной реальности.
●Считывание штрих-кодов и QR-кодов.
●Обнаружение таких характеристик, как «блобы», эталонное изображение, площадь поверхности, контуры, моменты изображения и многое другое.
●Получение карт глубины, их преобразование в облака точек, реконструкция сеток и создание 3D-трансляции в реальном времени.
Чтобы ознакомиться с примерами использования нашего API на языке Python, перейдите по следующей ссылке: https://robodk.com/doc/en/PythonAPI/examples.html.
Калибровка «рука-глаз» — это процесс калибровки положения камеры относительно фланца робота или инструмента.
RoboDK позволяет моделировать процесс калибровки «рука-глаз». Вы можете использовать ту же процедуру для калибровки реальных камер относительно фланца робота или инструмента.

Полностью рабочий пример вы найдёте в разделе примеров API RoboDK для Python: https://robodk.com/doc/en/PythonAPI/examples.html#camera-hand-eye-calibration.
В данном разделе представлены примеры интеграции систем компьютерного зрения в Ваш производственный процесс.
Большинство примеров, в которых используется компьютерное зрение, требуют написания кода для полного раскрытия потенциала алгоритмов компьютерного зрения.
С помощью виртуальной камеры в RoboDK можно автоматически считывать штрих-коды, в том числе QR-коды, а также одномерные штрих-коды EAN-13 и UPC-A.
Вы можете перетащить изображения штрих-кодов в RoboDK и создать новую виртуальную камеру, направленную на ваш штрих-код.
Пример вы найдёте в разделе Python API RoboDK: https://robodk.com/doc/en/PythonAPI/examples.html#qr-codes-and-barcodes

С помощью симулированной камеры в RoboDK можно получить оценку положения объекта (2D-поза).
Пример можно найти в разделе «Примеры API RoboDK»: https://robodk.com/doc/en/PythonAPI/examples.html#object-detection
