Realidad aumentada (Editor de procesamiento de imágenes)

La realidad aumentada (RA) permite superponer elementos de una estación RoboDK sobre un vídeo de entrada o una transmisión de vídeo en directo

Esta función está disponible en RoboDK habilitando el Addin Editor de procesamiento de imágenes.

Las funciones del Editor de procesamiento de imágenes pueden activarse navegando a HerramientasàAdministrador de plugins y activando el Editor de procesamiento de imágenes.

Con el Addin Editor de procesamiento de imágenes activado, ahora hay que preparar la estación para la Realidad Aumentada. Los pasos que hay que dar para crear un render AR con éxito pueden resumirse en 3 secciones:

1.Seleccione y cree un marcador de referencia. Importe el marcador al RoboDK.

2.Cree una cámara simulada en RoboDK.

3.Cree una tubería de detección.

Seleccionar y crear un marcador fiducial

El Addin de realidad aumentada requiere el uso de marcadores para estimar la pose y la trayectoria de la cámara.

RoboDK admite 4 tipos de marcadores OpenCV: Aruco, Tablero de Ajedrez, Diamante Charuco y Charucoboard respectivamente, como se muestra en las siguientes imágenes:

Hay muchos factores a tener en cuenta a la hora de seleccionar un marcador. Es importante tener en cuenta el tamaño de la estación, la resolución de la cámara, la frecuencia de imagen, el movimiento, la iluminación y la oclusión. Por ejemplo, una estación grande con una cámara fija no ocluida se beneficiará enormemente del uso de un marcador Aruco, ya que el único ID del marcador puede detectarse desde mucho más lejos que los 4 o más ID de un marcador Charuco Diamond o Charucoboard del mismo tamaño, y la ausencia de desenfoque por movimiento y oclusión puede garantizar que el marcador se detectará en todo momento. Si el marcador está ocasionalmente parcialmente ocluido, debería seleccionarse el Charucoboard, ya que no necesita que se detecten todos los ID para determinar la posición de la cámara. A continuación encontrará una tabla que le ayudará en la selección de los tipos de marcador:

Una vez seleccionado el marcador adecuado, se pueden personalizar los identificadores del marcador, el tamaño y la disposición del tablero de ajedrez y el tamaño del cuadrado

A continuación, el marcador debe guardarse e imprimirse. La función "Guardar como..." puede utilizarse para guardar un PNG del marcador en su ordenador, que luego puede importarse fácilmente al RoboDK. Para imprimir el marcador, se puede utilizar la opción "Copiar al portapapeles" para importar rápidamente la imagen en un editor de texto/imágenes como Word o GIMP para escalarla a su tamaño e imprimirla.

Importar el marcador

Debe importar el marcador en RoboDK para indicar dónde se encuentra la ubicación del marcador con respecto al robot y a otros objetos.

Siga estos pasos para colocar correctamente el marcador:

1.En su estación RoboDK, cree un nuevo marco de referencia.

2.Haga clic con el botón derecho en el nuevo marco de referencia y seleccione "Añadir elemento...".

3.Busque y seleccione el marcador PNG creado con el Generador de marcadores fiduciales.

4.Ajuste la escala del marcador virtual para que coincida con el tamaño del marcador real:

Ejemplo: El marcador Charuco Diamond tiene por defecto 106,186mm x 106,186mm. Si el tamaño del marcador impreso es de 280 mm x 280 mm, habrá que aplicar un factor de escala de 2,63688 → ( 280 / 106,186 ). Esto puede hacerse haciendo doble clic en el objeto marcador, seleccionando Más opciones à Aplicar escala.

5.Alinee el centro del marcador con el origen del marco de referencia, con el eje Y apuntando al ID superior.

Ejemplo: Para mover el marcador, haga doble clic en el objeto marcador y modifique la posición del objeto con respecto al marco del marcador. Para nuestro ejemplo, era necesario mover el marcador 140 mm en X, desplazarlo 140 mm en Y y girarlo 180° en el eje Z. Vea en la imagen inferior un ejemplo de la posición correcta.

6.Coloque el marco marcador en la estación para alinear los objetos de la estación con respecto al marcador.

Configure la cámara simulada

Para superponer con precisión los activos de la estación sobre la alimentación de vídeo, debe crearse una cámara simulada. Esta cámara simulada utiliza la pose de la cámara y la trayectoria calculada utilizando los marcadores fiduciales para grabar la estación RoboDK desde el mismo ángulo, distancia y trayectoria que la alimentación de vídeo de entrada.

La resolución de esta cámara simulada debe coincidir con la del vídeo de entrada para que el escalado del marcador sea preciso. A continuación se describen los pasos para añadir una cámara virtual a la estación:

1.Añada una cámara a su estación seleccionando Editor de procesamiento de imágenes à Añadir una cámara RoboDK en la barra de herramientas.

2.Haga clic con el botón derecho del ratón en la cámara o en el canal de la cámara y seleccione "Ajustes de la cámara".

3.Ajuste la configuración de la cámara virtual para que coincida con la resolución de la fuente de vídeo de entrada.

4.Alinee el marco de referencia para que la cámara simulada pueda ver el marcador virtual Aruco.

Para obtener los mejores resultados, el vídeo físico de entrada debe grabarse teniendo en cuenta las siguientes consideraciones:

1.Coloque el marcador sobre una superficie plana en un entorno bien iluminado. Para obtener resultados óptimos, tenga en cuenta el tamaño y la distancia de los objetos de la estación virtual con respecto al marcador y al entorno de grabación.

2.Ajustes coherentes de la cámara (las cámaras real y simulada deben tener ajustes de resolución coincidentes).

3.Identificación legible de Aruco (La cámara debe mantener la identificación legible. Cosas a evitar: Tomas rápidas/borrosas, Baja resolución de la cámara, Alta distancia del marcador a la cámara).

4.Asegúrese de que el vídeo está en formato .mp4 o .avi

Crear un archivo de calibración de cámara personalizado

Para crear un archivo personalizado de calibración de la cámara, imprima un tablero de ajedrez y tome unas 10-20 imágenes del tablero con la cámara, utilizando los mismos ajustes que al grabar un vídeo.

Cada imagen debe contener el tablero de ajedrez completo. Las imágenes deben variar la orientación y la ubicación del tablero de ajedrez en cada imagen.

Una vez tomadas las imágenes, vaya a Editor de procesamiento de imágenes à Calibrar a partir de archivos... y rellene los parámetros del tablero de ajedrez. A continuación, seleccione las imágenes. RoboDK generará un archivo de calibración que puede utilizarse al crear una canalización.

Crear una canalización de detección

El último paso para preparar la estación RoboDK para la RA es crear una canalización para detectar los marcadores fiduciales. Esta tubería de detección se utilizará para calcular la pose a partir de los marcadores reales y virtuales y superponer los activos de la cámara RoboDK simulada sobre la alimentación de vídeo de entrada

Siga estos pasos para crear una canalización de detección:

1.Navegue hasta Editor de procesamiento de imágenes à Editor de procesamiento de imágenes en la barra de herramientas.

2.Seleccione la cámara RoboDK simulada si utiliza AR de vídeo, para AR de cámara seleccione la fuente de la cámara.

3.Seleccione su marcador en Detectores à Marcadores Charuco Diamante.

4.Ajuste los parámetros necesarios en función de las dimensiones físicas del marcador.

5.En Dispositivo, establezca el archivo de calibración. Se recomienda utilizar Calibración genérica.

6.Guarde el proyecto pipeline en Archivo à Guardar proyecto como

Con la estación preparada, un vídeo de entrada grabado y un canal de procesamiento guardado, podemos empezar a crear vídeos RA. Las siguientes secciones detallan cómo crear vídeos RA y renders RA en directo, así como una sección de resolución de problemas para ayudar a solucionar renders no deseados.

Crear una RA a partir de un vídeo

La herramienta Vídeo AR se utiliza para crear una superposición AR encima de un vídeo pregrabado. Esto es ideal para vídeos de demostración o promocionales. La estación puede modificarse mientras se renderiza el vídeo, y los cambios se aplicarán inmediatamente.

Siga estos pasos para crear efectos de superposición AR en un Vídeo:

1.Oculte todos los objetos de su estación que no desee renderizar en el vídeo AR.

2.Seleccione Editor de procesamiento de imágenes → Realidad aumentada (Vídeo).

3.Si se guardan varias canalizaciones, seleccione la correcta para su marcador.

4.Seleccione el marco de referencia que contiene el marcador.

5.Seleccione el archivo de vídeo de entrada.

6.Seleccione la ubicación y el nombre del vídeo de salida.

7.Supervise el proceso de renderizado y realice los cambios necesarios para lograr la calidad deseada.

8.Una vez que el vídeo haya terminado de renderizarse, puede cerrar el Marco de la Cámara AR.

Realidad Mixta

La Realidad Mixta (RM) en RoboDK se refiere a la sustitución del fondo de RoboDK por un feed passthrough en vivo de auriculares VR. Hacer esto en RoboDK VR permite mezclar su entorno local, SteamVR y RoboDK.

Requisitos:

●Cascos de RV Quest 2 / Quest 3 y un PC apto para RV

●Escritorio virtual + Streamer de escritorio virtual

●SteamVR + Enlace Meta Quest

Siga estos pasos para habilitar la Realidad Mixta:

1.Active el modo desarrollador de la Quest 2/3:

¿Cómo activar el modo desarrollador en la Meta Quest 3? (vr-expert.com)

2.Inicie Meta Quest Link en su PC y siga las instrucciones para vincular sus auriculares al PC:

Configure y conecte Meta Quest Link y Air Link | Meta Store

3.Conéctese a su PC utilizando el Escritorio Virtual

4.En la aplicación Escritorio Virtual active la API VR Passthrough.

5.Modifique los ajustes del Passthrough VR: Establezca los colores de la máscara Passthrough en 0, 255, 0 (Verde).

6.En RoboDK, establezca las opciones de fondo superior e inferior en el mismo tono de verde:

Herramientas -> Opciones -> Pantalla -> Color de fondo -> Establecer en 0, 255, 0 (Verde)

7.Inicie SteamVR a través de Virtual Desktop.

8.Inicie RoboDK y active el modo RV: Conecte➔ Conecte el casco de RV.