Augmented Reality

Realitat Augmentada

La Realitat Augmentada (RA) permet sobreposar elements d'una estació de RoboDK sobre un vídeo d'entrada o una retransmissió de vídeo en directe.

Aquesta funció està disponible a RoboDK habilitant l'Add-In Image Processing Editor.

Les funcions de l'Image Processing Editor es poden activar navegant a Eines Gestor d'Add-Ins i activant l'Image Processing Editor.

Augmented Reality - Imatge 1

Amb l'Add-In Image Processing Editor habilitat, l'estació s'ha de preparar per a la realitat augmentada. Els passos que cal seguir per crear un renderitzat de RA reeixit es poden resumir en 3 seccions:

1.Seleccioneu i creeu un marcador fiduciari. Importeu el marcador a RoboDK.

2.Creeu una càmera simulada a RoboDK.

3.Creeu un flux de detecció.

Seleccioneu i creeu un marcador fiducial

L'Add-in de realitat augmentada requereix l'ús de marcadors per estimar la posa i la trajectòria de la càmera.

RoboDK admet 4 tipus de marcadors OpenCV: Aruco, Chessboard, Charuco Diamond i Charucoboard, respectivament, com es mostra a les imatges següents:

Augmented Reality - Imatge 2Augmented Reality - Imatge 3Augmented Reality - Imatge 4Augmented Reality - Imatge 5

Hi ha molts factors a tenir en compte a l'hora de seleccionar un marcador. La mida de l'estació, la resolució de la càmera, la freqüència d'imatges, el moviment, la il·luminació i l'oclusió són importants de considerar. Per exemple, una estació gran amb una càmera fixa i no ocultada es beneficiarà molt d'utilitzar un marcador Aruco, ja que la identificació única del marcador es pot detectar des de molt més lluny que les quatre o més identificacions d'un marcador Charuco Diamond o Charucoboard de la mateixa mida, i l'absència de desenfocament de moviment i d'oclusió pot garantir que el marcador serà detectat en tot moment. Si el marcador queda parcialment ocult ocasionalment, s'hauria de seleccionar el Charucoboard, ja que no necessita que es detectin tots els ID per determinar la posició de la càmera. A continuació es mostra una taula per ajudar en la selecció dels tipus de marcador:

Aruco

Charuco Diamond

Charucoboard

Tauler d'escacs

 

Pros

- Configuració més senzilla

- Temps de renderització més ràpid

- Opció més equilibrada

(Precisió/Temps de renderització)

- Resistent a l'oclusió parcial

- Més precisa

- Calibratge de la càmera

 

Contres

 

(Els marcadors han de romandre a la vista de la càmera en tot moment)

 

- Perde el seguiment quan queda ocultat

- Postura menys precisa

- Perde el seguiment quan queda ocult

- Més difícil de configurar

- Llargs temps de renderització

- No funciona bé amb AR en directe

- Més difícil de detectar

- No es pot ocultar

 

 

 

Aplicacions suggerides

- AR en directe d'alta FPS / baixa resolució

- Vídeos llargs

- Vídeos sense obstruccions

- Càmera fixa

- Estacions grans

- Millor seguiment per a RA en directe

- Vídeos d'alta resolució

- Moviment lent de la càmera

- Vídeo que conté una oclusió parcial del marcador

- Vídeos amb requisits d'alta precisió de posició.

- Calibratge de la càmera

(Es pot utilitzar l'escacs per generar fitxers de calibratge de la càmera personalitzats si la calibratge genèrica no és suficient)

Un cop seleccionat el marcador adequat, es poden personalitzar els ID del marcador, la mida i la disposició del tauler d'escacs i la mida de les caselles.

A continuació, el marcador s'ha de desar i imprimir. Es pot utilitzar la funció «Desa com a…» per desar un fitxer PNG del marcador a l'ordinador; aquest es podrà importar fàcilment a RoboDK. Per imprimir el marcador, es pot utilitzar l'opció «Copia al porta-retalls» per importar ràpidament la imatge en un editor de text/imatge com ara el Word o el GIMP, per escalar-la a la mida desitjada i imprimir-la.

Importa el marcador

Hauríeu d'importar el marcador a RoboDK per indicar-ne la ubicació respecte al robot i altres objectes.

Seguiu aquests passos per col·locar correctament el marcador:

1.A la vostra estació de RoboDK, creeu un nou sistema de referència.

2.Feu clic amb el botó dret al nou sistema de referència i seleccioneu "Afegeix element…".

3.Cerqueu i seleccioneu el fitxer PNG del marcador creat amb el Fiducial Marker Generator.

4.Ajusteu l'escala del marcador virtual perquè coincideixi amb la mida del marcador real:

Exemple: el marcador Charuco Diamond té una mida de 106,186 mm x 106,186 mm per defecte. Si la mida del marcador imprès és de 280 mm x 280 mm, s'ha d'aplicar un factor d'escala de 2,63688 → (280 / 106,186). Això es pot fer fent doble clic a l'objecte marcador, seleccionant Més opcions à Aplicar escala.

5.Alineeu el centre del marcador amb l'origen del sistema de referència, amb l'eix Y apuntant cap a l'ID superior.

Exemple: per moure el marcador, feu doble clic a l'objecte marcador i modifiqueu la posició de l'objecte respecte al sistema de referència del marcador. Per al nostre exemple, calia desplaçar el marcador 140 mm en l'eix X, 140 mm en l'eix Y i girar-lo 180° en l'eix Z. Consulteu la imatge de sota per veure un exemple de la posició correcta.

Augmented Reality - Imatge 6

6.Col·loqueu el sistema de referència del marcador a l'estació per alinear els objectes de l'estació respecte al marcador.

Configurar la càmera simulada

Per superposar amb precisió els actius de l'estació sobre el flux de vídeo, cal crear una càmera simulada. Aquesta càmera simulada utilitza la posa i la trajectòria de la càmera calculades amb els marcadors fiducials per gravar l'estació de RoboDK des del mateix angle, distància i trajectòria que el flux de vídeo d'entrada.

Aquesta resolució de càmera simulada ha de coincidir amb la del vídeo d'entrada perquè l'escala del marcador sigui precisa. A continuació es detallen els passos per afegir una càmera virtual a l'estació:

1.Afegiu una càmera a la vostra estació seleccionant Image Processing Editor à Add a RoboDK Camera a la barra d'eines.

2.Feu clic amb el botó dret a la càmera o al canal de la càmera i seleccioneu "Configuració de la càmera".

3.Ajusteu la configuració de la càmera virtual perquè coincideixi amb la resolució del flux de vídeo d'entrada.

4.Alineeu el sistema de referència perquè la càmera simulada pugui veure el marcador Aruco virtual.

Augmented Reality - Imatge 7

Per obtenir els millors resultats, el vídeo d'entrada físic s'hauria de gravar tenint en compte les consideracions següents:

1.Col·loqueu el marcador en una superfície plana en un entorn ben il·luminat. Per obtenir els millors resultats, tingueu en compte la mida i la distància dels objectes de l'estació virtual respecte al marcador i a l'entorn de gravació.

2.Configuració de la càmera consistent (les càmeres reals i simulades han de tenir la mateixa configuració de resolució).

3.ID d'Aruco llegibles (la càmera ha de mantenir els ID llegibles. Coses a evitar: imatges ràpides o borroses, resolució de la càmera baixa, distància del marcador a la càmera elevada).

4.Assegureu-vos que el vídeo estigui en format .mp4 o .avi

Creeu un fitxer de calibratge de càmera personalitzat

Per crear un fitxer de calibratge de càmera personalitzat, imprimiu un tauler d'escacs i feu unes 10-20 imatges del tauler amb la càmera, utilitzant la mateixa configuració que quan graveu un vídeo.

Cada imatge ha de contenir tot el tauler d'escacs. Les imatges han de variar l'orientació i la ubicació del tauler d'escacs en cada imatge.

Un cop fetes les imatges, navegueu fins a Editor de processament d'imatges à Calibrar a partir de fitxers… i ompliu els paràmetres del tauler d'escacs. A continuació, seleccioneu les imatges. RoboDK generarà un fitxer de calibratge que es pot utilitzar en crear un pipeline.

Creeu un pipeline de detecció

El pas final per preparar l'estació de RoboDK per a la RA és crear un pipeline per detectar els marcadors fiducials. Aquest pipeline de detecció s'utilitzarà per calcular la posa a partir dels marcadors reals i virtuals i superposar els actius de la càmera simulada de RoboDK sobre el senyal de vídeo d'entrada.

Seguiu aquests passos per crear un pipeline de detecció:

1.Navegueu a Editor de processament d'imatges à Editor de processament d'imatges a la barra d'eines.

2.Seleccioneu la càmera RoboDK simulada si feu servir Video AR; per a Camera AR, seleccioneu la font de la càmera.

3.Seleccioneu el vostre marcador a Detectors à Charuco Diamond Markers.

4.Establiu els paràmetres necessaris en funció de les dimensions físiques del marcador.

5.A Dispositiu, establiu el fitxer de calibratge. Es recomana utilitzar Calibratge genèric.

6.Deseu el projecte de pipeline a Fitxer à Desa el projecte com…

Amb l'estació preparada, un vídeo d'entrada gravat i un pipeline de processament desat, podem començar a crear vídeos de RA. Les seccions següents detallen com crear vídeos de RA i renderitzats de RA en directe, així com una secció de resolució de problemes per ajudar a solucionar renderitzats no desitjats.

Crear una RA a partir d'un flux de vídeo

L'eina de vídeo RA s'utilitza per crear una superposició de RA sobre un vídeo pregravat. Això és ideal per a vídeos de demostració o promocionals. L'estació es pot modificar mentre el vídeo s'està renderitzant, i els canvis s'aplicaran immediatament.

Seguiu aquests passos per crear efectes de superposició de RA en un vídeo:

1.Amagueu tots els objectes de l'estació que no vulgueu que es renderitzin al vídeo de RA.

2.Seleccioneu Editor de processament d'imatges ➔ AugmentedReality (Video).

3.Si s'han desat diverses pipelines, seleccioneu la pipeline correcta per al vostre marcador.

4.Seleccioneu el sistema de referència que conté el marcador.

5.Seleccioneu el fitxer de vídeo d'entrada.

6.Seleccioneu la ubicació i el nom del vídeo de sortida.

7.Superviseu el procés de renderització i feu els canvis que calguin per assolir la qualitat desitjada.

8.Un cop s'hagi completat el renderitzat del vídeo, podeu tancar el sistema de referència de la càmera de RA.

Realitat Mixta

Realitat Mixta (RM) a RoboDK fa referència a substituir el fons de RoboDK per una transmissió en directe de pas a través (passthrough) des d'un visor de realitat virtual. Fer això a RoboDK VR permet barrejar el vostre entorn local, SteamVR i RoboDK.

Requisits:

●Visor de realitat virtual Quest 2 / Quest 3 i un PC compatible amb VR

●Virtual Desktop + Virtual Desktop Streamer

●SteamVR + Meta Quest Link

Seguiu aquests passos per activar la Realitat Mixta:

1.Activeu el mode de desenvolupador de la Quest 2/3:

Com activar el mode de desenvolupador al Meta Quest 3? (vr-expert.com)

2.Inicieu Meta Quest Link al vostre PC i seguiu les instruccions per enllaçar el visor al PC:

Configurar i connectar Meta Quest Link i Air Link | Meta Store

3.Connecteu-vos al vostre PC amb Virtual Desktop

4.A l'aplicació Virtual Desktop, activeu l'API de pas a través de RV (VR Passthrough API).

5.Modifiqueu la configuració de VR Passthrough: establiu els colors de la màscara Passthrough a 0, 255, 0 (verd).

Augmented Reality - Imatge 8

6.A RoboDK, establiu les opcions de fons superior i inferior al mateix to de verd:

Eines -> Opcions -> Pantalla -> Color de fons -> Establiu a 0, 255, 0 (Verd)

Augmented Reality - Imatge 9

7.Inicieu SteamVR a través de Virtual Desktop.

8.Inicieu RoboDK i activeu el mode de RV: Connecta ➔ Connecta el visor de RV.