Réalité augmentée

La réalité augmentée (RA) permet de superposer des éléments d'une station RoboDK à une vidéo d'entrée ou à un flux vidéo en direct.

Cette fonction est disponible dans RoboDK en activant l'Add-in de l'éditeur de traitement d'images.

Les fonctions de l'éditeur de traitement d'images peuvent être activées en naviguant vers OutilsàGestionnaire d'ajouts et en activant l'éditeur de traitement d'images.

Une fois l'Add-in de l'éditeur de traitement d'images activé, la station doit maintenant être préparée pour la réalité augmentée. Les étapes à suivre pour créer un rendu AR réussi peuvent être résumées en trois sections :

1.Sélectionnez et créez un marqueur fiducial. Importez le marqueur dans RoboDK.

2.Créez une caméra simulée dans RoboDK.

3.Créez un pipeline de détection.

Sélectionnez et créez un marqueur fiducial

Le complément de réalité augmentée nécessite l'utilisation de marqueurs pour estimer la pose et la trajectoire de la caméra.

RoboDK prend en charge 4 types de marqueurs OpenCV : Aruco, Chessboard, Charuco Diamond et Charucoboard respectivement, comme le montrent les images suivantes :

De nombreux facteurs doivent être pris en compte lors de la sélection d'un marqueur. La taille de la station, la résolution de la caméra, le taux de rafraîchissement, le mouvement, l'éclairage et l'occlusion sont autant d'éléments importants à prendre en compte. Par exemple, une grande station équipée d'une caméra fixe, , sans occultation, bénéficiera grandement de l'utilisation d'un marqueur Aruco, car l'identifiant unique du marqueur peut être détecté de beaucoup plus loin que les 4 identifiants ou plus d'un marqueur Charuco Diamond ou Charucoboard de même taille, et l'absence de flou de mouvement et d'occultation peut garantir que le marqueur sera détecté à tout moment. Si le marqueur est occasionnellement partiellement occulté, le Charucoboard devrait être choisi car il n'a pas besoin que tous les ID soient détectés pour déterminer la position de la caméra. Vous trouverez ci-dessous un tableau qui vous aidera à sélectionner les types de marqueurs :

Une fois que le marqueur approprié a été sélectionné, les identifiants du marqueur, la taille et la disposition du damier ainsi que la taille du carré peuvent être personnalisés.

Le marqueur doit ensuite être sauvegardé et imprimé. La fonction "Enregistrer sous..." peut être utilisée pour enregistrer un PNG du marqueur sur votre ordinateur, qui peut ensuite être facilement importé dans RoboDK. Pour imprimer le marqueur, l'option "Copier dans le presse-papiers" peut être utilisée pour importer rapidement l'image dans un éditeur de texte/image tel que Word ou GIMP afin de la mettre à l'échelle et de l'imprimer.

Importer le marqueur

Vous devez importer le marqueur dans RoboDK pour indiquer l'emplacement du marqueur par rapport au robot et aux autres objets.

Suivez les étapes suivantes pour placer correctement le marqueur :

1.Dans votre station RoboDK, créez un nouveau système de coordonnées.

2.Cliquez avec le bouton droit de la souris sur le nouveau système de coordonnées et sélectionnez "Add-in...".

3.Recherchez et sélectionnez le marqueur PNG créé avec le générateur de marqueurs fiduciaires.

4.Ajustez l'échelle du marqueur virtuel pour qu'il corresponde à la taille du marqueur réel :

Exemple : Le marqueur Charuco Diamond mesure 106,186 mm x 106,186 mm par défaut. Si la taille du marqueur imprimé est de 280 mm x 280 mm, un facteur d'échelle de 2,63688 → ( 280 / 106,186 ) doit être appliqué. Pour ce faire, double-cliquez sur l'objet marqueur et sélectionnez Plus d'options à Appliquer l'échelle.

5.Alignez le centre du marqueur sur l'origine du système de coordonnées, l'axe Y étant orienté vers l'ID supérieur.

Exemple : Pour déplacer le marqueur, double-cliquez sur l'objet marqueur et modifiez la position de l'objet par rapport au cadre du marqueur. Dans notre exemple, le marqueur devait être déplacé de 140 mm sur l'axe X, de 140 mm sur l'axe Y et tourné de 180° sur l'axe Z. Voir l'image ci-dessous pour un exemple de la position correcte.

6.Placez le cadre du marqueur dans la station pour aligner les objets de la station par rapport au marqueur.

Installez la caméra simulée

Pour superposer avec précision les actifs de la station au flux vidéo, une caméra simulée doit être créée. Cette caméra simulée utilise la pose et la trajectoire de la caméra calculées à l'aide des marqueurs fiduciaires pour enregistrer la station RoboDK sous le même angle, à la même distance et sur la même trajectoire que le flux vidéo d'entrée.

La résolution de la caméra simulée doit correspondre à celle de la vidéo d'entrée pour que la mise à l'échelle du marqueur soit précise. Les étapes à suivre pour ajouter une caméra virtuelle à la station sont décrites ci-dessous :

1.Ajoutez une caméra à votre station en sélectionnant Éditeur de traitement d'images à Ajouter une caméra RoboDK dans la barre d'outils.

2.Cliquez avec le bouton droit de la souris sur la caméra ou le flux de la caméra et sélectionnez "Paramètres de la caméra".

3.Ajustez les paramètres de la caméra virtuelle pour qu'elle corresponde à la résolution du flux vidéo d'entrée.

4.Alignez le système de coordonnées de manière à ce que la caméra simulée puisse voir le marqueur Aruco virtuel.

Pour obtenir les meilleurs résultats, la vidéo d'entrée physique doit être enregistrée en tenant compte des considérations suivantes :

1.Placez le marqueur sur une surface plane dans un environnement bien éclairé. Pour des résultats optimaux, tenez compte de la taille et de la distance des objets dans la station virtuelle par rapport au marqueur et à l'environnement d'enregistrement.

2.Paramètres de caméra cohérents (les caméras réelles et simulées doivent avoir des paramètres de résolution identiques).

3.Cartes d'identité Aruco lisibles (l'appareil photo doit conserver les cartes d'identité lisibles). Choses à éviter : Images rapides/floues, faible résolution de l'appareil photo, distance élevée entre le marqueur et l'appareil photo).

4.Assurez-vous que la vidéo est au format .mp4 ou .avi

Créer un fichier d'étalonnage de caméra personnalisé

Pour créer un fichier d'étalonnage personnalisé, imprimez un échiquier et prenez environ 10 à 20 images de l'échiquier avec l'appareil photo, en utilisant les mêmes paramètres que lors du tournage d'une vidéo.

Chaque image doit contenir l'intégralité de l'échiquier. L'orientation et l'emplacement de l'échiquier doivent varier d'une image à l'autre.

Une fois les images prises, naviguez vers Image Processing Editor à Calibrate from files... et remplissez les paramètres de l'échiquier. Sélectionnez ensuite les images. RoboDK générera un fichier d'étalonnage qui pourra être utilisé lors de la création d'un pipeline.

Créer un pipeline de détection

La dernière étape de la préparation de la station RoboDK pour la RA consiste à créer un pipeline pour détecter les marqueurs fiduciaires. Ce pipeline de détection sera utilisé pour calculer la pose à partir des marqueurs réels et virtuels et pour superposer les actifs de la caméra RoboDK simulée sur le flux vidéo d'entrée.

Suivez les étapes suivantes pour créer un pipeline de détection :

1.Naviguez vers Éditeur de traitement d'images à Éditeur de traitement d'images dans la barre d'outils.

2.Sélectionnez la caméra RoboDK simulée si vous utilisez Video AR, pour Camera AR sélectionnez la source de la caméra.

3.Sélectionnez votre marqueur sous Détecteurs à Charuco Diamond Markers.

4.Définissez les paramètres requis en fonction des dimensions physiques du marqueur.

5.Sous Device, définissez le fichier d'étalonnage. Il est recommandé d'utiliser l'étalonnage générique.

6.Enregistrez le projet de pipeline sous Fichier à Enregistrer le projet sous

Une fois la station préparée, une vidéo d'entrée enregistrée et un pipeline de traitement sauvegardé, nous pouvons commencer à créer des vidéos de réalité augmentée. Les sections suivantes expliquent en détail comment créer des vidéos de RA et des rendus de RA en direct, ainsi qu'une section de dépannage pour aider à corriger les rendus indésirables.

Créez une RA à partir d'un flux vidéo

L'outil de RA vidéo est utilisé pour créer une superposition de RA sur une vidéo préenregistrée. Cet outil est idéal pour les vidéos de démonstration ou de promotion. La station peut être modifiée pendant le rendu de la vidéo et les changements seront appliqués immédiatement.

Suivez ces étapes pour créer des effets de superposition AR sur une vidéo :

1.Masquez tous les objets de votre station que vous ne souhaitez pas voir apparaître dans la vidéo de synthèse.

2.Sélectionnez Éditeur de traitement d'images → Réalité augmentée (vidéo).

3.Si plusieurs pipelines sont enregistrés, sélectionnez le pipeline correspondant à votre marqueur.

4.Sélectionnez le système de coordonnées contenant le marqueur.

5.Sélectionnez le fichier vidéo d'entrée.

6.Sélectionnez l'emplacement et le nom de la vidéo de sortie.

7.Contrôler le processus de rendu et apporter les modifications nécessaires pour obtenir la qualité souhaitée.

8.Une fois le rendu de la vidéo terminé, vous pouvez fermer le cadre de la caméra AR.

Réalité mixte

La réalité mixte (MR) dans RoboDK fait référence au remplacement de l'arrière-plan de RoboDK par un flux en direct provenant d'un casque VR. Faire cela dans RoboDK VR permet de mélanger votre environnement local, SteamVR et RoboDK.

Exigences :

●Casque VR Quest 2 / Quest 3 et PC compatible VR

●Bureau virtuel + Virtual Desktop Streamer

●SteamVR + Lien Meta Quest

Suivez les étapes suivantes pour activer la réalité mixte :

1.Activez le mode développeur de Quest 2/3 :

Comment activer le mode développeur sur le Meta Quest 3 ? (vr-expert.com)

2.Lancez Meta Quest Link sur votre PC et suivez les instructions pour relier votre casque au PC :

Configurez et connectez Meta Quest Link et Air Link | Meta Store

3.Connectez-vous à votre PC à l'aide de Virtual Desktop

4.Dans l'application Virtual Desktop, activez l'API VR Passthrough.

5.Modifiez les paramètres VR Passthrough : Réglez les couleurs du masque de transparence sur 0, 255, 0 (vert).

6.Dans RoboDK, réglez les options d'arrière-plan supérieur et inférieur sur la même nuance de vert :

Outils -> Options -> Affichage -> Couleur d'arrière-plan -> 0, 255, 0 (vert)

7.Lancez SteamVR via Virtual Desktop.

8.Lancez RoboDK et activez le mode VR : Connectez➔ Connectez le casque VR.