拡張現実(AR)は、入力されたビデオやライブ映像の上にRoboDKプロジェクトの要素を重ね合わせることができます。
この機能はRoboDKで画像処理エディタアドインを有効にすることで利用できます。
注意: 画像処理エディタアドインにアクセスするには、RoboDKに連絡してください。
ビデオ: このビデオチュートリアルでは、Augmented Reality(拡張現実)をシミュレーションに統合するための手順をまとめています(https://youtu.be/Phj3_sQNSp0)。
画像処理エディタの機能は、[ツール]➔[アドインマネージャ] を開き、[画像処理エディタ] を有効にすることで有効にできます。

画像処理エディタ(Image Processing Editor)アドインを有効にすると、AR(拡張現実)用にプロジェクトを準備する必要があります。ARレンダリングを成功させるために必要なステップは、3つのセクションに要約できます:
1.フィデューシャルマーカーを選択して作成します。マーカーをRoboDKにインポートします。
2.RoboDKでシミュレーションカメラを作成します。
3.検出パイプラインを作成します。
拡張現実アドインでは、カメラのポーズと軌道を推定するためにマーカーを使用する必要があります。
RoboDKは、次の画像に示すように、Aruco、Chessboard、Charuco Diamond、Charucoboardの4種類のOpenCVマーカーをサポートしています:




マーカーを選択する際に考慮すべき要素はたくさんあります。プロジェクトの大きさ、カメラの解像度、フレームレート、動き、照明、およびオクルージョンを考慮することが重要です。例えば、固定された非オクルージョンカメラを備えた大きなプロジェクトでは、Aruco マーカーを使用すると大きなメリットがあります。なぜなら、1 つのマーカー ID は、同じサイズの Charuco Diamond や Charucoboard マーカーにある 4 つ以上の ID よりもはるかに遠くから検出でき、モーションブラーやオクルージョンがないため、常にマーカーを検出できることが保証されるからです。マーカーが時々部分的に隠れる場合は、カメラ位置を決定するためにすべての ID を検出する必要がないため、Charucoboard を選択する必要があります。以下はマーカーの種類を選択する際に役立つテーブルです:
アルコ | シャルコ・ダイヤモンド | シャルコボード | チェス盤 | |
長所 | - より簡単なセットアップ - 最速のレンダリング時間 | - 最もバランスの取れた選択肢 (精度/レンダリング時間) | - 部分咬合に強い - 最も正確 | - カメラキャリブレーション |
短所
(マーカーは常にカメラに映っていなければなりません。)
| - オクルード時の追従性低下 - 最も正確でないポーズ | - オクルード時の追従性低下 - セットアップが難しい | - 長いレンダリング時間 - ライブARが苦手 | - 検出が困難 - オクルード不可 |
推奨アプリケーション | - 高FPS/低解像度ライブAR - ロングビデオ - 遮るもののないビデオ - 固定カメラ - 大型ステーション | - ライブARのトラッキング向上 - 高解像度ビデオ - スローモーション | - マーカーの部分的なオクルージョンを含むビデオ - 高いポーズ精度が要求される動画 | - カメラキャリブレーション (一般的なキャリブレーションで十分でない場合、チェスボードを使用してカスタムカメラのキャリブレーションファイルを生成できます) |
適切なマーカーを選択すると、マーカーのID、サイズ、チェッカーボードのレイアウト、マスのサイズをカスタマイズできます。
その後、マーカーを保存して印刷する必要があります。"名前を付けて保存..." 機能を使えば、マーカーを PNG 形式でコンピュータに保存することができ、これを RoboDK に簡単にインポートできます。マーカーを印刷するには、"クリップボードにコピー" オプションを使って画像を Word や GIMP のようなテキスト/画像エディタに素早くインポートし、サイズを変更して印刷することができます。
注意: できあがったマーカーのサイズを計算するには、ピクセルフィールドを mm に変換する必要があります。RoboDK におけるピクセルと mm の変換は 1px = 0.265mm です。
重要: 印刷されたマーカーと RoboDK にインポートされたバーチャルマーカーは同じサイズでなければなりません。物理的なマーカーを測定し、RoboDK のメジャーとスケールツールを使って、RoboDK のマーカーを物理的なマーカーと同じサイズに調整するのがよい方法です。
RoboDK でマーカーをインポートして、ロボットや他のオブジェクトに対してマーカーの位置を示す必要があります。
マーカーを正しく配置するには、以下の手順に従ってください:
1.RoboDKプロジェクトで、新しい参照座標系を作成します。
2.新しい参照座標系を右クリックし、"Add Item... "を選択します。
3.Fiducial Marker Generatorで作成したマーカーPNGを見つけて選択します。
4.仮想マーカーのスケールを実際のマーカーのサイズに合わせて調整します:
例:Charuco Diamond のマーカーはデフォルトで 106.186mm x 106.186mm です。印刷するマーカーのサイズが 280mm x 280mm の場合、2.63688 ➔ ( 280 / 106.186 ) のスケールファクターを適用する必要があります。これは、マーカーオブジェクトをダブルクリックし、[その他のオプション]➔[スケールの適用]を選択することで実行できます。
5.マーカーの中心を参照座標系の原点に合わせ、Y軸をトップIDに向けます。
例:マーカーを移動するには、マーカーオブジェクトをダブルクリックし、マーカーフレームに対してオブジェクトの位置を変更します。この例では、マーカーを X 軸上で 140mm 移動し、Y 軸上で 140mm 移動し、Z 軸上で 180° 回転する必要がありました。正しい位置の例については、下の画像を参照してください。

6.マーカーフレームをプロジェクトに配置し、マーカーに対するプロジェクトのオブジェクトの位置を合わせます。
ビデオフィードにプロジェクトのアセットを正確にオーバーレイするには、シミュレーションカメラを作成する必要があります。このシミュレーションカメラは、フィデューシャルマーカーを使用して計算されたカメラのポーズと軌道を使用して、入力ビデオフィードと同じ角度、距離、軌道から RoboDK プロジェクトを記録します。
このシミュレーションカメラの解像度は、マーカのスケーリングを正確に行うために入力ビデオと一致する必要があります。仮想カメラをプロジェクトに追加する手順は以下のとおりです:
1.ツールバーの「画像処理エディタ」➔「RoboDKカメラの追加」を選択してプロジェクトにカメラを追加します。
2.カメラまたはカメラフィードを右クリックし、「カメラ設定」を選択します。
3.入力ビデオフィードの解像度に合うように、バーチャルカメラの設定を調整します。
4.シミュレーションカメラが仮想Arucoマーカーを見ることができるように参照座標系を合わせます。

最良の結果を得るためには、物理的な入力映像は以下の点に注意して録画してください:
1.マーカーは、明るい環境の平らな表面に置いてください。最適な結果を得るためには、仮想プロジェクトのオブジェクトのサイズと距離を、マーカーと記録環境に応じて考慮してください。
2.一貫したカメラ設定(リアルカメラとシミュレートカメラの解像度が一致していること)。
3.読みやすいAruco ID(カメラはIDを読みやすく保つ必要があります。避けるべきこと:高速/不鮮明な映像、低いカメラ解像度、カメラからマーカーまでの距離が遠い)
4.ビデオは.mp4または.avi形式であることを確認してください。
カスタムカメラキャリブレーションファイルを作成するには、チェス盤を印刷し、ビデオ撮影時と同じ設定で、チェス盤をカメラで10~20枚程度撮影します。
各画像にはチェス盤全体が含まれている必要があります。画像はチェス盤の向きと位置を画像ごとに変えてください。
画像を撮影したら、[画像処理エディタ] メニューから [ファイルからキャリブレーション...] を選択し、チェス盤のパラメータを入力します。次に画像を選択します。RoboDKが、パイプラインの作成時に使用できるキャリブレーションファイルを作成します。
RoboDKプロジェクトをAR用に準備する最後のステップは、フィデューシャルマーカーを検出するパイプラインを作成することです。この検出パイプラインを使用して、実際のマーカーと仮想マーカーからポーズを計算し、入力ビデオフィードの上にシミュレーションされたRoboDKカメラのアセットをオーバーレイします。
以下の手順に従って、検出パイプラインを作成します:
1.ツールバーの「画像処理エディタ」→「画像処理エディタ」を開きます。
2.ビデオARの場合はシミュレーションしたRoboDKカメラを、カメラARの場合はカメラソースを選択します。
3.[Detectors à Charuco Diamond Markers]でマーカーを選択します。
4.物理的なマーカーの寸法に基づいて必要なパラメータを設定します。
5.[Device]でキャリブレーションファイルを設定します。Generic Calibrationの使用をお勧めします。
6.File à Save Project As...でパイプラインプロジェクトを保存します
プロジェクトを準備し、入力ビデオを録画し、処理パイプラインを保存すれば、ARビデオを作り始めることができます。次のセクションでは、ARビデオとライブARレンダリングの作成方法と、望ましくないレンダリングを修正するためのトラブルシューティングについて説明します。
Video ARツールは、録画済みのビデオの上にARオーバーレイを作成するために使用します。デモンストレーションやプロモーションビデオに最適です。ビデオのレンダリング中にプロジェクトを変更することができ、変更は即座に適用されます。
ビデオにARオーバーレイ効果を作成するには、以下の手順に従ってください:
1.ARビデオにレンダリングしたくないプロジェクト内のオブジェクトはすべて非表示にしてください。
2.画像処理エディタ → AugmentedReality(ビデオ)を選択します。
3.複数のパイプラインが保存されている場合は、マーカーに適したパイプラインを選択します。
4.マーカーを含む参照座標系を選択します。
5.入力ビデオファイルを選択します。
6.出力ビデオの場所と名前を選択します。
7.レンダリングプロセスを監視し、望ましい品質を達成するために必要な変更を加えます。
8.ビデオのレンダリングが完了したら、ARカメラフレームを閉じることができます。