증강

증강현실(AR)을사용하면입력비디오또는라이브비디오피드위에 RoboDK 스테이션의요소를오버레이할수있습니다.

이기능은RoboDK에서이미지 처리 편집기 Add-in을 활성화하여사용할수있습니다.

이미지처리편집기기능은도구➔추가 기능관리자로 이동하여이미지처리편집기를활성화할수있습니다.

이미지처리편집기Add-in을활성화했으면이제방송국을증강현실에맞게준비해야합니다. 성공적인 AR 렌더링을만들기위해수행해야하는단계는세가지섹션으로요약할수있습니다:

1.기준점 마커를 선택하고 생성합니다. 마커를 RoboDK로가져옵니다.

2.RoboDK에서시뮬레이션 카메라를 생성합니다.

3.탐지 파이프라인을 만듭니다.

신뢰 마커 선택 및 생성

증강현실 Add-in을사용하려면마커를사용하여카메라포즈와궤적을추정해야합니다.

RoboDK는4가지유형의OpenCV 마커를지원합니다: 다음이미지와같이각각Aruco, 체스보드, Charuco 다이아몬드, Charucoboard입니다:

마커를선택할때는여러가지요소를고려해야합니다. 방송국의크기, 카메라해상도, 프레임속도, 모션, 조명, 오클루전등을고려해야합니다. 예를들어, 고정된카메라( )가없는대형스테이션에서는하나의마커 ID가같은크기의 Char루코다이아몬드또는 Char루코보드마커의 4개이상의ID보다훨씬멀리서도감지할수있고모션블러와오클루전이없어마커가항상감지될수있으므로 Ar루코마커를사용하면큰이점을얻을수있습니다. 마커가가끔부분적으로가려지는경우, 카메라위치를결정하는데모든 ID가감지될필요는없으므로차루코보드를선택해야합니다. 아래는마커유형선택에도움이되는표입니다:

적절한마커를선택하면마커 ID, 크기, 바둑판레이아웃및정사각형크기를사용자지정할수있습니다

그런다음마커를저장하고인쇄해야합니다. "다른이름으로저장..." 기능을사용하여마커의 PNG를컴퓨터에저장한다음 RoboDK로쉽게가져올수있습니다. 마커를인쇄하려면 "클립보드에복사" 옵션을사용하여 Word 또는김프와같은텍스트/이미지편집기로이미지를빠르게가져와서크기에맞게조정하고인쇄할수있습니다.

마커 가져오기

로봇및기타객체와관련하여마커의위치를표시하려면 RoboDK에서마커를가져와야합니다.

마커를올바르게배치하려면다음단계를따르세요:

1.RoboDK 스테이션에서새참조프레임을만듭니다.

2.새참조프레임을마우스오른쪽버튼으로클릭하고 "항목추가..."를선택합니다.

3.신뢰마커생성기로만든마커 PNG를찾아선택합니다.

4.실제마커의크기와일치하도록가상마커의배율을조정합니다:

예시: 샤루코다이아몬드마커의기본크기는 106.186mm x 106.186mm입니다. 인쇄된마커의크기가 280mm x 280mm인경우 2.63688 → ( 280 / 106.186 )의배율을적용해야합니다. 이작업은마커개체를두번클릭하고추가 옵션 à 배율 적용을 선택하여수행할수있습니다.

5.마커의중심을기준프레임원점에맞추고 Y축이상단 ID를가리키도록정렬합니다.

예시: 마커를이동하려면마커개체를두번클릭하고마커프레임에대한개체위치를수정합니다. 이예제에서는마커를 X축에서 140mm 이동하고, Y축에서 140mm 이동하고, Z축에서 180° 회전해야했습니다. 올바른위치의예는아래이미지를참조하세요.

6.마커프레임을스테이션에배치하여마커를기준으로스테이션객체를정렬합니다.

시뮬레이션 카메라

비디오피드에방송국에셋을정확하게오버레이하려면시뮬레이션카메라를만들어야합니다. 이시뮬레이션카메라는기준점마커를사용하여계산된카메라포즈와궤적을사용하여입력비디오피드와동일한각도, 거리및궤적에서 RoboDK 스테이션을녹화합니다.

마커스케일링이정확하려면이시뮬레이션된카메라해상도가입력비디오와일치해야합니다. 방송국에가상카메라를추가하는단계는아래에설명되어있습니다:

1.도구모음에서이미지 처리 편집기 à RoboDK 카메라 추가를 선택하여스테이션에카메라를추가합니다.

2.카메라또는카메라피드를마우스오른쪽버튼으로클릭하고 '카메라설정'을선택합니다.

3.입력비디오피드의해상도에맞게가상카메라설정을조정합니다.

4.시뮬레이션된카메라가가상아루코마커를볼수있도록기준프레임을정렬합니다.

최상의결과를얻으려면다음사항을고려하여실제입력동영상을녹화해야합니다:

1.조명이밝은환경의평평한표면에마커를놓습니다. 최적의결과를얻으려면마커및녹화환경에대한가상스테이션의물체크기와거리를고려하세요.

2.일관된카메라설정(실제카메라와시뮬레이션카메라의해상도설정이일치해야함).

3.가독성있는아루코신분증(카메라가신분증을읽을수있도록유지해야합니다. 피해야할사항: 빠르고흐릿한영상, 낮은카메라해상도, 카메라로부터마커거리가먼경우).

4.동영상이 .mp4 또는 .avi 형식인지확인합니다.

커스텀 카메라 보정 파일

사용자지정카메라보정파일을만들려면체스판을인쇄하고동영상촬영시와동일한설정을사용하여카메라로체스판의이미지를 10~20장정도촬영합니다.

각이미지에는체스판전체가포함되어야합니다. 각이미지의체스판의방향과위치는이미지마다달라야합니다.

이미지를촬영한후이미지처리 편집기 à 파일에서 보정...으로이동하여체스판매개변수를입력합니다. 그런다음이미지를선택합니다. RoboDK가파이프라인을만들때사용할수있는보정파일을생성합니다.

탐지 파이프라인

AR용RoboDK 스테이션을준비하는마지막단계는기준점마커를감지하는파이프라인을생성하는것입니다. 이감지파이프라인은실제및가상마커에서포즈를계산하고입력비디오피드위에시뮬레이션된 RoboDK 카메라의에셋을오버레이하는데사용됩니다.

다음단계에따라탐지파이프라인을만들수있습니다:

1.도구모음에서이미지처리편집기à 이미지처리편집기로이동합니다.

2.비디오 AR을사용하는경우시뮬레이션된 RoboDK 카메라를선택하고, 카메라 AR의경우카메라소스를선택합니다.

3.탐지기à 샤루코다이아몬드마커에서마커를선택합니다.

4.물리적마커치수를기준으로필요한매개변수를설정합니다.

5.장치에서보정파일을설정합니다. 일반보정을사용하는것이좋습니다.

6.파일à 다른이름으로프로젝트저장..에서파이프라인프로젝트를저장합니다.

스테이션이준비되고입력비디오가녹화되고처리파이프라인이저장되면AR 비디오제작을시작할수있습니다. 다음섹션에서는AR 동영상과라이브 AR 렌더링을만드는방법과원하지않는렌더링을수정하는데도움이되는문제해결섹션을자세히설명합니다.

동영상 피드에서 AR 만들기

동영상 AR 도구는미리녹화된동영상위에 AR 오버레이를만드는데사용됩니다. 데모또는홍보용동영상에이상적입니다. 동영상이렌더링되는동안스테이션을수정할수있으며, 변경사항은즉시적용됩니다.

동영상에 AR 오버레이효과를만들려면다음단계를따르세요:

1.AR 동영상에렌더링하지않으려는스테이션의모든오브젝트를숨깁니다.

2.이미지처리편집기 → 증강현실(비디오)을선택합니다.

3.여러개의파이프라인이저장되어있는경우마커에맞는파이프라인을선택합니다.

4.마커가포함된참조프레임을선택합니다.

5.입력동영상파일을선택합니다.

6.출력동영상의위치와이름을선택합니다.

7.렌더링프로세스를모니터링하고원하는품질을얻기위해필요한변경을수행합니다.

8.동영상렌더링이완료되면 AR 카메라프레임을닫을수있습니다.