위키원
"마커리스"의 두 판 사이의 차이
| 1번째 줄: | 1번째 줄: | ||
'''마커리스'''(Markerless)는 증강현실(AR)의 기술 중 하나로 마커를 사용하지 않는 방식이다. 센서로 보이는 영상을 직접 판별하고, 판별한 영상에 실시간으로 컴퓨터 그래픽스(CG)를 합성하는 것이다. 증강현실의 다른 방식보다 애플리케이션 구현의 자유도를 높일 수 있다. | '''마커리스'''(Markerless)는 증강현실(AR)의 기술 중 하나로 마커를 사용하지 않는 방식이다. 센서로 보이는 영상을 직접 판별하고, 판별한 영상에 실시간으로 컴퓨터 그래픽스(CG)를 합성하는 것이다. 증강현실의 다른 방식보다 애플리케이션 구현의 자유도를 높일 수 있다. | ||
| − | |||
==마커리스 트래킹 기술== | ==마커리스 트래킹 기술== | ||
| 9번째 줄: | 8번째 줄: | ||
오브젝트를 스캔하는 방법도 물체의 명암과 색의 변화 구간 등을 기반으로 물체를 인식한다. 인식의 기반은 뷰포리아(Vuforia)에서 지정한 마커 이미지를 사용하며 물체를 위에 올려주고 306도로 회전하며 스캔한다. 스캔할 영역을 정하여 그 영역에서 물체의 앞뒤를 인식할 수 있도록 한다. 스마트폰으로 대상을 인식하고 배치할 오브젝트의 프레임과 그래픽을 보정하고, 스캔한 데이터를 저장한다.<ref>이영천, 〈[https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002185613 마커리스 트래킹 기반 증강현실을 이용한 문화콘텐츠 개발]〉, 《(사)한국스마트미디어학회》, 2016-12-30</ref> | 오브젝트를 스캔하는 방법도 물체의 명암과 색의 변화 구간 등을 기반으로 물체를 인식한다. 인식의 기반은 뷰포리아(Vuforia)에서 지정한 마커 이미지를 사용하며 물체를 위에 올려주고 306도로 회전하며 스캔한다. 스캔할 영역을 정하여 그 영역에서 물체의 앞뒤를 인식할 수 있도록 한다. 스마트폰으로 대상을 인식하고 배치할 오브젝트의 프레임과 그래픽을 보정하고, 스캔한 데이터를 저장한다.<ref>이영천, 〈[https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002185613 마커리스 트래킹 기반 증강현실을 이용한 문화콘텐츠 개발]〉, 《(사)한국스마트미디어학회》, 2016-12-30</ref> | ||
| − | == | + | ==슬램== |
| − | + | 슬램(SLAM)은 공간에 대한 사전 지식이 없을 때, 넓은 공간에서도 정확하게 위치를 추정하고 지도작성이 가능한 기술이다.<ref>〈[https://kr.mathworks.com/discovery/slam.html SLAM이란? 꼭 알아야 할 3가지 사항]〉, 《매쓰웍스》</ref> 슬램의 지역화(Localization)는 사용자가 어디있는지 파악하는 것으로, 이미지 프레임에 들어온 시각적 정보를 바탕으로 위치를 추정하는 것이다. 매핑(Mapping)은 보이는 세상을 로봇이 센서로 수집한 정보를 분석하여 답을 그리는 과정으로, 특징점 추출과 매칭을 통해 여러 시점에서 바라본 특징점 위치를 모아 삼각 측략 기법을 통해 특징점의 3차원 위치를 추론하는 것이다. | |
| − | |||
| − | == | + | ===기술=== |
| − | + | 슬램을 구현할 때 사용되는 기술 요소로는 프론트엔드 처리를 포함하는 센서 신호 처리 유형과 벡엔드 처리를 포함하는 자세 그래프 최적화 유형이 있다. | |
| − | === | + | ===구성요소=== |
| − | |||
| − | |||
프론트엔드 처리를 구성하는 요소로는 시각적 스램과 라이다 슬램이 있다. | 프론트엔드 처리를 구성하는 요소로는 시각적 스램과 라이다 슬램이 있다. | ||
* 시각적 슬램 : 카메라 및 기타 영상 센서로 획득한 영상을 사용한다. 저렴한 카메라로 구현할 수 있고, 카메라에서 제공되는 방대한 정보를 이용하여 과거에 측정된 위치를 감지할 수 있고 그래프 기반 최적화와 결합할 수 있다. | * 시각적 슬램 : 카메라 및 기타 영상 센서로 획득한 영상을 사용한다. 저렴한 카메라로 구현할 수 있고, 카메라에서 제공되는 방대한 정보를 이용하여 과거에 측정된 위치를 감지할 수 있고 그래프 기반 최적화와 결합할 수 있다. | ||
| 27번째 줄: | 23번째 줄: | ||
* 영상 및 포인트 클라우드를 매핑할 때 로봇의 이동 특성은 고려되지 않아서, 경우에 따라서 불연속적인 위치추정값이 생성될 수 있다. 이러한 문제를 해결하기 위해선 가봤던 장소의 표지물을 키프레임으로 기억하거나 복원 알고리즘을 사용하거나 이동 모델과 다수의 센서를 융합하여 센서 데이터에 기반한 계산을 수행함으로써 방지할 수 있다. | * 영상 및 포인트 클라우드를 매핑할 때 로봇의 이동 특성은 고려되지 않아서, 경우에 따라서 불연속적인 위치추정값이 생성될 수 있다. 이러한 문제를 해결하기 위해선 가봤던 장소의 표지물을 키프레임으로 기억하거나 복원 알고리즘을 사용하거나 이동 모델과 다수의 센서를 융합하여 센서 데이터에 기반한 계산을 수행함으로써 방지할 수 있다. | ||
* 영상과 포인트 클라우드를 처리하고 최적하는데 계산 비용이 문제가 된다. 정확한 위치를 추정하기 위해서는 높은 빈도로 포인트 클라우드 매칭과 영상 처리를 실행해야 하는데, 이러한 최적화 계산은 계산량이 높은 과정이다. 계산은 제한된 처리 능력을 가진 소형 저전력 임베디드 마이크로프로세서에서 수행되는데, 계산적이 비용이 상당한 과정을 임베디드 마이크로컴퓨터에서 실행하는 것이 문제다. 이러한 문제를 해결하기 위해선 서로 다른 프로세서를 병렬로 실행하거나 긴 주기에 걸쳐 수행될 수 있는 자세 그래프 최적화의 우선순위를 낮추고 일정한 간격으로 이 처리르 수행하게 되면 성능을 개선할 수 있다. | * 영상과 포인트 클라우드를 처리하고 최적하는데 계산 비용이 문제가 된다. 정확한 위치를 추정하기 위해서는 높은 빈도로 포인트 클라우드 매칭과 영상 처리를 실행해야 하는데, 이러한 최적화 계산은 계산량이 높은 과정이다. 계산은 제한된 처리 능력을 가진 소형 저전력 임베디드 마이크로프로세서에서 수행되는데, 계산적이 비용이 상당한 과정을 임베디드 마이크로컴퓨터에서 실행하는 것이 문제다. 이러한 문제를 해결하기 위해선 서로 다른 프로세서를 병렬로 실행하거나 긴 주기에 걸쳐 수행될 수 있는 자세 그래프 최적화의 우선순위를 낮추고 일정한 간격으로 이 처리르 수행하게 되면 성능을 개선할 수 있다. | ||
| − | |||
| − | |||
==에이알툴킷(ARToolkit)== | ==에이알툴킷(ARToolkit)== | ||
| 34번째 줄: | 28번째 줄: | ||
구글 : 에이알코어(ARCore) | 구글 : 에이알코어(ARCore) | ||
| − | == | + | ==응용 사례== |
| − | + | * 문화유산 : 대상을 이미지나 오브젝트 등의 형태를 인식할 수 있어 문화유산을 인식하기에 적절하다. 문화유산과 가까워지면 증가현실 화면으로 전환이 되면서 실제 문화유산을 카메라로 인식하면 증강현실 콘텐츠를 진행하는 방식으로 활용된다. 범지구위치결정시스템(GPS)를 이용하여 사용자와 문화유산의 위치를 실시간으로 파악한다. | |
| + | * 박물관 : | ||
| + | * 동작인식 : 특수 장비를 착용하거나 몸에 부착하지 않아도 인체의 움직임을 실시간으로 트래킹하는 시스템을 개발했다. 사람의 동작을 빠르게 분석할 수 있고, 특수 장비를 사용하지 않아서 움직임에 방해가 되지 않는다. 운동선수의 동작을 교정할 때, 뇌성마비나 신경, 근육, 신체 절단으로 불편한 환자가 재활 치료 및 의료적으로 분석을 할 때, 3차원 애니메이션을 제작할 때 사용한다.<ref> 안세종 외 5명, 〈[https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cn=NPAP10078230&dbt=NPAP 인체동작 인식을 위한 마커리스 트래킹 시스템]〉, 《한국산학기술학회》, 2011</ref> | ||
스노우 | 스노우 | ||
스냅챗 | 스냅챗 | ||
2021년 7월 23일 (금) 14:00 판
마커리스(Markerless)는 증강현실(AR)의 기술 중 하나로 마커를 사용하지 않는 방식이다. 센서로 보이는 영상을 직접 판별하고, 판별한 영상에 실시간으로 컴퓨터 그래픽스(CG)를 합성하는 것이다. 증강현실의 다른 방식보다 애플리케이션 구현의 자유도를 높일 수 있다.
목차
마커리스 트래킹 기술
마커리스 트래킹 기술(Markerless Tracking Technology)은 마커리스 기술 중 하나로, 특징 점 기반의 트래킹(Feature based Tracking)이라고도 불린다. 영상 내에서 특징 점들을 추출하고 이 점들을 기반으로 좌표계를 추출해 낸다. 큐알 코드(QR Code) 같이 규칙적인 패턴을 가진 마커를 기반으로 증강현실을 구현하는 마커(Marker)와 다르게 대상 자체의 데이터를 이용하여 증강현실을 구현하는게 마커리스 트래킹 기술의 특징이다. 대상을 이미지나 오브젝트 등의 형태를 인식할 수 있어 문화유산 인식에 적절한 기술로, 문화유산 자체를 인식하기 위해 사용한다.
특징점 추출 방법
특징점을 추출하는 방법으로는 이미지 형태를 추출하는 방법과 오브젝트(Object)를 스캔하여 추출하는 방법이 있다. 이미지 형태를 추출하는 방법으로는 대상의 모습을 이미지 형태로 저장하여 사용하며 주로 판 형태에 사용한다. 물체 전체의 구조가 필요할 때는 오브젝트 스캐너를 사용하여 물체를 스캔하여 특징점을 추출한다. 이렇게 추출한 특징점은 이미지, 큐브, 실린더, 오브젝트로 4가지 형태로 사용된다. 오브젝트 인식 대상을 제외하면 다른 방식들은 색의 변화, 명암의 차이 등의 이미지의 전형적인 특징을 인식한다. 오브젝트를 스캔하는 방법도 물체의 명암과 색의 변화 구간 등을 기반으로 물체를 인식한다. 인식의 기반은 뷰포리아(Vuforia)에서 지정한 마커 이미지를 사용하며 물체를 위에 올려주고 306도로 회전하며 스캔한다. 스캔할 영역을 정하여 그 영역에서 물체의 앞뒤를 인식할 수 있도록 한다. 스마트폰으로 대상을 인식하고 배치할 오브젝트의 프레임과 그래픽을 보정하고, 스캔한 데이터를 저장한다.[1]
슬램
슬램(SLAM)은 공간에 대한 사전 지식이 없을 때, 넓은 공간에서도 정확하게 위치를 추정하고 지도작성이 가능한 기술이다.[2] 슬램의 지역화(Localization)는 사용자가 어디있는지 파악하는 것으로, 이미지 프레임에 들어온 시각적 정보를 바탕으로 위치를 추정하는 것이다. 매핑(Mapping)은 보이는 세상을 로봇이 센서로 수집한 정보를 분석하여 답을 그리는 과정으로, 특징점 추출과 매칭을 통해 여러 시점에서 바라본 특징점 위치를 모아 삼각 측략 기법을 통해 특징점의 3차원 위치를 추론하는 것이다.
기술
슬램을 구현할 때 사용되는 기술 요소로는 프론트엔드 처리를 포함하는 센서 신호 처리 유형과 벡엔드 처리를 포함하는 자세 그래프 최적화 유형이 있다.
구성요소
프론트엔드 처리를 구성하는 요소로는 시각적 스램과 라이다 슬램이 있다.
- 시각적 슬램 : 카메라 및 기타 영상 센서로 획득한 영상을 사용한다. 저렴한 카메라로 구현할 수 있고, 카메라에서 제공되는 방대한 정보를 이용하여 과거에 측정된 위치를 감지할 수 있고 그래프 기반 최적화와 결합할 수 있다.
- 라이다 슬램 : 레이저 센서나 거리 센서를 사용한다. 카메라와 비행시간측정(ToF) 등의 센서보다 정밀하다. 레이저 센서에서 가져온 포인트 클라우드를 사용하면 고정밀 거리 측정이 가능하고 지도 작성에도 매우 효과적이다 . 하지만, 밀도에 있어서 정교하지 않아 높은 수준의 처리 능력과 속도 개선을 위한 처리 최적화가 필요하다.
문제
- 슬램(SLAM)은 오차 범위가 포함된 이동 정보를 추정하는데, 오차가 누적되면 실제값과 상당한 편차가 발생한다. 편차가 발생하게 되면 지도 데이터가 붕괴되거나 왜곡되고 검색이 어려워진다. 이러한 문제를 해결하기 위해선 가봤던 장소의 특징을 표지물로서 기억하여 위치추정 오류를 최소화시켜야 한다. 오류 정정에 도움이 되도록 구성된 자세 그래프를 활용하여 오류 최소화를 최적화 문제로 풀면 더 정확한 지도 데이터를 생성할 수 있고, 이러한 최적화를 시각적 슬램의 번들 조정이라 한다.
- 영상 및 포인트 클라우드를 매핑할 때 로봇의 이동 특성은 고려되지 않아서, 경우에 따라서 불연속적인 위치추정값이 생성될 수 있다. 이러한 문제를 해결하기 위해선 가봤던 장소의 표지물을 키프레임으로 기억하거나 복원 알고리즘을 사용하거나 이동 모델과 다수의 센서를 융합하여 센서 데이터에 기반한 계산을 수행함으로써 방지할 수 있다.
- 영상과 포인트 클라우드를 처리하고 최적하는데 계산 비용이 문제가 된다. 정확한 위치를 추정하기 위해서는 높은 빈도로 포인트 클라우드 매칭과 영상 처리를 실행해야 하는데, 이러한 최적화 계산은 계산량이 높은 과정이다. 계산은 제한된 처리 능력을 가진 소형 저전력 임베디드 마이크로프로세서에서 수행되는데, 계산적이 비용이 상당한 과정을 임베디드 마이크로컴퓨터에서 실행하는 것이 문제다. 이러한 문제를 해결하기 위해선 서로 다른 프로세서를 병렬로 실행하거나 긴 주기에 걸쳐 수행될 수 있는 자세 그래프 최적화의 우선순위를 낮추고 일정한 간격으로 이 처리르 수행하게 되면 성능을 개선할 수 있다.
에이알툴킷(ARToolkit)
애플 : 에이알키트(ARKit) 구글 : 에이알코어(ARCore)
응용 사례
- 문화유산 : 대상을 이미지나 오브젝트 등의 형태를 인식할 수 있어 문화유산을 인식하기에 적절하다. 문화유산과 가까워지면 증가현실 화면으로 전환이 되면서 실제 문화유산을 카메라로 인식하면 증강현실 콘텐츠를 진행하는 방식으로 활용된다. 범지구위치결정시스템(GPS)를 이용하여 사용자와 문화유산의 위치를 실시간으로 파악한다.
- 박물관 :
- 동작인식 : 특수 장비를 착용하거나 몸에 부착하지 않아도 인체의 움직임을 실시간으로 트래킹하는 시스템을 개발했다. 사람의 동작을 빠르게 분석할 수 있고, 특수 장비를 사용하지 않아서 움직임에 방해가 되지 않는다. 운동선수의 동작을 교정할 때, 뇌성마비나 신경, 근육, 신체 절단으로 불편한 환자가 재활 치료 및 의료적으로 분석을 할 때, 3차원 애니메이션을 제작할 때 사용한다.[3]
스노우 스냅챗 세포라
각주
- ↑ 이영천, 〈마커리스 트래킹 기반 증강현실을 이용한 문화콘텐츠 개발〉, 《(사)한국스마트미디어학회》, 2016-12-30
- ↑ 〈SLAM이란? 꼭 알아야 할 3가지 사항〉, 《매쓰웍스》
- ↑ 안세종 외 5명, 〈인체동작 인식을 위한 마커리스 트래킹 시스템〉, 《한국산학기술학회》, 2011
참고자료
- 이영천, 〈마커리스 트래킹 기반 증강현실을 이용한 문화콘텐츠 개발〉, 《(사)한국스마트미디어학회》, 2016-12-30
- 안세종 외 5명, 〈인체동작 인식을 위한 마커리스 트래킹 시스템〉, 《한국산학기술학회》, 2011
- 〈SLAM이란? 꼭 알아야 할 3가지 사항〉, 《매쓰웍스》
