마커리스

마커리스(Markerless)는 증강현실(AR)의 기술 중 하나로 마커를 사용하지 않는 방식이다. 센서로 보이는 영상을 직접 판별하고, 판별한 영상에 실시간으로 컴퓨터 그래픽스(CG)를 합성하는 것이다. 증강현실의 다른 방식보다 애플리케이션 구현의 자유도를 높일 수 있다.

마커리스 트래킹 기술

마커리스 트래킹 기술(Markerless Tracking Technology)은 마커리스 기술 중 하나로, 특징 점 기반의 트래킹(Feature based Tracking)이라고도 불린다. 영상 내에서 특징 점들을 추출하고 이 점들을 기반으로 좌표계를 추출해 낸다. 큐알 코드(QR Code) 같이 규칙적인 패턴을 가진 마커를 기반으로 증강현실을 구현하는 마커(Marker)와 다르게 대상 자체의 데이터를 이용하여 증강현실을 구현하는게 마커리스 트래킹 기술의 특징이다. 대상을 이미지나 오브젝트 등의 형태를 인식할 수 있어 문화유산 인식에 적절한 기술로, 문화유산 자체를 인식하기 위해 사용한다.

특징점 추출 방법

특징점을 추출하는 방법으로는 이미지 형태를 추출하는 방법과 오브젝트(Object)를 스캔하여 추출하는 방법이 있다. 이미지 형태를 추출하는 방법으로는 대상의 모습을 이미지 형태로 저장하여 사용하며 주로 판 형태에 사용한다. 물체 전체의 구조가 필요할 때는 오브젝트 스캐너를 사용하여 물체를 스캔하여 특징점을 추출한다. 이렇게 추출한 특징점은 이미지, 큐브, 실린더, 오브젝트로 4가지 형태로 사용된다. 오브젝트 인식 대상을 제외하면 다른 방식들은 색의 변화, 명암의 차이 등의 이미지의 전형적인 특징을 인식한다. 오브젝트를 스캔하는 방법도 물체의 명암과 색의 변화 구간 등을 기반으로 물체를 인식한다. 인식의 기반은 뷰포리아(Vuforia)에서 지정한 마커 이미지를 사용하며 물체를 위에 올려주고 306도로 회전하며 스캔한다. 스캔할 영역을 정하여 그 영역에서 물체의 앞뒤를 인식할 수 있도록 한다. 스마트폰으로 대상을 인식하고 배치할 오브젝트의 프레임과 그래픽을 보정하고, 스캔한 데이터를 저장한다.

슬램

슬램(SLAM)은 공간에 대한 사전 지식이 없을 때, 넓은 공간에서도 정확하게 위치를 추정하고 지도작성이 가능한 기술이다. 슬램의 지역화(Localization)는 사용자가 어디있는지 파악하는 것으로, 이미지 프레임에 들어온 시각적 정보를 바탕으로 위치를 추정하는 것이다. 매핑(Mapping)은 보이는 세상을 로봇이 센서로 수집한 정보를 분석하여 답을 그리는 과정으로, 특징점 추출과 매칭을 통해 여러 시점에서 바라본 특징점 위치를 모아 삼각 측략 기법을 통해 특징점의 3차원 위치를 추론하는 것이다.

기술

슬램을 구현할 때 사용되는 기술 요소로는 프론트엔드 처리를 포함하는 센서 신호 처리 유형과 벡엔드 처리를 포함하는 자세 그래프 최적화 유형이 있다.

구성요소

프론트엔드 처리를 구성하는 요소로는 시각적 스램과 라이다 슬램이 있다.

• 시각적 슬램 : 카메라 및 기타 영상 센서로 획득한 영상을 사용한다. 저렴한 카메라로 구현할 수 있고, 카메라에서 제공되는 방대한 정보를 이용하여 과거에 측정된 위치를 감지할 수 있고 그래프 기반 최적화와 결합할 수 있다.
• 라이다 슬램 : 레이저 센서나 거리 센서를 사용한다. 카메라와 비행시간측정(ToF) 등의 센서보다 정밀하다. 레이저 센서에서 가져온 포인트 클라우드를 사용하면 고정밀 거리 측정이 가능하고 지도 작성에도 매우 효과적이다 . 하지만, 밀도에 있어서 정교하지 않아 높은 수준의 처리 능력과 속도 개선을 위한 처리 최적화가 필요하다.

문제

• 슬램(SLAM)은 오차 범위가 포함된 이동 정보를 추정하는데, 오차가 누적되면 실제값과 상당한 편차가 발생한다. 편차가 발생하게 되면 지도 데이터가 붕괴되거나 왜곡되고 검색이 어려워진다. 이러한 문제를 해결하기 위해선 가봤던 장소의 특징을 표지물로서 기억하여 위치추정 오류를 최소화시켜야 한다. 오류 정정에 도움이 되도록 구성된 자세 그래프를 활용하여 오류 최소화를 최적화 문제로 풀면 더 정확한 지도 데이터를 생성할 수 있고, 이러한 최적화를 시각적 슬램의 번들 조정이라 한다.
• 영상 및 포인트 클라우드를 매핑할 때 로봇의 이동 특성은 고려되지 않아서, 경우에 따라서 불연속적인 위치추정값이 생성될 수 있다. 이러한 문제를 해결하기 위해선 가봤던 장소의 표지물을 키프레임으로 기억하거나 복원 알고리즘을 사용하거나 이동 모델과 다수의 센서를 융합하여 센서 데이터에 기반한 계산을 수행함으로써 방지할 수 있다.
• 영상과 포인트 클라우드를 처리하고 최적하는데 계산 비용이 문제가 된다. 정확한 위치를 추정하기 위해서는 높은 빈도로 포인트 클라우드 매칭과 영상 처리를 실행해야 하는데, 이러한 최적화 계산은 계산량이 높은 과정이다. 계산은 제한된 처리 능력을 가진 소형 저전력 임베디드 마이크로프로세서에서 수행되는데, 계산적이 비용이 상당한 과정을 임베디드 마이크로컴퓨터에서 실행하는 것이 문제다. 이러한 문제를 해결하기 위해선 서로 다른 프로세서를 병렬로 실행하거나 긴 주기에 걸쳐 수행될 수 있는 자세 그래프 최적화의 우선순위를 낮추고 일정한 간격으로 이 처리르 수행하게 되면 성능을 개선할 수 있다.

에이알툴킷(ARToolkit)

애플 : 에이알키트(ARKit) 구글 : 에이알코어(ARCore)

응용 사례

• 문화유산 : 대상을 이미지나 오브젝트 등의 형태를 인식할 수 있어 문화유산을 인식하기에 적절하다. 문화유산과 가까워지면 증가현실 화면으로 전환이 되면서 실제 문화유산을 카메라로 인식하면 증강현실 콘텐츠를 진행하는 방식으로 활용된다. 범지구위치결정시스템(GPS)를 이용하여 사용자와 문화유산의 위치를 실시간으로 파악한다.
• 동작인식 : 특수 장비를 착용하거나 몸에 부착하지 않아도 인체의 움직임을 실시간으로 트래킹하는 시스템을 개발했다. 사람의 동작을 빠르게 분석할 수 있고, 특수 장비를 사용하지 않아서 움직임에 방해가 되지 않는다. 운동선수의 동작을 교정할 때, 뇌성마비나 신경, 근육, 신체 절단으로 불편한 환자가 재활 치료 및 의료적으로 분석을 할 때, 3차원 애니메이션을 제작할 때 사용한다.
• 스노우
• 스냅챗
• 세포라
• 이케아

참고자료

• 이영천, 〈마커리스 트래킹 기반 증강현실을 이용한 문화콘텐츠 개발〉, 《(사)한국스마트미디어학회》, 2016-12-30
• 안세종 외 5명, 〈인체동작 인식을 위한 마커리스 트래킹 시스템〉, 《한국산학기술학회》, 2011
• 〈SLAM이란? 꼭 알아야 할 3가지 사항〉, 《매쓰웍스》

같이 보기

이 마커리스 문서는 메타버스에 관한 토막글입니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 이 문서의 내용을 채워주세요.

개발 : 프로그래밍, 소프트웨어, 데이터, 솔루션, 보안, 하드웨어, 컴퓨터, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스 □■⊕, 디자인 메타버스 개념 MZ세대 • 거울세계 • 다중우주(멀티버스) • 디지털 교육 • 디지털 기술 • 디지털 트윈 • 디지털 휴먼 • 라이프로깅 • 라이프로깅 메타버스 • 마이크로버스 • 메타버스 • 메타버스 교육 • 메타버스 기술 • 메타버스 기업 • 메타버스 복권 • 메타버스 사무실 • 메타버스 서비스 • 메타버스 솔루션 • 메타버스 쇼핑 • 메타버스 쇼핑몰 • 메타버스 시대 • 메타버스 시장 • 메타버스 아트 • 메타버스 정부 • 메타버스 콘서트 • 메타버스 콘텐츠 • 메타버스 테마파크 • 메타버스 프로젝트 • 메타버스 플랫폼 • 배틀로얄 • 스마트러닝 • 엔터테인먼트 • 제트세대 • 파티로얄 가상현실 0차원 • 1차원 • 2D(2차원) • 3D(3차원) • 3D 영화 • 3D 영화관 • 4D(4차원) • 4D 영화 • 4D 영화관 • 5차원 • 11차원 • 가로 • 가상 • 가상경제 • 가상공간 • 가상부동산 • 가상사무실 • 가상세계 • 가상재화 • 가상캐릭터 • 가상현실 • 가상현실 다큐멘터리 • 가상화폐 • 개더타운 • 거리 • 곡선 • 공간 • 과거 • 구 • 길이 • 너비 • 높이 • 도형 • 디지털 지구 • 면 • 면적 • 물리공간 • 미래 • 방향 • 비현실 • 선 • 세계 • 세로 • 세상 • 시간 • 시공간 • 아날로그 지구 • 엔터테인먼트 메타버스 • 우주 • 원 • 이동 • 입체 • 점 • 증강현실 • 지구 • 직선 • 차원 • 팬덤 • 평면 • 평행우주 • 현실 • 현실세계 • 현재 • 혼합현실 • 확장현실 메타버스 기술 3D 아바타 • 3D 모델링 • 3D 스캐너 • 3D 스캐닝 • 3D 안경 • 3D 프린터 • 3D 프린팅 • 3D 협업 솔루션 • 4D 프레임 • 4D 프린팅 • AR글래스 • IVAS • VIT 솔루션 • 게임엔진 • 구글 어스 • 그리드 컴퓨팅 • 딥 인터랙티브 • 렌더링 • 립모션 • 마커 • 마커리스 • 마커리스 캡처 • 메타버스 공간 관리자 • 메타버스 크리에이터 • 모델링 • 모션캡처 • 배틀 • 버추얼 유튜버 • 본캐 • 부캐 • 분산컴퓨팅 • 수중모션캡처 • 스캔 • 스테레오스코프 • 슬램 • 아바타 • 아바타 신분증 • 아이템 • 언리얼 엔진 • 에이알코어 • 에이알키트 • 영상지도 • 위성사진 • 유니티 • 인터랙티브 • 인터랙티브 콘텐츠 • 캐릭터 • 캐릭터 스캔 • 캡처 • 퀘스트 • 크리에이터 • 특수효과 • 특징점 • 페이셜 캡처 • 페이스북 스페이스 • 프린팅 • 핸드트래킹 • 핸드캡처 • 홀로그램 • 홀로렌즈 메타버스 서비스 가상화폐 • 구글 어스 • 동물의숲 • 디센트럴랜드 • 레디 플레이어 원 • 로블록스 • 도토리 • 디센트럴랜드재단 • 린든달러 • 마나 • 마이스페이스 • 마미손 • 마인크래프트 • 매트릭스 (영화) • 메타렉스 • 메타폴리스 • 미네르바 스쿨 • 배달의 민족 • 버추얼어스 • 사이버머니 • 사이펄리 • 세컨드라이프 • 스노우 • 스노우 크래시 • 시라 • 아바타 (영화) • 아이러브스쿨 • 암호화폐 • 어메이저 • 어스2 • 업랜드 • 에어비앤비 • 엑스알스쿨 • 엑스알스포츠 • 엑스알판도라 • 옴니버스 • 웨이브 • 위즈랩 • 유니버스 • 유알비타 • 이프랜드 • 인게이지 • 인피니트 오피스 • 제페토 • 젬 • 클래스브이 • 트윈월드 • 포트나이트 • 포트나이트 콘서트 • 호라이즌 메타버스 기업 ㈜갤럭시코퍼레이션 • 네이버랩스 • 네이버제트㈜ • 더디머티리얼라이즈드 • ㈜더블미 • 린든랩 • 드레스엑스 • ㈜맥스트 • 메타버스 얼라이언스 • ㈜모인 • ㈜비브스튜디오스 • ㈜비전브이알 • ㈜빌드잇 • ㈜싸이월드 • 쓰리아이 • ㈜아이스크림미디어 • ㈜아이스크림에듀 • 아티팩트스튜디오 • ㈜알체라 • ㈜어메이저 • ㈜에이트원 • 에픽게임즈 • 오큘러스 • 와이에이치데이타베이스(YHDATABASE) • ㈜위즈스쿨 • 유니티코리아 • 유니티 테크놀로지스 • ㈜이브이알스튜디오 • 일드길드게임즈 SEA • ㈜페트라인텔리전스 • 퓨처VR랩 • ㈜프론티스 • 플러스에이㈜ • ㈜한컴인텔리전스 메타버스 인물 벤 넬슨 • 이반 서덜랜드 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반