위키원
핸드트래킹
핸드트래킹(Hand Tracking)은 추적 센서를 부착한 장비 없이도 가상현실 헤드 마운티드 디스플레이(Head Mounted Display)에 내장된 카메라로 사용자의 손 움직임을 인식하여 가상현실 콘텐츠에 구현하는 방식이다. 가상현실, 증강현실의 기술이 발전하면서 핸드트래킹도 우리의 실생활에 가까워지고 있다.
목차
개요
높은 몰입도의 게임을 즐길 수 있는 가상현실게임의 조작을 할 수 있는 컨트롤러는 설치가 어렵고 익숙하지 않아 불편하다는 지적이 되었다. 이러한 문제점을 해결하기 위해 오큘러스에서는 핸드트래킹을 도입하여 컨트롤러 없이 손의 움직임을 파악하여 손으로 게임을 즐기거나, 앱을 조작할 수 있게 되었다.[1]가상현실기기의 대표업체인 오큘러스는 헤드 마운티드 디스플레이(Head Mouted Display) '오큘러스 퀘스트'에 핸드트래킹을 적용한다고 밝혔다. 레이더 기반 센서를 스마트폰에 내장해 증강현실 객체를 핸드트래킹으로 작동시키는 기술을 구글에서 특허를 내는 등 여러 기업들이 기술개발에 열중하고 있다.[2]
특징
컨트롤러를 사용하면 촉감, 진동을 느낄 수 있지만 핸드 트래킹은 촉감을 느낄 수 없다. 그러므로 핸드트래킹은 컨트롤러보다 사용자와 시스템 간의 원활한 의사소통이 어려울 수 있지만 사용자의 손을 직접 사용하기 때문에 사용법을 따로 익힐 필요 없이 직관적으로 조작할 수 있다. 핸드트래킹을 처음 사용해보면 조작법의 초기 진입 장벽이 있을 수 있지만 금방 익숙해 질 수 있다. 가상현실 내에서 사용자와 시스템이 원활한 의사소통을 하기 위해선 다음 3가지 원칙이 필요하다
- 행동 유도성(Affordances) : 특정 개체가 가지고 있는 본질적, 외면적 손성이 우리에게 전해주는 정보로, 특정 대상을 가지고 어떤 행동을 할 수 있는지 추측하는 것이다.
- 부호(Signifiers) : 행동 유도성을 통해서 특정 대상에게 어떤 행위를 할 수 있는지 알려주는 것이다. 특정 오브젝트에 손을 가져다 댔을 때 그 객체의 색을 바꾸거나 크기를 키우는 등의 행동이 가능하다는 것을 알려주는 것을 말한다.
- 피드백(Feedback) : 시스템과 사용자의 상호작용에 대한 상태를 나타내는 것이다. 오브젝트에 대한 행동을 취했을 때 시각적, 청각적으로 상태가 변하는 것을 알려주는 과정이다.[3]
기업
|
오큘러스
오큘러스는 현재 가상현실기기/플랫폼 영역에서 대표주자로 '오큘러스 퀘스트2'출시 3개월만에 글로벌 판매량 100만대 를 돌파하였다. 오큘러스는 팔머 럭키(Palmar Luckey)를 비롯한 몇몇 개발자들이 2012년에 스타트업으로 시작하여 2014년 페이스북에 인수되어 자회사가 되었다. 초기 멤버 중 한국인이 있었고, 오큘러스의 해외 지사는 한국에 가장 먼저 만들어져서 홈페이지에 영어 이외의 언어 중 한국어가 가장 먼저 지원이 되었다. 하지만 성과가 낮다는 이유로 한국 지사는 폐쇄됐고 '오큘러스 리프트'는 한국에서는 정식으로 출시가 되지 않았다. 그 이후 '오큘러스 퀘스트2'가 나오면서 공식적으로 한국 시장 진출이 다시 이루어졌다. 2014년 제니맥스로부터 지적재산권 침해 등의 혐의로 피소되어 10년간 제품 판매 수익의 20%를 지불하기로 하였다. 한편 오큘러스는 2020년 모든 유저의 페이스북 계정 연동을 의무화하여 비판을 받았다. 오큘러스의 제품 목록은 다음과 같다.
- 오큘러스 리프트 : 입체 게이밍을 위해 디자인 된 헤드 마운트 디스플레이(HMD)
- 오큘러스 리프트 에스 : 오큘러스 리프트 후속 기종이다.
- 오큘러스 퀘스트 : 2019년 5월에 오큘러스 리프트 에스와 함께 출시 되었다.
- 오큘러스 퀘스트2 : 2020년 10월에 발매된 제품으로 핸드트래킹 기능이 업데이트 되어 있다.
- 오큘러스 고 : 오큘러스, 퀄컴, 샤오미의 합작으로 만들어졌다. 기어 브이알과 달리 추가적인 기기 없이 단독으로 작동이 가능하다는 특징이 있다.
- 기어 브이알 : 삼성전자와 오큘러스가 협력해 만든 스마트폰 기반 브이알이다. 출시 7시간만에 완판되었다.
바이브
밸브 코퍼레이션과 에이치티씨(HTC)의 협력으로 개발한 가상현실 헤드 마운티드 디스플레이를 개발하는 회사이다. 오큘러스와 유사한 체감형 헤드 마운티드 디스플레이 기기를 개발하지만 성능과 기능에서 조금식 차이가 있다. 바이브는 베이스 스테이션이라는 센서2개를 움직이는 공간 모서리에 하나씩 두면 사용자의 움직임을 감지하는데 적외선 반사면을 감지해 센서가 설치된 공간 속의 착용자의 움직임을 추적한다. 사용자가 좁은 공간에만 있다면 다른 어떤 가상현실기기보다 현실감이 뛰어나다는 평가를 받았다. 바이브는 스마트폰과 연동하여 기기를 착용한 상태로 전화를 받거나 문자에 답장을 하는 등의 폰 서비스를 누릴 수 있다.
엔리얼 코리아
엔리얼 코리아(Nreal Korea)는 기업용 혼합현실글래스 엔터프라이즈킷을 출시한다. 엔터프라이즈킷은 손에서 인식되는 23개 핵심 포인트 위치와 방향을 추적하여 핸드 제스처를 글래스로 반영하는 핸드 트래킹 기능도 선보였다. 현재 홀로그랭 물체잡기, 옮기기, 컨트롤러 대신 양손으로 포인트 레이저 쏘기 등의 6개 제스처를 인식할 수 있다. 엔리얼코리아는 핸드 트래킹을 이용하여 다양한 비즈니스 영역에 적용하고 새로운 인터페이스의 앱을 개발할 전망이다. 현재 핸드 트래킹 기능은 베타버전으로 지속적으로 알고리즘을 개설할 예정이다. 엔리얼코리아는 현재 혼합현실글래스 관련 기술 스타트업으로 메타버스 솔루션을 제공하고 있다.[4]
삼성 전자
삼성전자는 기어 브이알(VR)이후로 스마트폰 브이알 시장의 사장으로 가상현실 기기/플랫폼 사업을 중단했었다. 하지만 최근 브이알 사업에서 발을 뺐던 삼성이 재참전할 수 있다는 소식에 가상현실 콘텐츠 업계가 기대하고 있다. 삼성전자는 연내 헤드 마운티드 디스플레이를 출시할 전망으로 한국 브이알 산업 발전에 큰 도움이 될 것으로 분석된다. 현재 오큘러스는 렌즈 기술을 제외하면 장점이 없는데 삼성전자는 액정, 디스플레이, 메모리 등 다양한 영역의 기술을 갖추어 금방 오큘러스를 능가할 수 있을 것으로 보고 있다.[5]
관련 기술
|
공중 햅틱
핸드 트래킹을 활용한 기술이 최적화가 된다면 초음파를 사용하여 촉감을 얻는 '공중 햅틱'기술로 직접 만지지 않고도 촉감을 얻을 수 있을 것이다. 현재 영국의 기업 '울트라리프(Ultraleap)'에서 개발 중이며 온큘러스 퀘스트의 가상의 포인터를 조작한다는 느낌이 강했지만 울트라 리프가 공개한 핸드 트래킹 기술은 마치 터치 패드를 사용하듯 자연스러운 조작이 특징이다. 컨트롤러로 조작하는 방식이 주류였던 브이알, 에이알 장치에 큰 변화가 생기고 있다. 물리적으로 양손이 자유로워져 피로감이 크게 줄어들고 가격적으로도 부담이 덜어질 것이다. 햅틱 기술이 고도화 된다면 콘텐츠 내적인 부분에서 격투용 게임이나 성인용 게임에서 사실적인 촉감을 느낄 수 있을 것으로 보인다.[6]
립모션
립모션(Leap Motion)은 단색 적외선(IR)카메라와 적외선 엘이디(LED)를 이용하여 약 100분의 1밀리미터의 움직임까지 감지할 정도로 매우 높은 감도를 갖고 있다. 퀘스트 핸드트래킹은 어두운 곳에서 사용이 불가하지만 립모션은 어두운 곳에서도 트래킹이 가능하다. 하지만 트래킹의 범위는 매우 작은 편이다. 립모션이 기존 입력장치들보다 많이 사용되려면 사용자와 소프트웨어의 사이즈에 대한 임계점을 넘어야 할 것이다.
핑거트래킹
핑거트래킹은 손가락 개별의 움직임을 추적하는 것을 말한다. 컨트롤러 트래킹처럼 완벽하게 손가락을 추적하는 것이 아니라 범위 안에서 약간의 움직임만 추적한다. 컨트롤러와 손가락이 닿은 상태, 그 사이 작은 영역, 떨어진 상태의 세 가지 정도로 단계를 나누어 중간 과정을 자연스럽게 메꾸는 방식이다. 핑거트래킹은 이러한 방식으로 접촉 여부를 이용한 방식이기 때문에 좌우로 흔들거나 하는 세밀한 추적은 불가능하다는 한계가 있다.
컨트롤러 트래킹
컨트롤러 트래킹은 핸드트래킹의 이전 방식으로 말 그대로 컨트롤러의 위치를 추적하는 방식이다. 컨트롤러 트래킹은 외부 장치를 사용한 트래킹 방식과 외부장치가 필요없는 방식으로 나누어 진다. 외부 장치를 이용한 트래킹 방식은 헤드셋 외부의 추가적인 장치의 도움을 받아서 헤드셋, 컨트롤러 등의 위치를 인식하는 방식이다. 장치를 설치해야하는 번거로움은 있지만 컨트롤러나 트래커가 눈에 보이지 않아도 정확한 위치를 추적할 수 있다. 외부장치가 필요없는 방식은 헤드셋에 달린 카메라가 보고 있는 공간을 입체적으로 받아드려 헤드셋과 컨트롤러의 위치를 추적하는 방식이다. 센서를 설치할 필요가 없어 사용장소에 대한 제약이 없지만 헤드셋의 다각도에 달린 카메라들이 볼 수 없는 곳에 컨트롤러가 위치하면 컨트롤러의 위치추적이 불가능하다. 아직까지는 핸드트래킹의 기술로는 조작이 많은 제한이 있기 때문에 가살현실게임의 대부분에 컨트롤러 트래킹이 필수적으로 들어가 있다.[7]
활용 사례
서울시 소방재난본부에서 국내 최초 가상현실기술을 활용한 소방시설 실습 시스템을 구축하였다. 국내 전문가의 자문을 받아 총 10개월에 걸쳐 개발된 가상현실 소방시설 교육/훈련 전문 실습실이다. 총 10종의 전문적인 소방시설 실습 콘텐츠를 갖추고 기존의 1명씩 실습하던 방식을 15명이 동시에 훈련할 수 있도록 개발됐다. 특히 핸드트래킹 기술을 활용해 손을 인식하여 현실과 유사한 환경으로 점검할 수 있다. 이번 가상현실 훈련방식의 도입으로 인해 1인당 실습 소요시간이 30분 이내로 단축되고 반복학습과 연계학습이 가능해 소방시설 점검 능력이 대폭 향상될 것으로 예상된다고 한다.[8]
각주
- ↑ 김미희 기자, 〈컨트롤러 필요 없다, 오큘러스 퀘스트 '핸드 트래킹'추가〉, 《게임메카》, 2019-12-10
- ↑ 전숙희, 〈핸드 트래킹(Hand Tracking)〉, 《방송기술저널》, 2020-03-18
- ↑ Jinius, 〈VR Hand Tracking UX-Hand Tracking의 3원칙〉, 《Jinius의 Design StudyNote》, 2020-02-14
- ↑ 손지혜 기자, 〈엔리얼 코리아, 기업용 MR글래스 출시...핸드 트래킹도 선봬〉, 《전자신문》, 2021-07-08
- ↑ 오시영 기자, 〈'삼성 재참전' 한국 VR 시장 다시 꽃 핀다〉, 《조선일보》, 2021-02-15
- ↑ 박광석 기자, 〈핸드 트래킹, VR에 어떤 변화 가져올까?〉, 《인벤》, 2019-12-17
- ↑ 브이로그, 〈핸드트래킹/핑거트래킹의 차이에 대해서 알아보자!〉, 《디시인사이드》, 2020-09-20
- ↑ 박미영 기자, 〈서울시, 소방시설 점검 실습도 가상현실(VR)로 한다〉, 《보안뉴스》, 2021-05-21
