위키원
핸드트래킹
핸드트래킹(Hand Tracking)은 추적 센서를 부착한 장비 없이도 가상현실 헤드 마운티드 디스플레이(Head Mounted Display)에 내장된 카메라로 사용자의 손 움직임을 인식하여 가상현실 콘텐츠에 구현하는 방식이다. 가상현실, 증강현실의 기술이 발전하면서 핸드트래킹도 우리의 실생활에 가까워지고 있다.
목차
개요
높은 몰입도의 게임을 즐길 수 있는 가상현실 게임의 조작을 할 수 있는 컨트롤러는 설치가 어렵고 익숙하지 않아 불편하다는 지적이 되었다. 이러한 문제점을 해결하기 위해 오큘러스에서는 핸드트래킹을 도입하여 컨트롤러 없이 손의 움직임을 파악하여 손으로 게임을 즐기거나, 앱을 조작할 수 있게 되었다.[1] 가상현실기기의 대표업체인 오큘러스는 헤드 마운티드 디스플레이(Head Mounted Display) '오큘러스 퀘스트'에 핸드트래킹을 적용한다고 밝혔다. 레이더 기반 센서를 스마트폰에 내장해 증강현실 객체를 핸드트래킹으로 작동시키는 기술을 구글에서 특허를 내는 등 여러 기업이 기술개발에 열중하고 있다.[2]
원리
핸드트래킹 기법
|
손동작은 인간의 의사소통을 위해서 글이나 음성처럼 매우 중요한 수단으로 사용되고 있다. 가상현실과 증강현실에서 사용자와 시스템 간의 상호작용에 있어 몰입감을 증가시키기 위해 핸드트래킹 기술이 개발 중이다. 핸드트래킹은 스킨컬러를 통해 추출한 객체 영역에 대해 컬러공간(YCbCr)과 비교하여 스킨컬러 영역만 지속해서 추출한다. 또한 이동 배경에 대한 추적을 용이하게 하기 위해 칼만필터(Kalman filter)를 이용하여 추적한다. 칼만필터는 물체의 움직임에 대한 정보가 칼만필터의 상태 인수들에 누적되어 저장되어 이동하는 물체를 추적할 수 있다.[3]
손동작에 따른 객체 표현 기법
가상 객체를 6개의 사각형을 사용하여 증강한다. 사각형은 전, 후, 상, 하, 좌, 우를 의미하고 가상 큐브 형태로 조합한다. 사각형들의 집합으로 조합된 가상 큐브는 손 위에 증강이 된다. 그리고 꼭짓점 좌표를 계산하여 입체감을 준다. 손의 위치에 따라 가상 큐브를 기하 변환하기 위해서는 반드시 제트(z) 축이 필요하고 기하 변환계산을 위해 정규화 매핑이 필요하다.
정규화 큐브를 이용한 객체 표현 시스템
- 손 영역 추출
- 손영역 위에 가상 큐브 객체 생성
- 생성한 큐브의 영역 정규화
- 2차원 투영 좌표계에서 변환 데이터 생성
- 정규화 큐브 영역에 변화데이터 매핑
특징
컨트롤러를 사용하면 촉감, 진동을 느낄 수 있지만 핸드트래킹은 촉감을 느낄 수 없다. 그러므로 핸드트래킹은 컨트롤러보다 사용자와 시스템 간의 원활한 의사소통이 어려울 수 있지만, 사용자의 손을 직접 사용하기 때문에 사용법을 따로 익힐 필요 없이 직관적으로 조작할 수 있다. 핸드트래킹을 처음 사용해보면 조작법의 초기 진입 장벽이 있을 수 있지만 금방 익숙해질 수 있다. 가상현실 내에서 사용자와 시스템이 원활한 의사소통을 하기 위해선 다음 3가지 원칙이 필요하다
- 행동 유도성(Affordances) : 특정 개체가 가지고 있는 본질적, 외면적 속성이 우리에게 전해주는 정보로, 특정 대상을 가지고 어떤 행동을 할 수 있는지 추측하는 것이다.
- 부호(Signifiers) : 행동 유도성을 통해서 특정 대상에게 어떤 행위를 할 수 있는지 알려주는 것이다. 특정 객체에 손을 가져다 댔을 때 그 객체의 색을 바꾸거나 크기를 키우는 등의 행동이 가능하다는 것을 알려주는 것을 말한다.
- 피드백(Feedback) : 시스템과 사용자의 상호작용에 대한 상태를 나타내는 것이다. 객체에 대한 행동을 취했을 때 시각적, 청각적으로 상태가 변하는 것을 알려주는 과정이다.[4]
활용 사례
서울시 소방재난본부에서 국내 최초 가상현실 기술을 활용한 소방시설 실습 시스템을 구축하였다. 국내 전문가의 자문을 받아 총 10개월에 걸쳐 개발된 가상현실 소방시설 교육/훈련 전문 실습실이다. 총 10종의 전문적인 소방시설 실습 콘텐츠를 갖추고 기존의 1명씩 실습하던 방식을 15명이 동시에 훈련할 수 있도록 개발됐다. 특히 핸드트래킹 기술을 활용해 손을 인식하여 현실과 유사한 환경으로 점검할 수 있다. 이번 가상현실 훈련방식의 도입으로 인해 1인당 실습 소요 시간이 30분 이내로 단축되고 반복 학습과 연계학습이 가능해 소방시설 점검 능력이 대폭 향상될 것으로 예상된다고 한다.[5]
핸드트래킹 게임
- 마법사의 왈츠(Waltz of the Wizard) : 마법사의 왈츠는 가상현실 경험으로 마법의 힘을 가졌는지 느낄 수 있다. 완전한 대화형 가상세계에서 창의적이고 파괴적인 마법을 발휘할 수 있다.
- 도난당한 애완동물의 호기심 많은 이야기(The Curious Tale of the Stolen Pets) : 순진한 재미와 평온한 평화를 상기시켜줄 수 있는 브이알(VR) 퍼즐 게임이다. 디자인이 창의적이고 귀여운 입체 클레이메이션 스타일의 캐릭터이다. 간단하지만 재미있는 퍼즐 콘텐츠를 제공한다.
- 경로의 게임(Tsuro) : 타일을 배치하고 만든 경로에 따라 돌을 움직이는 전략 퍼즐 게임으로, 다른 플레이어가 만든 경로를 따라갈 수도 있다.
- 더 라인(The Line) : 미니어처 세상의 두 주인공, 페드로와 로사가 겪는 변화에 대한 두려움과 사랑에 관한 약 20분간의 이야기로 관객을 인도한다. 설정된 룸스케일 범위 내에서 자유롭게 돌아다니며 플레이할 수 있다.
- 공간(Spatual) : 공간은 행아웃, 몰입형 프레젠테이션 등을 위해 사람들을 한자리에 모을 수 있다. 전 세계에서 서로 옆에 앉아 몇 초 만에 셀카에서 실제와 같은 입체 아바타 만들기도 가능하고 아바타와 상호 작용하며 대면 협업 세션을 미러링한다.
기업
|
오큘러스
오큘러스는 현재 가상현실기기/플랫폼 영역에서 대표주자로 '오큘러스 퀘스트 2' 출시 3개월 만에 글로벌 판매량 100만대를 돌파하였다. 오큘러스는 팔머 럭키(Palmar Luckey)를 비롯한 몇몇 개발자들이 2012년에 스타트업으로 시작하여 2014년 페이스북에 인수되어 자회사가 되었다. 초기 멤버 중 한국인이 있었고, 오큘러스의 해외 지사는 한국에 가장 먼저 만들어져서 홈페이지에 영어 이외의 언어 중 한국어가 가장 먼저 지원이 되었다. 하지만 성과가 낮다는 이유로 한국 지사는 폐쇄됐고 '오큘러스 리프트'는 한국에서는 정식으로 출시가 되지 않았다. 그 이후 '오큘러스 퀘스트 2'가 나오면서 공식적으로 한국 시장 진출이 다시 이루어졌다. 2014년 제니맥스로부터 지적재산권 침해 등의 혐의로 피소되어 10년간 제품 판매 수익의 20%를 지불하기로 하였다. 한편 오큘러스는 2020년 모든 유저의 페이스북 계정 연동을 의무화하여 비판을 받았다. 오큘러스의 제품 목록은 다음과 같다.
- 오큘러스 리프트 : 입체 게이밍을 위해 디자인된 헤드 마운트 디스플레이(HMD)
- 오큘러스 리프트에스(Rift S) : 오큘러스 리프트 후속 기종이다.
- 오큘러스 퀘스트 : 2019년 5월에 오큘러스 리프트에스(Rift S)와 함께 출시되었다.
- 오큘러스 퀘스트 2 : 2020년 10월에 발매된 제품으로 핸드트래킹 기능이 업데이트되어 있다.
- 오큘러스 고 : 오큘러스, 퀄컴, 샤오미의 합작으로 만들어졌다. 기어 브이알과 달리 추가적인 기기 없이 단독으로 작동이 가능하다는 특징이 있다.
- 기어 브이알 : 삼성전자와 오큘러스가 협력해 만든 스마트폰 기반 가상현실기기이다. 출시 7시간 만에 완판되었다.
바이브
밸브 코퍼레이션과 에이치티씨(HTC)의 협력으로 개발한 가상현실 헤드 마운티드 디스플레이를 개발하는 회사이다. 오큘러스와 유사한 체감형 헤드 마운티드 디스플레이 기기를 개발하지만, 성능과 기능에서 조금씩 차이가 있다. 바이브는 베이스 스테이션이라는 센서 2개를 움직이는 공간 모서리에 하나씩 두면 사용자의 움직임을 감지하는데 적외선 반사면을 감지해 센서가 설치된 공간 속 착용자의 움직임을 추적한다. 사용자가 좁은 공간에만 있다면 다른 어떤 가상현실기기보다 현실감이 뛰어나다는 평가를 받았다. 바이브는 스마트폰과 연동하여 기기를 착용한 상태로 전화를 받거나 문자에 답장하는 등의 스마트폰 서비스를 누릴 수 있다.
엔리얼 코리아
엔리얼 코리아(Nreal Korea)는 기업용 혼합현실 글래스 엔터프라이즈킷을 출시한다. 엔터프라이즈킷은 손에서 인식되는 23개 핵심 포인트 위치와 방향을 추적하여 핸드 제스처를 글래스로 반영하는 핸드트래킹 기능도 선보였다. 현재 홀로그램 물체잡기, 옮기기, 컨트롤러 대신 양손으로 포인트 레이저 쏘기 등의 6개 제스처를 인식할 수 있다. 엔리얼코리아는 핸드트래킹을 이용하여 다양한 비즈니스 영역에 적용하고 새로운 인터페이스의 앱을 개발할 전망이다. 현재 핸드트래킹 기능은 베타버전으로 지속해서 알고리즘을 개설할 예정이다. 엔리얼코리아는 현재 혼합현실 글래스 관련 기술 스타트업으로 메타버스 솔루션을 제공하고 있다.[6]
삼성전자
삼성전자는 기어 브이알(VR) 이후로 스마트폰 가상현실 시장의 사장으로 가상현실 기기/플랫폼 사업을 중단했었다. 하지만 최근 브이알 사업에서 발을 뺐던 삼성이 재참전할 수 있다는 소식에 가상현실 콘텐츠 업계가 기대하고 있다. 삼성전자는 연내 헤드 마운티드 디스플레이를 출시할 전망으로 한국 브이알 산업 발전에 큰 도움이 될 것으로 분석된다. 현재 오큘러스는 렌즈 기술을 제외하면 장점이 없는데 삼성전자는 액정, 디스플레이, 메모리 등 다양한 영역의 기술을 갖추어 금방 오큘러스를 능가할 수 있을 것으로 보고 있다.[7]
관련 기술
|
공중 햅틱
핸드트래킹을 활용한 기술이 최적화가 된다면 초음파를 사용하여 촉감을 얻는 '공중 햅틱'기술로 직접 만지지 않고도 촉감을 얻을 수 있을 것이다. 현재 영국의 기업 '울트라 리프(Ultra leap)'에서 개발 중이며 온큘러스 퀘스트의 가상 포인터를 조작한다는 느낌이 강했지만 울트라 리프가 공개한 핸드트래킹 기술은 마치 터치 패드를 사용하듯 자연스러운 조작이 특징이다. 컨트롤러로 조작하는 방식이 주류였던 브이알, 에이알 장치에 큰 변화가 생기고 있다. 물리적으로 양손이 자유로워져 피로감이 크게 줄어들고 가격 측면으로도 부담이 덜어질 것이다. 햅틱 기술이 고도화된다면 콘텐츠 내적인 부분에서 격투용 게임이나 성인용 게임에서 사실적인 촉감을 느낄 수 있을 것으로 보인다.[8]
립모션
립모션(Leap Motion)은 단색 적외선(IR)카메라와 적외선 엘이디(LED)를 이용하여 약 100분의 1밀리미터의 움직임까지 감지할 정도로 매우 높은 감도를 갖고 있다. 퀘스트 핸드트래킹은 어두운 곳에서 사용이 불가하지만 립모션은 어두운 곳에서도 트래킹이 가능하다. 하지만 트래킹의 범위는 매우 작은 편이다. 립모션이 기존 입력 장치들보다 많이 사용되려면 사용자와 소프트웨어의 사이즈에 대한 임계점을 넘어야 할 것이다.
핑거트래킹
핑거트래킹은 손가락 개별의 움직임을 추적하는 것을 말한다. 컨트롤러 트래킹처럼 완벽하게 손가락을 추적하는 것이 아니라 범위 안에서 약간의 움직임만 추적한다. 컨트롤러와 손가락이 닿은 상태, 그사이 작은 영역, 떨어진 상태의 세 가지 정도로 단계를 나누어 중간 과정을 자연스럽게 메꾸는 방식이다. 핑거트래킹은 이러한 방식으로 접촉 여부를 이용한 방식이기 때문에 좌우로 흔들거나 하는 세밀한 추적은 불가능하다는 한계가 있다.
컨트롤러 트래킹
컨트롤러 트래킹은 핸드트래킹의 이전 방식으로 말 그대로 컨트롤러의 위치를 추적하는 방식이다. 컨트롤러 트래킹은 외부 장치를 사용한 트래킹 방식과 외부장치가 필요 없는 방식으로 나누어 진다. 외부 장치를 이용한 트래킹 방식은 헤드셋 외부의 추가적인 장치의 도움을 받아서 헤드셋, 컨트롤러 등의 위치를 인식하는 방식이다. 장치를 설치해야 하는 번거로움은 있지만, 컨트롤러나 트래커가 눈에 보이지 않아도 정확한 위치를 추적할 수 있다. 외부장치가 필요 없는 방식은 헤드셋에 달린 카메라가 보고 있는 공간을 입체적으로 받아들여 헤드셋과 컨트롤러의 위치를 추적하는 방식이다. 센서를 설치할 필요가 없어 사용장소에 대한 제약이 없지만, 헤드셋의 다각도에 달린 카메라들이 볼 수 없는 곳에 컨트롤러가 위치하면 컨트롤러의 위치추적이 불가능하다. 아직은 핸드트래킹의 기술로는 조작이 많은 제한이 있기 때문에 가살현실 게임의 대부분에 컨트롤러 트래킹이 필수적으로 들어가 있다.[9]
각주
- ↑ 김미희 기자, 〈컨트롤러 필요 없다, 오큘러스 퀘스트 '핸드 트래킹'추가〉, 《게임메카》, 2019-12-10
- ↑ 전숙희, 〈핸드 트래킹(Hand Tracking)〉, 《방송기술저널》, 2020-03-18
- ↑ 반경진 외 3명, 〈핸드 트레킹을 이용한 Markerless시스템Markless System of Using Hand Tracking〉, 《한국해양정보통신학회 2010년도 춘계학술대회》, 2010-05-27
- ↑ Jinius, 〈VR Hand Tracking UX-Hand Tracking의 3원칙〉, 《Jinius의 Design StudyNote》, 2020-02-14
- ↑ 박미영 기자, 〈서울시, 소방시설 점검 실습도 가상현실(VR)로 한다〉, 《보안뉴스》, 2021-05-21
- ↑ 손지혜 기자, 〈엔리얼 코리아, 기업용 MR글래스 출시...핸드 트래킹도 선봬〉, 《전자신문》, 2021-07-08
- ↑ 오시영 기자, 〈'삼성 재참전' 한국 VR 시장 다시 꽃 핀다〉, 《조선일보》, 2021-02-15
- ↑ 박광석 기자, 〈핸드 트래킹, VR에 어떤 변화 가져올까?〉, 《인벤》, 2019-12-17
- ↑ 브이로그, 〈핸드트래킹/핑거트래킹의 차이에 대해서 알아보자!〉, 《디시인사이드》, 2020-09-20
참고자료
- 김미희 기자, 〈컨트롤러 필요 없다, 오큘러스 퀘스트 '핸드 트래킹' 추가〉, 《게임메카》, 2019-12-10
- 전숙희, 〈핸드 트래킹(Hand Tracking)〉, 《방송기술저널》, 2020-03-18
- 반경진 외 3명, 〈핸드 트레킹을 이용한 Markerless시스템Markless System of Using Hand Tracking〉, 《한국해양정보통신학회 2010년도 춘계학술대회》, 2010-05-27
- Jinius, 〈VR Hand Tracking UX-Hand Tracking의 3원칙〉, 《Jinius의 Design StudyNote》, 2020-02-14
- 박미영 기자, 〈서울시, 소방시설 점검 실습도 가상현실(VR)로 한다〉, 《보안뉴스》, 2021-05-21
- 손지혜 기자, 〈엔리얼 코리아, 기업용 MR글래스 출시...핸드 트래킹도 선봬〉, 《전자신문》, 2021-07-08
- 오시영 기자, 〈'삼성 재참전' 한국 VR 시장 다시 꽃 핀다〉, 《조선일보》, 2021-02-15
- 박광석 기자, 〈핸드 트래킹, VR에 어떤 변화 가져올까?〉, 《인벤》, 2019-12-17
- 브이로그, 〈핸드트래킹/핑거트래킹의 차이에 대해서 알아보자!〉, 《디시인사이드》, 2020-09-20
같이 보기
