위키원
확장현실
확장현실 또는 XR(eXtended Reality)이란 가상현실(VR)과 증강현실(AR)을 아우르는 혼합현실(MR) 기술을 망라하는 용어이다.
목차
개요
확장현실(XR)은 가상현실, 증강현실, 혼합현실이 연계된 현실을 의미한다. 가상현실(VR)이 360도 영상을 바탕으로 새로운 현실을 경험하도록 하는 기술이라면, 증강현실(AR)은 실제 사물 위에 컴퓨터그래픽(CG)을 통해 정보와 콘텐츠를 표시한다. 확장현실(XR)은 위의 두 기술이 각자 단점을 보완하면서 상호진화를 한 결과물이다.
확장현실(XR)은 가상, 증강현실 기술의 개별활용 또는 혼합활용을 자유롭게 선택하며, 확장된 현실을 창조한다. [1]
연계
확장현실(XR)은 가상현실, 증강현실, 혼합현실이 연계된 현실을 의미한다.
가상현실
가상현실(假想現實) 또는 VR(virtual reality)은 "실제와 유사하지만, 실제가 아닌 인공 환경"이다. 컴퓨터 등을 사용한 인공적인 기술로 실제와는 유사하지만, 실제가 아닌 환경이나 상황을 만들어 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 가상의 경계를 자유롭게 드나들게 한다. 또한 실재하는 디바이스를 이용하여 조작이나 명령을 내리는 등 가상현실 속과 상호작용이 가능하다.
가상현실을 구성하는 데 필요한 요소는 3차원의 공간성, 실시간 상호작용성, 몰입 등이 있다. 3차원 공간성은 사용자가 최대한 유사한 경험을 할 수 있는 가상공간을 만들어 내기 위해 물리적 활동 및 명령을 컴퓨터에 입력하고 그것을 3차원의 유사공간으로 출력하는 요소이다. 3차원 공간을 실시간으로 출력하기 위해 컴퓨터와 키보드, 마우스, 조이스틱 등 여러 장비를 통해 사용자는 가상현실에 더욱 몰입할 수 있다.
증강현실
증강현실(增强現實) 또는 AR(Augmented Reality)은 실제 환경에 가상의 사물이나 정보를 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 현실 세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여준다. 실제 환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.
기존의 가상현실(VR)은 가상의 공간과 사물만을 대상으로 하지만, 증강현실은 현실 세계에 가상의 사물을 합성하여 현실의 효과를 더욱 증가시키는 점이 특징이다. 때문에 단순히 게임과 같은 분야에서만 한정된 적용이 가능한 기존의 가상현실과 달리, 증강현실은 다양한 현실 환경에 응용이 가능하다. 특히, 증강현실은 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
혼합현실
혼합현실은 1994년 토론토 대학교 폴 밀그램(Paul Milgram)이 처음 현실-가상 연속계(Reality-Virtuality continuum)으로 정의한 개념이다. 혼합현실은 쉽게 말해 증강현실과 증강가상현실을 포함하는 기술이라고 할 수 있다. 기술적으로는 현실과 증강현실 그리고 가상현실의 요소를 모두 혼합하기 때문이다. 가상현실(VR)은 현실세계와 관련이 없이 가상의 공간에서 이미지를 보여주고, 증강현실(AR)은 현실세계 위에 가상 이미지를 올려서 겹쳐서 보여주지만, 혼합현실은 현실 세계를 바탕으로 현실과 가상의 정보를 혼합하여 기존보다 더욱 진화된 가상세계를 구현하는 기술이다.
혼합현실(混合現實) 또는 MR(Mixed Reality)은 가상현실과 증강현실의 장점은 결합하고 단점을 보완하는 차세대 기술로 각광 받으며 등장했다. 혼합현실은 가상현실이 주는 이질감을 완화하고 증강현실의 낮은 몰입도를 개선하여 가상의 이미지가 현실의 일부인 것처럼 느껴져 현실과 가상이 자연히 연결된 스마트 환경을 제공하여 사용자들이 풍부한 체험을 즐길 수 있게 사용자와의 인터랙션을 더욱 강화했기 때문이다. 가상현실은 실제 현실과 흡사하게 느끼도록 몰입도를 주지만 인지 부조화로 사이버 멀미, 두통 등이 발생했다. 증강현실은 현실의 정보를 쉽고 빠르게 접한다는 장점이 있지만 특정장치를 이용해야만 구현되어 몰입도 측면에서 한계가 발생한다. 혼합현실은 현실과 가상을 균형 있게 융합하여 새로운 플랫폼으로 몰입감을 높이면서 효과적인 정보 전달이 가능하여 일상생활부터 산업 분야까지 다방면으로 활용이 가능하다.
관련 기술
H/W기술
- 입력 인터페이스 : 동작을 인식하기 위한 제스처 동작 인식 기술, 음성인식 기술, 주변 환경을 자율적이고 지능적으로 인식하는 상황 인식 기술 등이 요구된다.
- 출력 인터페이스 : 가상/증강현실의 객체와 배경을 출력하는 디스플레이 장치, 임장감과 몰입감을 위한 해상도 및 밝기가 중요하다.
- 컴퓨팅 장치 : 헤드-마운드 디스플레이(Head-Mount Display), 그래픽처리장치(GPU), 디스플레이, 자이로센서, 가속센서
S/W기술
- 추적 및 정합 기술 : 센서기반 추적 기술, 비전 기반 추적 기술, 하이브리드 추적 기술의 종류가 있다.
- 음성 인식 기술 : 자동음성인식이 핵심기술이고, 인공지능을 활용하는 자연어처리(NLP), 데이터 마이닝, 빅데이터를 통한 기술의 정확도 향상이 필요하다.
- 상호작용 및 사용자 인터페이스 기술 : 제스처를 인지할 수 있는 기술, 현실과 가상공간 사이의 상호 연결을 통한 몰입감을 제공하는 기술이 요구된다.
- 위치기반 서비스 기술 : 정밀한 위치 정보 획득이 중요한 만큼, GPS 인공위성, 이동통신 환경, 와이파이(WIFI)나 블루투스를 활용한 명확한 위치를 파악하는 것이 중요하다.
- 지능형 검색 기술 : 사용자 상황에 맞는 이미지, 위치, 영상, 사운드를 검색 조건으로 하는 새롭고 진화된 검색 인터페이스가 요구된다.
필요 기술
- 디스플레이
- 확장 현실(XR)은 풍부한 시각적 콘텐츠와 가상과 현실 세계를 자연스럽게 전환 할 수 있게 만드는 혁신적인 디스플레이 기술을 필요로 한다. 엑스알(XR) 디스플레이는 편안하고 내구성이 뛰어나야 하는 것 외에도 서로 상이한 거리에 있는 두 물체에 초점을 맞출 때 피로감과 불편함을 느끼게 되는 수렴-조절 불일치(Vergence-Accommodation Conflict)현상의 해결과 디스플레이 시야각(Field of View, FOV) 확대, 픽셀 밀도와 프레임 속도의 향상, 화면 밝기 개선, 동일 디스플레이에서 애플리케이션의 화면 불/투명도 조절이 필요하다.
- 공통 조명
- 확장 현실(XR)의 실현하기 위해서는 가상의 물체를 증강된 세계에서 시각적으로 실체 물체와 구분할 수 없게 만들어야하는데 실제 물체에 적용된 조명효과를 가상물체에 동일하게 제공하기 위한 컴퓨터 비전과 3D 그래픽분야의 통합이 필요하다.
- 모션 트래킹
- 엑스알(XR) 글래스와 직관적으로 상호작용하면서 몰입감 넘치는 경험을 제공하기 위해서는 엑스알(XR) 글래스 상에서 지능적으로 사용자의 머리, 손, 눈을 트래킹하는 기술이 필요하다. 머리는 브이알(VR) 모션투포톤(Motion to Photon, MTP) 지연 조건을 충족시키기 위해 6-자유도 헤드 트래킹 기술이 필요하다.
손은 컨트롤러 없이 사람의 손으로 움직임을 컨트롤하기 위해 증강 현실(AR) 모드에서 손을 추적하고 이를 가상 현실(VR) 모드에서 가상의 손을 생성하는 것이 필요하다. 마지막으로 눈은 눈의 움직임 추적하여 동공사이의 거리(inter-pupillary distance, IPD)를 자동 계산하는 기술, 시각적 품질을 높여주는 3D 그래픽, 눈의 초점이 향하는 부분은 고해상도로 구현하고 나머지 배경은 저해상도로 처리하는 방식으로 그래픽 처리량을 줄이는 비디오 포비티드 렌터링(Foveated rendering)기술이 필요하다.
- 전력 및 발열
- 엑스알(XR) 글래스는 전력 및 발열 관점에서 제약 조건이 많아서 상시 동작하고 집중적인 컴퓨팅 작업 부하를 수용해야 하는 저전력 이기종 컴퓨팅(Heterogenous Computing) 성능, 배터리 기술, 재료 과학, 소프트웨어 효율성 및 표준화 등이 개선된 하드웨어/소프트웨어를 장착이 필요하다.
- 연결성
확장 현실(XR)은 인터넷과 클라우드의 연결이 유지되어야 한다. 이 연결을 보다 안전하게 유지하기 위해서 6-자유도 비디오 경험 구현, 스트리밍 엑스알(XR) 비디오의 인터랙션 속도를 향상을 필요한데 이를 위해서 멀티 기가비트 처리량과, 무선 지연시간을 1/100초까지 낮춘 연결성이 필요하다. [3]
활용 사례
국내 사례
- 제조
확장 현실(XR)은 국내 제조업 현장에서 현장 작업자와 원격지 전문가를 연결하는 원격협업 솔루션으로 유용하게 활용되고 있다. 현장 작업자는 AR 글래스(AR Glass)나 스마트폰을 통해 원격 전문가에게 실시간으로 현장 상황을 공유하고 문제 해결에 필요한 지원을 받을 수 있다. 석유 화학공장을 운영하는 한화토탈은 코로나19로 인해 해외 정비사 입국이 어려워지자 AR 원격협업 서비스를 도입하였다. 버넥트에 따르면, 기술지원을 위한 해외 정비사 출장 시에는 2억 원 정도의 출장비가 소요되나, AR 솔루션을 도입하면서 2천만 원으로 해외 기술지원이 가능하다. 또한, AR 기술은 현장 작업자에게 설비 조작, 위치안내, 재난안전관리 정보를 제공하여 오작업 방지 및 업무 효율성 향상에 도움을 줄 수 있다. 증강지능의 산업용 AR 네비게이션 플랫폼은 스마트팩토리와 항공기 MRO(Maintenance, Repair, Overhaul, Conversion) 분야의 AR 작업 가이드를 제공한다. 작업자가 착용한 AR기기를 통해 작업 상황에 대한 부품의 조립 위치·순서·방법 등의 정보를 작업자의 시각 내에 자동으로 투영하여 작업 효율을 높일 수 있다. 확장 현실(XR)은 재난, 설비 고장 등 특정 현장 상황에 대응하는 훈련은 직원의 안전과 직무 전문성 향상에 반드시 필요하지만, 훈련 설비 구축 부담이 크고 비대면 상황에서는 운영이 어렵다. 가상 현실(VR)을 활용하면 다양한 시나리오로 가상의 훈련 환경을 조성하고 안전하게 직무교육이 가능하다. 이외에도, GS칼텍스, 포스코인재창조원, 한국가스공사 등에서 공장 공정 교육, 정비 교육, 설비 관리 교육을 위해 확장 현실(XR)을 활용한 바 있다.
- 교육
코로나19 확산 여파로 온라인 교육이 장기화됨에 따라 효과적인 비대면 실시간 온라인 강의의 필요성이 높아지고, 몰입감 있는 가상 교육 환경 구축을 위한 시도들이 늘어나고 있다. 서틴스플로어가 개발한 브이알(VR) 가상 강의실은 40명까지 동시 접속 및 실시간 원격 강의를 지원한다. 이외에도 브래니, 다림, 살린 등 다양한 기업들이 가상 현실(VR)을 활용한 가상 교육 시스템을 출시하거나 개발 중이다. 한양대는 홀로그램(hologram,HR)로 구현된 실물 크기의 교수가 여러 강의실의 학생에게 동시에 강의하고 질문을 받을 수 있는 쌍방향 원격 강의를 제공하고 있다. 대면 활동을 보완할 수 있는 확장 현실(XR) 활용 교육 콘텐츠 수요도 늘어나고 있다. 또한 코로나19 감염 우려로 진행이 어려운 대면 면접 교육의 대안으로 가상 현실(VR) 모의 면접 프로그램 수요도 늘고 있다.
해외 사례
- 에이알키드(ARKit)
- Apple은 2017년 9월에 에이알키드(ARKit)를 발표했다. 이후 “이미지 인식”과 “벽면 인식”이 가능한 에이알키드(ARKit) 1.5를 2018년 1월에 출시했으며, 최근에는 에이알(AR) 경험 강화(여러 사용자의 AR 경험 공유, 저장된 이전 경험 재실행 등) 및 물체 인식/추적 기능이 추가된 에이알키드(ARKit) 2를 발표했다. 에이알(AR) 경험 공유는 다수의 사용자들이 동시에 같은 공간을 보고 상호작용할 수 있게 해주는 것으로, 에이알(AR) 영역을 확대하여 플랫폼으로 발전시키는 중요한 요소로 볼 수 있다. 또, 애플(Apple)은 가상의 물체를 표시하기 위한 유니버셜 스캔 디스크립션(Universal Scene Description)을 지원함으로써 콘텐츠 시장에도 한 발 더 다가가는 모습을 보이고 있다.
- 에이알코어(ARCore)
- 비록 애플(Apple)에 비해 조금 늦었지만, 구글(Google) 역시 에이알코어(ARCore)라는 플랫폼을 발표하면서 에이알키드(ARKit)을 바짝 따라붙어 위협했다. 에이알코어(ARCore) 플랫폼은 안드로이드(Android) 기기뿐만 아니라 아이오에스(iOS) 기기에서도 동작하고(현재 안드로이드 기기 56종, iOS 기기 11종), 유니티(Unity), 언리얼(Unreal) 등 기존 3D 개발 엔진과의 연동으로 그 범위를 빠르게 확대하는 중이다. 에이알코어(ARCore)는 에이알키드(ARKit)보다 늦게 시작했지만 에이알(AR) 경험을 공유하는 기능은 먼저 제공하였고, 바닥면뿐만 아니라 기울어진 평면까지 인식하고, 사실감을 높이기 위해 실제 환경의 광원 조건을 추측해 가상의 물체가 평면에 놓일 때 추측된 광원 조건을 고려하여 렌더링 할 수 있는 기능을 제공하는 등 증강현실(AR) 생태계에서 우위를 점하기 위해 노력하고 있다.
- 핸드 트랙킹(Hand Tracking)
- 립 모션(Leap Motion)은 자체 개발한 컨트롤러를 통해 사람의 손동작 추적 기술을 개발한 기업이다. 단순 동작부터 손가락의 움직임까지 정확히 추적하는 기술을 가지고 있다. 정교한 손동작의 추적을 통해 가상 공간과의 상호작용이 가능해지면서 다양한 분야에서의 에이알/브이알(AR/VR) 활용도가 더욱 높아졌다. 립 모션(Leap Motion)은 자사의 손동작 추적 기술을 에이알/브이알(AR/VR)에 적용할 수 있는 오리온 소프트웨어 개발 키트(Orion SDK) 및 유니티(Unity), 언리얼(Unreal) 플러그인의 제공과 하드웨어 설계 및 관련 소프트웨어를 오픈소스로 공개했다.
전망
미래에는 스마트폰, 모바일 브이알(VR) 헤드셋, 에이알(AR) 글래스가 하나의 엑스알(XR) 웨어러블 기기로 통합될 것이다. 그렇게 되면, 엑스알(XR) 글래스로 증강현실(AR)과 가상현실(VR)을 동시에 사용할 수 있게 되면서 평소에는 투명한 안경이지만 별도의 기능이 필요할 때 불투명해지면서 “가상현실(VR) 모드”로 전환되는 기기도 개발될 것이다. 이로인해 실감나고, 인지적이며 항상 연결된 경험을 제공하여 일상을 개선하고 풍요롭게 만들어준다. 엑스알(XR) 글래스는 TV와 같은 일상의 여러 스크린을 대체할 수 있어서 퀄컴은 엑스알(XR) 글래스가 향후 10년 내에 음성 및 영상 정보를 전달하는 가장 보편적인 기기가 될 것으로 예상하고 있습니다. [5]
이미 많은 기업들이 확장현실의 기술에 많이 뛰어들고 있다. 확장현실(XR)을 잘 표현한 마이크로소프트 홀로렌즈는 평소에는 투명한 안경일 뿐이지만 특정 상황에서 가상현실(VR)모드로 전화되는 엑스알(XR)글라스 형태로 발전할 것으로 보이며 항상 연결됨으로써 사용자의 일상을 개선해 줄 것이다. 퀄컴에서는 확장현실(XR)플랫폼인 퀄컴 스냅드래곤 엑스알(XR)1 플랫폼(Qualcomm Snapdragon XR1 platform)을 최초로 발표했으며 사용자들에게 고궐리티 확장 현실을 제공하는 제조사들의 확장현실 관련 기기를 개발하는데 지원하며 또한 인공지능(AI)기술을 활용해 상호작용, 전력소비, 발열 효율 등을 향상시켰다. 구글이나 애플에서도 확장현실(XR)에 관심을 가지고 구글은 에이알코어(ARCore)라는 플랫폼 애플은 에이알키드(ARKit) 등 확장현실(XR)분야를 적극적으로 투자하고 있다. 포스트 코로나 시대와 더불어 5G로 인해 모바일, 가상현실(VR) 장치들에서 확장현실(XR)이 가능해졌으며 우리가 알고있는 4차산업혁명 분야에서도 많이 사용될 것으로 전망된다. [6]
각주
- ↑ 원준 승준이 아빠, <확장현실(XR : eXtended Reality)> , 《네이버 블로그》 , 2021-06-18
- ↑ SeonBi, <(메타버스) 02편 - XR(eXtended Reality)의미(AR,VR,MR)> , 《네이버 블로그》 , 2021-05-25
- ↑ 퀄컴 코리아 , <XR(Extended Reality)시대가 온다> , 《네이버 포스트》 , 2017-07-11
- ↑ 이상헌, 최선일, 김승진 프로 , <VR, AR MR을 아우르는 XR(eXtended Reality, 확장현실) 기술동향> , 《네이버 포스트》 , 2018-12-11
- ↑ 퀄컴 코리아 , <XR(Extended Reality)시대가 온다> , 《네이버 포스트》 , 2017-07-11
- ↑ 오잇 , <가상현실의 끝판왕!! VR, AR, MR을 포함한 확장현실 XR(eXtended Reality)에 대해 알아보자> , 《네이버 블로그》 , 2020-07-14
참고자료
같이 보기
