디지털 휴먼
디지털 휴먼(Digital Human)이란 사람의 신체 구조 및 움직임을 데이터화하여 분석하고, 가상공간에서 마치 실재로 존재하는 사람처럼 움직임을 재현하는 디지털 기술로 만들어졌다. 사람과 동일한 외형을 갖추고 있는 가상 인간이며, 디지털 휴먼은 단순한 지식 전달 뿐만 아니라 현실 감 있는 표정 변화와 함께'사람 감정'으로 감성 대화가 가능하다는 점이 무엇보다 가장 큰 특징으로 꼽힌다.[1]
목차
개요
본래 디지털 휴먼 기술은 제조업 분야에서 제품의 설계 및 제조 개발 영역에서 자주 사용되었었다. 그러나 최근에는 코로나-19 바이러스의 대유행으로 비대면 및 비접촉 트렌드에 따라 비대면 휴먼이 비대면 서비스의 또 다른 대안으로 급부상하고 있으며 고객 서비스 상담, 브랜드 홍보, 컨설팅 등 디지털 휴먼의 역할이 점차적으로 다양해졌다. 2021년 2월 23일자 매일경제 기사에 따르면, 시장조사업체 가트너는 올해 전 세계 기업의 50%가 모바일 애플리케이션을 개발하기보다 디지털 휴먼 같은 가상 비서에 더 많이 투자할 것이라고 전망했다. 디지털 휴먼은 인공지능, 빅데이터 분석 기술, 클라우드, 고성능 컴퓨터 등 첨단 기술이 융합되어 사람과 거의 유사한 수준으로 발전하고 있다. 디지털 휴먼을 생성하는 기술, 디지털 휴먼이 실제 사람 및 환경과 상호작용하는 기술, 디지털 휴먼을 활용한 실감형 커뮤니케이션 서비스와 실감 콘텐츠에서의 3D 입체영상 재현 기술들이 있다. [2]
디지털휴먼(Digital Human)의 발달단계
같은 공간에서 진짜 사람처럼 생활하고 소통하기 위해서는 디지털 휴먼 영화 '엑스마키나'에 나오는 수준의 고도화된 AI 알고리즘 기반의 기술이 필요하다. 하지만 아직 이 시대의 AI기술 발전이 충분하지 않은 상태이기 때문에 디지털 휴먼을 만들기 위해서는 모든분야의 AI기술의 발전이 필요하다. 완벽한 인간이기보다 사람과 구분이 가지 않는 쌍방향 소통/대화를 어느정도 할 수 있느냐를기준을 잡았을때, 디지털휴먼의 발전 단계는 아래와 같이 4단계로 구분할 수 있다.
영화 엑스마키나 예고편
- 1.버츄얼 인플루언서(virtual influencer): 1단계의 버츄얼 인플루언서란 실제 사람이 아닌, 만들어진 캐릭터에 성격, 출신 배경, 직업 등을 부여하고 소통하는 가상의 인플루언서를 말한다. 쌍방향 소통이 거의 없는 일방향IP기반 컨텐츠를 제공해주는 연예인, 패션 모델 같은 존재를 말한다. 대표적으로 디지털 셀럽 수아, 릴 미켈라 등이 있으며 국내에서도 버츄얼 인플루언서가 한둘씩 생겨나고 있다. 연예기획사 SM엔터테인먼트는 앞으로 SM이 만들어갈 메타버스에서 활동할 연예인들의 부캐로 버츄얼 인플루언서들을 속속 론칭하고 있고, 싸이더스 스튜디스 X에서도 로지 등 소속 인플루언서를 공개했다.
|
- 2.버추얼 어시스턴트(Virtual Assistant): 2단계는 시리나 빅스비의 디지털휴먼 버전이라고 보면 된다. 호텔, 공항, 은행에서 단순한 고객 서비스(Customer Service)에 대해서 인간을 대체할 수 있는 디지털휴먼이다. 예를 들면 AI 아나운서 아나노바라는 디지털 휴먼이 있다. 아나노바라는 컴퓨터 시뮬레이션 뉴스 캐스터가 하루 24시간 사용자에게 뉴스 캐스트를 읽을 수 있도록 프로그램된 웹 지향 뉴스 서비스였다. 아나노바는 2000년 언론협회(PA)로부터 95m 규모의 거래를 통해 모바일 통신 사업자인 Orange S.A.의 회사가 되었으며, 그 후 오렌지 메인 뉴스 사이트로 합병되었습니다. 디지털 휴먼 아나노바는 2004년에 은퇴했지만, 웹사이트는 2009년까지 계속해서 아나운서 일을 했다.
|
- 3.인텔리전트 어시스턴트(Intelligent Assistant): 3단계는 좀 더 발전해서 맞춤형으로 사람과 대화하고 요가, 언어교육 등에 대해서 코치를 해줄 수도 있는 디지털휴먼이다. 대표적으로 스픽나우라는 것이 있다. 머니브레인(대표 장세영)이 세계 최초로 디지털 휴먼 기술이 적용된 인공지능(AI) 영어회화 학습 서비스이며 스픽나우는 학습자와 AI 튜터가 실시간 대화를 주고받으며, 영어회화 실력을 향상시키는 학습 서비스로, 현지 원어민 튜터들을 영상 합성하여 실제 사람과 대화하는 듯이 영어를 학습할 수 있도록 구현되었다. 이 디지털 휴먼 기술은 머니브레인이 자랑하는 세계 최고 수준의 딥러닝 영상합성 기술을 바탕으로 서울대, 연세대, 칭화대, 홍콩과기대, 컬럼비아대 등 국내외 유수 석박사 연구진들이 모여 독자적으로 연구 개발했다. 특히 기존의 3D 캐릭터와 달리 현지 원어민 튜터들을 영상에 합성하여 가상 인간이 실제 사람과 대화하듯이 영어를 학습할 수 있도록 구현되었다. 학습자의 취향에 따라서 다양한 출신, 성별의 튜터와 영어회화를 할 수 있으며 최근 여러 예능과 유튜브에서 큰 화제를 모으고 있는 방송인 ‘샘 해밍턴’과 ‘샘 오취리’도 곧 AI 튜터로 업데이트되어 사람들이 영어를 배우는데 거부감이 없이 다가 갈 수 있도록 하였다.
|
- 4.컴패니언(Companion): 진짜 친구와 대화하는 것 같은 느낌을 받을 수 있는 수준의 자연스러운 AI가 마지막 단계의 디지털휴먼이다. 스캐터랩의 ‘이루다'가 그 역할을 시도했다고 볼 수 있다.이루다는 스캐터랩 소속 핑퐁 팀(ScatterLab Pingpong Team)에서 개발한 페이스북 메신저 채팅 기반 열린 주제 대화형 인공지능 (Open-domain Conversational AI) 챗봇이다. 다른 챗봇들과 달리 딥러닝 알고리즘을 이용하여 2020년 12월 말 공개되고 나서 2021년 1월 초 순식간에 사용자 수 약 40만 명, 페이스북 페이지 팔로워 10만 명을 찍는 등 큰 인기를 끌었다. 하지만 딥러닝 알고리즘이 가질 수밖에 없는 여러 가지 문제점과 개인정보 유출 논란이 생기면서 결국 서비스 개선을 위해 잠정 중단하기로 했다.
|
디지털 휴먼 생성 기술
디지털 휴먼을 만드는 기술은 크게 3가지로 나누어진다. 사람의 형상을 실제 공간에 차지하는 3차원 픽셀의 집합으로 만들어내는 볼류메트릭 캡처 기술, 게임 속의 3D 캐릭터처럼 애니메이션이 가능하도록 메시와 텍스처로 만드는 3D 휴먼 모델링 기술, 마지막으로 딥러닝 기술을 이용하여 임의시점 또는 새로운 표정과 자세의 사람 영상을 만들어내는 뉴럴 휴먼 렌더링 기술 등이 있다.
볼류메트릭 캡처
볼류메트릭 캡처는 많은 수의 카메라를 이용하여 최대한 보이는 형태 그대로의 형상을 공간상의 3차원 픽셀 단위로 물체가 공간을 차지하는 것처럼 공간에 있는 형태와 색상을 촬영하는 방식이다. 대표적으로는 Relightables이라는 프로그램은 서던캘리포니아 대학교(USC, University of Southern California)와 구글이 공동 개발한 프로그램이며 기존 서던캘리포니아 대학교에서 보유하고 있는 Light Stage 시스템의 4번째 버전이다. 시분할 광원 시스템과능동형 깊이 카메라(depth camera)를 사용하여 기존 포토그래메트리(photogrammetry) 시스템에서 취득하는 고화질의 세부 표면 노멀(normal) 복원 방식과 유사한 수준의 픽셀 단위 노멀(표면의 3차원 방향)과 변위(표면의 높낮이 차)를 측정할 수 있으며 Relightables는 구글에서 보유한 볼류메트릭 캡처 기술을 융합하여 전통적인 포토그래메트리 방식에서는 해결하지 못한 시간의 흐름에 따른 형상의 변화까지 추적하여 촬영할 수 있다는 것이 특징이다. 이를 위해서 331개의 직접 제작한 발광다이오드(LED, Light Emitting Diode)와 4112×3008의 고해상도를 가지는 58개의 컬러 카메라, 32개의 적외선(IR, Infrared Radiation) 카메라를 이용하여 60fps의 속도로 고화질 형상의 노멀맵과 텍스처, 그리고 깊이맵을 생성한다. 이렇게 만들어진 디지털 휴먼 모델은 주변 광원에 맞추어 새롭게 렌더링을 할 수 있다. 또한 실사, CG영상과 자연스럽게 합성하여 증강현실(AR) 또는 가상현실(VR) 환경에서 사용이 가능하다. 이러한 방식은 앞서 말한 바와 같이 사람의 형상과 색상을 최대한 정확하게 복원하는 것이 목표이기 때문에새로운 표정이나 동작을 생성하기 위해서는 다음 섹션에서 소개될 3D 모델로 변환하거나 영상을 합성하는 기술을 활용해야 한다.
3D 휴먼 모델링
3D 휴먼 모델링는 이미 오래전부터 한 장의 얼굴 사진을 이용하여 3차원 얼굴 모델을 만들고 애니메이션(3D 모델링 데이터를 움직이거나 변형시키는 것으로, 움직임을 시간대별로 기록해서 데이터를 만들어 편집하는 것)하는 기술이 많이 개발되었고 현재 서비스 중에 있지만 얼굴만으로는 실재감을 느끼기에 부족하기 때문에 최근에는 전신사진을 이용하여 애니메이션이 가능한 3차원 전신 모델을 생성하는 기술들이 소개되고 있다. 후면의 형상과 텍스처까지 딥러닝 기법을 사용하여 만들어 내며 이렇게 영상을 이용하여 3D 휴먼 모델을 생성하는 방식들은 대부분 입력 영상으로부터 사람의 자세를 유추한 후 표준화된 3차원 휴먼 모델로 해당 자세를 만들고 변형하여 2차원 영상으로 투영한 다음 텍스처를 만들어 내고, 만들어진 3차원 모델을 렌더링하여 다시 입력 영상과 비교하는 재귀적인 방식을 사용한다. 단 한 장의 영상으로 만들어내는 3D 모델은 일반적인 3D 콘텐츠에서 이용하기 좋지만 세부적인 형상이나 텍스처는 정확하게 복원하기 어려워 화질이 다소 떨어지는 단점이 있다. 하지만 실제 원격 통신 환경에서 접속 초기에 전송되는 메시와 텍스처맵, 그리고 관절 정보들을 제외하면 소량의 실시간 동작 데이터만 필요하기 때문에 최근 유행하는, 아바타를 이용한 여러 명이 접속하는 가상 회의에 적합한 방식이다.
휴먼 렌더링
휴먼 렌더링은 2020년 소비자 가전 전시회(CES, Consumer Electronics Show)에서 삼성이 세계 최초로 선보인 인공인간 네온은 페이스북의 코덱 아바타(Codec Avatar)와 유사하게 실시간으로 사람의 형상을 합성하는 기술이다. 네온에서 쓰인 기술은 최근 많이 사용되고 있는 생성적 적대 신경망(GAN, Generative Adversarial Network) 기술을 이용하여 사람이 표현할 수 있는 다양한 표정 영상을 학습하고 입력되는 사람의 얼굴형에 맞게 새로운 표정을 생성해내는 기술이며 이러한 기술은 실제 존재하지 않는 사람을 만들어 낼 수 있을 뿐만 만 아니라 원하는 표정과 동작을 만들어 낼 수 있어 향후 많은 가능성을 가지고 있는 기술이다.[4]
디지털 휴먼과의 상호작용
디지털 휴먼을 만드는 이유는 사람이 인간 형태의 상대에게는 대화에 어려움을 적게 느끼면서 편안함을 느낀다는 기존 연구들에 근거하고 있다(DeVault, 2014). 이러한 이유로 삼성 네온은 실제 사람과 흡사한 디지털 휴먼을 구현하고 대화를 하는 기술을 소비자 가전 전시회(CES) 2020에서 선보였고 금융사 및 미디어사에 응용을 진행하고 있는 중이다. 이와 관련하여 세계적으로 연구를 선도하는 그룹인 서던캘리포니아 대학교의 창의기술연구소(ICT, Institute for Creative Technology)에서는 이미 10년 전부터 버추얼 츄먼 툴킷(Virtual Human Toolkit)을 개발해오고 있고 디지털 휴먼을 간단하게 제어하고 대화를 할 수 있는 기술을 개발하였다. 이러한 디지털 휴먼의 인터랙션 형태는 사용자와 대화하기, 사용자의 지시/명령대로 행동하기, 주위 환경과 인터랙션하기 등으로 분류를 할 수 있다.
대화 인터랙션
최근에 들어서 사람의 대화를 흉내 내고 특정한 영역에 입력된 스크립트(scripts) 기반으로 대화를 하는 일반적인 챗봇(chatbot)의 형태를 뛰어 넘어 상황에 관련된, 인간 유사 대화를 하는 지능형 가상 에이전트(intelligent virtual agent) 기술이 등장하고 있다. 기존의 챗봇과 달리 미리 입력받지 못한 질문이나 대화에 대해서도 자연어 처리를 통해서 입력받고 적절한 대화 및 반응을 이어나가는 기술들이 적용된다. 마이크로소프트에서는 파워 버추얼 에이전트(Power Virtual Agents)라는 이름으로 지능형 가상 에이전트 서비스를 제공하고 있고 구글의 경우에도 다이얼로그플로우(DialogFlow)라는 이름으로 유사한 서비스를 제공하고 있다. 이러한 기술의 발달로 챗봇이 인간과 유사하게 대화하는 기술은 많이 발전한 상황이다. 챗봇이 대화의 문장 자체를 의미 있게 생성하는 것에 주안점이 있다면 디지털 휴먼의 경우에는 동작이나 얼굴 표정 등으로 사용자에게 여러 가지 정보와 감정을 전달할 수가 있다는 것이 다른 점이다. 디지털 휴먼 행동은 언어적인 행동(verbal behavior)과 비언어적인 행동(nonverbal behavior)이 있을 수 있다. 언어적인 행동은 대화를 위한 동작이므로 대화를 위해서 생성되는 입의 움직임 같은 직접적인 동작으로 설명이 된다. 대화 시에는 비언어적인 행동도 중요하게 여겨지는데 이를 구체적으로 나열하면 시선 응시, 눈 깜빡임, 얼굴 표정, 입모양, 고개 움직임, 몸 움직임, 손동작 등이 있다. 대화 시에는 상체의 움직임이 중요한데 특정한 문장에 대해서 어떤 동작을 취할지를 정하는 규칙을 알아내어 맵핑하는 방법을 일반적으로 사용한다. 그런데 문장이라는 것이 무한한 조합의 경우의 수가 가능하기 때문에 모든 규칙을 알아내기 힘든 문제가 있다. 이를 해결하기 위하여 유튜브의 대화 영상 1766개, 106시간 분량에서 대화와 56가지 다양한 동작의 매핑을 추출하여 필요한 규칙들을 생성하였다. 이를 통해 일일이 대화-동작의 규칙을 사람이 지정하지 않고 자동으로 생성을 하여 입력 문장을 주면 캐릭터가 자동으로 사람과 유사한 동작을 취하며 말할 수 있었다. 또한 반대로 디지털 휴먼을 사용할 시에 카메라를 이용하여 상대 대화자의 몸동작 및 얼굴을 인식하는 경우 보다 면밀하게 상대의 반응을 알아낼 수가 있다. 연구에 따르면 웃음, 표정, 시선, 그리고 목소리 떨림을 인식하는 인공지능(AI, Artificial Intelligence)을 활용할 때 인간이 놓친 미세한 표정 및 동작의 변화를 검출 가능하고 심리적 판단을 정량화하기 때문에 의료진에게 더 정확한 수치를 제공할 수가 있다. 또한 비언어적 정서적 마커(웃음, 표정, 시선)에 대한 정량적 수치를 제공할 수 있기 때문에 의료진의 결정에 도움이 된다.
행동 인터랙션
디지털 휴먼과 인터랙션을 하는 방법 중 위에서 논한 대화 방식 이외에 특정한 행동을 유도하는 인터랙션이 있다. 이런 인터랙션을 위해서 사용되는 방식으로는 행동 저작이 있다. 이를 위한 언어 중에 유명한 것으로는 BML(Behavior Markup Language)라는 것이 있다. BML은 디지털 휴먼의 행동을 정의하는 언어로 어떤 동작들을 하는지에 대해서 연속적으로 정의를 할 수가 있다(Aggarwal et al, 2011). 최근에는 대화 모델을 이용하여 사용자가 음성으로 명령을 말하면 이를 행동으로 옮기는 디지털 휴먼도 제시되고 있다. 이는 음성 대화를 분석하여 어떤 대상으로(Subject), 어떤 행동을(Action), 어디에서(Position), 어디로(Target) 하는지를 분석하여 수행에 옮기는 것이 가능하다. 사용자의 발화를 BERT(Bidirectional Encoder Representations from Transformers) 모델 등을 사용해서 분석하고 이를 문장 분류기(Sentences Classifier)를 사용하여 행동(Action)에 대한 문장인지를 알아낸 후 행동에 관련된 문장인 경우, 요소 분석기(Entity Classifier)에서 어떤 행동들을 해야 하는지에 대해서 분석하여 실제로 동작하도록 지시하며 만약 행동에 관련되지 않은 문장인 경우 단순히 대화를 하도록 한다. 위의 방식들은 디지털 휴먼이 일정한 규칙이나 지능을 가지고 행동을 하는 것들에 관한 것이지만 현재 많은 경우에는 디지털 휴먼을 사람이 직접 모션 캡쳐(motion capture)를 통해서 동작을 읽어 들이고 이를 사용하여 제어하는 방법을 사용한다. 이런 방식은 실시간으로 사용자의 동작을 반영하기 때문에 실시간 콘텐츠에 많이 사용되며 버츄얼 유튜버 같은 경우에 적합한 방식이다. 주로 사용하는 장비로는 모션 캡쳐 장비로 HTC Vive의 트랙커(tracker)가 일반 대중이 사용 가능한 장비이고 퍼셉션 뉴런(Perception Neuron)사의 제품 등과 같은 어느 정도 전문용 장비들도 사용된다. 사용자의 얼굴 같은 경우에는 페이스리그(FaceRig)사의 제품을 주로 사용하여 얼굴 표정을 실시간으로 읽어서 디지털 휴먼의 얼굴에 반영을 한다. 페이스리그(FaceRig)사의 제품은 PC용뿐만 아니라 안드로이드/아이폰 용으로도 제공이 되기 때문에 얼굴 앞에 부착한 채로 사용하는 경우도 많다.
각주
- ↑ 정제영, 〈비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개〉, 《융합연구정책센터》, 2021-04-02
- ↑ 정제영, 〈비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개〉, 《융합연구정책센터》, 2021-04-02
- ↑ Bosung Park, 〈메타버스와 디지털휴먼 — ① Z세대(Gen-Z)의 셀럽, 릴미켈라〉, 《medium》, 2021-05-03
- ↑ 정제영, 〈비대면 지능형 교육 기술의 동향/디지털 휴먼을 이용한 비대면 시대 실감형 콘텐츠 기술 소개〉, 《융합연구정책센터》, 2021-04-02