위키원
"페이셜 캡처"의 두 판 사이의 차이
| (사용자 2명의 중간 판 5개는 보이지 않습니다) | |||
| 1번째 줄: | 1번째 줄: | ||
| − | '''페이셜 캡처'''(Facial capture)란 [[3D]] 애니메이션 등에서 얼굴의 움직임을 신호로 얻은 후에 디지털 [[캐릭터]]의 얼굴에 반영하는 과정이다. [[모션 캡처]]의 종류 중 하나이다.<ref>〈[https://terms.naver.com/entry.naver?docId=1651314&cid=50338&categoryId=50338 페이설 캡처]〉, 《네이버 지식백과》</ref> | + | '''페이셜 캡처'''(Facial capture)란 [[3D]] [[애니메이션]] 등에서 얼굴의 움직임을 신호로 얻은 후에 디지털 [[캐릭터]]의 얼굴에 반영하는 과정이다. [[모션 캡처]]의 종류 중 하나이다.<ref>〈[https://terms.naver.com/entry.naver?docId=1651314&cid=50338&categoryId=50338 페이설 캡처]〉, 《네이버 지식백과》</ref> |
| − | == | + | ==개요== |
| − | 페이셜 캡처는 카메라나 레이저 스캐너를 사용하여 사람의 얼굴 움직임을 전자적으로 디지털 | + | 페이셜 캡처는 카메라나 레이저 스캐너를 사용하여 사람의 얼굴 움직임을 전자적으로 디지털 [[데이터베이스]]로 변환하는 과정이다. 변환한 데이터베이스를 사용하여 [[컴퓨터 그래픽]](CG), [[영화]], [[게임]] 또는 실시간 [[아바타]]를 위한 컴퓨터 애니메이션을 만들 수 있다. 컴퓨터 그래픽 캐릭터의 동작은 실제 사람들의 움직임에서 반영하기 때문에 애니메이션이 수동으로 만들어졌을 때보다 훨씬 더 사실적이고 세밀하게 애니메이션을 만들 수 있다. 페이셜 캡처 데이터베이스는 배우 얼굴의 기준점에 대한 좌표 또는 상대 위치를 설명한다. 캡처는 2차원으로 이루어질 수 있으며, 이 경우 캡처 과정을 "표현 추적"이라고 부른다. 단일 카메라와 캡처 소프트웨어를 사용하여 2차원 캡처를 할 수 있다. 이 과정은 추적이 덜 섬세하고, 머리 회전과 같은 3차원 움직임을 완벽하게 캡처할 수 없다. 3차원 캡처는 다중 카메라 장비 또는 레이저 마커 시스템을 사용하여 진행된다. 이런 시스템은 보통 훨씬 더 가격이 비싸고 복잡하며 많은 시간이 걸린다. 페이셜 캡처는 눈과 입술의 작은 움직임으로부터 가능한 미세한 표정을 감지하고 추적해야 하는 고해상도 조건 때문에 더 까다롭다. 이러한 움직임은 보통 몇 밀리미터도 안 되므로 해상도와 정확도가 훨씬 더 높아야 하며 바디 캡처에 일반적으로 사용되는 것과 다른 필터링 기술이 필요하다.<ref>〈[https://en.wikipedia.org/wiki/Facial_motion_capture#cite_note-LW1990-1 Facial motion capture]〉, 《위키피디아》</ref> |
==기술== | ==기술== | ||
| − | * 마커 기반(Marker-Based) : | + | * '''마커 기반'''(Marker-Based) : 배우 얼굴에 최대 350개의 마커를 적용하고 고해상도 카메라로 마커의 움직임을 추적한다. 이 기술은 폴라 익스프레스와 베어울프 같은 영화에서 톰 행크스 같은 배우가 여러 캐릭터의 표정을 이끌어 낼 수 있도록 하기 위해 사용되어 왔다. 하지만 상대적으로 번거롭고, 평활화와 필터링이 과도하게 사용되면 배우들의 표현이 지나치게 유도됩니다. 액티브 [[LED]] 마커 기술은 사용자 피드백을 제공하기 위해 실시간으로 얼굴 애니메이션을 구동하는 데 활용되고 있다.<ref>〈[https://en.wikipedia.org/wiki/Facial_motion_capture#Marker-based Facial motion capture- Maker-based]〉, 《위키피디아》</ref> |
| − | * 마커리스(Markerless) : | + | * '''마커리스'''(Markerless) : 콧구멍, 입술, 눈, 주름 등 얼굴의 특징을 이용해 추적한다. 이 기술은 카네기 멜론 대학교, 맨체스터 대학교, 아이비엠(IBM) 및 다양한 곳에서 논의되고 시연되며, 활동적인 외관 모델, 주요 구성 요소 분석, 고유 추적, 변형 가능한 표면 모델 및 기타 기술을 사용하여 원하는 얼굴 특징을 추적한다. 마커리스는 훨씬 덜 번거롭고 배우에게 더 풍부한 표현을 가능하게 한다. 이러한 접근법은 대부분의 컴퓨터 애니메이션 기능에서 가지고 있는 문제인 동공의 움직임, 눈꺼풀, 입술과 혀에 의한 치아 막힘을 추적할 수 있는 기능도 가지고 있다. 대표적인 한계는 해상도와 프레임률이었는데 고속, 고해상도 활성 픽셀 센서(CMOS 카메라)가 사용할 수 있게 되면서 문제가 줄어들고 있다. 마커리스 얼굴 추적 기술은 안면 인식 시스템과 관련이 있다. 안면 인식 시스템이 영상의 프레임마다 연속으로 적용되어 얼굴을 추적할 수 있기 때문이다. 네벤 비전(Neven Vision) 시스템은 사람별 교육 없이 실시간 2D 얼굴 추적을 허용했다. 또한 이 시스템은 미국 정부의 2002년 안면 인식 공급업체 테스트(FRVT)에서 가장 성능이 뛰어난 얼굴 인식 시스템에 들었다. 마커리스 얼굴 추적은 이미지 매트릭스(Image Metrics) 등 상용 시스템으로 발전해 매트릭스 속편, 벤자민 버튼의 큐리어스 케이스(Curious Case) 등 영화에 적용되었다. 큐리어스 케이스는 모바(Mova) 시스템을 사용하여 변형 가능한 얼굴 모형을 캡처했고, 수동 및 비전 추적의 조합으로 애니메이션화 되었다. [[아바타(영화)]]는 또 다른 뛰어난 퍼포먼스 캡쳐 영화였지만 마커리스 대신 페인트 마커 기술을 사용했다.<ref>〈[https://en.wikipedia.org/wiki/Facial_motion_capture#Markerless Facial motion capture- Makerless]〉, 《위키피디아》</ref> |
==활용 예시== | ==활용 예시== | ||
===영화=== | ===영화=== | ||
| − | * 폴라 익스프레스 : 폴라 익스프레스는 2004년에 개봉한 | + | * '''[[폴라 익스프레스]]'''(The Polar Express) : 폴라 익스프레스는 2004년에 개봉한 3D 애니메이션으로 최초로 페이셜 캡처 기술을 도입한 영화이다. 배우 [[톰 행크스]](Tom Jeffrey Hanks)는 주인공인 8살 소년, 기관장, 산타클로스 등 5개의 배역을 연기하였다. 모션 캡처와 페이셜 캡처 기술을 사용해서 톰 행크스의 모습을 디지털 이미지로 변환한 것이다. 이를 위해 톰 행크스는 60개의 광반사 센서가 부착된 특수 의상을 입고 얼굴에는 150개의 센서를 붙이고 촬영했다.<ref>최지향 기자, 〈[https://www.hankookilbo.com/News/Read/200411130072606998 '폴라 익스프레스’의 톰 행크스/"8세 아이부터 산타까지 연기했죠"]〉, 《한국일보》, 2004-11-13</ref> 하지만 당시 눈에 센서를 달아 움직임을 포착하는 것이 불가능해 눈동자가 어색하다는 지적이 있었다. 감독인 [[로버트 저메키스]](Robert Zemeckis)는 다음 작품인 '베어울프'에서 그 점을 보완했다. 로버트 저메키스가 감정을 드러내는 인간의 눈을 사실적으로 표현하기 위해 안구의 움직임으로 유발된 생체전위의 변화인 안전도 신호(Electrooculography)라는 기술을 개발하였고 베어울프에 도입하였다. 그로 인해 주인공 [[안소니 홉킨스]](Anthony Hopkins)의 음흉한 눈빛이나 왕비를 흠모하는 [[레이 윈스턴]](Ray Winstone)의 간절한 눈빛까지 실제 배우들의 연기보다 더 뛰어나게 재현되었다.<ref>〈[https://www.kocca.kr/cop/bbs/view/B0000149/1212764.do?searchCnd=&searchWrd=&cateTp1=&cateTp2=&useAt=&menuNo=200910&categorys=0&subcate=0&cateCode=&type=&instNo=0&questionTp=&uf_Setting=&recovery=&pageIndex=138 디지털 영상 제작 기술 '모션 캡처 캡처',실사와 애니메이션의 경계 영화 영화로 영역 확장]〉, 《한국콘텐츠진흥원》, 2010-04-30</ref> |
| − | * 혹성탈출 : 앤디 | + | * '''[[혹성탈출]]'''(Planet of the Apes) : [[피에르 불]](Pierre Boulle)의 SF 소설을 원작으로 하는 영화이다. [[앤디 서키스]](Andy Serkis)가 유인원 '시저' 역할을 맡아 연기했다. 감독 [[앤더스 랭글랜즈]](Ander Langlands)는 "모션 퍼포먼스 캡처는 더욱 업그레이드된 실시간 '페이셜 애니메이션' 도구를 활용해 더욱 정확하고 세밀하게 움직임을 인식할 수 있었다."고 밝혔다. 그 덕분에 배우들의 움직임을 사실적으로 재현하고 섬세한 표정 변화까지 완벽하게 담아내며 캐릭터의 감정 변화까지 전달할 수 있게 됐다.<ref>용원중 에디터, 〈[https://news.v.daum.net/v/20170809183751512?s=print_news '혹성탈출3' 조명감독은 한국인 임창의, 들어보니(인터뷰)]〉, 《뉴스엔》, 2017-08-09</ref> |
| − | * 미녀와 야수 : 댄 | + | * '''[[미녀와 야수]]'''(Beauty and the Beast) : [[댄 스티븐스]](Daniel Jonathan)가 연기한 야수는 감정 상태에 따라 얼굴이 미묘하게 변한다. 그렇게 섬세하게 표현할 수 있었던 이유는 퍼포먼스 캡처와 얼굴 캡처 기술인 [[모바]](Mova) 페이셜 캡처 기술의 결합 덕분이다. 제작진은 애니메이션을 실사화하면서 가장 신경 썼던 부분을 캐릭터가 현실에서 살아 움직이는 것 같은 생동감이라고 했다. 감독 [[빌 콘돈]](Bill Condon)은 "모션 캡처, 페이셜 캡처가 새로운 기술은 아니지만 이렇게 집중적으로 사용된 적은 이번이 처음일 것"이라고 말했다. 댄 스티븐스가 야수의 얼굴도 직접 연기했는데, 2주에 한 번씩 얼굴에 페인트를 칠했고 20대가 넘는 카메라로 얼굴을 디지털로 촬영했다. 그 때문에 벨을 만난 후 점점 얼굴이 부드러워지면서 야수에서 인간의 표정으로 변해 가는 과정을 볼 수 있다.<ref>이소담 기자, 〈[https://news.zum.com/articles/36612532 2017 실사판 '미녀와 야수' 결말 알고도 봐야만 하는 이유]〉, 《헤럴드경제》, 2017-03-13</ref><ref>차지수 기자, 〈[https://www.maxmovie.com/news/304216 2017 <미녀와 야수> 엠마 왓슨 “디즈니 진취적 여성상은 긍정적 변화”]〉, 《맥스무비》, 2017-03-06</ref> |
===게임=== | ===게임=== | ||
| − | * 오딘 : | + | * '''[[오딘: 발할라 라이징]]'''(ODIN: VALHALLA RISING) : [[㈜카카오게임즈]]가 배급하는 오딘은 북유럽 신화의 세계관, 거대한 대륙을 구현한 오픈 월드 등 많은 콘텐츠를 갖춘 고퀄리티 그래픽 [[MMORPG]] 게임이다. 2021년 3월에 공개된 게임 전체 세계관의 배경이 되는 내용을 담은 프리퀄 형태의 인게임 트레일러 '로키의 분노'에는 신들의 세계에서 추방 당한 이후 복수를 꿈꾸는 로키가 영상의 주인공으로 등장한다. '테마기행-북유럽 신화 속으로' 영상은 실제 인 게임 환경을 플레이하며 촬영 및 제작한 영상이다. 로키의 분노 영상은 실제 게임에 쓰이는 리소스를 활용하여 [[언리얼 엔진]] 4의 시퀀스를 바탕으로 직접 촬영 및 제작된 영상이다. 트레일러 영상을 실제 엔진으로 직접 제작하였다. 영상 제작을 담당한 오딘의 개발사 라이온하트 스튜디오의 연출 영상팀은 "실제 게임의 모든 리소스를 활용해, 영상과 출시 이후 이용자들이 경험할 인 게임 화면의 차이가 없도록 제작했다"며 "애니메이션 같은 경우, 모션 캡처와 페이셜 캡처 기술을 통해 실제 인물의 리얼한 움직임을 표현하고자 노력했다"고 밝혔다.<ref>이시영 기자, 〈[https://www.gamechosun.co.kr/webzine/article/view.php?no=173375 카카오게임즈, 신작 ‘오딘: 발할라 라이징’ 인게임 트레일러 이렇게 만들었다]〉, 《게임조선》, 2021-03-26</ref> |
| − | *미르4 : | + | * '''[[미르4]]'''(MIR4) : [[㈜위메이드]]가 배급하는 MMORPG 게임으로, 인기 배우들을 게임 캐릭터로 출연시켰다. 실제 배우들의 페이셜 캡처를 하여 주요 캐릭터에 자연스러운 표정을 통한 감정 표현과 모션 캡처 배우들과 함께 생생하고 사실감 넘치는 액션을 게임에 담아 캐릭터에 생명을 불어넣었다.<ref>이원희 기자, 〈[http://game.dailyesports.com/view.php?ud=202011121729132501da2c546b3a_26 '야인시대' 명품배우 안재모, '미르4' 캐릭터로 전격 변신]〉, 《데일리게임》, 2020-11-12</ref> |
| − | *포커스 온 유 : [[가상현실]](VR) 연애 어드벤처 게임인 포커스 온 유는 아이돌 출신 모델을 섭외해 모션 캡처와 페이셜 | + | * '''[[포커스 온 유]]'''(FOCUS on YOU) : [[가상현실]](VR) 연애 어드벤처 게임인 포커스 온 유는 아이돌 출신 모델을 섭외해 모션 캡처와 페이셜 캡처를 통해 자연스럽고 살아있는 듯한 캐릭터를 만들었다. 몰입감을 높이기 위해 약 100시간 이상 모션 캡처를 하여 가능한 생동감 있는 움직임을 표현하고, 페이셜 캡처를 통해 입 모양, 눈 떨림 등 섬세한 표정을 나타내었다. 또한 음성 인식 기술을 사용해 캐릭터와 대화하는 듯한 느낌을 주기도 했다.<ref>정우철 기자, 〈[https://www.thisisgame.com/webzine/gameevent/nboard/231/?n=87000&utm_source=naver&utm_medium=outlink&utm_campaign=kyoju&utm_content=87000&nogate 학창 시절 풋풋한 첫사랑의 감정을 VR로, 스마일게이트 신작 '포커스 온 유']〉, 《디스이즈게임》, 2018-09-21</ref> |
| − | * 붉은사막 : | + | * '''[[붉은사막]]'''(Crimson Desert) : [[㈜펄어비스]]가 개발하는 오픈 월드 액션 어드벤처 게임으로 2021년 4분기 출시 예정이다. 펄어비스는 높은 퀄리티와 사실감을 위해 모션 캡처 스튜디오를 만들었다. 총 180평 규모로 3개실로 구분해 운영하고 있으며 모션 캡처 담당자, 모션 캡처 전문 배우가 상주하고 있다. 약 60평 가량의 규모의 3개실을 운영 중인 모션 캡처 스튜디오에는 120여 대의 모션 캡처 전용 카메라 장비가 있다. 자이로 및 손가락 관절을 담는 글러브와 표정을 담는 페이셜 캡처 등 관련 장비도 소유하고 있다. 모션 캡처 스튜디오는 다수의 모션 캡처 촬영을 동시에 촬영할 수 있으며 고성능 카메라로 섬세한 작업이 가능하다. 1,600만 화소의 모션 캡처 전용 카메라가 자체 게임 엔진과 연동돼 실시간으로 모션 캡처를 담아낼 수 있다. 모션 캡처를 위해서 배우 한 명이 부착하는 패시브 마커는 77개 가량이다. 보통 관절 쪽에 많이 붙이며 마디당 1개씩 붙는다. 관절이 많은 손은 12개씩 하여 총 24개가 붙는다.<ref>정혁진 기자, 〈[https://www.thisisgame.com/webzine/news/nboard/4/?n=127526 붉은사막의 액션이 실제 같다고요? "실제입니다만..."]〉, 《디스이즈게임》, 2021-06-28</ref> |
===소프트웨어=== | ===소프트웨어=== | ||
| − | * 라이브 링크 페이스 | + | * '''[[라이브 링크 페이스]]'''(Live Link Face) : 에픽게임즈가 [[언리얼 엔진]]의 리얼타임 페이셜 캡처를 위한 어플 라이브 링크 페이스를 개발했다. 라이브 링크 페이스는 [[아이폰]]에서 고퀄리티 페이셜 애니메이션을 언리얼 엔진의 캐릭터로 실시간 스트리밍할 수 있다. 1인 아티스트에서부터 모션 캡처 수트를 입은 여러 배우와 작업하는 전문 스튜디오 팀까지 영화 및 [[애니메이션]] 등의 모든 버추얼 프로덕션 촬영 환경에서 풍부한 표정과 감정을 캡처하는 데 있어 성능을 발휘하도록 만들어졌다. 이 앱의 추적 기능은 애플의 [[증강현실]](AR) 플랫폼인 [[에이알키트]](ARKit)와 아이폰의 트루뎁스(TrueDepth) 전면 카메라를 활용해 실시간으로 배우의 얼굴 움직임을 추적하고, 네트워크에서 라이브 링크를 통해 데이터를 언리얼 엔진에 직접 전송한다. 라이브 링크 페이스는 전문적인 촬영뿐만 아니라 스트리머들의 라이브 방송 등에도 많은 도움을 줄 수 있다. 페이셜 트래킹 데이터에 머리 및 목 회전 데이터가 포함돼 있기 때문에 스트리머들은 모션 캡처 수트와 [[헤드 마운트 디스플레이]](Head Mounted Display) 장비 없이도 아이폰만으로 자유롭게 디지털 아바타의 움직임을 만들 수 있다.<ref>문영수 기자, 〈[http://www.inews24.com/view/1280400 에픽, '라이브 핑크 페이스' 출시…아이폰으로 페이셜 캡처]〉, 《아이뉴스24》, 2020-07-09</ref><ref>언리얼 엔진 공식 홈페이지 - https://www.unrealengine.com/ko/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine</ref> |
| − | * 페이스리그 | + | * '''[[페이스리그]]'''(FaceRig) : [[웹캠]]이 있는 사람이라면 누구나 원하는 캐릭터를 디지털 방식으로 구현할 수 있는 프로그램이다. 입력 장치를 이용해 자신의 얼굴을 모션 인식, 3D 캐릭터의 표정으로 사실적으로 전환해 주나. 기본적으로 눈과 입, 고개를 좌우로 움직이는 것을 인식해 반영한다. 내가 말을 하거나 미소를 지으면 그대로 입이 움직이고 눈을 감으면 똑같이 감으며 몸을 좌우로 흔들면 아바타도 좌우로 몸을 기울인다. 그 밖에도 키보드와 마우스를 이용해 손을 움직이는 액션, 목소리 변조, 아바타 커스터마이징, 영상이나 모션 녹화 및 재생 기능 등이 있다. 2016년 2월 26일 기준으로 다운로드 콘텐츠(DLC) 포함 72가지 캐릭터가 존재한다. 아바타는 사람, 동물, 몬스터, 외계인 등 종류가 다양하고 아바타를 직접 제작해서 추가하는 것도 가능하다. 스카이프와 연결하여 캐릭터의 모습으로 화상통화를 할 수도 있다. 게임 스타바운드와 협업으로 무료 다운로드 콘텐츠를 내기도 했다.<ref>〈[https://namu.wiki/w/FaceRig FaceRig]〉, 《나무위키》</ref> 페이스리그에 사용될 카메라는 가능한 한 적은 이미지 노이즈와 적절한 해상도가 필요하다. 페이스리그는 480p 이상의 웹캠에서 작동하고 720p와 30 또는 60fps가 권장된다. 1080p는 권장하지 않는다. 웹캠 기반 추적 기능이 있는 가정용 및 비상업용인 페이스리그(또는 페이스리그 클래식), 홈 기능과 비슷하지만 자신의 창작물을 선보이는 곳에서 상당한 광고 기반 수익을 창출하는 사람들이 사용할 수 있는 페이스리그 프로가 있다. 페이스리그는 [[스팀]](Steam)에서 다운로드할 수 있다.<ref>페이스리그 공식 홈페이지 - https://facerig.com/faq/</ref> |
| − | * 니지산지 | + | * '''[[니지산지]]'''(にじさんじ) : [[일본]]의 [[애니컬러 주식회사]](ANYCOLOR 株式会社)가 개발한 아이폰 엑스(iPhone X) 전용 앱 혹은 해당 앱을 사용하여 활동하는 회사 소속의 버츄얼 라이버 그룹 및 프로젝트를 지칭한다. 니지산지는 아이폰 엑스의 표정 인식 기능인 애니모티콘을 활용하여 [[2D]] 컴퓨터 그래픽 애니메이션 캐릭터가 연기자의 표정이나 움직임에 맞춰 동작하게 해주는 어플이다. 페이스리그와 라이브투디(Live 2D)를 사용하는 것과 비슷하게 캐릭터를 움직일 수 있다. 본격적인 라이브투디 기술을 도입한 2D 페이스 트래킹보다 트래킹 범위가 작다는 단점이 있다.<ref>〈[https://ko.wikipedia.org/wiki/%EB%8B%88%EC%A7%80%EC%82%B0%EC%A7%80 니지산지]〉, 《위키백과》</ref> 니지산지는 2D 애니메이션 캐릭터 중심으로 서비스를 하지만, 애니컬러 회사는 대외 행사의 접근성 등을 고려하여 자사의 주력 버츄얼 라이버들을 중심으로 3D 모델을 제작하고 있다. 3D 모델을 사용한 방송에는 애니컬러 본사의 모션 캡처 장비 또는 니지산지 앱의 니지3D 기능이 필요하다. 니지3D는 애니컬러가 2018년 11월 9일 발표한 니지산지 앱의 추가 기능이다. 아이폰 엑스(iPhone X)와 애플의 에이알키트(ARKit)를 사용하여 유저의 표정과 움직임을 인식한 뒤 3D 모델에 투영하는 방식으로 작동한다. 추적이 어려운 손의 움직임은 오큘러스 리프트의 오큘러스 터치 컨트롤러와 센서를 사용하여 처리한다. 니지3D를 통해 버츄얼 라이버는 회사가 아닌 집에서도 3D 모델을 활용한 방송을 할 수 있다. 하지만 간이 모션 캡처 스트리밍의 한계 상 동작 오류가 자주 발생하는 문제가 있으며, 아직은 모든 사람이 니지3D 기능을 사용할 수 있는 것은 아니며 기본적으로 상반신만 움직일 수 있다 보니 자주 사용하지는 않는다.<ref>〈[https://namu.wiki/w/%EB%8B%88%EC%A7%80%EC%82%B0%EC%A7%80 니지산지]〉, 《나무위키》</ref> |
| − | * 애니모티콘 : 아이폰 엑스(iPhone X)에 있는 전면 카메라 트루뎁스(TrueDepth) 카메라로 촬영한 인물 사진을 기반으로 이모티콘을 만들 수 있는 기능이다. 피사체의 50개 이상의 각각 다른 근육의 움직임을 포착하고 분석해서 세밀한 표정을 내장된 12개의 애니모티콘에 투영시킨다. 또한 목소리를 녹음할 수 있으며 기본 메시지 어플인 아이메시지(iMessage)를 통해 동영상 전송 형식으로 상대방에게 보낼 수 있다.<ref>〈[https://namu.wiki/w/iPhone%20X iPhone X]〉, 《나무위키》</ref> | + | * '''[[애니모티콘]]'''(Animoji) : 아이폰 엑스(iPhone X)에 있는 전면 카메라 트루뎁스(TrueDepth) 카메라로 촬영한 인물 사진을 기반으로 이모티콘을 만들 수 있는 기능이다. 피사체의 50개 이상의 각각 다른 근육의 움직임을 포착하고 분석해서 세밀한 표정을 내장된 12개의 애니모티콘에 투영시킨다. 또한 목소리를 녹음할 수 있으며 기본 메시지 어플인 아이메시지(iMessage)를 통해 동영상 전송 형식으로 상대방에게 보낼 수 있다.<ref>〈[https://namu.wiki/w/iPhone%20X iPhone X]〉, 《나무위키》</ref> |
| + | |||
| + | ==관련 기업== | ||
| + | * '''[[에픽게임즈]]''' : 미국의 게임 엔진 제작사 겸 게임 제작사 및 유통사이다. 언리얼 시리즈와 [[기어스 오브 워]] 시리즈, [[포트나이트]], 그리고 언리얼 엔진의 제작사로 유명하다.<ref>〈[https://namu.wiki/w/%EC%97%90%ED%94%BD%EA%B2%8C%EC%9E%84%EC%A6%88 에픽게임즈]〉, 《나무위키》</ref> 에픽게임즈는 디지털 휴먼 제작을 위해 2020년 초 [[큐빅모션]](Cubic Motion)을 인수하였다. 큐빅모션은 비디오 게임, 영화, 방송 그리고 몰입형 경험에 자동화된 퍼포먼스 기반 페이셜 애니메이션 기술 및 서비스를 제공하는 업체다. 큐빅모션은 배우의 퍼포먼스를 실시간으로 디지털 캐릭터에 전송하는 엔드 투 엔드 하드웨어 및 소프트웨어 솔루션인 페르소나(Persona) 시스템을 개발하여 언리얼 엔진에서 리얼타임 캐릭터 페이셜 애니메이션을 가능하게 한다. 에픽게임즈 최고기술경영자(CTO)인 킴 리브레리(Kim Libreri)는 "사람 표정의 미세한 부분까지 전달하는 페이셜 애니메이션은 불쾌한 골짜기(uncanny valley)를 극복하는 데 필수적인 기술"이라고 하며 에픽의 언리얼 엔진에 3레터럴(3Lateral)의 페이셜 리그 제작 기술과 큐빅모션의 솔빙(solving) 기술을 총체적으로 결합하여 불쾌한 골짜기 문제를 해결할 수 있고 언리얼 엔진을 통해 디지털 휴먼 제작의 예술적 정점에 이를 수 있을 거라고 밝혔다.<ref>언리얼 엔진 공식 홈페이지 - 〈[https://www.unrealengine.com/ko/blog/cubic-motion-joins-the-unreal-engine-team</ref> 에픽게임즈는 2020년 말에 한국계 스타트업인 [[하이퍼센스]](Hyprsense)를 인수했다. 하이퍼센스는 2015년에 설립되어 모바일, 컴퓨터, 임베디드 플랫폼용 2D 웹캠 기반의 범용 페이셜 트래킹 솔루션을 개발하는 업체로, 게임과 엔터테인먼트 산업에서 최고의 실시간 페이셜 모션 캡처를 제공해 왔다. 에픽게임즈는 이번 인수를 통해 크리에이터들이 캐릭터 콘텐츠를 보다 쉽게 만들 수 있도록 콘텐츠 제작을 도울 예정이다. 또한 [[개발자]]와 [[플레이어]] 모두를 위한 새롭고 더 나은 툴과 시스템 구축을 더욱 신경쓰고 언리얼 엔진 크리에이터들이 플랫폼에 제한 없이 가장 진보된 캐릭터 에셋을 제작할 수 있도록 제공할 계획이라고 밝혔다.<ref>변인호 기자, 〈[https://www.ftoday.co.kr/news/articleView.html?idxno=208271 에픽게임즈, 실시간 페이셜 캡처 업체 하이퍼센스 인수]〉, 《파이낸셜투데이》, 2020-11-17</ref> | ||
{{각주}} | {{각주}} | ||
==참고자료== | ==참고자료== | ||
| + | * 언리얼 엔진 공식 홈페이지 - 〈[https://www.unrealengine.com/ko/blog/cubic-motion-joins-the-unreal-engine-team | ||
| + | * 〈[https://namu.wiki/w/%EC%97%90%ED%94%BD%EA%B2%8C%EC%9E%84%EC%A6%88 에픽게임즈]〉, 《나무위키》 | ||
| + | * 〈[https://namu.wiki/w/iPhone%20X iPhone X]〉, 《나무위키》 | ||
| + | * 〈[https://namu.wiki/w/FaceRig FaceRig]〉, 《나무위키》 | ||
| + | * 〈[https://namu.wiki/w/%EB%8B%88%EC%A7%80%EC%82%B0%EC%A7%80 니지산지]〉, 《나무위키》 | ||
| + | * 〈[https://ko.wikipedia.org/wiki/%EB%8B%88%EC%A7%80%EC%82%B0%EC%A7%80 니지산지]〉, 《위키백과》 | ||
| + | * 〈[https://en.wikipedia.org/wiki/Facial_motion_capture#Marker-based Facial motion capture- Maker-based]〉, 《위키피디아》 | ||
| + | * 〈[https://en.wikipedia.org/wiki/Facial_motion_capture#Markerless Facial motion capture- Makerless]〉, 《위키피디아》 | ||
* 〈[https://terms.naver.com/entry.naver?docId=1651314&cid=50338&categoryId=50338 페이설 캡처]〉, 《네이버 지식백과》 | * 〈[https://terms.naver.com/entry.naver?docId=1651314&cid=50338&categoryId=50338 페이설 캡처]〉, 《네이버 지식백과》 | ||
* 〈[https://en.wikipedia.org/wiki/Facial_motion_capture#cite_note-LW1990-1 Facial motion capture]〉, 《위키피디아》 | * 〈[https://en.wikipedia.org/wiki/Facial_motion_capture#cite_note-LW1990-1 Facial motion capture]〉, 《위키피디아》 | ||
* 최지향 기자, 〈[https://www.hankookilbo.com/News/Read/200411130072606998 '폴라 익스프레스’의 톰 행크스/"8세 아이부터 산타까지 연기했죠"]〉, 《한국일보》, 2004-11-13 | * 최지향 기자, 〈[https://www.hankookilbo.com/News/Read/200411130072606998 '폴라 익스프레스’의 톰 행크스/"8세 아이부터 산타까지 연기했죠"]〉, 《한국일보》, 2004-11-13 | ||
* 〈[https://www.kocca.kr/cop/bbs/view/B0000149/1212764.do?searchCnd=&searchWrd=&cateTp1=&cateTp2=&useAt=&menuNo=200910&categorys=0&subcate=0&cateCode=&type=&instNo=0&questionTp=&uf_Setting=&recovery=&pageIndex=138 디지털 영상 제작 기술 '모션 캡처 캡처',실사와 애니메이션의 경계 영화 영화로 영역 확장]〉, 《한국콘텐츠진흥원》, 2010-04-30 | * 〈[https://www.kocca.kr/cop/bbs/view/B0000149/1212764.do?searchCnd=&searchWrd=&cateTp1=&cateTp2=&useAt=&menuNo=200910&categorys=0&subcate=0&cateCode=&type=&instNo=0&questionTp=&uf_Setting=&recovery=&pageIndex=138 디지털 영상 제작 기술 '모션 캡처 캡처',실사와 애니메이션의 경계 영화 영화로 영역 확장]〉, 《한국콘텐츠진흥원》, 2010-04-30 | ||
| − | |||
* 이소담 기자, 〈[https://news.zum.com/articles/36612532 2017 실사판 '미녀와 야수' 결말 알고도 봐야만 하는 이유]〉, 《헤럴드경제》, 2017-03-13 | * 이소담 기자, 〈[https://news.zum.com/articles/36612532 2017 실사판 '미녀와 야수' 결말 알고도 봐야만 하는 이유]〉, 《헤럴드경제》, 2017-03-13 | ||
* 차지수 기자, 〈[https://www.maxmovie.com/news/304216 2017 <미녀와 야수> 엠마 왓슨 “디즈니 진취적 여성상은 긍정적 변화”]〉, 《맥스무비》, 2017-03-06 | * 차지수 기자, 〈[https://www.maxmovie.com/news/304216 2017 <미녀와 야수> 엠마 왓슨 “디즈니 진취적 여성상은 긍정적 변화”]〉, 《맥스무비》, 2017-03-06 | ||
| − | * | + | * 페이스리그 공식 홈페이지 - https://facerig.com/faq/ |
| − | |||
| − | |||
* 〈[http://www.inews24.com/view/1280400 에픽, '라이브 핑크 페이스' 출시…아이폰으로 페이셜 캡처]〉, 《아이뉴스24》, 2020-07-09 | * 〈[http://www.inews24.com/view/1280400 에픽, '라이브 핑크 페이스' 출시…아이폰으로 페이셜 캡처]〉, 《아이뉴스24》, 2020-07-09 | ||
| − | * | + | * 언리얼 엔진 공식 홈페이지 - https://www.unrealengine.com/ko/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine |
* 용원중 에디터, 〈[https://news.v.daum.net/v/20170809183751512?s=print_news '혹성탈출3' 조명감독은 한국인 임창의, 들어보니(인터뷰)]〉, 《뉴스엔》, 2017-08-09 | * 용원중 에디터, 〈[https://news.v.daum.net/v/20170809183751512?s=print_news '혹성탈출3' 조명감독은 한국인 임창의, 들어보니(인터뷰)]〉, 《뉴스엔》, 2017-08-09 | ||
* 이시영 기자, 〈[https://www.gamechosun.co.kr/webzine/article/view.php?no=173375 카카오게임즈, 신작 ‘오딘: 발할라 라이징’ 인게임 트레일러 이렇게 만들었다]〉, 《게임조선》, 2021-03-26 | * 이시영 기자, 〈[https://www.gamechosun.co.kr/webzine/article/view.php?no=173375 카카오게임즈, 신작 ‘오딘: 발할라 라이징’ 인게임 트레일러 이렇게 만들었다]〉, 《게임조선》, 2021-03-26 | ||
| 55번째 줄: | 63번째 줄: | ||
* 정우철 기자, 〈[https://www.thisisgame.com/webzine/gameevent/nboard/231/?n=87000&utm_source=naver&utm_medium=outlink&utm_campaign=kyoju&utm_content=87000&nogate 학창 시절 풋풋한 첫사랑의 감정을 VR로, 스마일게이트 신작 '포커스 온 유']〉, 《디스이즈게임》, 2018-09-21 | * 정우철 기자, 〈[https://www.thisisgame.com/webzine/gameevent/nboard/231/?n=87000&utm_source=naver&utm_medium=outlink&utm_campaign=kyoju&utm_content=87000&nogate 학창 시절 풋풋한 첫사랑의 감정을 VR로, 스마일게이트 신작 '포커스 온 유']〉, 《디스이즈게임》, 2018-09-21 | ||
* 정혁진 기자, 〈[https://www.thisisgame.com/webzine/news/nboard/4/?n=127526 붉은사막의 액션이 실제 같다고요? "실제입니다만..."]〉, 《디스이즈게임》, 2021-06-28 | * 정혁진 기자, 〈[https://www.thisisgame.com/webzine/news/nboard/4/?n=127526 붉은사막의 액션이 실제 같다고요? "실제입니다만..."]〉, 《디스이즈게임》, 2021-06-28 | ||
| − | * 〈[https:// | + | * 변인호 기자, 〈[https://www.ftoday.co.kr/news/articleView.html?idxno=208271 에픽게임즈, 실시간 페이셜 캡처 업체 하이퍼센스 인수]〉, 《파이낸셜투데이》, 2020-11-17 |
| − | |||
| − | |||
==같이 보기== | ==같이 보기== | ||
2021년 7월 28일 (수) 14:55 기준 최신판
페이셜 캡처(Facial capture)란 3D 애니메이션 등에서 얼굴의 움직임을 신호로 얻은 후에 디지털 캐릭터의 얼굴에 반영하는 과정이다. 모션 캡처의 종류 중 하나이다.[1]
개요[편집]
페이셜 캡처는 카메라나 레이저 스캐너를 사용하여 사람의 얼굴 움직임을 전자적으로 디지털 데이터베이스로 변환하는 과정이다. 변환한 데이터베이스를 사용하여 컴퓨터 그래픽(CG), 영화, 게임 또는 실시간 아바타를 위한 컴퓨터 애니메이션을 만들 수 있다. 컴퓨터 그래픽 캐릭터의 동작은 실제 사람들의 움직임에서 반영하기 때문에 애니메이션이 수동으로 만들어졌을 때보다 훨씬 더 사실적이고 세밀하게 애니메이션을 만들 수 있다. 페이셜 캡처 데이터베이스는 배우 얼굴의 기준점에 대한 좌표 또는 상대 위치를 설명한다. 캡처는 2차원으로 이루어질 수 있으며, 이 경우 캡처 과정을 "표현 추적"이라고 부른다. 단일 카메라와 캡처 소프트웨어를 사용하여 2차원 캡처를 할 수 있다. 이 과정은 추적이 덜 섬세하고, 머리 회전과 같은 3차원 움직임을 완벽하게 캡처할 수 없다. 3차원 캡처는 다중 카메라 장비 또는 레이저 마커 시스템을 사용하여 진행된다. 이런 시스템은 보통 훨씬 더 가격이 비싸고 복잡하며 많은 시간이 걸린다. 페이셜 캡처는 눈과 입술의 작은 움직임으로부터 가능한 미세한 표정을 감지하고 추적해야 하는 고해상도 조건 때문에 더 까다롭다. 이러한 움직임은 보통 몇 밀리미터도 안 되므로 해상도와 정확도가 훨씬 더 높아야 하며 바디 캡처에 일반적으로 사용되는 것과 다른 필터링 기술이 필요하다.[2]
기술[편집]
- 마커 기반(Marker-Based) : 배우 얼굴에 최대 350개의 마커를 적용하고 고해상도 카메라로 마커의 움직임을 추적한다. 이 기술은 폴라 익스프레스와 베어울프 같은 영화에서 톰 행크스 같은 배우가 여러 캐릭터의 표정을 이끌어 낼 수 있도록 하기 위해 사용되어 왔다. 하지만 상대적으로 번거롭고, 평활화와 필터링이 과도하게 사용되면 배우들의 표현이 지나치게 유도됩니다. 액티브 LED 마커 기술은 사용자 피드백을 제공하기 위해 실시간으로 얼굴 애니메이션을 구동하는 데 활용되고 있다.[3]
- 마커리스(Markerless) : 콧구멍, 입술, 눈, 주름 등 얼굴의 특징을 이용해 추적한다. 이 기술은 카네기 멜론 대학교, 맨체스터 대학교, 아이비엠(IBM) 및 다양한 곳에서 논의되고 시연되며, 활동적인 외관 모델, 주요 구성 요소 분석, 고유 추적, 변형 가능한 표면 모델 및 기타 기술을 사용하여 원하는 얼굴 특징을 추적한다. 마커리스는 훨씬 덜 번거롭고 배우에게 더 풍부한 표현을 가능하게 한다. 이러한 접근법은 대부분의 컴퓨터 애니메이션 기능에서 가지고 있는 문제인 동공의 움직임, 눈꺼풀, 입술과 혀에 의한 치아 막힘을 추적할 수 있는 기능도 가지고 있다. 대표적인 한계는 해상도와 프레임률이었는데 고속, 고해상도 활성 픽셀 센서(CMOS 카메라)가 사용할 수 있게 되면서 문제가 줄어들고 있다. 마커리스 얼굴 추적 기술은 안면 인식 시스템과 관련이 있다. 안면 인식 시스템이 영상의 프레임마다 연속으로 적용되어 얼굴을 추적할 수 있기 때문이다. 네벤 비전(Neven Vision) 시스템은 사람별 교육 없이 실시간 2D 얼굴 추적을 허용했다. 또한 이 시스템은 미국 정부의 2002년 안면 인식 공급업체 테스트(FRVT)에서 가장 성능이 뛰어난 얼굴 인식 시스템에 들었다. 마커리스 얼굴 추적은 이미지 매트릭스(Image Metrics) 등 상용 시스템으로 발전해 매트릭스 속편, 벤자민 버튼의 큐리어스 케이스(Curious Case) 등 영화에 적용되었다. 큐리어스 케이스는 모바(Mova) 시스템을 사용하여 변형 가능한 얼굴 모형을 캡처했고, 수동 및 비전 추적의 조합으로 애니메이션화 되었다. 아바타(영화)는 또 다른 뛰어난 퍼포먼스 캡쳐 영화였지만 마커리스 대신 페인트 마커 기술을 사용했다.[4]
활용 예시[편집]
영화[편집]
- 폴라 익스프레스(The Polar Express) : 폴라 익스프레스는 2004년에 개봉한 3D 애니메이션으로 최초로 페이셜 캡처 기술을 도입한 영화이다. 배우 톰 행크스(Tom Jeffrey Hanks)는 주인공인 8살 소년, 기관장, 산타클로스 등 5개의 배역을 연기하였다. 모션 캡처와 페이셜 캡처 기술을 사용해서 톰 행크스의 모습을 디지털 이미지로 변환한 것이다. 이를 위해 톰 행크스는 60개의 광반사 센서가 부착된 특수 의상을 입고 얼굴에는 150개의 센서를 붙이고 촬영했다.[5] 하지만 당시 눈에 센서를 달아 움직임을 포착하는 것이 불가능해 눈동자가 어색하다는 지적이 있었다. 감독인 로버트 저메키스(Robert Zemeckis)는 다음 작품인 '베어울프'에서 그 점을 보완했다. 로버트 저메키스가 감정을 드러내는 인간의 눈을 사실적으로 표현하기 위해 안구의 움직임으로 유발된 생체전위의 변화인 안전도 신호(Electrooculography)라는 기술을 개발하였고 베어울프에 도입하였다. 그로 인해 주인공 안소니 홉킨스(Anthony Hopkins)의 음흉한 눈빛이나 왕비를 흠모하는 레이 윈스턴(Ray Winstone)의 간절한 눈빛까지 실제 배우들의 연기보다 더 뛰어나게 재현되었다.[6]
- 혹성탈출(Planet of the Apes) : 피에르 불(Pierre Boulle)의 SF 소설을 원작으로 하는 영화이다. 앤디 서키스(Andy Serkis)가 유인원 '시저' 역할을 맡아 연기했다. 감독 앤더스 랭글랜즈(Ander Langlands)는 "모션 퍼포먼스 캡처는 더욱 업그레이드된 실시간 '페이셜 애니메이션' 도구를 활용해 더욱 정확하고 세밀하게 움직임을 인식할 수 있었다."고 밝혔다. 그 덕분에 배우들의 움직임을 사실적으로 재현하고 섬세한 표정 변화까지 완벽하게 담아내며 캐릭터의 감정 변화까지 전달할 수 있게 됐다.[7]
- 미녀와 야수(Beauty and the Beast) : 댄 스티븐스(Daniel Jonathan)가 연기한 야수는 감정 상태에 따라 얼굴이 미묘하게 변한다. 그렇게 섬세하게 표현할 수 있었던 이유는 퍼포먼스 캡처와 얼굴 캡처 기술인 모바(Mova) 페이셜 캡처 기술의 결합 덕분이다. 제작진은 애니메이션을 실사화하면서 가장 신경 썼던 부분을 캐릭터가 현실에서 살아 움직이는 것 같은 생동감이라고 했다. 감독 빌 콘돈(Bill Condon)은 "모션 캡처, 페이셜 캡처가 새로운 기술은 아니지만 이렇게 집중적으로 사용된 적은 이번이 처음일 것"이라고 말했다. 댄 스티븐스가 야수의 얼굴도 직접 연기했는데, 2주에 한 번씩 얼굴에 페인트를 칠했고 20대가 넘는 카메라로 얼굴을 디지털로 촬영했다. 그 때문에 벨을 만난 후 점점 얼굴이 부드러워지면서 야수에서 인간의 표정으로 변해 가는 과정을 볼 수 있다.[8][9]
게임[편집]
- 오딘: 발할라 라이징(ODIN: VALHALLA RISING) : ㈜카카오게임즈가 배급하는 오딘은 북유럽 신화의 세계관, 거대한 대륙을 구현한 오픈 월드 등 많은 콘텐츠를 갖춘 고퀄리티 그래픽 MMORPG 게임이다. 2021년 3월에 공개된 게임 전체 세계관의 배경이 되는 내용을 담은 프리퀄 형태의 인게임 트레일러 '로키의 분노'에는 신들의 세계에서 추방 당한 이후 복수를 꿈꾸는 로키가 영상의 주인공으로 등장한다. '테마기행-북유럽 신화 속으로' 영상은 실제 인 게임 환경을 플레이하며 촬영 및 제작한 영상이다. 로키의 분노 영상은 실제 게임에 쓰이는 리소스를 활용하여 언리얼 엔진 4의 시퀀스를 바탕으로 직접 촬영 및 제작된 영상이다. 트레일러 영상을 실제 엔진으로 직접 제작하였다. 영상 제작을 담당한 오딘의 개발사 라이온하트 스튜디오의 연출 영상팀은 "실제 게임의 모든 리소스를 활용해, 영상과 출시 이후 이용자들이 경험할 인 게임 화면의 차이가 없도록 제작했다"며 "애니메이션 같은 경우, 모션 캡처와 페이셜 캡처 기술을 통해 실제 인물의 리얼한 움직임을 표현하고자 노력했다"고 밝혔다.[10]
- 미르4(MIR4) : ㈜위메이드가 배급하는 MMORPG 게임으로, 인기 배우들을 게임 캐릭터로 출연시켰다. 실제 배우들의 페이셜 캡처를 하여 주요 캐릭터에 자연스러운 표정을 통한 감정 표현과 모션 캡처 배우들과 함께 생생하고 사실감 넘치는 액션을 게임에 담아 캐릭터에 생명을 불어넣었다.[11]
- 포커스 온 유(FOCUS on YOU) : 가상현실(VR) 연애 어드벤처 게임인 포커스 온 유는 아이돌 출신 모델을 섭외해 모션 캡처와 페이셜 캡처를 통해 자연스럽고 살아있는 듯한 캐릭터를 만들었다. 몰입감을 높이기 위해 약 100시간 이상 모션 캡처를 하여 가능한 생동감 있는 움직임을 표현하고, 페이셜 캡처를 통해 입 모양, 눈 떨림 등 섬세한 표정을 나타내었다. 또한 음성 인식 기술을 사용해 캐릭터와 대화하는 듯한 느낌을 주기도 했다.[12]
- 붉은사막(Crimson Desert) : ㈜펄어비스가 개발하는 오픈 월드 액션 어드벤처 게임으로 2021년 4분기 출시 예정이다. 펄어비스는 높은 퀄리티와 사실감을 위해 모션 캡처 스튜디오를 만들었다. 총 180평 규모로 3개실로 구분해 운영하고 있으며 모션 캡처 담당자, 모션 캡처 전문 배우가 상주하고 있다. 약 60평 가량의 규모의 3개실을 운영 중인 모션 캡처 스튜디오에는 120여 대의 모션 캡처 전용 카메라 장비가 있다. 자이로 및 손가락 관절을 담는 글러브와 표정을 담는 페이셜 캡처 등 관련 장비도 소유하고 있다. 모션 캡처 스튜디오는 다수의 모션 캡처 촬영을 동시에 촬영할 수 있으며 고성능 카메라로 섬세한 작업이 가능하다. 1,600만 화소의 모션 캡처 전용 카메라가 자체 게임 엔진과 연동돼 실시간으로 모션 캡처를 담아낼 수 있다. 모션 캡처를 위해서 배우 한 명이 부착하는 패시브 마커는 77개 가량이다. 보통 관절 쪽에 많이 붙이며 마디당 1개씩 붙는다. 관절이 많은 손은 12개씩 하여 총 24개가 붙는다.[13]
소프트웨어[편집]
- 라이브 링크 페이스(Live Link Face) : 에픽게임즈가 언리얼 엔진의 리얼타임 페이셜 캡처를 위한 어플 라이브 링크 페이스를 개발했다. 라이브 링크 페이스는 아이폰에서 고퀄리티 페이셜 애니메이션을 언리얼 엔진의 캐릭터로 실시간 스트리밍할 수 있다. 1인 아티스트에서부터 모션 캡처 수트를 입은 여러 배우와 작업하는 전문 스튜디오 팀까지 영화 및 애니메이션 등의 모든 버추얼 프로덕션 촬영 환경에서 풍부한 표정과 감정을 캡처하는 데 있어 성능을 발휘하도록 만들어졌다. 이 앱의 추적 기능은 애플의 증강현실(AR) 플랫폼인 에이알키트(ARKit)와 아이폰의 트루뎁스(TrueDepth) 전면 카메라를 활용해 실시간으로 배우의 얼굴 움직임을 추적하고, 네트워크에서 라이브 링크를 통해 데이터를 언리얼 엔진에 직접 전송한다. 라이브 링크 페이스는 전문적인 촬영뿐만 아니라 스트리머들의 라이브 방송 등에도 많은 도움을 줄 수 있다. 페이셜 트래킹 데이터에 머리 및 목 회전 데이터가 포함돼 있기 때문에 스트리머들은 모션 캡처 수트와 헤드 마운트 디스플레이(Head Mounted Display) 장비 없이도 아이폰만으로 자유롭게 디지털 아바타의 움직임을 만들 수 있다.[14][15]
- 페이스리그(FaceRig) : 웹캠이 있는 사람이라면 누구나 원하는 캐릭터를 디지털 방식으로 구현할 수 있는 프로그램이다. 입력 장치를 이용해 자신의 얼굴을 모션 인식, 3D 캐릭터의 표정으로 사실적으로 전환해 주나. 기본적으로 눈과 입, 고개를 좌우로 움직이는 것을 인식해 반영한다. 내가 말을 하거나 미소를 지으면 그대로 입이 움직이고 눈을 감으면 똑같이 감으며 몸을 좌우로 흔들면 아바타도 좌우로 몸을 기울인다. 그 밖에도 키보드와 마우스를 이용해 손을 움직이는 액션, 목소리 변조, 아바타 커스터마이징, 영상이나 모션 녹화 및 재생 기능 등이 있다. 2016년 2월 26일 기준으로 다운로드 콘텐츠(DLC) 포함 72가지 캐릭터가 존재한다. 아바타는 사람, 동물, 몬스터, 외계인 등 종류가 다양하고 아바타를 직접 제작해서 추가하는 것도 가능하다. 스카이프와 연결하여 캐릭터의 모습으로 화상통화를 할 수도 있다. 게임 스타바운드와 협업으로 무료 다운로드 콘텐츠를 내기도 했다.[16] 페이스리그에 사용될 카메라는 가능한 한 적은 이미지 노이즈와 적절한 해상도가 필요하다. 페이스리그는 480p 이상의 웹캠에서 작동하고 720p와 30 또는 60fps가 권장된다. 1080p는 권장하지 않는다. 웹캠 기반 추적 기능이 있는 가정용 및 비상업용인 페이스리그(또는 페이스리그 클래식), 홈 기능과 비슷하지만 자신의 창작물을 선보이는 곳에서 상당한 광고 기반 수익을 창출하는 사람들이 사용할 수 있는 페이스리그 프로가 있다. 페이스리그는 스팀(Steam)에서 다운로드할 수 있다.[17]
- 니지산지(にじさんじ) : 일본의 애니컬러 주식회사(ANYCOLOR 株式会社)가 개발한 아이폰 엑스(iPhone X) 전용 앱 혹은 해당 앱을 사용하여 활동하는 회사 소속의 버츄얼 라이버 그룹 및 프로젝트를 지칭한다. 니지산지는 아이폰 엑스의 표정 인식 기능인 애니모티콘을 활용하여 2D 컴퓨터 그래픽 애니메이션 캐릭터가 연기자의 표정이나 움직임에 맞춰 동작하게 해주는 어플이다. 페이스리그와 라이브투디(Live 2D)를 사용하는 것과 비슷하게 캐릭터를 움직일 수 있다. 본격적인 라이브투디 기술을 도입한 2D 페이스 트래킹보다 트래킹 범위가 작다는 단점이 있다.[18] 니지산지는 2D 애니메이션 캐릭터 중심으로 서비스를 하지만, 애니컬러 회사는 대외 행사의 접근성 등을 고려하여 자사의 주력 버츄얼 라이버들을 중심으로 3D 모델을 제작하고 있다. 3D 모델을 사용한 방송에는 애니컬러 본사의 모션 캡처 장비 또는 니지산지 앱의 니지3D 기능이 필요하다. 니지3D는 애니컬러가 2018년 11월 9일 발표한 니지산지 앱의 추가 기능이다. 아이폰 엑스(iPhone X)와 애플의 에이알키트(ARKit)를 사용하여 유저의 표정과 움직임을 인식한 뒤 3D 모델에 투영하는 방식으로 작동한다. 추적이 어려운 손의 움직임은 오큘러스 리프트의 오큘러스 터치 컨트롤러와 센서를 사용하여 처리한다. 니지3D를 통해 버츄얼 라이버는 회사가 아닌 집에서도 3D 모델을 활용한 방송을 할 수 있다. 하지만 간이 모션 캡처 스트리밍의 한계 상 동작 오류가 자주 발생하는 문제가 있으며, 아직은 모든 사람이 니지3D 기능을 사용할 수 있는 것은 아니며 기본적으로 상반신만 움직일 수 있다 보니 자주 사용하지는 않는다.[19]
- 애니모티콘(Animoji) : 아이폰 엑스(iPhone X)에 있는 전면 카메라 트루뎁스(TrueDepth) 카메라로 촬영한 인물 사진을 기반으로 이모티콘을 만들 수 있는 기능이다. 피사체의 50개 이상의 각각 다른 근육의 움직임을 포착하고 분석해서 세밀한 표정을 내장된 12개의 애니모티콘에 투영시킨다. 또한 목소리를 녹음할 수 있으며 기본 메시지 어플인 아이메시지(iMessage)를 통해 동영상 전송 형식으로 상대방에게 보낼 수 있다.[20]
관련 기업[편집]
- 에픽게임즈 : 미국의 게임 엔진 제작사 겸 게임 제작사 및 유통사이다. 언리얼 시리즈와 기어스 오브 워 시리즈, 포트나이트, 그리고 언리얼 엔진의 제작사로 유명하다.[21] 에픽게임즈는 디지털 휴먼 제작을 위해 2020년 초 큐빅모션(Cubic Motion)을 인수하였다. 큐빅모션은 비디오 게임, 영화, 방송 그리고 몰입형 경험에 자동화된 퍼포먼스 기반 페이셜 애니메이션 기술 및 서비스를 제공하는 업체다. 큐빅모션은 배우의 퍼포먼스를 실시간으로 디지털 캐릭터에 전송하는 엔드 투 엔드 하드웨어 및 소프트웨어 솔루션인 페르소나(Persona) 시스템을 개발하여 언리얼 엔진에서 리얼타임 캐릭터 페이셜 애니메이션을 가능하게 한다. 에픽게임즈 최고기술경영자(CTO)인 킴 리브레리(Kim Libreri)는 "사람 표정의 미세한 부분까지 전달하는 페이셜 애니메이션은 불쾌한 골짜기(uncanny valley)를 극복하는 데 필수적인 기술"이라고 하며 에픽의 언리얼 엔진에 3레터럴(3Lateral)의 페이셜 리그 제작 기술과 큐빅모션의 솔빙(solving) 기술을 총체적으로 결합하여 불쾌한 골짜기 문제를 해결할 수 있고 언리얼 엔진을 통해 디지털 휴먼 제작의 예술적 정점에 이를 수 있을 거라고 밝혔다.[22] 에픽게임즈는 2020년 말에 한국계 스타트업인 하이퍼센스(Hyprsense)를 인수했다. 하이퍼센스는 2015년에 설립되어 모바일, 컴퓨터, 임베디드 플랫폼용 2D 웹캠 기반의 범용 페이셜 트래킹 솔루션을 개발하는 업체로, 게임과 엔터테인먼트 산업에서 최고의 실시간 페이셜 모션 캡처를 제공해 왔다. 에픽게임즈는 이번 인수를 통해 크리에이터들이 캐릭터 콘텐츠를 보다 쉽게 만들 수 있도록 콘텐츠 제작을 도울 예정이다. 또한 개발자와 플레이어 모두를 위한 새롭고 더 나은 툴과 시스템 구축을 더욱 신경쓰고 언리얼 엔진 크리에이터들이 플랫폼에 제한 없이 가장 진보된 캐릭터 에셋을 제작할 수 있도록 제공할 계획이라고 밝혔다.[23]
각주[편집]
- ↑ 〈페이설 캡처〉, 《네이버 지식백과》
- ↑ 〈Facial motion capture〉, 《위키피디아》
- ↑ 〈Facial motion capture- Maker-based〉, 《위키피디아》
- ↑ 〈Facial motion capture- Makerless〉, 《위키피디아》
- ↑ 최지향 기자, 〈'폴라 익스프레스’의 톰 행크스/"8세 아이부터 산타까지 연기했죠"〉, 《한국일보》, 2004-11-13
- ↑ 〈디지털 영상 제작 기술 '모션 캡처 캡처',실사와 애니메이션의 경계 영화 영화로 영역 확장〉, 《한국콘텐츠진흥원》, 2010-04-30
- ↑ 용원중 에디터, 〈'혹성탈출3' 조명감독은 한국인 임창의, 들어보니(인터뷰)〉, 《뉴스엔》, 2017-08-09
- ↑ 이소담 기자, 〈2017 실사판 '미녀와 야수' 결말 알고도 봐야만 하는 이유〉, 《헤럴드경제》, 2017-03-13
- ↑ 차지수 기자, 〈2017 <미녀와 야수> 엠마 왓슨 “디즈니 진취적 여성상은 긍정적 변화”〉, 《맥스무비》, 2017-03-06
- ↑ 이시영 기자, 〈카카오게임즈, 신작 ‘오딘: 발할라 라이징’ 인게임 트레일러 이렇게 만들었다〉, 《게임조선》, 2021-03-26
- ↑ 이원희 기자, 〈'야인시대' 명품배우 안재모, '미르4' 캐릭터로 전격 변신〉, 《데일리게임》, 2020-11-12
- ↑ 정우철 기자, 〈학창 시절 풋풋한 첫사랑의 감정을 VR로, 스마일게이트 신작 '포커스 온 유'〉, 《디스이즈게임》, 2018-09-21
- ↑ 정혁진 기자, 〈붉은사막의 액션이 실제 같다고요? "실제입니다만..."〉, 《디스이즈게임》, 2021-06-28
- ↑ 문영수 기자, 〈에픽, '라이브 핑크 페이스' 출시…아이폰으로 페이셜 캡처〉, 《아이뉴스24》, 2020-07-09
- ↑ 언리얼 엔진 공식 홈페이지 - https://www.unrealengine.com/ko/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine
- ↑ 〈FaceRig〉, 《나무위키》
- ↑ 페이스리그 공식 홈페이지 - https://facerig.com/faq/
- ↑ 〈니지산지〉, 《위키백과》
- ↑ 〈니지산지〉, 《나무위키》
- ↑ 〈iPhone X〉, 《나무위키》
- ↑ 〈에픽게임즈〉, 《나무위키》
- ↑ 언리얼 엔진 공식 홈페이지 - 〈[https://www.unrealengine.com/ko/blog/cubic-motion-joins-the-unreal-engine-team
- ↑ 변인호 기자, 〈에픽게임즈, 실시간 페이셜 캡처 업체 하이퍼센스 인수〉, 《파이낸셜투데이》, 2020-11-17
참고자료[편집]
- 언리얼 엔진 공식 홈페이지 - 〈[https://www.unrealengine.com/ko/blog/cubic-motion-joins-the-unreal-engine-team
- 〈에픽게임즈〉, 《나무위키》
- 〈iPhone X〉, 《나무위키》
- 〈FaceRig〉, 《나무위키》
- 〈니지산지〉, 《나무위키》
- 〈니지산지〉, 《위키백과》
- 〈Facial motion capture- Maker-based〉, 《위키피디아》
- 〈Facial motion capture- Makerless〉, 《위키피디아》
- 〈페이설 캡처〉, 《네이버 지식백과》
- 〈Facial motion capture〉, 《위키피디아》
- 최지향 기자, 〈'폴라 익스프레스’의 톰 행크스/"8세 아이부터 산타까지 연기했죠"〉, 《한국일보》, 2004-11-13
- 〈디지털 영상 제작 기술 '모션 캡처 캡처',실사와 애니메이션의 경계 영화 영화로 영역 확장〉, 《한국콘텐츠진흥원》, 2010-04-30
- 이소담 기자, 〈2017 실사판 '미녀와 야수' 결말 알고도 봐야만 하는 이유〉, 《헤럴드경제》, 2017-03-13
- 차지수 기자, 〈2017 <미녀와 야수> 엠마 왓슨 “디즈니 진취적 여성상은 긍정적 변화”〉, 《맥스무비》, 2017-03-06
- 페이스리그 공식 홈페이지 - https://facerig.com/faq/
- 〈에픽, '라이브 핑크 페이스' 출시…아이폰으로 페이셜 캡처〉, 《아이뉴스24》, 2020-07-09
- 언리얼 엔진 공식 홈페이지 - https://www.unrealengine.com/ko/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine
- 용원중 에디터, 〈'혹성탈출3' 조명감독은 한국인 임창의, 들어보니(인터뷰)〉, 《뉴스엔》, 2017-08-09
- 이시영 기자, 〈카카오게임즈, 신작 ‘오딘: 발할라 라이징’ 인게임 트레일러 이렇게 만들었다〉, 《게임조선》, 2021-03-26
- 이원희 기자, 〈'야인시대' 명품배우 안재모, '미르4' 캐릭터로 전격 변신〉, 《데일리게임》, 2020-11-12
- 정우철 기자, 〈학창 시절 풋풋한 첫사랑의 감정을 VR로, 스마일게이트 신작 '포커스 온 유'〉, 《디스이즈게임》, 2018-09-21
- 정혁진 기자, 〈붉은사막의 액션이 실제 같다고요? "실제입니다만..."〉, 《디스이즈게임》, 2021-06-28
- 변인호 기자, 〈에픽게임즈, 실시간 페이셜 캡처 업체 하이퍼센스 인수〉, 《파이낸셜투데이》, 2020-11-17
같이 보기[편집]
