위키원
페이셜 캡처
페이셜 캡처(Facial capture)란 3D 애니메이션에서 얼굴의 움직임을 신호로 얻은 후에 디지털 캐릭터의 얼굴에 반영하는 과정이다. 모션캡처의 종류 중 하나이다.[1]
상세
페이셜 캡처는 카메라나 레이저 스캐너를 사용하여 사람의 얼굴 움직임을 전자적으로 디지털 데이터베이스로 변환하는 과정이다. 변환한 데이터베이스를 사용하여 컴퓨터 그래픽(CG), 영화, 게임 또는 실시간 아바타를 위한 컴퓨터 애니메이션을 만들 수 있다. 컴퓨터 그래픽 캐릭터의 동작은 실제 사람들의 움직임에서 반영하기 때문에 애니메이션이 수동으로 만들어졌을 때보다 훨씬 더 사실적이고 세밀하게 애니메이션을 만들 수 있다. 페이셜 캡처 데이터베이스는 배우 얼굴의 기준점에 대한 좌표 또는 상대 위치를 설명한다. 캡처는 2차원으로 이루어질 수 있으며, 이 경우 캡처 과정을 "표현 추적"이라고 부른다. 단일 카메라와 캡처 소프트웨어를 사용하여 2차원 캡처를 할 수 있다. 이 과정은 추적이 덜 섬세하고, 머리 회전과 같은 3차원 움직임을 완벽하게 캡처할 수 없다. 3차원 캡처는 다중 카메라 장비 또는 레이저 마커 시스템을 사용하여 진행된다. 이런 시스템은 보통 훨씬 더 가격이 비싸고 복잡하며 많은 시간이 걸린다. 페이셜 캡처는 눈과 입술의 작은 움직임으로부터 가능한 미세한 표정을 감지하고 추적해야 하는 고해상도 조건 때문에 더 까다롭다. 이러한 움직임은 보통 몇 밀리미터도 안 되므로 해상도와 정확도가 훨씬 더 높아야 하며 바디 캡처에 일반적으로 사용되는 것과 다른 필터링 기술이 필요하다.[2]
기술
활용 예시
영화
- 폴라 익스프레스 : 폴라 익스프레스는 2004년에 개봉한 3D 애니메이션으로 최초로 페이셜 캡처 기술을 도입한 영화이다. 배우 '톰 행크스'는 주인공인 8살 소년, 기관장, 산타클로스 등 5개의 배역을 연기하였다. 모션캡처와 페이셜 캡처 기술을 사용해서 톰 행크스의 모습을 디지털 이미지로 변환한 것이다. 이를 위해 톰 행크스는 60개의 광반사 센서가 부착된 특수 의상을 입고 얼굴에는 150개의 센서를 붙이고 촬영했다.[3] 하지만 당시 눈에 센서를 달아 움직임을 포착하는 것이 불가능해 눈동자가 어색하다는 지적이 있었다. 감독인 로버트 저메키스(Robert Zemeckis)는 다음 작품인 '베어울프'에서 그 점을 보완했다. 로버트 저메키스가 감정을 드러내는 인간의 눈을 사실적으로 표현하기 위해 'EOG(안구의 움직임으로 유발된 생체전위의 변화)'라는 기술을 개발하였고 베어울프에 도입하였다. 그로 인해 주인공 안소니 홉킨스의 음흉한 눈빛이나 왕비를 흠모하는 레이 윈스톤의 간절한 눈빛까지 실제 배우들의 연기보다 더 뛰어나게 재현되었다.[4]
- 혹성탈출 : 앤디 서키스가 유인원 '시저' 역할을 맡아 연기했다. 감독 앤더스 랭글랜즈는 "모션 퍼포먼스 캡처는 더욱 업그레이드된 실시간 '페이셜 애니메이션' 도구를 활용해 더욱 정확하고 세밀하게 움직임을 인식할 수 있었다."고 밝혔다. 그 덕분에 배우들의 움직임을 사실적으로 재현하고 섬세한 표정 변화까지 완벽하게 담아내며 캐릭터의 감정 변화까지 전달할 수 있게 됐다.[5]
- 미녀와 야수 : 댄 스티븐스가 연기한 야수는 감정 상태에 따라 얼굴이 미묘하게 변한다. 그렇게 섬세하게 표현할 수 있었던 이유는 퍼포먼스 캡처와 얼굴 캡처 기술인 모바(Mova) 페이셜 캡처 기술의 결합 덕분이다. 제작진은 애니메이션을 실사화하면서 가장 신경썼던 부분을 캐릭터가 현실에서 살아 움직이는 것 같은 생동감이라고 했다. 감독 빌 콘돈은 "모션 캡처, 페이셜 캡처가 새로운 기술은 아니지만 이렇게 집중적으로 사용된 적은 이번이 처음일 것"이라고 말했다. 댄 스티븐스가 야수의 얼굴도 직접 연기했는데, 2주에 한 번씩 얼굴에 페인트를 칠했고 20대가 넘는 카메라로 얼굴을 디지털로 촬영했다. 때문에 벨을 만난 후 점점 얼굴이 부드러워지면서 야수에서 인간의 표정으로 변해가는 과정을 볼 수 있다.[6][7]
게임
- 오딘 : ㈜카카오게임즈가 배급하는 오딘은 북유럽 신화의 세계관, 거대한 대륙을 구현한 오픈월드 등 많은 콘텐츠를 갖춘 고퀄리티 그래픽 엠엠오알피지(MMORPG) 게임이다. 2021년 3월에 공개된 게임 전체 세계관의 배경이 되는 내용을 담은 ‘프리퀄’ 형태의 인게임 트레일러 ‘로키의 분노’에는 신들의 세계에서 추방 당한 이후 복수를 꿈꾸는 ‘로키’가 영상의 주인공으로 등장한다. ‘테마기행-북유럽 신화 속으로’ 영상은 실제 인게임 환경을 플레이하며 촬영 및 제작한 영상이다. ‘로키의 분노’ 영상은 실제 게임에 쓰이는 리소스를 활용하여 ‘언리얼 엔진 4’의 시퀀스를 바탕으로 직접 촬영 및 제작된 영상이다. 트레일러 영상을 실제 엔진으로 직접 제작하였다. 영상 제작을 담당한 오딘의 개발사 라이온하트 스튜디오의 연출영상팀 강희민 팀장과 이상원 사원은 “실제 게임의 모든 리소스를 활용해, 영상과 출시 이후 이용자들이 경험할 인게임 화면의 차이가 없도록 제작했다”며 “애니메이션 같은 경우, 모션캡쳐와 페이셜캡쳐 기술을 통해 실제 인물의 리얼한 움직임을 표현하고자 노력했다”고 밝혔다.[8]
- 미르4 : ㈜위메이드가 배급하는 엠엠오알피지(MMORPG)게임인 미르4는 인기 배우들을 게임 캐릭터로 출연시켰다. 실제 배우들의 페이셜 캡처를 하여 주요 캐릭터에 자연스러운 표정을 통한 감정 표현과 모션 캡처 배우들과 함께 생생하고 사실감 넘치는 액션을 게임에 담아 캐릭터에 생명을 불어넣었다.[9]
- 포커스 온 유 : 가상현실(VR) 연애 어드벤처 게임인 포커스 온 유는 아이돌 출신 모델을 섭외해 모션 캡쳐와 페이셜 캡쳐를 통해 자연스럽고 살아있는 듯한 캐릭터를 만들었다. 몰입감을 높이기 위해 약 100시간 이상 모션캡쳐를 하여 가능한 생동감 있는 움직임을 표현하고, 페이셜 캡쳐를 통해 입 모양, 눈 떨림 등 섬세한 표정을 나타내었다. 또한 음성 인식 기술을 사용해 캐릭터와 대화하는 듯한 느낌을 주기도 했다.[10]
소프트웨어
- 라이브 링크 페이스 : 에픽게임즈가 언리얼 엔진의 리얼타임 페이셜 캡처를 위한 어플 라이브 링크 페이스(Live Link Face)를 개발했다. 라이브 링크 페이스는 아이폰에서 고퀄리티 페이셜 애니메이션을 언리얼 엔진의 캐릭터로 실시간 스트리밍할 수 있다. 1인 아티스트에서부터 모션캡처 수트를 입은 여러 배우들과 작업하는 전문 스튜디오 팀까지 영화 및 애니메이션 등의 모든 버추얼 프로덕션 촬영 환경에서 풍부한 얼굴 표정과 감정을 캡처하는 데 있어 성능을 발휘하도록 만들어졌다. 이 앱의 추적 기능은 애플의 증강현실(AR) 플랫폼인 에이알키트(ARKit)와 아이폰의 트루뎁스(TrueDepth) 전면 카메라를 활용해 실시간으로 배우의 얼굴 움직임을 추적하고, 네트워크에서 라이브 링크를 통해 데이터를 언리얼 엔진에 직접 전송한다. 라이브 링크 페이스는 전문적인 촬영뿐만 아니라 스트리머들의 라이브 방송 등에도 많은 도움을 줄 수 있다. 페이셜 트래킹 데이터에 머리 및 목 회전 데이터가 포함돼 있기 때문에 스트리머들은 모션캡처 수트와 헤드 마운트 장비 없이도 아이폰만으로 자유롭게 디지털 아바타의 움직임을 만들 수 있다.[11][12]
- 페이스리그 : 페이스리그(FaceRig)는 웹캠이 있는 사람이라면 누구나 원하는 캐릭터를 디지털 방식으로 구현할 수 있는 프로그램이다. 입력 장치를 이용해 자신의 얼굴을 모션 인식, 3D 캐릭터의 표정으로 리얼하게 전환해주나. 기본적으로 눈과 입, 고개를 좌우로 움직이는 것을 인식해 반영한다. 내가 말을 하거나 미소를 지으면 그대로 입이 움직이고 눈을 감으면 똑같이 감으며 몸을 좌우로 흔들면 아바타도 좌우로 몸을 기울인다. 그밖에도 키보드와 마우스를 이용해 손을 움직이는 액션, 목소리 변조, 아바타 커스터마이징, 영상이나 모션 녹화 및 재생 기능 등이 있다. 2016년 2월 26일 기준으로 다운로드 콘텐츠(DLC) 포함 72가지 캐릭터가 존재한다. 아바타는 사람, 동물, 몬스터, 외계인 등 종류가 다양하고 아바타를 직접 제작해서 추가하는 것도 가능하다. 스카이프와 연결하여 캐릭터의 모습으로 화상통화를 할 수도 있다. 게임 스타바운드와 콜라보레이션으로 무료 다운로드 콘텐츠를 내기도 했다.[13] 페이스리그에 사용될 카메라는 가능한 한 적은 이미지 노이즈(그레인)와 적절한 해상도가 필요하다. 페이스리그는 480p 이상의 웹캠에서 작동하고 720p와 30 또는 60fps가 권장된다. 1080p는 권장하지 않는다. 웹캠 기반 추적 기능이 있는 가정용 및 비상업용인 페이스리그(또는 페이스리그 클래식), 홈 기능과 비슷하지만 자신의 창작물을 선보이는 곳에서 상당한 광고 기반 수익을 창출하는 사람들이 사용할 수 있는 페이스리그 프로가 있다. 페이스리그는 스팀에서 다운로드할 수 있다.[14]
- 니지산지 : 니지산지(にじさんじ)는 일본의 애니컬러 주식회사(ANYCOLOR 株式会社)가 개발한 아이폰 엑스(iPhone X) 전용 어플, 혹은 해당 앱을 사용하여 활동하는 회사 소속의 버츄얼 라이버 그룹 및 프로젝트를 지칭한다. 니지산지는 아이폰 엑스의 표정 인식 기능인 애니모티콘을 활용하여 2D 컴퓨터 그래픽 애니메이션 캐릭터가 연기자의 표정이나 움직임에 맞춰 동작하게 만들어주는 어플이다. 페이스리그와 라이브투디(Live 2D)를 사용하는 것과 비슷하게 캐릭터를 움직일 수 있다. 본격적인 라이브투디 기술을 도입한 2D 페이스 트래킹에 비해 트래킹 범위가 작다는 단점이 있다.[15]
- 애니모티콘 : 아이폰엑스(iPhone X)에 있는 전면 카메라 트루뎁스(TrueDepth) 카메라로 촬영한 인물 사진을 기반으로 이모티콘을 만들 수 있는 기능이다. 피사체의 50개 이상의 각기 다른 근육의 움직임을 포착하고 분석해서 세밀한 표정을 내장된 12개의 애니모티콘에 투영시킨다. 또한 목소리를 녹음할 수 있으며 기본 메시지 어플인 아이메시지(iMessage)를 통해 동영상 전송 형식으로 상대방에게 보낼 수 있다.[16]
각주
- ↑ 〈페이설 캡처〉, 《네이버 지식백과》
- ↑ 〈Facial motion capture〉, 《위키피디아》
- ↑ 최지향 기자, 〈'폴라 익스프레스’의 톰 행크스/"8세 아이부터 산타까지 연기했죠"〉, 《한국일보》, 2004-11-13
- ↑ 〈디지털 영상 제작 기술 '모션 캡처 캡처',실사와 애니메이션의 경계 영화 영화로 영역 확장〉, 《한국콘텐츠진흥원》, 2010-04-30
- ↑ 용원중 에디터, 〈'혹성탈출3' 조명감독은 한국인 임창의, 들어보니(인터뷰)〉, 《뉴스엔》, 2017-08-09
- ↑ 이소담 기자, 〈2017 실사판 '미녀와 야수' 결말 알고도 봐야만 하는 이유〉, 《헤럴드경제》, 2017-03-13
- ↑ 차지수 기자, 〈2017 <미녀와 야수> 엠마 왓슨 “디즈니 진취적 여성상은 긍정적 변화”〉, 《맥스무비》, 2017-03-06
- ↑ 이시영 기자, 〈카카오게임즈, 신작 ‘오딘: 발할라 라이징’ 인게임 트레일러 이렇게 만들었다〉, 《게임조선》, 2021-03-26
- ↑ 이원희 기자, 〈'야인시대' 명품배우 안재모, '미르4' 캐릭터로 전격 변신〉, 《데일리게임》, 2020-11-12
- ↑ 정우철 기자, 〈학창 시절 풋풋한 첫사랑의 감정을 VR로, 스마일게이트 신작 '포커스 온 유'〉, 《디스이즈게임》, 2018-09-21
- ↑ 문영수 기자, 〈에픽, '라이브 핑크 페이스' 출시…아이폰으로 페이셜 캡처〉, 《아이뉴스24》, 2020-07-09
- ↑ Ryan Mayeda, 〈언리얼 엔진의 리얼타임 페이셜 캡처를 위한 iOS 앱 Live Link Face 출시〉, 《언리얼 엔진 홈페이지》, 2020-07-09
- ↑ 〈FaceRig〉, 《나무위키》
- ↑ 〈자주하는 질문〉, 《페이스리그 홈페이지》
- ↑ 〈니지산지〉, 《위키백과》
- ↑ 〈iPhone X〉, 《나무위키》
참고자료
- 〈페이설 캡처〉, 《네이버 지식백과》
- 〈Facial motion capture〉, 《위키피디아》
- 최지향 기자, 〈'폴라 익스프레스’의 톰 행크스/"8세 아이부터 산타까지 연기했죠"〉, 《한국일보》, 2004-11-13
- 〈디지털 영상 제작 기술 '모션 캡처 캡처',실사와 애니메이션의 경계 영화 영화로 영역 확장〉, 《한국콘텐츠진흥원》, 2010-04-30
- 〈iPhone X〉, 《나무위키》
- 이소담 기자, 〈2017 실사판 '미녀와 야수' 결말 알고도 봐야만 하는 이유〉, 《헤럴드경제》, 2017-03-13
- 차지수 기자, 〈2017 <미녀와 야수> 엠마 왓슨 “디즈니 진취적 여성상은 긍정적 변화”〉, 《맥스무비》, 2017-03-06
- 〈FaceRig〉, 《나무위키》
- 〈자주하는 질문〉, 《페이스리그 홈페이지》
- 〈니지산지〉, 《위키백과》
- 〈에픽, '라이브 핑크 페이스' 출시…아이폰으로 페이셜 캡처〉, 《아이뉴스24》, 2020-07-09
- Ryan Mayeda, 〈언리얼 엔진의 리얼타임 페이셜 캡처를 위한 iOS 앱 Live Link Face 출시〉, 《언리얼 엔진 홈페이지》, 2020-07-09
- 용원중 에디터, 〈'혹성탈출3' 조명감독은 한국인 임창의, 들어보니(인터뷰)〉, 《뉴스엔》, 2017-08-09
- 이시영 기자, 〈카카오게임즈, 신작 ‘오딘: 발할라 라이징’ 인게임 트레일러 이렇게 만들었다〉, 《게임조선》, 2021-03-26
- 이원희 기자, 〈'야인시대' 명품배우 안재모, '미르4' 캐릭터로 전격 변신〉, 《데일리게임》, 2020-11-12
- 정우철 기자, 〈학창 시절 풋풋한 첫사랑의 감정을 VR로, 스마일게이트 신작 '포커스 온 유'〉, 《디스이즈게임》, 2018-09-21
같이 보기
