딥페이크

딥페이크(Deepfake)란 딥러닝(deep learning)과 가짜(fake)의 혼성어로 인공 지능을 기반으로 한 인간 이미지 합성 기술이다. 적대적 생성 신경망(GAN)라는 기계 학습 기술을 사용하여, 기존의 사진이나 영상을 원본이 되는 사진이나 영상에 겹쳐서 만들어낸다. 딥페이크는 영화나 방송계 등에서 이미 사망하거나 나이가 든 배우를 스크린에 되살리거나 초상권 보호 등을 위해 사용할 수 있는 한편, 딥페이크 포르노그래피를 포함한 가짜 리벤지 포르노, 가짜 뉴스나 악의적 사기를 만드는 데에 사용되어 논란이 되기도 했다.

상세

딥페이크(Deepfake)란, 인공지능 기술인 딥러닝(deep learning)과 ‘가짜’를 의미하는 단어인 페이크(fake)의 합성어로, 인공지능 기술을 이용하여 진위 여부를 구별하기 어려운 가짜 이미지나 영상물을 뜻한다. 딥페이크라는 단어가 등장한 시기는 2017년으로, 미국 온라인 커뮤니티 Reddit의 한 회원이 기존 영상에 유명인의 얼굴을 입혀 가짜 콘텐츠를 게재한 데서 유래되었다. 이후 온라인 커뮤니티와 SNS를 중심으로 급속히 확산된 딥페이크 콘텐츠는 최근 딥페이스랩(DeepFaceLab), 페이스스왑(Faceswap) 등 오픈소스 형태의 영상 합성 제작 프로그램이 배포되면서 더욱 성행하고 있다.

딥페이크의 기반은 2014년에 등장한 머신러닝 기술인 적대적 생성 신경망(Generative Adversarial Networks)이다. GAN은 AI 모델을 생성모델과 분류모델로 구분하며, 각 모델의 학습을 반복하는 과정을 거친다. 이러한 과정에서 생성모델과 분류모델은 서로를 적대적 경쟁자로 인식하며 상호 발전하게 된다. 생성모델은 실제와 유사한 데이터를 생성할 수 있게 되고, 분류모델은 데이터의 진위여부를 구별할 수 없게 되는 것이다. 이 과정을 반복하면서 원본 영상과의 구별이 거의 불가능할 정도로 정교한 합성 영상이 만들어진다.

기술

생성적 적대 신경망

GAN(Generative Adversarial Networks), 적대적 생성 신경망을 활용한 이미지 생성 및 변환 기술은 인공 신경망이 다양한 노이즈(Noise) 입력을 받아 원하는 카테고리의 기존에 존재하지 않는 새로운 이미지를 생성해내거나 입력 이미지나 비디오를 다른 형태나 정보를 지닌 이미지 또는 비디오로 변환하는 기술로 최근 몇 년간 급속도로 발전하여 많은 관심을 받고 활발하게 연구되고 있는 분야이다. 최근에는 이미지 편집을 많이 활용하는 디자인 분야를 겨냥하여 이미지를 손쉽게 편집하거나 그릴 수 있는 프로그램으로 실제 서비스에 적용되고 있다.

GAN은 기존의 딥러닝(Deep learning) 기술에서 활용한 인공 신경망과는 다른 학습 방법을 활용하여 사람이 보기에 진짜와 구분하기 힘들 정도로 정교한 가짜 이미지를 만들어 내는 기술이다. 기존의 이미지 처리에서 많이 활용되는 딥러닝 기술은 학습데이터에 대하여 다층의 인공 신경망 하나를 학습시키는 방법을 활용하였지만, GAN은 2개의 인공 신경망의 상호작용을 활용하여, 최종적으로 사람이 보기에 진짜인지 구분하기 힘든 가짜 이미지를 만드는 1개의 생성 신경망을 실제 서비스에 활용한다. 하지만, 기존의 딥러닝 이미지 처리 방식과 다르게 성능을 객관적인 수치로 표시하는 방법이 부족하고, 4K와 같은 고화질 영상을 만들기에 고성능의 메모리가 필요하여 기술의 고화질 영상 생성 기술의 발전속도가 느린 것과 같은 문제가 있다. 따라서 앞으로 성능개선 및 성능평가 방법 개발 등 여전히 해결해야 할 문제가 많은 것으로 알려져 있다.

영향

2017년 미국 대형 온라인 커뮤니티인 레딧(Reddit)에 올라온 합성 포르노 영상을 딥페이크의 시초로 본다. 'Deepfakes'라는 아이디를 쓰는 이용자가 오픈소스 소프트웨어 텐서플로를 활용해 유명 연예인과 포르노를 합성한 영상을 올렸다. 이후 페이크앱(FakeApp)이라는 무료 소프트웨어가 배포되며 초보자도 쉽게 딥페이크 영상을 만들어 올리기 시작했다. 인공지능 기술은 어느새 진짜와 가짜를 구분할 수 없는 수준에 올랐다. 딥페이크는 인공지능 기술의 무궁한 발전과 기술의 가능성을 보여주지만, 그만큼 악용되면 매우 위험한 기술이다. 가짜와 진짜를 구분할 수 없는 딥페이크 기술은 많은 범죄에 악용되고 있어 딥페이크 기술 존재 자체에 대한 찬반 논쟁까지 이어지고 있다.

가장 심각한 범죄는 합성 포르노이다. 대한민국은 물론 세계적으로 연예인뿐만 아니라 일반인까지 얼굴 합성 포르노 피해자 사례가 증가하고 있다. 일반인의 얼굴을 합성하고 음성을 위조해 일명 '지인능욕'이라는 딥페이크 포르노 영상까지 유포되고 있다. 네덜란드 딥페이크 탐지 기술업체인 딥트레이스가 2019년 발간한 보고서 '더 스테이트 오브 딥페이크'에 따르면 인터넷에 유포된 딥페이크 영상 96%가 음란물이다. 가짜뉴스 또한 심각한 문제다. 정치인 얼굴을 합성한 가짜 뉴스 등 정치인이나 연예인 등 특정인이 하지 않은 발언이나 행위를 묘사하는 영상을 만들어 여론을 호도할 가능성을 배제할 수 없다. 이뿐만 아니다. 딥페이크의 악용 사례는 다양하다. 다른 사람 음성이나 영상을 허락 없이 사용할 경우에 개인정보는 물론 초상권, 명예권, 성명권을 침해할 수 있다.

하지만 한편으로 여론을 조작하려 가짜 뉴스를 제작하거나 유명인의 얼굴을 무단 도용해 성인물을 만드는 등 그 위험성 또한 심화되고 있다. 유명 할리우드 배우들이 위조된 성인물 영상으로 피해를 보았으며, 국내에서도 온라인 커뮤니티와 SNS를 중심으로 유명인뿐 아니라 일반인까지 딥페이크의 악용 피해를 보고 있다. 최근에는 딥페이크 기술을 이용한 음성, 문서 위조 사건까지 발생하며 불안감이 고조되고 있다. 이처럼 정교한 딥페이크 기술은 미디어 업계에서 특수효과로 활용되어 콘텐츠 품질 개선에 기여할 수 있지만, 한편으로는 성인물과 가짜 뉴스 제작 등 각종 범죄의 도구로 쓰이고 있다.

딥페이크 콘텐츠가 확산되면서 각종 부작용을 양산하고 있지만, 딥페이크 기술이 부정적인 면만 가지고 있는 기술은 분명 아니다. 딥페이크 기술이 영상 산업에 활용되면서 특수효과, 더빙, 과거 재현 등이 더 쉽고 간편해졌다. 어느 기술이 그렇듯, 딥페이크 기술도 쓰이는 방향과 목적에 따라 명과 암을 가진다. 사실을 조작하고, 무고한 사람을 공격하는 강력한 도구가 될 수 있음은 분명하다. 이를 방지하고 대책을 마련할 수 있는 논의가 필요함은 물론이거니와, 이를 유용하게 활용할 수 있는 방향 또한 놓쳐서는 안 된다. 딥페이크 기술이 우리 사회의 신뢰를 떨어트리는 끔찍한 허점이 되지 않도록 경각심을 가지되, 무궁무진한 발전 가능성도 함께 고려해야 한다.

가능성

할리우드를 비롯한 영상 제작 업계에서는 딥페이크 기술로 특수효과를 만들어 내고 있다. 특히 과거를 재현하거나 더 이상 실존하지 인물을 그리고자 할 때 유용하게 활용되고 있다. 2016년에 개봉한 영화 <로그원(Rogue One)>에는 1977년 작 <스타워즈: 새로운 희망(Star Wars: A New Hope)>에 출현한 배우가 당시의 모습 그대로 등장했다. 로그원 제작진은 배우와 외형적으로 유사한 대역 배우를 섭외한 후, 모션 캡처 기법과 딥페이크 기술을 활용하여 대역 배우의 얼굴에 과거 배우의 얼굴을 합성하는 방식으로 영화를 촬영했다. 넷플릭스(Netflix)도 딥페이크 기술을 활용해 주연 배우의 현재와 과거 모습을 동시에 재현해 낸 <아이리시맨(The Irishman)>의 출시를 예고했다.

딥페이크 기술은 AR·VR 콘텐츠 제작에도 활용되고 있다. 미국 플로리다에 있는 화가 달리(Dali) 박물관은 미국의 광고사인 굿바이(Goodby), 굿비 실버스타인 & 파트너스(Goodby Silverstein & Partners)와 협업해 몇십 년 전에 작고한 예술가를 되살려냈다. GS&P는 달리의 영상을 수집한 후 머신러닝 기법을 활용해 표정 알고리즘을 분석했다. 이후, 달리와 신체적 특징이 유사한 대역 배우를 섭외해 배우의 얼굴에 달리의 얼굴·표정을 합성하고 달리와 비슷한 성우의 목소리를 입혔다. 전시회 관람객들은 실물 크기의 키오스크 속에 등장하는 달리와 촬영하고, 대화하는 등 AR 달리의 안내를 받으며 작품을 감상할 수 있다.

폐해

한편, 유명인의 신체를 무단 도용해 만든 딥페이크 포르노도 확산되고 있다. 딥트레이스(Deeptrace)에 따르면, 온라인에 퍼져 있는 딥페이크 영상은 2018년 12월 기준 7,964개에서 2019년에는 14,678건으로 전년도보다 84% 상승했다. 딥페이크 영상 중에서도 성인물이 전체의 96%를 점유하며 가장 큰 비중을 차지하고 있다. 딥페이크 성인용 콘텐츠를 중점적으로 게시하는 사이트 중에서 규모가 가장 큰 4개 사이트의 총 영상 조회 수는 1억 3,436만 4,438회에 달한다.

딥트레이스가 딥페이크 성인용 콘텐츠 전용 사이트 5개(규모가 가장 큰 사이트 5개이다)의 영상을 분석한 결과, 영상에 등장하는 특정 인물의 성별이 모두 여성이었다. 인물의 국적을 살펴보니 41%가 미국인, 25%가 한국인, 12%가 영국인, 6%가 캐나다인, 3%가 인도인이었으며, 인물의 99%가 연예계 종사자였다. 문제는 해당 영상의 대부분이 대상자의 허락을 받지 않고 불법 도용된 이미지로 파악된다는 것이다. 여성, 그리고 유명인에 대한 피해가 가장 큰 실정이다. 영국의 한 배우를 합성한 성인용 딥페이크 영상물이 257개가 유포되고, 조회수가 580만 회를 넘긴 사례도 있다. 불법 제작된 딥페이크 성인용 콘텐츠 제작 방지 방안을 마련하는 일이 시급하다고 볼 수 있다.

가짜 뉴스도 심각한 딥페이크 악용 사례이다. 유명인사의 얼굴을 합성한 딥페이크 뉴스가 난무함에 따라 정치적·사회적 불안감이 가중되고 있다. 2019년 9월, 이탈리아에서 마테오 렌치(Matteo Renzi) 전 총리가 다른 정치인들을 모욕하는 딥페이크 영상이 한 프로그램에서 방영된 후, SNS를 통해 급속히 확산되었다. 해당 영상은 배우의 몸에 총리의 얼굴을 합성한 조작 영상이었지만, 영상의 내용을 실제처럼 인식한 일부 SNS 이용자가 총리를 향해 거센 비판을 제기하는 해프닝이 일어나기도 했다.

그보다 3개월 전인 2019년 6월에는 메타(Meta) CEO인 마크 저커버그(Mark Zuckerberg)가 등장하는 14초 분량의 영상이 인스타그램에서 화제를 모았다. 영상에서 Mark 마크 저커버그는 페이스북 이용자 데이터를 통제할 힘이 본인에게 있다는 과시적 내용의 발언으로 시청자의 뭇매를 맞았다. 이용자 데이터 유출사건으로 신뢰도 하락이라는 위기를 맞닥뜨린 페이스북의 CEO에게는 당치않은 발언이라는 비판이 줄을 이었다. 하지만 해당 영상은 실제가 아닌 조작된 영상이었으며, 영국의 한 디지털 예술가가 AI 프로젝트의 일환으로 제작·게재한 영상이었던 것으로 드러났다.

이처럼 딥페이크 기술 확산으로 진실과 거짓의 구분이 어려워지고 있다. 2019년 6월에는 말레이시아 경제부 장관의 동성애 장면이 담긴 영상이 알려지면서 말레이시아 정계가 둘로 나뉘어 갑론을박을 펼쳤다. 말레이시아는 동성애를 법적으로 금기시하기 때문에 장관을 체포해야 한다는 의견과, 해당 영상은 딥페이크 기술로 조작되었다는 주장이 첨예하게 다투었다. 하지만 국제 전문가의 검토 결과, 해당 영상에서는 딥페이크 기술의 흔적을 발견할 수 없었다.

딥페이크 기술이 스캔들의 진위여부에도 영향을 미치는 등, 사회적 파급력이 높아지는 가운데 딥페이크 기술에 대한 경고의 필요성이 높아지고 있다. 2018년 4월에 온라인 매체인 버즈피드(Buzzfeed)와 조던 필(Jordan Peele) 감독은 딥페이크 기술의 위험성을 경고하기 위한 영상을 공동 제작했다. 해당 영상에는 오바마(Obama) 미국 전 대통령이 등장하여 트럼프(Trump) 전 대통령을 향해 거침없는 비판을 행했다. 오바마 대통령이 실제로 출연한 것처럼 보이는 해당 영상은 사실 교묘히 조작된 딥페이크 영상이었다. 오바마 대통령의 모습을 영상 속에 합성해서 만들어 낸 결과물인 것이다. 제작진은 시청자들이 딥페이크 기술의 사회적, 정치적 파급력에 대해 인식할 만한 계기를 부여하고자 경고성 영상을 제작한 것이다.

페이스북(Facebook)과 아마존(Amazon), 구글(Google) 등 글로벌 플랫폼도 딥페이크 기술의 악용을 저지하고자 나섰다. 페이스북은 2019년 9월에 마이크로소프트(Microsoft), MIT, 옥스퍼드대학, 코넬공과대학 등 전 세계 유수대학의 인공지능 전문가들과 손을 잡고 딥페이크 감지 기술 경연 대회인 DFDC (Deepfake Detection Challenge)를 개최했다. 해당 경연은 딥페이크 동영상 데이터셋을 이용하여 영상 해독 알고리즘을 개발하는 것이다. 페이스북은 연구비·상금 수여 등 명목으로 해당 대회에 1,000만 달러를 투자하겠다고 발표했다. 2019년 10월에는 아마존도 DFDC에 합류했다. 아마존은 영상 해독 알고리즘의 개발을 위해 향후 2년간 개발자들에게 100만 달러에 달하는 아마존 웹 서비스(AWS) 이용권을 제공한다고 발표했다. 구글은 3,000개의 딥페이크 영상을 촬영한 후, 딥페이크 감지 기술 연구에 제공했으며, 트위터(twitter)는 조작된 콘텐츠를 공유하지 못하게 하거나, 조작된 콘텐츠가 허위임을 나타내는 링크를 삽입하는 등 딥페이크 악용 사례를 방지하는 정책을 펼치고 있다.

딥페이크 기술로 제작한 성인용 콘텐츠에 대한 법적 단속도 강화되는 추세이다. 유명인뿐만 아니라 일반인을 대상으로 한 딥페이크 콘텐츠의 불법 제작·유포를 방지하기 위함이다. 미국 버지니아(Virginia) 주에서는 2019년 7월 1일부터 딥페이크 성인용 콘텐츠를 보복성 음란물(리벤지 포르노)의 영역에 포함한다는 내용의 법안이 발효되었다. 딥페이크 기술이 적용된 보복성 음란물을 제작·유포하면 최대 12개월의 징역과 2,500달러의 벌금이 부과된다. 버지니아 주정부는 개인적 원한 때문에 딥페이크 기술의 폐해를 입는 일반인이 발생하지 않도록 엄정히 처벌하겠다는 입장을 고수하고 있다.

같이 보기

이 딥페이크 문서는 인공지능 기술에 관한 글로서 내용 추가가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 추가해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 관계형 네트워크(RN) • 다층퍼셉트론 • 데이터마이닝 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 방사신경망 • 분산 샌드박스 • 비지도학습 • 사전학습 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 지도학습 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 한돌 강화학습 ADP • CoLLM • DALL-E • DDPG • DQN • LMM • SARSA • SLM • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 동적 계획법 • 모델 기반 강화학습 • 모델 프리 강화학습 • 반영식 아키텍처 • 수시 알고리즘 • 심층믿음망 • 어니 • 에이전트 • 확률적 경사하강법 문자인식 ICR • OCR • OMR • STT • TTS • 문자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 크라우드워커 • 토큰 • 토큰화 계산 복잡도 NP • NP-완전 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반