딥페이크(Deep Fake)는 죄가 없다

 세상은 계속해서 발전하고 있습니다. 사람을 편하게 만들어주는 기술의 발전이 큰 힘이죠. 그 중에서도 데이터 사이언스 분야의 발전은 급격하게 이뤄지고 있습니다. 알파고에게 충격을 받았던 게 불과 몇 년 전인데 지금은 이곳 저곳에서 머신러닝, 딥러닝, AI라는 말을 쉽게 볼 수 있습니다. 그런데 이렇게 발전하는 기술, 과연 좋기만 할까요? 오늘은 딥페이크 사례를 통해 기술의 발전이 가져온 긍정적인 측면과 부정적인 측면을 함께 살펴보겠습니다.

딥페이크(deepfake), 사회적 문제아?

 딥페이크(deepfake)라는 말, 들어보셨나요? 요즘 뉴스에서 심심찮게 들리는 단어인데요. 딥페이크란 딥러닝(deep learning)과 페이크(fake)가 합쳐진 합성어로 인공지능을 활용해 진짜 같은 가짜 이미지, 영상, 음성 등을 만들어내는 기술을 말합니다. 과연 어떤 기술을 사용하길래 진짜 같은 가짜를 만들어내는 것이 가능한 걸까요? 이 기술이 어떤 기술이길래 뉴스에 자꾸만 나오는 걸까요? 우려와 기대를 동시에 받고 있는 딥페이크의 기술에 대해 이야기 해보겠습니다.

딥페이크 악용 사례

 진짜 같은 가짜를 만들어내는 기술인 딥페이크. 딥페이크의 중심에는 ‘GAN’이라는 핵심 기술이 있습니다. 이 기술은 현재 AI의 악용 문제가 가장 두드러지는 분야로 평가받고 있는데요. 사례를 통해 그 이유를 알아보겠습니다.

출처 : 버즈피드 유튜브 캡쳐

 

 먼저 정치적 악용 사례가 있습니다. 몇 년 전, 오바마 미국 전 대통령이 트럼프 전 대통령을 향해 독설을 퍼붓는 동영상이 공개된 적이 있는데요. 영상을 제작한 곳은 버즈피드라는 매체로 “가짜 동영상의 폐해가 얼마나 심각한지를 알리기 위해 이 같은 영상을 만들었다”고 전했습니다. 그 외에도 마테오 렌치 전 이탈리아 총리가 다른 사람을 모욕하는 영상이 나돌았는가 하면, 2018년 멕시코에서는 대통령 후보를 깎아내리기 위한 영상이 게시되기도 했죠. 이 영상들 모두 딥페이크 기술을 이용해 조작된 영상이었습니다. 이러한 문제 때문에 지난 해 미 대선을 앞두고 페이스북에서는 딥페이크 영상 게시를 금지하기도 했습니다.

 음란물 문제 또한 심각한데요. 네덜란드 딥페이크 탐지 기술업체인 ‘딥트레이스’가 2019년 발표한 보고서에 따르면 인터넷에 떠도는 딥페이크 영상 중 96%가 음란물이라고 합니다. 우리나라에서도 딥페이크로 인한 피해가 있었는데요. 지난 해 4월, ‘N번방 사건’에서 딥페이크를 악용한 사진이 유포된 적이 있습니다. 이 사건 이후 법무부는 *딥페이크 처벌 강화법을 국회 본회의에 통과시켰습니다.

• 딥페이크 영상물을 제작 및 배포한 자는 ‘5년 이하의 징역 또는 5,000만 원 이하의 벌금형’에 처하며, 영리 목적일 경우 7년 이하의 징역에 처한다.

딥페이크, 과연 어두운 면만 존재할까?

 이렇듯 딥페이크하면 악용되는 사례만 두드러지는 것이 대부분입니다. 그런데 딥페이크 기술에는 어두운 면만 존재할까요? 이번에는 딥페이크 기술을 활용한 긍정적인 사례를 찾아보겠습니다.

데이터 사이언스가 선사한 감동

출처 : Mnet 유튜브 캡쳐

 

 지난 해 방송됐던 ‘AI 음악 프로젝트 다시 한번’이라는 프로그램, 기억하시나요? AI를 활용해 지금은 고인이 된 가수 터틀맨과 김현식의 모습을 되살리는 프로젝트였는데요. 단순히 고인의 생전 모습을 보여주는 것이 아닌, AI를 활용해 그들의 목소리와 얼굴을 복원해 새로운 무대를 선보이는 프로젝트였습니다. 그리고 이 프로젝트에 사용된 기술이 바로 딥페이크입니다.

 우선 고인의 생전 사진과 영상, 목소리 데이터를 수집한 뒤 이를 모델에 반복 학습시켜 최대한 인물과 비슷한 데이터를 만들어냈습니다. 그리고 대역 연기자가 촬영한 영상에 얼굴 부분만 합성하는 방법을 사용한 것이죠. 그 결과 실제 무대에서 새로운 노래에 맞춰 춤추고 노래하는 터틀맨의 모습을 구현해낼 수 있었습니다. 이 영상은 ‘거북이’의 팬들은 물론, 수많은 사람들에게 감동을 전하며 그리움을 달랬습니다.

출처 : 딥노스탤지어

 

 또 얼마 전, 독일의 ‘마이헤리티지’라는 AI를 활용해 사진 속의 인물을 자연스럽게 움직이도록 바꿔주는 ‘딥 노스탤지어’라는 서비스를 시작했는데요. 이 서비스를 이용해 윤봉길 의사와 유관순 열사가 눈을 깜빡이고 고개를 움직이는 모습을 구현해내기도 했습니다.

 이와 비슷하게 국내의 AI 기업 ‘라이언로켓’에서도 안중근 의사의 서거 111주년을 기념하는 영상을 만들었습니다. 딥페이크 기술을 활용해 안중근 의사가 ‘국기에 대한 맹세’를 낭독하는 영상을 만든 것인데요. 10분의 영상을 제작할 경우, 기존에는 사전 작업을 제외하고도 촬영과 편집을 위해 4명 이상의 인력과 4시간 이상의 제작 시간이 필요했지만, 라이언로켓의 기술을 이용하면 실제 촬영을 하지 않고도 1명의 사람이 10분 정도의 시간이면 영상을 완성할 수 있다고 설명했습니다.

 이처럼 딥페이크 기술은 더 이상 볼 수 없는, 보고싶은 사람의 모습을 구현해내는 것은 물론이고 영상 산업 등에서 활용된다면 CG를 사용하는 것보다 기술적, 경제적 부담을 줄여 효율을 높일 수 있는 기술입니다.

어떻게 진짜 같은 가짜를 만들어내는걸까?

 위 사례들은 모두 딥페이크를 적용해 만들어낸 가짜 데이터입니다. 어떤가요. 진짜 같은 가짜라는 말의 의미가 느껴지시나요? 어떻게 이런 일이 가능한걸까요? 답은 딥페이크를 가능하게 하는 핵심 기술인 ‘GAN’에 있습니다.

 ‘GAN’은 2014년에 처음 소개된 머신러닝 기술로 정식 명칭은 ‘생성적 적대 신경망(Generative Adversarial Networks, GAN)’이라고 합니다. 한개의 인공 신경망을 학습시켜서 활용하는 기존의 방법과는 다르게 ‘GAN’은 서로 다른 두 개의 인공 신경망을 활용한다고 하는데요. 이미지를 생성하는 생성(Generative) 신경망과 생성 신경망이 만든 이미지를 진위를 판별하는 식별(Discriminative) 신경망이 바로 그것입니다.

 GAN 기술을 처음 제안한 이안 굿펠로는 논문에서 GAN 기술을 ‘위조지폐범’과 ‘경찰’의 예로 들어 설명했습니다.

 위조지폐범은 진짜 지폐(실제 데이터)를 바탕으로 정교한 위조 지폐를 만듭니다(가짜 데이터). 경찰은 위조지폐와 진짜 지폐를 비교하며 위조 지폐를 잡아내죠. 이렇게 서로 만들고 판별하는 과정이 더해질수록 위조 지폐는 점점 진짜 지폐와 비슷해집니다. 진짜와 구분이 가지 않을 정도까지요. 이처럼 두 개의 신경망이 서로 적대적인 관계에 있으므로 이를 ‘생성적 적대 신경망’이라고 하는 것입니다.

창과 방패의 대결, 딥페이크 탐지

 이렇게 가치가 높은 기술임에도 사람들은 여전히 GAN의 악용에 무게를 두고 있습니다. 이 때문에 딥페이크를 탐지하는 탐지 기술의 발전 또한 이뤄지고 있죠.

 페이스북은 최근 1000만달러(약 120억원)를 투자해 딥페이크 영상 탐지 기술 개발을 시작했으며 이를 위해 유명 배우와 정치인 등 관련된 영상과 이미지를 수집하고 있다고 합니다. 구글은 문자를 음성으로 바꾸는 자사 기술을 거꾸로 활용해 영상 속 발언자가 직접 자신이 한 말인지 인증하는 기술을 개발하고 있으며 앞으로는 온라인에 퍼져 있는 딥페이크 영상과 이미지를 사용한 정치 광고를 삭제하겠다는 방침도 밝혔습니다. 트위터 또한 조작된 영상이나 이미지 등이 적발됐을 때 삭제하는 방안을 검토하고 있습니다.

 국내에서도 딥페이크 탐지에 대한 움직임이 있습니다. AI 기업 ‘머니브레인’은 딥페이크를 탐지하는 딥러닝 모델 ‘Detectdeepfake.ai’를 출시했는데요. 이들은 ‘페이스포렌식++(FaceForensics)’ 데이터와 아마존, 페이스북, MS 등이 모여 만든 DeepFake detection challenge(DFDC) 데이터 그리고 자체 수집한 데이터인 KoDF(Korean deepFake detection dataset)까지 수많은 데이터를 딥러닝에 학습시켜 해당 데이터가 포함된 딥페이크 영상의 검증률을 99%까지 끌어올렸다고 합니다.

 이외에도 카이스트 연구진이 디지털 이미지의 변형 여부를 탐지하는 소프트웨어 ‘카이캐치(KAICATCH)’를 개발하기도 했고, 이와여대 사이버보안 전공 학생들이 모인 ‘딥트’팀이 딥페이크 자동탐지 시스템을 직접 개발하는 등 딥페이크의 악용 사례를 막기 위한 노력 또한 계속되고 있습니다.

기술은 죄가 없다.

 GAN 기술은 facebook의 AI 총괄을 맡은 ‘얀 르쿤’이 최근 10년 간 머신러닝 분야에서 가장 멋진 아이디어라고 할 만큼 혁신적인 기술입니다. 그리고 그만큼의 위험이 존재하는 것 또한 분명합니다.

 위 사례들에서 보았듯 GAN 기술은 나쁘게도 쓰일 수 있고 좋게도 쓰일 수 있습니다. 기술은 죄가 없습니다. 결국 중요한 것은 ‘사람이 기술을 어떻게 사용하는가’입니다. GAN은 앞으로 계속 발전할 것입니다. 그에 따라 딥페이크 기술 또한 나날이 정교해지겠죠. 딥페이크 탐지 기술은 물론, GAN을 활용한 다양한 기술들도 나올 것입니다. 이런 상황에서 중요한 것은 ‘당신’입니다. 당신은 이 기술을 어떻게 사용하시겠습니까?

 급변하는 세상에 빛이 되는 기술, 데이터 사이언스가 궁금하다면?

▲ 데이터 사이언스, 입문부터 마스터까지 ▲