제니, 아이유, 설현도 당했다…얼굴 바꿔치기 기술

딥페이크 기술 원리.

중국을 비롯한 해외에서 블랙핑크 제니, 아이유, 설현 등 한국 아이돌의 딥페이크(deepfake) 음란물이 배포돼 문제가 되고 있다. 실제 인물의 얼굴과 음란물을 합성한 영상이 제작돼 디지털 성범죄로 이어지고 있는 것이다. 딥페이크란 인공지능(AI) 기술을 이용해 합성한 사진이나 동영상 또는 제작 프로세스 자체를 말한다. 어떻게 쓰느냐에 따라 그 활용도가 달라질 수 있는 것. 진짜 같은 가짜를 만들어내는 딥페이크 기술과 이를 방어하는 탐지 기술에 대해 살펴보자.

인공 신경망 이용한 얼굴 바꿔치기

톰 크루즈로 가장한 배우(왼쪽)가 딥페이크 기술을 활용해 톰 크루즈로 변신했다. [크리스움]

딥페이크는 ‘심층 기계학습(deep learning)’과 ‘가짜(fake)’의 합성어로, 기존 얼굴을 바꿔치거나 완전히 새로운 얼굴 또는 몸짓을 만들어내는 일종의 위조 기술이다. 심층 신경망을 기반으로 하는 딥러닝을 이용해 얼굴과 표정을 만들어내고 음성을 합성한다. 그 결과 사람들이 하지 않은 말이나 행동이 마치 한 것처럼 보이게 된다. 

딥페이크 사진이나 동영상을 만들려면 수백, 수천 개 이미지를 인공 신경망에 입력해 패턴(얼굴)을 식별하고 재구성하는 훈련 과정을 거친다. 이때 두 신경망(생성자와 감별자) 세트가 경쟁을 통해 학습하는 적대적 생성 신경망(Generative Adversarial Network) 알고리즘이 사용된다. 생성자가 데이터를 만들어내면, 감별자는 실제 모습과 얼마나 유사한지 비교한다. 이 과정의 반복을 통해 감쪽같이 조작된 사진이나 동영상이 탄생한다. 활용할 수 있는 데이터가 방대해지고 컴퓨팅 성능이 향상되면서 딥페이크 기술은 더욱 빠르게 발전하고 있다. 

딥페이크 기술은 이제 사진 한 장으로 새로운 이미지를 만들어낼 수 있을 만큼 발전했다. 얼마 전 딥페이크로 부활한 유관순 열사, 윤봉길 의사 등 애국지사의 모습이 소셜네트워크서비스(SNS)를 타고 확산되며 감동을 자아냈다. 이 영상들은 이스라엘 온라인 플랫폼 마이헤리티지(MyHeritage)의 ‘딥 노스텔지어’ 서비스가 적용된 결과물이다. 이 서비스는 사이트에 사진을 올리면 정지된 사진 속 얼굴을 수초 만에 애니메이션화해 움직이는 이미지(GIF)로 바꿔준다.

최근 틱톡에 딥페이크 기술로 만든 할리우드 배우 톰 크루즈의 영상이 올라와 사람들에게 놀라움을 안겼다. 톰 크루즈가 골프를 치는 모습부터 말을 건네고 마술을 선보이는 영상까지 주의 깊게 살펴보지 않고서는 가짜임을 알아채기가 어렵다. 



이 영상을 제작한 벨기에 VFX(Visual Effects: 특수영상) 전문가 크리스움은 IT(정보기술) 매체 ‘더버지’를 통해 “딥페이스랩(DeepFaceLab) 알고리즘과 기존 비디오 편집 도구를 사용해 딥페이크 클립을 제작했다”며 “기존 컴퓨터 그래픽 기술과 VFX를 딥페이크에 결합시키면 더 나은 결과물을 구현할 수 있다”고 밝혔다. 딥페이스랩은 동영상에 얼굴을 바꿔 넣을 수 있도록 짜인 오픈소스(공개된) 프레임워크다. 딥페이스랩, 페이스스왑(Faceswap) 등 개발 소스가 공개된 프레임워크는 누구나 손쉽게 활용할 수 있다.

칼과 방패, 딥페이크 잡는 인공지능

배우 니컬러스 케이지 얼굴을 일론 머스크 테슬라 최고경영자 머리에 합성하면 얼굴과 머리가 올바르게 정렬되지 않는다. [미국 뉴욕주립대 컴퓨터과학과]

딥페이크 기술은 게임, 영화 등 창작물 제작은 물론, 앞서 소개한 추억 재현 서비스까지 폭넓게 활용될 수 있다. 문제는 딥페이크를 악용하는 사람이 있다는 점이다. 가짜뉴스를 만들어 잘못된 정보를 배포하거나 정치적 선동에 이용하기도 한다. 또한 아이돌 딥페이크 동영상처럼 음란물을 위조하는 심각한 범죄도 있다. 

이에 대응하는 딥페이크 탐지 역시 AI 몫이다. 심층 신경망을 통한 지능적 AI 기술로 딥페이크를 찾아낸다. 초기 탐지 기술은 눈 깜박임 속도나 얼굴 근육의 움직임 같은 미묘한 차이를 잡아냈다. 최근에는 영상 분석과 영상 인식에 활용되는 콘볼루션 신경망(Convolutional Neural Network)을 통해 더욱 정교한 방법으로 딥페이크를 가려내고 있다.

다양한 딥페이크 이미지. 사람의 눈동자 픽셀을 분석해 딥페이크 여부를 확인할 수 있다. [미국 버펄로대 컴퓨터과학과]

미국 뉴욕주립대 컴퓨터과학과는 코, 입술, 머리가 향한 방향과 위치를 계산해 딥페이크를 찾는 방법을 제시했다. 연구팀은 딥페이크로 새로운 얼굴과 표정이 생성될 때 사람의 머리 위치, 조명 조건, 카메라와 거리 등이 일치하지 않아 나타나는 미세한 오류를 포착했다. 가짜 얼굴이 주변과 조화를 이루게 하기 위해 회전, 크기 조정 등 변형을 가하면서 흐릿한 경계선, 매끄러운 피부 등이 나타날 수 있는데, 이는 딥페이크의 증거가 된다. 

미국 버펄로대 컴퓨터과학과 연구실에서는 사람 눈의 빛 반사를 분석해 딥페이크 사진을 자동으로 식별하는 도구를 개발했다. 우리가 무언가를 볼 때 눈동자에 상이 반영된다. 반면 AI에 의해 생성된 얼굴의 눈동자는 일관된 이미지를 반영시키지 못한다. 딥페이크 이미지의 눈동자를 확대해 반사된 상의 픽셀을 분석하면 가짜를 포착할 수 있는 것이다. 

일반적인 이미지(왼쪽)와 섭동을 일으킬 경우 딥페이크 인식 작용의 예. 섭동을 일으키면 제대로 감지하기 어렵다. [미국 뉴욕주립대 컴퓨터과학과]

딥페이크 탐지 기술이 계속 쫓고 있지만 갈수록 정교해지는 딥페이크를 따라잡기는 쉽지 않아 보인다. 구글의 딥러닝 인공지능 연구팀 ‘구글 브레인(Google Brain)’은 첨단 탐지기조차 딥페이크 이미지에 속을 수 있다는 연구 결과를 도출해냈다. 최신 딥페이크 탐지기가 이미지의 일부 픽셀 값에 고의적으로 작은 변화를 줘 교란시키는 적대적 섭동(이미지 구조의 기본 흐름을 방해하는 간섭 현상)에 취약한 것으로 나타났기 때문이다. 

미국 서던캘리포니아대 연구팀 또한 실험을 통해 이미지 교란이 탐지기의 식별 능력을 현저히 떨어뜨린다는 사실을 확인했다. 해결책으로 교란 섭동을 제거하는 알고리즘을 거치자, 식별 능력이 회복됐지만 처리 시간이 매우 길어지는 단점이 나타났다. 

연구팀은 “딥페이크가 바이러스, 탐지기가 백신이라면 적대적 섭동은 돌연변이로 생각할 수 있다”며 “작은 돌연변이 하나가 백신을 쓸모없게 만드는 것처럼 이미지의 작은 섭동이 최첨단 딥페이크 탐지기를 무용지물로 만들 수도 있다”고 설명했다.