㈜소프트이천

인공지능(AI) 기술의 발전은 우리의 삶에 혁신을 가져오지만, 그만큼 부작용도 커지고 있다. 특히, SNS 피드에 등장하는 유명인, 연예인, 정치인의 영상이 얼굴부터 목소리까지 정교하게 조작된 가짜일 가능성이 높아지고 있다. AI가 만들어내는 ‘딥페이크(Deepfake)’ 기술은 진실과 거짓의 경계를 흐리게 만들며, 사회적 혼란과 보안 위협을 초래하고 있다. 딥페이크의 위험성과 이를 탐지하는 기술의 현재 수준을 살펴본다.

홍콩에 있는 모 글로벌 기업이 영국 본사의 CFO로부터 거액을 송금하라는 이메일을 받고 이를 피싱 메일로 의심했다. 그래서 본사와 화상회의를 진행했으나, 화상회의에서도 CFO는 같은 지시를 내렸고, 회의에 등장한 다른 직원들의 얼굴과 목소리까지 실제와 구별할 수 없을 정도로 정교했다. 결국 직원은 지시에 따라 340억 원을 송금했으나, 이후 해당 영상이 AI 기반 딥페이크였다는 사실이 밝혀졌다. 이처럼 딥페이크 기술은 이제 단순한 허위 정보가 아닌, 정교한 금융 범죄 수단으로까지 악용되고 있다.

“우리는 패배했습니다. 무기를 내려놓고 러시아군에 항복하십시오.”

작년 우크라이나 TV 채널 ‘우크라이나24’에서는 젤렌스키 우크라이나 대통령이 러시아에 무조건 항복을 선언하는 영상이 방영되면서, 우크라이나 국민뿐만 아니라 전 세계가 큰 혼란에 빠졌다. 하지만 곧 해당 영상이 조작된 것으로 밝혀졌으며, 이는 딥페이크 기술을 활용한 허위 정보였다. 러시아 출신으로 추정되는 해커들이 TV 채널을 해킹해 조작된 영상을 송출한 것으로 드러났다. 이 사건은 딥페이크가 단순한 허위 뉴스가 아니라, 심리전과 정보전에 활용될 수 있는 강력한 무기임을 시사한다.

이처럼 딥페이크 악용 사례는 점점 늘어나고 있으며, 그 형태도 다양해지고 있다. 가짜 음란물 생성 및 유포, 보이스 피싱, 가짜 뉴스, 저작권 침해, 정치적 조작 등 사회 전반에 걸쳐 심각한 문제를 초래하고 있다. 문제는 딥페이크 기술이 일반인은 물론, 전문가조차 진위를 구별하기 어려운 수준에 이르렀다는 점이다.

국내에서도 딥페이크 영상이 증가하고 있다. 방송통신심의위원회에 따르면, 국내 '딥페이크 성적 허위 영상물 차단·삭제 시정 요구 사례'가 2020년 473건에서 2023년 6,000건을 넘기며 불과 4년 만에 12배 이상 증가한 수치를 보였다. 또한, 서울시교육청의 학교 실태조사에서는 최근 5년간 학생들의 딥페이크 피해 사례가 매년 2.8배씩 증가한 것으로 나타났다. 우리나라 청소년들에게 딥페이크를 악용한 디지털 성범죄는 하나의 놀이문화처럼 인식되고 있다. 경찰청이 공개한 '딥페이크 범죄 현황'에 따르면, 2024년 검거된 허위 영상물 피의자 중 10대가 75.8%인 것으로 나타났다.

딥페이크의 위험성과 탐지 기술

딥페이크는 딥러닝(Deep Learning)과 거짓(Fake)의 합성어로, AI를 통해 특정 인물의 이미지 또는 음성을 동영상, 사진, 음성파일 등 디지털 콘텐츠에 합성하는 기술을 말한다. 최근에는 다양한 AI가 개발돼 사진을 넣으면 단 5초 만에 AI가 생성한 합성 영상으로 만들어주는 딥페이크 제작 앱도 무료로 제공되고 있다.

딥페이크에는 '적대적 생성 신경망(GAN, Generative Adversarial Network)'이라는 AI기술이 사용된다. GAN은 실제와 가상의 이미지를 보다 정확하게 식별하거나 구현하기 위해 2014년 머신러닝(ML) 기법으로 만든 혁신 기술이다.

영상 제작 업계에서는 딥페이크 기술(GAN)을 활용해 다양한 특수효과를 구현하고 있으며, 특히 과거를 재현하거나 실존하지 않는 인물을 표현하는 데 유용하게 쓰이고 있다. 유관순 열사, 안중근 의사와 같은 애국열사의 생전 모습을 되살리는 프로젝트나, 고인이 된 일반인의 모습을 재현하는 기술도 주목받고 있다. 또한, 범죄 수사와 테러 예방을 위한 신원 확인 작업에서도 GAN을 활용해 정확도를 높일 수 있다. 대표적인 사례로, 미국 플로리다의 달리 박물관은 AI 기술을 이용해 수십 년 전 작고한 초현실주의 거장 살바도르 달리를 디지털로 되살렸다.

한편, 딥페이크 영상의 위협이 커지는 만큼, 이를 탐지하는 기술도 빠르게 발전하고 있다. 현재 딥페이크 탐지를 위해 주로 사용되는 기술로는 4가지가 있다. △이미지 기반 분석 기술 △영상 일관성 분석 기술 △ 주파수 분석 기술 △ 딥러닝 모델 기반 탐지 기술 등이다.

이 가운데 얼굴 변화 감지, 음성과 입 모양의 부자연스러운 부분 분석, 혈류나 세부적인 피부 특징 탐지, AI 이미지 합성 툴 자체 감지 등의 방법이 널리 사용된다. 예를 들어, 사람은 자연스럽게 눈을 깜박이지만, 딥페이크 영상에서는 눈 깜박임이 비정상적이거나 거의 없는 경우가 많다. 또한, 딥페이크는 얼굴의 미세한 움직임, 표정 변화, 입술과 음성의 동기화 등을 완벽하게 재현하지 못할 때가 있는데 이러한 비정상적인 움직임을 탐지하는 것이다.

인텔은 사람 얼굴의 혈류 변화를 추적해 실시간으로 딥페이크 유무를 판별하는 '페이크캐처'를 개발했다. 뉴욕주립대 연구진과 협력해 개발한 이 AI기술은 96%의 정확도로 딥페이크 영상을 탐지할 수 있다. 밀리초(ms, 1000분의 1초) 단위로 동영상을 쪼갠 후, 각각의 시간대에서 어색한 부분을 찾아내는 것인데, 예를 들어 원본 영상에서 나타나는 사람의 얼굴에서 혈류 신호를 수집한 후, 시공간지도 형태로 변환한다. 그런 다음, 딥페이크 영상에서 발견되는 미묘한 변화를 감지해낸다.

구글 딥마인드는 AI 플랫폼에서 만들어진 이미지에 사람의 눈에는 보이지 않는 워터마크를 넣어 딥페이크를 쉽게 식별할 수 있도록 하는 기술을 공개했다. 미 국방부 산하 방위고등연구기획국(DARPA)은 딥페이크 생성과정에서 나타날 수 있는 아주 미세한 'AI의 실수'를 단서로 가짜를 찾아내는 기술을 개발했다.

에스토니아의 AI플랫폼 기업 ‘센티널(Sentinel)’에서 개발한 AI ‘센티널’은 사용자가 웹사이트 또는 API를 통해 딥페이크 의심 영상을 업로드하면, AI 위조 여부를 자동으로 분석한다. 센티널에서 자체 개발한 AI 알고리즘은 업로드된 영상에서 변경된 부분을 시각화해 결과를 알려준다. 예를 들어, 원본 동영상에 등장한 인물의 입모양이 달라진 모습 등을 묘사해주는 것이다.

국내에서도 정보보안 스타트업들이 딥페이크 관련 대응 기술을 개발하는데 앞장서고 있다. 정부도 딥페이크 탐지 및 성범죄물 유통 차단 기술 개발 지원에 팔을 걷어붙였다. 과학기술정보통신부는 딥페이크 탐지 고도화·생성 억제기술 개발사업과 자기진화형 딥페이크 탐지 기술 개발 사업 등 총 20억원 규모의 예산을 편성했다.

자기진화형 딥페이크 탐지 기술 개발 사업은 오는 2027년까지 총 40억원의 정부 출연금이 투입된다. 디지털 성범죄 피해 예방을 위해 불법 촬영물 이미지 유포를 차단하고 추적할 수 있는 기술 개발사업도 병행될 예정이다. 이와 함께 과기부는 여성가족부와 함께 딥페이크 기반 성범죄 예방을 위한 정책 연구에도 착수했다.

출처 : AhnLab