최근 몇 년 동안 가짜가 더 믿을 만해졌다. 어떤 경우에는 인간은 더 이상 그들 중 일부를 진짜 이미지와 구별하지 못한다. 이처럼 딥페이크(Deepfake)는 인공지능으로 특정 영상에 특정 인물의 얼굴, 음성 등을 합성한 비디오가 실제 사람들에게 허구의 말과 행동을 하는 것을 보여주는 것이다.

문제는 특정인의 인권, 성희롱 및 선거 등에서 설득의 원천으로 조작되고 사실적인 정보를 왜곡하거나 악의적으로 사용되면서 그 대상이 연예인이나 정치인 등의 유명인뿐만 아니라 일반인까지 확산되고 있기 때문이다.

더 큰 문제는 온라인에 공개된 무료 소스코드와 알고리즘으로 손쉽게 제작이 가능하다는 점이다. 특히 진위 여부를 가리기 어려울 만큼 정교해 온라인으로 제공되는 정보의 정당성을 판단하는 방법에 중대한 영향을 미칠 수 있다. 이를 탐지하는 것은 여전히 강력한 도전 과제이다.

경찰청 국가수사본부(본부장 우종수)는 딥페이크 탐지 소프트웨어를 개발하여 딥페이크를 이용한 범죄 단속을 위해 본격적으로 활용한다고 5일 밝혔다. 특히, 제22대 총선을 앞두고 딥페이크 영상을 이용한 허위정보 유포 또는 여론조작에 대한 우려가 심화되고 있다.

개정 공직선거법 제82조의8(2024. 1. 29. 시행)은 선거일 전 90일부터 선거일까지 딥페이크 영상 등을 이용한 선거운동을 금지하였으며, 경찰 또한 해당 범죄에 대한 엄정 대응 기조를 천명한 바 있다.

해당 소프트웨어는 영상 등에서 얼굴을 인식하고 교체하는 페이스 스왑(Face Swap) 등 딥페이크 영상으로 의심되는 영상을 시스템에 업로드하면 (화질·길이에 따라 상이하나) 통상 5분 ~ 10분 내에 분석 작업을 완료하여 ‘가짜 영상’인지, ‘진짜 영상’인지 판별한다. 또한, 판별이 완료됨과 동시에 결과보고서를 즉각 창출하여 수사에 곧바로 활용할 수 있도록 한다.

기존에 만들어진 딥페이크 탐지 모델은 해외에서 제작되어 서양인 위주의 데이터로 구성된 것이 대부분이었으며, 따라서 한국인을 대상으로 합성된 영상에 대해서는 탐지율이 떨어지는 문제점이 있었다.

이번에 개발한 ‘딥페이크 탐지 소프트웨어’는 인물 5,400명의 데이터 520만 점(한국인 데이터 100만 점 및 아시아 계열 인종 데이터 13만 점 포함) 등 한국인과 관련한 다양한 데이터 학습이 이루어졌으며, 기존에 학습된 데이터가 아닌 새로운 형태의 합성 영상이 발견되더라도 대응할 수 있도록 최신 인공지능(AI) 모델을 적용하였다.

해당 소프트웨어의 진위 여부 탐지율은 약 80%에 달하며, 탐지율이 100%가 아닌 점을 감안하여 증거자료보다는 수사 방향을 설정하는 자료로 활용한다. 아울러 딥페이크와 관련한 새로운 기술이 끊임없이 개발 ․ 전파되고 있는 만큼, 딥페이크 영상 선거범죄에 대해서는 학계, 기업 등 AI 전문가로 구성된 민간 자문위원의 교차 검증을 거치도록 하여 해당 소프트웨어의 오탐지 가능성도 최소화할 예정이다.

경찰청은 “딥페이크 이용 여부가 의심될 경우 ‘딥페이크 탐지 소프트웨어’를 통한 분석을 거쳐 빠르게 결과를 확인한 후, 적극적인 수사를 진행해나갈 수 있을 것으로 기대하고 있다"며, "향후 더욱 정확한 탐지가 이루어지도록 해당 소프트웨어를 고도화할 것이며, 선거범죄 · 합성성착취물 범죄 외에도 딥페이크를 이용한 다양한 범죄에 능동적으로 대처해 나가겠다.”라고 밝혔다.