최근 몇 년 동안 가짜가 더 믿을 만해졌다. 어떤 경우에는, 인간은 더 이상 그들 중 일부를 진짜 이미지와 구별하지 못한다.

비록 딥 페이크(deep fake)를 탐지하는 것은 여전히 강력한 도전 과제이지만, 그것들이 더 정교해짐에 따르는 의문이 생긴다. 예를 들어, "딥 페이크가 단순히 재미와 경외심뿐만 아니라 대규모로 악의적 의도를 위해 대량 생산될 때에는 과연 무슨 일이 발생될까?"

이에 페이스북 AI와 미시간주립대학교(Michigan State University, MSU)는 공동연구를 통해 단일 인공지능(AI) 생성 이미지에서 이를 생성하는 데 사용되는 생성 모델까지 리버스 엔지니어링(Reverse engineering)에 의존하는 딥 페이크를 탐지하는 플랫폼과 방법을 16일(현지시간) 제시했다.

딥 페이크를 논하는 현재의 방법은 이미지가 진짜인지 딥 페이크인지 여부를 알려주거나, 학습 중에 본 모델에 의해 이미지가 생성되었는지 여부를 확인하는 데 초점을 맞춘다(클로즈셋 분류를 통한 이미지 속성).

그러나 딥 페이크 확산 문제를 해결하려면 논의를 한 단계 더 진행해야 하며, 학습 중에 존재하는 제한된 모델 세트를 넘어 이미지 속성을 확장하는 방법을 이해하기 위해 노력해야 한다. 학습에서 볼 수 없는 생성 모델을 이용해 딥 페이크를 만들 수 있기 때문에 클로즈셋(close-set) 된 이미지 속성을 넘어서는 것이 중요하다.

리버스 엔지니어링은 딥 페이크 문제에 접근하는 다른 방법이지만 머신러닝의 새로운 개념은 아니다. 리버스 엔지니어링 머신러닝 모델에 대한 이전 작업은 입출력 쌍을 검사하여 모델 자체를 블랙박스로 처리하여 모델에 도달한다.

또 다른 접근 방식은 CPU 및 메모리 사용과 같은 하드웨어 정보를 모델 간섭 중에 사용할 수 있다고 가정한다. 이 두 가지 접근 방식은 모델 자체에 대한 기존 지식에 의존하므로 이러한 정보를 종종 사용할 수 없는 실제 사례에서 사용성을 제한한다.

특히, 페이스북 AI의 리버스 엔지니어링은 단일 딥 페이크 이미지를 생성하는 데 사용되는 AI 모델의 고유한 패턴을 밝혀내고 이미지 속성으로 시작한 다음 이미지를 생성하는 데 사용된 모델의 속성을 발견하는 작업을 수행한다.

즉, 오픈 세트 인식에 대한 이미지 속성을 일반화함으로써, 이전에는 볼 수 없었던 것을 인식하는 것을 넘어 딥 페이크 생성에 사용되는 AI 생성 모델에 대한 근본적인 더 많은 정보를 추론할 수 있는 것이다.

그리고 딥페이크 모음의 패턴들 사이의 유사점을 추적함으로써, 일련의 이미지들이 하나의 소스에서 유래했는지 그 근원도 알 수 있다. 동일한 AI 모델에서 생성된 딥 페이크를 탐지하는 이 기능은 딥 페이크를 사용하여 조작 된 정보 또는 기타 악의적인 공격의 인스턴스를 찾아내는 데 유용하다.

작동 원리는 생성 모델이 남긴 지문에 대한 세부 정보를 추정하기 위해 지문 추정 네트워크(Fingerprint Estimation Network, FEN)를 통해 딥 페이크 이미지를 실행하는 것으로 시작된다. 기기 지문(Device Fingerprints)은 제작하는 프로세스의 결함으로 인해 특정 기기에서 생성된 각 이미지에 미묘하지만 고유한 패턴이 남는다.

예를 들어, 디지털 사진에서 지문은 이미지를 생성하는 데 사용되는 디지털 카메라를 식별하는 데 사용된다. 이처럼 기기 지문과 마찬가지로 이미지 지문은 생성 모델에 의해 생성된 이미지에 남겨진 고유한 패턴으로, 이미지가 생성 된 생성 모델을 식별하는 데 동일하게 사용할 수 있다.

페스스북 AI는 이번에 모델 구문 분석(Model Parsing)을 처음으로 수행했기 때문에 비교를 위한 기존 기준선이 없었다. 연구팀은 학습하고자 하는 데이터의 원본 혹은 실제 값을 표현하는 그라운드 트루스(Ground Truth) 세트에서 각 초매개변수를 무작위로 섞어서 랜덤 그라운드 트루스(random ground-truth)라는 기준선을 형성했다.

결과적으로 이러한 임의의 실측 벡터는 원래 분포를 유지했으며, 접근 방식이 임의의 근거 기준선보다 훨씬 더 나은 성능을 발휘하는 것으로 나타났다.

이는 생성된 이미지와 의미 있는 아키텍처 초매개변수 및 손실 함수 유형의 임베딩 공간 간에 동일한 길이 및 분포의 랜덤 벡터와 비교하여 실제로 훨씬 강력하고 일반화 된 상관관계가 있음을 나타낸다.

또한 지문 추정 및 계층적 학습의 효과를 입증하기 위해 절제 연구를 수행했다. 또한 지문 추정과 계층적 학습의 효과를 입증하기 위해 절제 연구(Ablation Studies)를 실시했다.

모델 구문 분석 외에도 딥 페이크 감지 및 이미지 속성에 사용될 수 있다. 두 작업 모두 추정된 지문을 입력하고 이진(딥페이크 감지) 또는 다중 클래스 분류(이미지 속성)를 수행하는 얕은 신경망(Shallow Network)을 추가한다.

지문 추정은 이러한 작업에 맞게 조정되지 않았지만, 여전히 경쟁적인 최첨단 기술로 결과를 달성하여 지문 추정의 우수한 일반화 능력을 보여준다.

페이스북 AI는 책임있는 AI (Responsible AI)의 우선순위로 가능한 한 인간 중심의 접근법을 연구에 적용하는 것을 염두에 두고 100개의 생성 모델에서 다양한 딥 페이크 이미지를 수집한 것은 페이스북 AI의 모델로 만들어졌고 인간과 비인간의 표현 모두에서 일반화 할 수 있는 더 나은 능력을 가지고 있다는 것을 의미한다.

딥 페이크 생성에 사용된 원본 이미지 중 일부는 공개적으로 사용 가능한 얼굴 데이터 세트에 있는 실제 개인의 이미지이지만 미시간주립대 연구팀은 딥 페이크를 생성하는 데 사용된 원본 이미지가 아닌 딥 페이크를 사용하여 포렌식 스타일 분석을 시작했다.

이 방법에는 딥 페이크를 지문으로 분해하는 것이 포함되기 때문에 미시간주립대 연구팀은 모델이 지문을 원본 이미지 콘텐츠에 다시 매핑 할 수 있는지 여부를 분석했다. 결과는 이것이 발생하지 않는 것으로 나타났으며, 이는 지문이 원래 딥 페이크의 내용이 아닌 생성 모델이 남긴 흔적을 주로 포함하고 있음을 확인했다.

한편, 이번 연구에 사용된 모든 가짜 얼굴 이미지는 미시간주립대가 생성했으며, 리버스 엔지니어링 프로세스에 대한 모든 실험도 미시간주립대에서 수행되었다. 여기에, 사용된 데이터 세트, 코드 및 훈련된 모델을 더 많은 연구 및 개발자 커뮤니티에 오픈 소스로 현재, 공개(다운)됐다.

이를 통해 딥 페이크 탐지, 이미지 속성, 리버스 엔지니어링을 포함한 다양한 영역에서 연구 및 개발을 촉진할 것으로 예상된다.

이제, 연구자와 개발자들은 딥 페이크를 사용하여 조작 된 허위 정보를 더 잘 탐지하고 새로운 방향을 제시할 수 있는 도구로 제공한 것이다. 더불어, 딥 페이크 탐지에 대한 연구 및 이해의 경계를 넘어 실제 배포에 더 적합한 모델 구문 분석의 개념을 도입했다.