이 기술은 논문 발표 수준에만 머물러 있던 기존의 사진과 영상자료의 위·변조 탐지기술을 국내 최초, 세계에서 두 번째로 실용화 단계로 끌어 올렸다는 점에서 의미가 크다.

KAIST 전산학부 이흥규 교수는 이 기술을 한마디로
KAIST 전산학부 이흥규 교수는 이 기술은 한마디로 "높은 실용성을 갖는 사진·영상 위변조 탐지 기술이다"라고 말했다.

전 세계적으로 딥페이크(deepfake)를 비롯한 사실과 다른 사진 및 영상 합성 기술로 인한 폐해와 논란이 확산되고 있다.

이런 기술들은 인공지능으로 특정 영상에 특정 인물의 얼굴, 음성 등을 합성한 비디오가 실제 사람들에게 허구의 말과 행동을 하는 것을 보여주는 것이다. 특정인의 인권, 희롱 및 설득의 원천으로 조작되고 사실적인 정보를 왜곡하거나 악의적으로 사용되면서 그 대상이 연예인이나 정치인 등 유명인뿐만 아니라 일반인까지 확산되고 있기 때문이다.

더 큰 문제는 온라인에 공개된 무료 소스코드와 알고리즘으로 손쉽게 제작이 가능하다는 점이다. 특히 진위 여부를 가리기 어려울 만큼 정교해 온라인으로 제공되는 정보의 정당성을 판단하는 방법에 중대한 영향을 미칠 수 있다. 이 가운데 위조되거나 변조된 사진·영상자료를 세계에서 두번째로 손쉽게 탐지해내는 인공신경망을 기반으로 한 고성능 소프트웨어가 국내 연구진에 의해 개발됐다.

이 기술은 논문 발표 수준에만 머물러 있던 기존의 사진과 영상자료의 위·변조 탐지기술을 국내 최초, 세계에서 두 번째로 실용화 단계로 끌어 올렸다는 점에서 의미가 크다.

KAIST(총장 신성철) 전산학부 이흥규 교수 연구팀이 인공신경망을 이용해 디지털 형태의 사진 변형 여부를 광범위하게 탐지하는 실용 소프트웨어 `카이캐치(KAICATCH)'를 개발했다고 3일 밝혔다.

표는 세부 공격별·공격 유형 별 탐지 정확도는 기술성능과 신호처리 변형 유형 추정해 보면, 평가지표: 정확도, 평가방법: ALASK dataset으로 생성한 800,000개의 정상/변형 이미지로 측정, 정상/변형 탐지 정확도: 90% 내외, 공격 유형 분류 정확도: 95% 내외
표는 세부 공격별·공격 유형 별 탐지 정확도는 기술성능과 신호처리 변형 유형 추정해 보면, ▷평가지표: 정확도, ▷평가방법: ALASK dataset으로 생성한 800,000개의 정상/변형 이미지로 측정, ▷정상/변형 탐지 정확도: 90% 내외, 공격 유형 분류 정확도: 95% 내외

위에 언급했듯이 최근, 각종 위·변조 영상의 등장과 온라인 유통으로 인한 위·변조 탐지기술에 관한 관심이 급속히 증가하고 있다. 그러나 위·변조 여부를 직접 확인할 수 있는 객관적인 분석 도구가 없기 때문에 사실확인 작업이나 정황 판단 등에 의존해 진위를 판단함으로써 주관적 판단 여부의 논란 등 문제가 자주 발생하고 있다.

특히 기존의 디지털사진 포렌식 기술은 개개 변형의 유형에 대응해 개발돼서 변형 유형이 다양하거나, 사전 특정되기 전에는 일정 수준 이상의 높은 신뢰도를 확보하기가 어렵다. 즉, 기존 기술들은 제한된 형식과 알려진 특정 변형에 대해서는 만족할 만한 탐지 성능을 보여주지만, 어떤 변형들이 가해진 것인지 전혀 알 수 없는 임의의 디지털사진을 분석해야 하는 실제 상황에서는 판독의 정확성과 신뢰도가 크게 떨어질 수 밖에 없다.

필수변이 공격 별 탐지 결과(예) 왼쪽: 원본 이미지, 중간: 유형별 변형 적용 이미지, 오른쪽: 분석 결과, 오른쪽의 이미지 분석 결과를 보면, 주변의 다른 색상과 다른 녹색, 붉은색, 파랑색, 노랑색 부분영역들이 섞여서 나타난다. 이는 해당 영역의 변형을 의미한다.
필수변이 공격 별 탐지 결과(예) 왼쪽: 원본 이미지, 중간: 유형별 변형 적용 이미지, 오른쪽: 분석 결과, 오른쪽의 이미지 분석 결과를 보면, 주변의 다른 색상과 다른 녹색, 붉은색, 파랑색, 노랑색 부분영역들이 섞여서 나타난다. 이는 해당 영역의 변형을 의미한다.

다양한 변형이 가해진 채 온라인에서 유통되는 사진이나 영상에 대한 변형 여부의 탐지는 극소수 전문가들의 주관적인 판단의 영역에 머물러 왔기 때문에 이런 문제해결을 위해 많은 도전적 연구들이 진행되고 있다.

이흥규 교수 연구팀이 개발한 이 기술은 국내 최초이자 세계 두 번째로 거둔 쾌거이다. 연구팀은 일반인들을 대상으로 2015년 6월부터 `디지털 이미지 위·변조 식별 웹서비스'를 통해 수집한 30여만 장의 실 유통 이미지 데이터와 특징기반·신경망 기반의 포렌식 영상 데이터, 딥페이크와 스테고 분석을 위한 대량의 실험 영상자료를 정밀 분석해 활용한 연구 결과물이다.

사진 편집 변형 탐지 결과
사진 편집 변형 탐지 결과

이 교수팀은 특정 변형을 탐지하는 개개의 알고리즘들을 모아놓은 기존 기술의 한계를 극복하고, 다양한 변형에 대한 탐지를 유기적으로 통합하는 기술에 주목했다.

이를 위해 잘라 붙이기·복사 붙이기·지우기·이미지 내 물체 크기 변화와 이동·리터칭 등 일상적이면서 자주 발생하는 변형들에서 언제나 발생하는 변이들을 분류, 정리해 필수 변이로 정의하고 이들을 종합 탐지하는 연구를 수행했다. 그 결과 변형의 유형을 특정하지 못하는 상태에서도 변형이 발생했는지 여부를 판단함으로써 탐지 신뢰도를 크게 높였다.

연구팀은 이어 BMP·TIF·TIFF·PNG 등 무압축, 무손실 압축을 포함해 50여 개의 표준 양자화 테이블과 1,000여 개가 넘는 비표준화된 양자화 테이블에 기반한 JPEG 이미지들도 포괄적으로 처리하는 기술을 포함한 실용 소프트웨어를 개발하는 데 성공했다.

복합 변형 탐지 결과
복합 변형 탐지 결과

이 교수팀이 개발한 `카이캐치'는 전통적인 영상 포렌식 기술, 스테그 분석 기술 등 픽셀 단위의 미세한 변화를 탐지하는 기술들을 응용해, `이상 영역 추정 엔진'과 `이상 유형 분석 엔진' 두 개의 인공지능 엔진으로 구성됐으며 이를 기반으로 결과를 판단하고 사진에 대한 다양한 변형 탐지 기능과 사진의 변형 영역 추정 기능 등을 함께 제공한다.

이흥규 교수는 "다양한 변형 시 공통으로 발생하는 픽셀 수준에서의 변형 탐지와 인공지능 기술을 융합한 영상 포렌식 기술을 카이캐치에 담았는데 이 기술은 특히 임의의 환경에서 주어진 디지털사진의 변형 여부를 판단하는데 탁월한 성능을 보인다ˮ며, "향후 각종 편집 도구들의 고급 기능들에 대한 광범위한 탐지 기능을 추가하는 한편 현재 확보한 실험실 수준의 딥페이크 탐지 엔진과 일반 비디오 변형 탐지 엔진들도 실용화 수준으로 발전시켜 카이캐치에 탑재하겠다ˮ고 말했다.

이어, 이 교수는 이 기술을 한마디로 함축한다면 "높은 실용성을 갖는 사진·영상 위변조 탐지 기술이다" 라고 덧붙였다.

한편 이번 연구는 KAIST 창업기업인 ㈜디지탈이노텍과 산학협력 연구로 수행됐다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지