이미지 생성 AI는 사용자가 텍스트 또는 음성으로 입력(요청)하면 진짜 사진과 구별할 수 없는 사실적인 이미지를 만들어준다.

에브리픽셀 저널(Everypixel Journal) 지난 8월 발표에 따르면 사진가들이 1826년에 처음 촬영한 시점부터 1975년까지 150억 장에 도달하는 데 150년이 걸렸지만 작년부터 텍스트-이미지 생성 AI 알고리즘을 사용하여 1년여 동안 무려 150억 개 이상의 이미지가 생성되었다고 한다.

DALLE-2 출시 이후 사람들은 하루 평균 3,400만 개의 이미지를 생성하고 있다. 가장 빠르게 성장하는 제품은 어도비 포토샵(Adobe Photoshop)에 내장된 AI 알고리즘 제품군인 '어도비 파이어플라이(Adobe Firefly)'는 출시 3개월 만에 생성된 이미지 수가 10억 개를 돌파했다.

가장 대중적인 미드저니(Midjourney)의 경우, 2022년 7월 출시이래. 세계 1500만 명의 사용자를 확보했다. 이는 공개적으로 이용 가능한 통계가 있는 모든 이미지 생성 플랫폼 중 가장 큰 사용자 기반으로 발전했다.

어도비에 따르면 어도비 포토샵과 AI 어도비 파이어플라이를 포함한 기타 그래픽 디자인 및 비디오 편집 소프트웨어로 구성된 어도비 크리에이티브 클라우드(Adobe Creative Cloud, Adobe CC)의 사용자 수는 3천만 명에 달한다.

지난 8월 현재, 이미지의 약 80%(125억 9천만 개)가 오픈 소스인 '스테이블 디퓨전(Stable Diffusion)'을 기반으로 하는 모델, 서비스, 플랫폼 및 애플리케이션을 사용하여 생성되었다.

이처럼 인공지능 이미지 생성 모델의 급성장은 재미있고, 흥미로우며, 사용하기 쉽다는 점과 새로운 창의적 가능성을 열어주는 등 그만한 이유가 따랐다. 그러나, 생성 AI가 콘텐츠를 제작했다는 것을 구별할 수 있는 명확한 지표가 없기 때문에 사람들을 속이기 위해 의도적으로 이미지를 생성하는 등 악의적인 오용에 대한 우려를 불러일으키고 있다.

지난 7월 21일, 美 바이든 행정부는 AI의 엄청난 잠재력과 AI로 인한 위험을 관리하며, 미국인의 권리와 안전을 위해 그동안 긴급하게 움직여왔다며, 이를 위해 인공지능에 관련한 행정 명령을 개발하고 초당파적인 입법을 추진함으로써 지속적으로 결정적인 조치를 취할 것이라고 밝혔었다.

이러한 노력의 일환으로 바이든 대통령은 백악관에서 메타(Meta)를 비롯한 아마존(Amazon), 앤트로픽(Anthropic), 구글(Google), 인플렉션(Inflection), 마이크로소프트(Microsoft), 오픈AI(OpenAI) 등 선도적인 생성 AI 및 인공지능 기업 7개사를 불러들이고 바이든-해리스 행정부가 안전하고 투명한 AI 기술 개발을 위해 이들 기업으로부터 자발적인 약속을 받았다고 강조했다.

이날 조 바이든(Joe Biden) 대통령이 7개의 선도적인 AI 기업으로부터 받아낸 자발적인 약속, 세 가지 원칙과 세부 내용(보기)에는 '워터마킹(워터마크)' 시스템과 같은 강력한 기술 메커니즘을 개발하여 사용자가 언제 콘텐츠가 AI로 생성되었는지 알 수 있도록 하는 것으로 이러한 조치를 통해 AI를 활용한 창의성이 더 발전할 수 있도록 하는 동시에 사기와 속임수의 위험성을 줄인다는 내용도 포함됐다.

여기에, 메타(Meta)가 디지털 과학 및 기술을 위한 프랑스 국립연구소(French national research institute) '인리아(Inria)'와 함께 오픈 소스 생성 AI 모델이 이미지가 생성될 때를 식별하기 위해 사람 눈에 보이지 않는 워터마킹 기술인 '스테이블 시그니처(Stable Signature)'를 개발하고 누구나 이용할 수 있는 오픈 소스로 공개했다.

이 보이지 않는 워터마킹(Watermarking) 시스템은 정보를 디지털 콘텐츠에 통합한다. 워터마크는 육안으로는 보이지 않지만 사람들이 이미지를 편집하더라도 알고리즘에 의해 감지될 수 있다. 그동안 워터마킹에 관한 많은 연구가 있었지만 기존의 방법은 이미지가 생성된 후 워터마크를 생성시키는 것이 대부분이다.

이번 메타가 공개한 '스테이블 시그니처'는 오픈 소스 생성 AI 모델에서 가져온 이미지에 워터마크를 추가하는 솔루션이다. 또, 이 솔루션은 이미지가 생성된 위치를 추적할 수 있는 워터마크를 모델에 루팅하여 워터마크를 제거할 수 있는 가능성을 완전히 차단한다.

위 작동 프로세스에서 앨리스(Alice)는 마스터 생성 모델을 훈련시킨다. 그리고 이를 배포하기 전에 모델의 작은 부분(디코더라고 함)을 미세 조정하여 주어진 워터마크를 밥(Bob)에게 루팅한다. 이 워터마크로 모델 버전, 회사, 사용자 등을 식별할 수 있다.

밥은 자신의 모델 버전을 받아 이미지를 생성한다. 생성된 이미지에는 밥의 워터 마크가 표시된다. 이어 이미지는 앨리스 또는 제3자에 의해 분석되어 생성 AI 모델을 사용한 밥이 이미지를 생성했는지 확인할 수 있다.

메타는 이를 2단계 프로세스로 달성한다.

첫째, 두 개의 컨벌루션 신경망(Convolutional Neural Networks, CNN)이 공동으로 학습된다. 하나는 이미지와 임의의 메시지를 워터마크 이미지로 인코딩하고, 다른 하나는 워터마크 이미지의 증강 버전에서 메시지를 추출한다. 여기서 목적은 인코딩된 메시지와 추출된 메시지를 일치시키는 것이다. 학습 후에는 워터마크 추출기만 유지된다.

둘째, 생성 모델의 잠재 디코더를 미세 조정하여 고정된 서명을 포함하는 이미지를 생성한다. 이 미세 조정 과정에서 이미지 배치는 인코딩, 디코딩 및 최적화되어 추출된 메시지와 대상 메시지 간의 차이를 최소화하고 지각 이미지 품질을 유지한다. 이 최적화 프로세스는 빠르고 효과적이므로 적은 배치 크기와 짧은 시간으로 고품질의 결과를 얻을 수 있다.

'스테이블 시그니처(Stable Signature)' 성능 평가

사람들이 이미지를 공유하고 다시 게시하는 것을 좋아한다. 밥이 만든 이미지를 10명의 친구와 공유했고, 그 친구들이 각각 10명의 친구와 더 공유했다면 어떻게 될까? 이 기간 동안 누군가 이미지를 자르거나 압축하거나 색상을 변경하는 등 이미지를 변형했을 가능성이 있다. 메타는 이러한 변형에 강력하게 대응할 수 있도록 스테이블 시그니처를 구축했다. 사람이 이미지를 어떻게 변형하든 원본 워터마크는 디지털 데이터에 남아 있을 가능성이 높으며, 워터마크가 생성된 생성 모델을 역추적 할 수 있다.

이 솔루션을 개발 중에 메타는 수동적 탐지 방법에 비해 스테이블 시그니처의 두 가지 주요 장점을 발견했다고 한다. 첫째, 인간이 생성한 이미지를 AI가 생성한 이미지로 착각할 때 발생하는 오탐(false positive) 발생을 제어하고 줄일 수 있었다. AI가 생성하지 않은 이미지가 온라인에서 공유된다는 점을 고려할 때 이는 매우 중요한 기능이다.

예를 들어, 가장 효과적인 기존 탐지 방법은 편집된 생성 이미지의 약 50%를 식별할 수 있지만 여전히 약 1/100의 오탐률이 발생한다. 달리 말하면, 매일 10억 개의 이미지를 수신하는 사용자 생성 콘텐츠 플랫폼에서는 생성된 이미지 중 절반만 감지하기 위해 약 1천만 개의 이미지가 잘못 표시되는 것이다.

반면, 스테이블 시그니처는 1e-10의 오탐률(원하는 특정 값으로 설정할 수 있음)로 동일한 정확도로 이미지를 탐지한다. 게다가 메타의 워터마킹 방법을 사용하면 동일한 모델의 다양한 버전에서 이미지를 추적할 수 있다. 이는 수동적 기술로는 불가능하다.

'스테이블 시그니처(Stable Signature)' 가 미세 조정과 함께 작동하는 방법

AI의 일반적인 관행은 기본 모델을 선택하고 이를 미세 조정하여 때로는 한 사람에게 맞춤화된 특정 사용 사례를 처리하는 것이다. 예를 들어, 모델에게 앨리스(위 그림)의 개 이미지가 표시되면 앨리스는 모델에게 해변에 있는 자신의 개 이미지를 생성해 달라고 요청할 수 있다.

이것은 드림부스(DreamBooth-논문 및 데이터셋 다운), 텍스트 인버전(Textual Inversion-논문 및 코드 다운), 컨트롤넷(ControlNet-시연)과 같은 방법을 통해 수행된다. 이러한 메소드는 잠재 모델 수준에서 작동하며 디코더를 변경하지 않는다. 이는  메타의 워터마킹 방법이 이러한 미세 조정의 영향을 받지 않는다는 것을 의미한다.

전반적으로 스테이블 시그니처는 벡터 양자화 이미지 모델링(고해상도 이미지 합성을 위한 변환기 길들이기, 일명 VQGAN 등) 및 잠재 확산 모델(스테이블 디퓨전 등)과 잘 작동한다. 메타의 방법은 확산 생성 프로세스를 수정하지 않기 때문에 위에서 언급한 인기 모델과 호환된다. 약간의 조정만 거치면 다른 모델링 방법에도 스테이블 시그니처를 적용할 수 있다.

생성 AI의 활용은 빠른 속도로 발전하고 있다. 현재 업계 전반에 걸쳐 AI 생성 콘텐츠를 식별하고 라벨을 지정하기 위한 공통 표준은 없다. 메타는 더 나은 제품을 만들기 위해서는 오픈 소스로 공개한 스테이블 시그니처 같은 책임있는 AI 연구가 병행되어야 한다고 강조했다.

또한, 이번 공유하는 모델은 이미지에 초점을 맞추고 있지만, 향후에는 보다 다양한 AI 방식에 스테이블 시그니처 방식을 통합할 수 있는 가능성을 모색하고자 한다며, 이러한 연구에 대한 지속적인 투자를 통해 생성 AI가 새롭고 창의적인 시도를 위해 책임감 있게 사용되는 미래를 그려나갈 수 있을 것으로 기대한다고 밝혔다.

한편, 이미지 생성 AI 모델에서 가져온 이미지에 워터마크를 추가하는 메타의 이 모델의 자세한 연구 결과는 논문 '스테이블 시그니처: 잠재 확산 모델의 루팅 워터마크(he Stable Signature: Rooting Watermarks in Latent Diffusion Models-다운)'을 참고하면 된다. 현재, 누구나 사용할 수 있는 '스테이블 시그니처' 코드는 깃허브(다운)를 통해 공개돼 있다.