현재, 생성적 적대 신경망(GAN)는 사실적인 그림이든 추상적인 콜라주(collages)든 이미지를 만들기 위한 가장 잘 확립된 인공지능(AI) 방법이다.

그러나, 이 모델은 중요한 제약이 있다. 일반적으로 훈련 데이터 세트와 밀접한 관련이 있는 객체 또는 장면의 이미지만 생성할 수 있다는 것이다.

예를 들어, 자동차 이미지에 대해 훈련된 GAN은 다른 자동차 이미지를 생성하라는 요청을 받았을 때 인상적인 결과를 보여주지만, 자동차 데이터 세트 밖에서 꽃이나 다른 물체의 이미지를 생성하도록 요청하면 거의 실패한다.

페이스북 AI는 이 문제를 해결하는 데 큰 진전을 이뤘다. 입력 이미지가 훈련 세트에 나타나지 않더라도 고품질의 다양한 이미지를 생성하는 새롭고 단순한 이미지 생성 모델인 인스턴스 컨디션 생성적 적대 신경망(Instance-Conditioned GAN. 이하, IC-GAN)을 20일(현지시간) 발표하고 오픈소스로 공개했다.

이는 이전의 방법과는 달리, IC-GAN은 도시에 있는 낙타나 얼룩말과 같은 사실적이고 예상하지 못한 이미지 조합을 만들어 낼 수 있다. 이제, 연구 및 개발자들은 이전에 보이지 않았던 데이터 세트와 함께 IC-GAN을 즉시 사용할 수 있으며 레이블링된 데이터 없이도 실물처럼 보이는 이미지를 생성할 수 있게 됐다.

예를 들어, 전통적인 GAN 모델은 도시(아래 사진 참조)에 서 있는 얼룩말의 이미지를 생성할 수 없다. 훈련 데이터는 초원에 있는 얼룩말의 이미지만 포함할 가능성이 높기 때문이다.

또한, 이러한 새로운 기능을 통해 IC-GAN은 다양한 객체와 장면을 포함하도록 데이터 세트를 증가(증강)시키고, 더 광범위하고 창의적인 AI 생성 콘텐츠로 예술가와 창작자를 돕고, 고품질 이미지 생성 연구를 진전시키는 새로운 시각적 예를 만드는 데 사용될 수 있다.

일반적인 클래스 조건부 GAN이라고 불리는 표준 방법은 클래스 레이블에 대한 조건에 초점을 맞추어 데이터를 해당 레이블에 해당하는 그룹으로 효과적으로 분할한다. 이것은 그들이 무조건적인 샘플보다 더 높은 품질의 샘플을 생성할 수 있게 해준다.

이러한 GAN은 임의의 이미지만 생성하는 대신 "의류" 또는 "자동차"와 같은 특정 레이블에 맞는 이미지를 생성할 수도 있다. 그러나 그들은 사용할 수 없거나 얻을 수 없는 레이블이 지정된 데이터에 의존해야 한다.

이미지 생성에 대한 이전의 라벨이 없는 학습 접근법(라벨이 붙은 데이터 없음 사용)은 유망했지만, ImageNet과 같은 복잡한 데이터 세트를 모델링하도록 훈련했을 때 출력은 일반적으로 품질이 떨어진다.

그들은 중복되지 않는 데이터 파티션을 사용한다(각각 매우 큰 클러스터에서 발생하는 결과, 각 클러스터에는 매우 다른 객체의 이미지가 포함되어 있으므로 모델이 생성하려는 이미지와 의미적으로 유사하지 않음). 또는 클러스터에 데이터 점이 너무 적어 결과를 악화시키는 경향이 있는 미세 파티션을 사용한다.

특히, 이번 페이스북 A이 공개한 새로운 접근 방식인 IC-GAN은 레이블이 지정된 데이터 세트와 레이블이 없는 데이터 세트 모두에 사용될 수 있다. GAN 프레임워크를 확장하여 로컬 및 중복 데이터 클러스터의 혼합을 모델링한다.

단일 이미지(또는 인스턴스)를 가져온 다음 데이터 세트에서 인스턴스의 가장 가까운 이웃과 유사한 이미지를 생성할 수 있다. 판별기에 대한 입력으로 사용하여 생성자가 각 인스턴스의 이웃 샘플과 유사한 샘플을 생성하도록 강제한다. 이렇게 하면 데이터의 많은 부분이 겹쳐져 있기 때문에 데이터를 작은 클러스터로 분할하는 문제를 피하므로 모델이 데이터 세트를 더 효율적으로 사용할 수 있다.

또한, 모델이 훈련되면 이전에 본 적이 없는 이미지에서 테스트한다. 단일 이미지를 사용하여 모델은 데이터 세트에서 가장 가까운 이웃과 유사한 시각적으로 풍부한 이미지를 생성할 수 있다.

클래스 조건부 설정(훈련 세트에 레이블이 지정된 이미지가 포함된 경우)과 레이블이 전혀 없는 두 가지 경우 모두 IC-GAN은 훈련 중에 볼 수 없는 다른 데이터 세트로 전송될 수 있다. IC-GAN의 경우 추론 시간에 조건화 인스턴스를 교환하여 이를 수행한다.

이처럼 인스턴스와 클래스 레이블을 적절하게 결합함으로써 클래스 조건부 IC-GAN은 현재 데이터 세트에 존재하지 않거나 매우 드문 특이한 장면을 생성할 수 있는 것이다. 예를 들어, 눈으로 둘러싸인 제설기의 이미지와 인스턴스 컨디셔닝에 나타나지 않는 클래스 레이블에 '낙타'가 주어지면 낙타가 사막에만 산다는 편견을 우회하여 눈으로 둘러싸인 낙타를 생성할 수 있다(아래 사진).

결론적으로 페이스북 AI의 IC-GAN은 데이터를 증가(증강)시키고 훈련 데이터에서 일반적으로 발견되지 않는 항목 또는 개체를 포함시키는 데 사용될 수 있다. 또한 서로 다른 도메인에서 작동하기 때문에 이 접근 방식은 객체 인식 모델에 대한 보다 다양한 훈련 데이터를 생성할 수 있다. IC-GAN 모델을 사용하여 데이터를 강화하고 표준 데이터 집합에서 일반적으로 찾을 수 없는 항목 또는 개체를 포함할 수 있는 것이다.

한편, 페이스북 AI는 이 모델에 더 많은 통제력(제어력)을 가져다 줄 수 있는 방법을 모색하고 있다. 그것은 더 이상 배경과 중심에 있는 물체에 관한 것이 아닐 것이다. 더 많은 물체를 배경에 배치할 수 있는 방법을 살펴보고 항목이 어디에 배치되는지 결정하여 복잡하고 완벽한 장면을 만들고자 한다고 밝혔다.

또한 이 새로운 AI 모델 IC-GAN의 연구 논문은 지난 10일 아카이브를 통해 '인스턴스 조건 GAN(Instance-Conditioned GAN-다운)'란 제목으로 발표됐으며, 도출한 결과를 재현하기 위한 코드와 함께 미리 훈련된 모델을 오픈소스로 깃허브(다운)를 통해 공개함으로써, 그 어느 때보다도 유연하고 정확성, 효율성이 높은 이미지를 생성하는 AI 모델로 이어지기를 기대한다고 덧붙였다.