새롭게 개발된 엔비디아의 'GANimal' 애플리케이션을 통해 개나 고양이의 사진을 업로드하면, 사진 속 동물의 표정과 포즈를 아프리카 사냥개나 이집트 고양이에서 시추, 눈표범, 곰까지 수십 종의 동물에 적용할 수 있다

27일부터 11월 2일까지 서울 코엑스에서 열리는 국제컴퓨터비전 학회(International Conference on Computer Vision, 이하 ICCV)에서 엔비디아(CEO 젠슨 황)의 연구진은 ‘GANimal’은 생성적 적대신경망(Generative Adversarial Networks, 이하 GAN)이라는 새로운 인공지능(AI) 기술을 기반으로 동물의 사진을 보고 표정이나 포즈를 다른 동물에 똑같이 구현하는 ‘GANimal’ 애플리케이션 기술을 발표했다.

 한 개의 인풋 이미지를 사용해 다른 동물의 표정이나 포즈를 반려동물의 사진에 적용하는 AI 기술을 개발

GAN은 두개의 네트워크로 구성된 심층 뉴럴 네트워크 구조로 한 네트워크가 다른 네트워크와 서로 대립해 경쟁하는 방식으로 학습을 진행하는 기술이다. 예를 들어, 이미지를 생성하는 AI와 그 이미지가 진짜인지를 분별 AI가 경쟁하면서 가짜이미지를 진짜이미지와 최대한 가깝게 이미지를 생성하고 생산한다.

사람들은 자신의 반려동물이 짓는 다양한 표정들을 기억하고 있으므로 이를 쉽게 따라할 수 있지만, 컴퓨터에서 그 모습을 재연하는 건 어려운 일이었다. 새롭게 개발된 GANimal 애플리케이션을 통해 개나 고양이의 사진을 업로드하면, 사진 속 동물의 표정과 포즈를 아프리카 사냥개나 이집트 고양이에서 시추, 눈표범, 곰까지 수십 종의 동물에 적용할 수 있다.

이 기술의 잠재력은 무궁무진하다. 영화를 촬영할 때 묘기를 부리는 개의 모습을 찍고 그 움직임을 AI로 매핑해 다루기 위험한 호랑이에 적용할 수 있게 된다.

GANimal에는 ‘푸닛(FUNIT, Few-shot, UNsupervised Image-to-image Translation)’이라고 부르는 알고리즘(다운받기)이 사용되었다. 이는 테스트 진행 시 몇 개의 예제 이미지 만으로 전에는 볼 수 없었던 타겟층에 적용되는 기술이다.

엔비디아 푸닛 기술 개발팀의 수석 컴퓨터 비전 연구원 리우 밍유(Ming-Yu Liu)는 “대부분의 GAN 기반 이미지 변환 네트워크는 오로지 한 개의 작업을 처리하도록 한다. 우리는 단일 네트워크가 다양한 변환작업을 처리할 수 있게 학습시킨다. 각각의 작업에서는 무작위로 선정된 소스 동물을 임의로 선정된 타겟 동물 이미지들을 사용해 그 타겟 동물로 변환시킨다. 네트워크는 다양한 이미지 변환 작업을 처리하면서, 기존의 동물 모습을 일반화해 전에 볼 수 없었던 새로운 동물의 이미지로 변환할 수 있게 된다”고 설명했다.

이미지 변환을 하기 위해서는 여러 장의 타겟 동물 이미지를 네트워크 모델에 학습시켜야 했다. 이제 연구진이 GAN 프로세스에 추가하는 다양한 이미지 변환 작업 등으로 구성된 훈련 기능을 통해 사진 한 장으로 이미지 변환을 할 수 있다. 이는 인간의 상상력을 뉴럴 네트워크에 코딩한다는 리우 수석연구원의 최종목표다. 리우 수석연구원은 “새로운 문제들을 해결해 나가는 것이 기술과 사회를 발전시키는 길이다”라고 소감을 밝혔다.

엔비디아의 200여 명의 연구진 중 7명의 연구원으로 이뤄진 엔비디아 푸닛 팀은 최신 푸닛 툴에 더 많은 이미지를 더 높은 해상도로 포함할 예정이다. 이미 고해상도 꽃, 음식 이미지로 테스트가 진행되고 있다.(아래 영상은 '고갱(GauGAN)’이 낙서를 사실적인 풍경으로 변환하는 것으로 이는 생성적인 적대적 네트워크를 활용하여 매우 사실적인 장면을 만든다.)

리우 수석연구원 팀의 GAN 기술은 올해 초 사람들이 그린 낙서를 마치 사진과 같은 사실적인 예술작품으로 변환하는 ‘고갱(GauGAN)’이라는 AI 기술로 주목을 받았다. 고갱으로 벌써 백만 개 이상의 이미지가 만들어 졌으며, 고갱 데모는 엔비디아 AI 플레이그라운드에서 직접 체험해볼 수 있다.

한편, 생성적 적대신경망(GAN)은 두개의 모델이 있다. 하나는 생성기(Generator) 이며, 또 하나는 분류기(Discriminator)로 두 모델은 서로 경쟁하면서 서로에게 영향을 미치면서 고도화된다. 생성기는 노이즈로부터 어떠한 결과물을 만들어내는데, 이 결과물은 분류기에 의해서 평가되며, 분류기는 생성기로부터 온 결과물과 실제 데이터(Real Data)를 구분해내는 역할을 한다. 다시 말해, 생성기는 분류기를 속일 정도로 잘 만들어야 하며, 분류기는 생성기가 생산한 가짜 데이터(Fake Data)를 진짜데이터와 잘 식별해야 한다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지