엔비디아는 자사의 엔비디아 캔버스(NVIDIA Canvas) 베타 버전을 출시하고, RTX GPU를 사용하는 모든 사용자에게 실시간 페인팅 툴인 고갱(GauGAN)을 제공한다고 23일(현지시간) 밝혔다.

엔비디아 캔버스는 AI를 통해 스케치를 실제와 같은 이미지로 변환하여 크리에이터가 색상이 아닌 소재로 색을 입힐 수 있게 한다.

실시간 페인팅 툴인 고갱(GauGAN)은 2019년 엔비디아의 류밍유(Ming-Yu Liu), 크리스 헤버트(Chris Hebert), 가브리일 클림로프(Gavriil Klimov) 연구원과 UC 버클리의 박태성(Taesung Park) 연구원이 개발했다.

고갱 앱은 대략적인 스케치를 사실적인 장면으로 바꿔주는 AI 페인팅 웹 앱으로. 이 앱은 생성적 적대 신경망(GAN, generative adversarial networks)을 기반으로 개발됐다.

예술 작품을 창조하는 AI 아티스트 고갱은 후기 인상주의 화가 폴 고갱의 이름을 딴 고갱(GauGAN)은 장면의 레이아웃을 묘사하는 레이블이 지정된 스케치인 분할 지도(segmentation map)로부터 포토리얼리스틱 이미지를 제작하는 애플리케이션이다.

사람들은 페인트브러쉬와 페인트 버킷 툴을 통해 강, 풀, 바위, 구름을 포함한 라벨로 자신만의 풍경을 디자인할 수 있다. 스타일 트렌스퍼(style transfer) 알고리즘은 크리에이터들이 필터를 적용하거나 생성된 이미지의 색상 구성을 수정하거나 포토리얼리스틱 장면을 그림으로 전환할 수 있게 한다.

또한, 작업자가 채색할 때 사진 같은 결과를 보여주기 때문에 기대하는 결과물을 보기 위해 기다릴 필요가 없이 바로 확인할 수 있다.

엔비디아 캔버스는 엔비디아 스튜디오(NVIDIA Studio)의 일부로, 창의적인 비전을 실현하는 데 도움이 되는 하드웨어 및 소프트웨어 툴을 크리에이터들에게 제공한다.

사용자는 나무나 구름과 같은 실제 재료 팔레트로 간단한 모양과 선을 스케치하는 것으로 작업을 시작한다. 그러면 AI 모델이 즉시 화면을 채워 놀라운 결과를 보여준다. 4개의 빠른 모양과 놀라운 산맥이 나타난다. 몇 줄만 더하면 아름다운 들판이 만들어진다. 연못을 그리면 나무나 바위 같은 주변 요소들이 물속에 반사되어 나타난다.

아티스트는 스타일 필터를 사용해 생성된 이미지에 특정 화가의 스타일을 적용하도록 변경할 수 있다. 엔비디아 캔버스는 단순히 다른 이미지를 결합하거나 텍스처를 잘라 붙여 넣는 것이 아니라 아티스트처럼 완전히 새로운 이미지를 만들어낸다.

또한 크리에이터와 디자이너들의 작업 시간을 줄여준다. 엔비디아 캔버스를 사용하면 몇 번의 클릭만으로 아름답게 렌더링된 여러 이미지를 생성할 수 있다.

더불어, 엔비디아 캔버스는 그림의 모양과 느낌을 바꿔주는 9가지 스타일과 하늘과 산, 강 그리고 돌에 이르는 15가지 다른 재료를 갖추고 있다. 서로 다른 레이어에 색칠함으로써 각 요소를 분리할 수 있다.

처음부터 새로 시작하거나, 앱에서 기본으로 제공하는 장면 중 하나를 수정하면서 새로운 영감을 얻을 수 있다.

엔비디아 캔버스는 생성자(generator)와 판별자(discriminator)로 구성된 생성적 적대 신경망(generative adversarial network, GAN)을 사용한다. 보다 사실적인 작품을 위해 GAN은 엔비디아 DGX 시스템에서 500만 개가 넘는 이미지로 훈련을 받았다.

한편, 엔비디아 캔버스(NVIDIA Canvas) 베타 버전은 현재, 무료로 실시간 페인팅 도구 GauGAN을 NVIDIA RTX GPU를 사용하는 모든 사람에게 제공(다운)하고 있다.(아래는 엔비디아 캔버스 앱  소개 및 시연 영상)