엔비디아(CEO 젠슨 황)가 엔비디아 아바타 클라우드 엔진(NVIDIA Avatar Cloud Engine, ACE)용 프로덕션 마이크로서비스를 출시했다고 9일(현지시간) 밝혔다. 이는 게임, 툴, 미들웨어 개발자가 게임과 애플리케이션 디지털 아바타에 최첨단 생성 AI 모델을 통합할 수 있도록 지원한다.

새로운 ACE 마이크로서비스를 통해 개발자는 오디오 소스로부터 표현력 있는 얼굴 애니메이션을 생성하는 엔비디아 옴니버스 오디오투페이스(Omniverse Audio2Face™, A2F)와 생성형 AI를 사용해 맞춤형 다국어 음성, 번역 애플리케이션을 구축하는 엔비디아 리바(Riva) 자동 음성 인식(ASR)과 같은 AI 모델을 사용해 대화형 아바타를 구축할 수 있다.

ACE를 도입한 개발사로는 카리스마.ai(Charisma.ai), 컨베이(Convai), 인월드(Inworld), 미호요(miHoYo), 넷이즈 게임즈(NetEase Games), 아워팜(Ourpalm), 텐센트(Tencent), 유비소프트(Ubisoft), 유니큐(UneeQ) 등이 있다.

엔비디아 개발자 릴레이션 담당 부사장인 케이타 이다(Keita Iida)는 "생성형 AI 기술은 우리가 하는 거의 모든 일을 변화시키고 있으며, 여기에는 게임 제작과 게임 플레이도 포함된다. 엔비디아 ACE는 생생한 디지털 캐릭터로 세계를 채우는 동시에 미리 스크립트로 작성된 대사가 필요 없어 게임 내 몰입감을 높이고 게임 개발자에게 새로운 가능성을 열어 준다"고 말했다.

최고의 게임, 인터랙티브 아바타 개발사들은 게임과 애플리케이션에서 플레이어와 NPC(논플레이어 캐릭터) 간의 상호작용을 혁신하기 위해 ACE와 생성형 AI 기술을 활용하는 방법을 개척하고 있다.

넷이즈게임즈 수석 부사장 겸 레이후어(LeiHuo) 사업부 총괄인 후즈펑(Zhipeng Hu)은 "엔비디아는 수년 동안 게임 기술의 피리 부는 사나이로서 새롭고 혁신적인 게임 제작 방법을 제공해 왔다. 엔비디아는 게임 AI 기술의 도입을 통해 게임을 더욱 지능적이고 플레이하기 쉽게 만들어 궁극적으로 더욱 몰입감 있는 경험을 가능하게 한다"고 말했다.

텐센트 관계자는 "지금은 게임 AI의 획기적인 순간이다. 엔비디아 ACE와 텐센트는 비디오 게임에 실제 같은 개성과 상호작용을 갖춘 개별 디지털 아바타를 구현할 수 있는 기반을 마련할 수 있도록 지원할 것"이라고 말했다.

지금까지 NPC는 미리 정해진 반응과 얼굴 애니메이션으로 제작됐다. 이로 인해 플레이어와 상호작용은 거래적이고 짧은 경향이 있어 제한적이었고, 그 결과 대다수의 플레이어가 이를 건너뛰는 경우가 많았다.

컨베이 창립자 겸 CEO인 푸르넨두 무케르지(Purnendu Mukherjee)는 "가상 세계의 생성형 AI 기반 캐릭터는 이전에는 불가능했던 다양한 사용 사례와 경험을 가능하게 한다. 컨베이는 짧은 지연 시간과 충실도 높은 자연스러운 애니메이션으로 실감 나는 NPC를 구현하기 위해 리바 ASR과 A2F를 활용하고 있다"고 말했다.

엔비디아는 ACE가 NPC 상호작용을 어떻게 혁신할 수 있는지 보여주기 위해 컨베이와 협력해 왔다. 이들은 컴퓨텍스(Computex)에서 첫 선을 보인 엔비디아 카이로스(Kairos) 데모를 확장해 여러 가지 새로운 기능을 추가하고 ACE 마이크로서비스를 포함시켰다.

리바 ASR과 A2F가 광범위하게 사용된 카이로스 최신 버전에서는 NPC 상호작용성이 향상됐다. 컨베이의 새로운 프레임워크를 통해 NPC끼리 대화할 수 있고, 사물을 인식해 원하는 지역으로 아이템을 보낼 수 있다. 또한, NPC는 플레이어를 목적지로 안내하고 세계를 탐험할 수 있는 능력을 얻게 됐다.

오디오투페이스와 리바 ASR 마이크로서비스(보기)는 현재, 이용 가능하다. 인터랙티브 아바타 개발자는 이 모델들을 개발 파이프라인에 개별적으로 통합할 수 있다.