파이토치 기반의 코드를 사용한 동시에 코드 구조를 단순화함으로써, 기존 AI 연구자들은 물론 ‘NeRF’ 기술을 처음 접한 개발자들도 쉽게 이용할 수 있도록 접근성을 높였다. 향후 ‘NeRF-Factory 라이브러리’를 발판으로 고품질의 메타버스를 구현할 디지털 휴먼, 3D 맵 등의 연구 개발이 이어질 것...
카카오브레인이 고품질 메타버스 구현의 핵심 기술 중 하나인 ‘NeRF(Neural Radiance Fields)’ 알고리즘을 한 데 모은 ‘대형 라이브러리’를 오픈소스로 공개하며 메타버스 기술 선도에 나섰다.
카카오브레인(대표 김일두)은 주어진 2D 이미지를 새로운 3D 이미지로 생성하는 대표적인 뉴럴 렌더링 기술 중 하나인 인공지능(AI) 기반 ‘NeRF’와 관련된 알고리즘을 통일된 코드 형태로 한 데 모아, 최대 오픈소스 커뮤니티 깃허브(GitHub)에 ‘대형 라이브러리’ 형태로 20일부터 공개됐다.
‘NeRF’는 AI 딥러닝을 통해 3D 공간의 색과 밀도를 자체적으로 학습하여 2D 이미지로부터 새로운 3D 공간을 복원해내는 기술이다. 특히 물체의 색상 및 각도에 따라 달라지는 빛의 반사를 생생하게 재현함으로써 몰입감을 높여준다. 현재 수많은 글로벌 테크 기업들이 ‘NeRF’ 기술을 핵심 메타버스 기술 중 하나로 보고, 기술 개발 및 확장에 힘쓰고 있다.
카카오브레인이 공개한 ‘NeRF-Factory 라이브러리’는 현재까지 공개된 총 7개의 ‘NeRF’ 모델들을 하나의 코드로 재구현한 형태다. 통일된 코드로 구성되어 ‘NeRF’ 모델들의 성능을 객관적으로 비교할 수 있을 뿐 아니라 기술 개발 확장에도 용이하다. 포스텍 조민수∙박재식 교수 연구팀과 카이스트 권인소 교수 연구팀과의 공동 연구를 통해 개발됐다.
카카오브레인은 AI 연구자들이 주로 사용하는 머신러닝 프레임워크인 파이토치(PyTorch) 기반의 코드를 사용한 동시에 코드 구조를 단순화함으로써, 기존 AI 연구자들은 물론 ‘NeRF’ 기술을 처음 접한 개발자들도 쉽게 이용할 수 있도록 접근성을 높였다. 향후 ‘NeRF-Factory 라이브러리’를 발판으로 고품질의 메타버스를 구현할 디지털 휴먼, 3D 맵 등의 연구 개발이 이어질 것으로 기대된다.
최근 카카오브레인은 해외 유수의 컴퓨터 비전 학회에 디지털 휴먼 기술 관련 논문을 게재하며 해당 분야에서 두각을 나타내고 있다.
올해 12월 4일부터 8일까지 중국 마카오에서 열리는 아시아 컴퓨터 비전 학회(Asian Conference on Computer Vision, ACCV 2022)에서는 다양한 스타일의 얼굴 형태와 표정을 가진 3D 아바타를 자유롭게 생성할 수 있는 Exp-GAN(Expression-GAN) 기술 논문을 110월 23일부터 27일까지 이스라엘 텔아비브에서 열리는 컴퓨터 비전 유럽 회의(European Conference on Computer Vision, ECCV 2022) 에서는 실제 얼굴과 거의 유사한 수준의 고해상도 페이스 스와핑(face-swapping)을 수행할 수 있는 MFIM(Megapixel Facial Identity Manipulation) 기술 논문을 발표할 예정이다.
카카오브레인 김일두 대표는 “메타버스 기술 연구에 실질적 도움이 될 NeRF-Factory 라이브러리를 공개하게 되어 기쁘다”며, “전 세계 AI 연구 및 개발자들이 카카오브레인이 공개한 라이브러리를 활용해 NeRF 및 뉴럴 렌더링 기술 연구 저변을 확대하고, 고품질 메타버스 등 다양한 분야에 적용해 나가길 바란다”고 말했다.
한편, 이번 공개된 ‘NeRF-Factory 라이브러리’는 깃허브(다운)를 통해 확인할 수 있다.