한상훈 석박사통합과정(사진:GIST)
한상훈 석박사통합과정(사진:GIST)

광주과학기술원(GIST, 임기철 총장)은 AI대학원 한상훈 석박사통합과정(지도교수 전해곤)은 인공지능(AI) 기술을 활용해 단일 이미지에서 3차원 인물 이미지를 선명하게 복원하는 데 성공했다.

이 연구 논문은 ‘퀄컴 이노베이션 펠로우십 코리아 2023(Qualcomm Innovation Fellowship Korea. QIFK)2023)’에서 심사를 통과하여 최종 선정된 15편(Winner)의 논문에 이름을 올렸다.

퀄컴 테크놀로지 코리아(Qualcomm Technologies KOREA)가 지난 11월 28일 개최한 ‘QIFK 2023’은 국내 석·박사과정 연구자를 대상으로 연구 활동의 독립성과 창의성을 추구하고, 나아가 뛰어난 성과를 도출하도록 독려하는 것을 목표로 한다.

전해곤 교수가 지도하고 한상훈 석박사통합과정이 수행한 이번 논문은 단일 고해상도 이미지에서 고품질의 3차원 인물을 복원하는 인공지능 알고리즘을 고안하는 내용을 담고 있으며 고해상도 이미지를 얼굴, 몸통, 팔·다리로 분할해 기하학적 정보를 분석한 뒤, 다중 단계로 인물을 복원하여 고품질의 인체 모델을 실시간으로 복원하는 데 성공했다.

동영상에 적용한 결과. 본 연구의 모델을 Youtube 동영상에서 추출한 이미지로 복원한 결과이다. 동영상 추출 이미지가 선명하지 않음에도 불구하고, 연속된 이미지에서 일관적으로 인물의 표정, 옷감의 주름 등을 세밀하게 표현하는 결과를 보여준다.
동영상에 적용한 결과. 본 연구의 모델을 Youtube 동영상에서 추출한 이미지로 복원한 결과이다. 동영상 추출 이미지가 선명하지 않음에도 불구하고, 연속된 이미지에서 일관적으로 인물의 표정, 옷감의 주름 등을 세밀하게 표현하는 결과를 보여준다.

차원 인물 복원은 VR/AR 및 메타버스 산업에서 핵심적인 기술로서, 특히 사람의 눈으로 보아도 실제 인물과 비슷할 정도의 세밀한 인체 모델링은 실감나는 가상공간 구현을 위해 필수적이다. 하지만 값비싼 카메라와 시간 동기화 촬영을 위한 장비가 마련된 스튜디오를 비롯해 이러한 장비를 다룰 수 있는 숙련자 고용 등 많은 자원이 필요하다.

최근 AI 활용해 단일 이미지에서 3차원 인물을 복원하는 기술이 연구되고 있지만 낮은 해상도와 연산 능력의 한계로 얼굴 표정이나 옷 주름 등 세밀한 부분을 표현하는 데 한계가 있었다. 또한 인공지능을 학습하기 위한 데이터셋(dataset)이 부족한 실정으로, 기존의 상업적 데이터셋은 양질의 품질을 가지고 있으나 학습을 위해서는 많은 비용이 소요된다.

연구에서 생성한 3차원 인체 데이터셋의 예시. 연구팀이 생성한 인체 데이터셋은 비상업적 데이터셋 중 가장 많은 수의 객체와 고품질의 모델을 보유하며, 성별, 인종, 연령대, 자세, 헤어스타일 등 여러 통계 자료에서도 다양성을 가진다. 연구팀은 이를 연구적 목적으로 무료로 공개하고 있다.
연구에서 생성한 3차원 인체 데이터셋의 예시. 연구팀이 생성한 인체 데이터셋은 비상업적 데이터셋 중 가장 많은 수의 객체와 고품질의 모델을 보유하며, 성별, 인종, 연령대, 자세, 헤어스타일 등 여러 통계 자료에서도 다양성을 가진다. 연구팀은 이를 연구적 목적으로 무료로 공개하고 있다.

반면 비상업적 데이터셋은 품질이 떨어지는 동시에 인체 모델의 대부분이 20대 성인 남성들로 이루어져 실생활에서 관찰되는 인물들과 비교해 심한 통계적 편향을 보인다는 단점이 있다.

이 같은 문제점을 해결하기 위해 연구팀은 2,000명의 각기 다른 사람을 3차원 인체 모델로 구성한 데이터셋을 관련 분야 발전을 위해 연구 목적으로 무료로 공개해 누구나 활용할 수 있도록 했다.

또한 촬영을 위해 80개의 DSLR 카메라가 인물을 둘러싸도록 스튜디오에 배치해 동시간 다시점 이미지를 촬영하고, 이들로부터 특징점을 추출해 고품질의 3차원 인체 모델을 구성했다. 이는 비상업적 데이터셋과 달리 다양한 성별, 연령대, 옷, 자세 등을 취하고 있어 다양하고 데이터셋으로서의 가치가 높다.

전해곤 교수(사진:본지DB)
전해곤 교수(사진:본지DB)

전해곤 교수는 “해당 연구 성과는 미국의 카네기멜론대학교, MIT 및 독일의 막스플랑크 연구소 등 일부 연구기관이 주도하고 있는 ‘인체의 3차원 복원’ 연구를 더 많은 연구자들이 수행할 수 있도록 교두보를 마련했다는 점에서 의미 있다”며 “지금까지 인체를 3차원으로 복원하는 연구는 대규모의 유료 데이터셋을 구입해야만 시작이 가능했는데, 한국전자기술연구소 윤주홍 박사팀과 GIST의 공동연구를 통해 고품질의 데이터를 무료로 사용할 수 있도록 공개했다”고 밝혔다.

전 교수는 또한 “사람의 신체별 3차원 정보를 복원한 후, 이를 합치는 신체 3차원 복원 기법은 GPU 사용량을 줄일 수 있는 장점이 있어, 연구 장비가 부족한 연구 그룹에서도 큰 부담 없이 다운로드받아 사용할 수 있다는 장점이 있다”고 말했다.

2K 해상도 영상 시퀀스에 대한 프레임 단위 재구성 결과로 영상 시퀀스는 스마트폰에 의해 캡처된다.
2K 해상도 영상 시퀀스에 대한 프레임 단위 재구성 결과로 영상 시퀀스는 스마트폰에 의해 캡처된다.

한상훈 통합과정생이 주도한 이번 연구는 한국전자기술연구소 지능형영상처리연구센터 윤주홍와 박민규 박사팀과 공동으로 수행했으며, 해당 연구는 과학기술정보통신부(연구개발특구)와 광주광역시의 지원으로 GIST가 주관하는 ‘인공지능 기반 메타버스 구현을 위한 융․복합 문화 가상 스튜디오’ 과제와 과학기술정보통신부의 ‘AI혁신 허브’ 과제의 지원을 받아 수행되었다.

한편, 이번 연구 성과는 ‘QIFK’에 선정되었을 뿐만 아니라, 지난 6월 컴퓨터 비전 및 패턴 인식 분야의 글로벌 최고 AI 학회 ‘CVPR 2023(Computer Vision and Pattern Recognition)’에서 '단일 2K 해상도 이미지의 고퀄리티 3D 인체 디지털화(High-fidelity 3D Human Digitization from Single 2K Resolution Images-다운)'란 제목으로 논문 중 상위 2.5%에 드는 ‘Highlights’에 뽑혔으며, 제29회 삼성휴먼테크 논문대상에서는 은상을 수상하기도 했다.

 

 

 

저작권자 © 인공지능신문 무단전재 및 재배포 금지