이미지 변환, 도메인 적응 등 AI 기반 시각인지 분야 발전에 획기적 기여... 영상의 촬영 환경인 도메인 정보를 분리, 변환해 이미지 도메인 간 차이를 줄이는 딥러닝 기술

DGIST 정보통신융합전공 임성훈 교수(우), 제1저자 이승훈 학위연계과정생(좌)
DGIST 정보통신융합전공 임성훈 교수(우), 제1저자 이승훈 학위연계과정생(좌)

최근 인공지능 기술에 바탕이 되는 딥러닝 기술이 점점 고도화되면서 이미지를 생성하고 변환하는 딥러닝 연구가 활발하다. 기존의 연구는 여러 비슷한 특징을 가진 이미지의 집합인 도메인(Domain)에서 공통으로 나타나는 이미지 정보를 찾는 것에만 초점이 맞춰져 왔었다.

이 때문에 이미지 정보를 제대로 활용하기 어려워 적용 가능한 데이터와 모델의 성능에 한계가 있었다. 또한 활용한 이미지 정보를 선형적으로 단순하게 구성해, 한 이미지로 변환된 이미지 하나만을 얻을 수 있는 등의 한계가 있었다.

이에 DGIST(총장 국양)는 정보통신융합전공 임성훈 교수 연구팀이 딥러닝 기술을 활용해 복잡하고 다양한 이미지에서 영상의 환경 정보를 분리, 변환하는 인공지능(AI) 신경망 모듈을 개발했다.

이 기술을 통한 이미지 변환, 도메인 적응 등 인공지능 분야 발전에 획기적인 기여가 기대된다.

인코더(E)에서 영상 정보 추출, 분리기(S)가 추출된 영상 정보를 영상의 형태 정보와 스타일(환경) 정보로 분리하고 생성기(G)가 각 스타일의 이미지를 생성하는 구조이다.
인코더(E)에서 영상 정보 추출, 분리기(S)가 추출된 영상 정보를 영상의 형태 정보와 스타일(환경) 정보로 분리하고 생성기(G)가 각 스타일의 이미지를 생성하는 구조이다.

임성훈 교수 연구팀은 이미지 정보의 구성이 도메인마다 다를 수 있고 선형적 구성처럼 단순한 구성이 아닐 것이라는 가설을 세웠다. 연구팀은 이미지 정보를 전체적인 형태 정보와 스타일 정보로 뚜렷하게 나눌 수 있는 분리기를 설계했다.

이를 이용해 도메인마다 다른 가중치를 사용해 도메인 간의 차이를 반영할 수 있게 했다. 또한 분리된 이미지 정보들 간의 연관성을 이용해 각 이미지 구성에 알맞은 스타일 정보를 찾는 새로운 신경망 구조를 개발하는 데 성공했다.

Source 도메인의 이미지의 숫자는 유지하며 Target 도메인의 이미지의 스타일을 반영하여 이미지를 생성하고 있다.
Source 도메인의 이미지의 숫자는 유지하며 Target 도메인의 이미지의 스타일을 반영하여 이미지를 생성하고 있다.

연구팀이 개발한 신경망은 한 모델로도 여러 도메인의 이미지 변환이 자유자재로 가능한 장점이 있다. 이에 시각 인지 문제에 연구팀이 개발한 도메인 적응 알고리즘을 적용했을 때, 기존보다 2배 높은 정확도를 보일 수 있었다.

임성훈 교수는 “이번 연구를 통해 개발한 신경망은 이미지 정보에 대한 새로운 분석이 담긴 신경망”이라며 “향후 관련 기술을 좀 더 개선한다면 많은 분야들에 적용되어 인공지능 분야의 발전에 긍정적인 영향을 줄 것으로 기대된다”고 말했다.

복잡한 구성의 이미지에 대한 이미지 변환 결과
복잡한 구성의 이미지에 대한 이미지 변환 결과

한편, 제1저자인 정보통신융합전공 이승훈 학위연계과정생이 참여한 이번 연구 결과는 지난 5월 28일 아카이브에 'DRANet: 감독되지 도메인 간 적응을 위한 표현 및 적응 네트워크(DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation-다운)'이란 제목으로 발표됐다. 아울러 AI 분야 최우수 국제학술지 ‘IEEE Conference on Computer Vision and Pattern Recognition’ 지난달 25일 온라인으로 출판됐다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지