새로운 물체 인식을 위해 대규모 데이터셋 구축을 필요로 했던 딥러닝 모델 학습의 효율성 향상에 혁신적으로 기여할 전망이다.

DGIST(총장 국양) 로봇및기계전자공학과 박상현 교수(인공지능전공 겸직) 연구팀은 여러 이미지로부터 상관관계를 학습하는 트랜스포머를 활용하여 소수의 정답지를 가진 데이터로 기존 데이터셋에 존재하지 않는 새로운 물체를 정확히 분류하는 퓨샷(few-shot) 분류모델을 개발했다.

학습데이터에 없었던 물체를 인식하기 위해 대규모 데이터셋 구축을 필요로 했던 기존 딥러닝 모델 학습의 효율성 향상에 획기적인 기여가 기대된다.

일반적으로 높은 성능의 딥러닝 분류모델을 훈련하기 위해서는 대규모 데이터셋을 구축해야 한다. 각 항목마다 수백에서 수천 장의 영상을 모으고 영상 간의 연결성의 유무를 구분하는 레이블링 작업을 진행해야 하기 때문에 오랜 시간과 많은 비용이 발생한다.

이러한 문제를 해결하기 위해 소수의 데이터만으로도 새로운 물체를 분류하는 퓨샷(few-shot)모델이 활발하게 연구되고 있다. 현재 소수의 레이블링이 있는 서포트(support) 데이터들 간의 상관관계를 분석하는 트랜스포머나 픽셀단위의 영상비교 기법들이 제안되었으나 성능 향상이 제한적이다.

이에 박상현 교수, 김수필 석박사통합과정, 필립 치콘테(Philip Chikontwe) 박사과정은 소수의 레이블링이 있는 서포트 데이터(Support)가 주어졌을 때 분류해야 하는 영상(Query)에서 추출된 특징들을 효과적으로 비교할 수 있는 기법을 새롭게 제안했다.

박상현 교수 연구팀은 데이터 사이 상관관계를 보여주는 ‘Attention Map’을 활용하여 특정 패턴을 갖는 유사한 데이터를 모아 평균화 시킨 특징벡터를 변환하는 트랜스포머(Transformer)를 활용한 모델을 개발했다.

기존기법들과 달리 양방향(Support에서 Query로, Query에서 Support로)으로 특징을 변환하여 효과적으로 특징벡터를 비교할 수 있는 방법을 고안했다. 이를 통해 영상에서 추출한 특징 벡터들이 서로 비교하기 적합한 새로운 벡터공간으로 변환되어 분류성능이 크게 개선했다.

새롭게 개발한 딥러닝 모델은 퓨샷 분류문제에 있어 1개 ~ 5개의 데이터만으로 최대 84% ~ 94%의 정확도를 보였으며, 기존에 제안됐던 다른 퓨샷학습 기법들의 성능을 크게 웃돌았다.

박상현 교수는 “이번 연구를 통해 개발한 모델은 퓨샷 분류 성능을 크게 개선시켰으며 이를 통해 딥러닝 모델 학습의 효율성 향상에 기여할 수 있을 것으로 기대된다.”며, “향후 관련 기술을 좀 더 개선한다면 다양한 분류문제에 범용적으로 활용될 수 있을 것”이라 말했다.

한편, 이번 연구 결과는 현지시간 19일부터 24일까지 온-오프라인으로 동시 개최된 세계 최고 권위 인공지능(AI) 학회인 IEEE 2022 컴퓨터 비전 및 패턴 인식 컨퍼런스(Computer Vision and Pattern Recognition Conference, CVPR)에서 'CAD: 개선된 퓨샷 분류를 위한 차별적 특징 공동 적응(CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification-다운)'란 제목으로 발표됐다.