로봇이 새로운 환경에서 물체를 조작하려면 사전에 학습하지 않은 새로운 물체(Unseen Object)가 주어지더라도 이를 정확히 검출할 필요가 있다.

이미지로부터 객체별 영역을 검출하는 인스턴스 분할(Instance Segmentation)은 딥러닝 및 로봇 비전의 핵심 연구 분야로 다양한 연구가 제안됐으나, 사전에 학습한 범주의 물체만 인식할 수 있거나 미학습 물체의 가시 영역(Visible Region)만을 검출 가능하다는 한계가 있었다.

이에, 지스트(광주과학기술원, 총장 김기선) 융합기술학제학부 이규빈 교수 연구팀은 계층적 가림 모델링을 통하여 복잡한 로봇 환경에서도 미학습 물체의 가시 영역과 비가시 영역, 가림 여부를 동시에 검출하는 딥러닝 기술을 개발했다.

연구팀은 미학습 물체의 가시 영역뿐만 아니라 가려진 영역과 가려짐 여부도 동시에 검출하는 것을 목표로 하는 미학습 물체의 아모달 인스턴스 분할(Unseen Object Amodal Instance Segmentation)이라는 새로운 태스크를 제안한 것이다.

또한 연구팀은 물체 간 가림 관계를 효과적으로 고려하기 위한 계층적 가림 모델링(Hierarchical Occlusion Modeling)을 제안하고, 이를 학습 및 평가하기 위한 새로운 가상 및 실 환경 데이터셋을 오픈소스로 공개했다.

연구팀의 알고리즘은 3개의 데이터셋에서 세계 최고 수준의 성능을 달성해 복잡한 환경에서의 로봇 인식 성능을 크게 높일 수 있었으며, 로봇이 가려진 목표 물체를 파지(손에 쥠)하는 데 활용해 실제 로봇의 다양한 작업에 활용될 수 있음을 확인했다.

이규빈 교수는 “이번 연구를 통해 복잡한 비정형 환경에서 새로운 물체가 주어져도 물체의 보이는 영역뿐만 아니라 가려진 영역까지 인식 할 수 있음을 확인하였다” 면서 “미학습 물체 인식은 공장, 가정 등 다양한 환경에 로봇을 적용하기 위한 로봇 분야의 핵심 기술로서 활용될 것으로 기대된다”고 말했다.

한편, 이번 연구는 산업통상자원부의 로봇산업핵심기술개발사업의 재원 지원과 과학기술정보통신부 및 정보통신산업진흥원의 국가 AI 데이터센터 서비스 및 고성능 컴퓨팅 자원 지원 사업의 컴퓨팅 연산 지원을 받아 수행되었다.

백승혁 박사과정생이 제1저자로 참여한 본 연구는 미학습 물체 인식 분야에서 세계 최고 수준의 성능을 달성해 삼성휴먼테크논문대상에서 동상을 수상하였다.

논문은 지난해 9월 23일 아카이브를 통해 공개됐으며, 오는 5월 23일부터 27일까지 개최되는 세계 최고 권위의 로봇학회인 로봇자동화학회(ICRA 2022)에서 '계층적 폐색 모델링을 통한 보이지 않는 객체 아모달 인스턴스 분할(Unseen Object Amodal Instance Segmentation via Hierarchical Occlusion Modeling-다운)'란 제목으로 발표될 예정이다.

연구에 사용된 코드와 데이터셋은 현재, 깃허브(다운)를 통해 누구나 사용할 수 있다. (아래는 시연 영상)