투명한 물체의 286 RGB-D 영상과 5만 넘는 RGB-D 영상 합성 데이터 세트로 구성
사용된 286개 실제 투명 물체 데이터 세트는 누구나 사용 가능

로봇은 투명한 물체를 명확히 보며, 정확하게 작업을 수행한다.(사진:구글)

구글 AI가 컬럼비아대(Columbia University) 연구원, 컴퓨터 비전업체 신스사이즈 AI(Synthesis AI) 연구원과 공동으로 RGB-D 영상에서 투명한 물체의 정확한 3D 데이터를 추론할 수 있는 머신러닝(ML) 알고리즘을 개발했다고 지난 12일 밝혔다.

클리어그래스프(ClearGrasp)으로 명명된 이 알고리즘은 세 가지 딥 컨볼루션 신경망(Deep Convolutional Networks)를 사용한다. 첫번째는 표면 규범을 추정하기 위한 것이고, 두번째는 폐색 경계(Depth Ddiscontinuities)를 위한 것이며, 세번째는 투명한 물체를 가리는 것이다. 이 마스크는 투명한 물체에 속하는 모든 픽셀을 제거하기 위해 사용된다고 연구원들은 설명했다.

깊이 이미지로 구성된 점구름(Point cloud)을 통한 3D 시각화 시연 이미지(사진:구글)

연구팀은 "표면의 깊이를 알려진 표면으로부터 확장하기 시작하는 글로벌 최적화 모듈을 사용하여 재구성의 모양을 안내하고, 예측된 폐색 경계를 사용하여 뚜렷한 물체 사이의 분리를 유지한다"고 설명했다.

클리어그래스프는 단일 RGB-D 이미지를 사용하는 심층적인 학습 접근 방식을 제공한다. RGB(빨간색, 녹색, 파란색)는 컴퓨터 디스플레이에 사용되는 색을 나타낸다. 빨간색, 녹색, 파란색을 다양한 비율로 조합해 가시 스펙트럼을 통해 어떤 색상을 만들 수 있으며, RGB-D 영상은 RGB 이미지와 그에 상응하는 깊이 이미지의 조합이다.

특히 카메라와 리더(Light Detection and Ranging)와 같은 광학 센서는 현대 로봇 설계의 중요한 구성 요소가 된다. 창고 안에 있는 이동식 로봇의 단편적인 배치에서부터 자율주행차의 선단에 이르기까지 모든 것이 투명하더라도 피할 수 있는 장애물 또는 잡을 수 있는 물체로 가시화할 수 있어야 한다.

사진 오른쪽은 인텔 리얼센스 D415 RGB-D 카메라에서 캡처한 이미지로 유리 병은 표시되지 않는다(사진:구글)
사진 오른쪽은 인텔 리얼센스 D415 RGB-D 카메라에서 캡처한 이미지로 유리 병은 표시되지 않는다(사진:구글)

창문이나 플라스틱 병을 인식하는 것은 인간의 눈에는 간단하지만, 전통적으로 빛을 반사하는 물체를 모든 방향으로 고르게 인식하도록 가르치는 로봇 비전 시스템에는 아주 까다롭다. 투명한 물체의 표면은 빛을 반사하고 굴절시켜 기존 시스템을 혼란에 빠트리기도 한다.

이 알고리즘은 투명한 표면을 더 잘 감지할 수 있도록 기계를 사용하게 되면 안전성이 향상될 뿐만 아니라, 주방용품을 취급하거나 플라스틱을 재활용하기 위해 분류하는 로봇에서부터 실내 환경을 탐색하거나 유리 태블릿에 AR 시각화를 생성하는 등 비정형 애플리케이션에서 다양한 새로운 상호작용을 가능하게 한다.

ClearGrasp는 딥러닝을 사용하여 투명한 표면의 정확한 3D 깊이 데이터를 복구하는 이미지(사진:구글)
ClearGrasp는 딥러닝을 사용하여 투명한 표면의 정확한 3D 깊이 데이터를 복구하는 이미지(사진:구글)

클리어그래스프 이 모델을 학습하고 테스트하기 위해 연구원들은 투명한 물체의 286 RGB-D 영상과 그들의 지상 진실 기하학(Ground Truth Geometries)을 가진 실제 테스트 벤치마크와 함께 50,000개가 넘는 RGB-D 영상의 대규모 합성 데이터 세트를 구성했다. 또 연구팀은 클리어그래스프 개발에 사용된 286개의 실제 투명 물체의 데이터 세트와 함께 이 데이터 세트를 누구나 사용할 수 있게 공개했다.

한편, 실제 테스트에서 이 모델은 단일한 깊이의 추정 기준선보다 훨씬 더 우수하며, 실제 이미지와 새로운 물체로 일반화할 수 있다는 것을 보여 주었으며, 투명한 물체에 대한 포착 알고리즘의 성능을 개선하기 위해 즉시 적용할 수 있다는 것을 증명했으며, 이 데이터 셋이 투명한 물체를 위한 데이터 기반 인식 알고리즘에 대한 더 많은 연구가 효율적으로 이루어 질 것으로 예상된다.

참고: 관련 논문 '클리어그래스프: 조작을 위한 투명 객체의 3차원 형상 추정(ClearGrasp: 3D Shape Estimation of Transparent Objects for Manipulation)'이란 제목으로 지난해 10월 아카이브(다운)를 통해 발표됐으며, 공개된 API 및 데이터 세트는 깃허브(다운)에서 다운받으면 된다. (아래는 지난해 9월 업로드된 '클리어그래프, 로봇 조작을 위한 투명 물체의 형상 추정' 데모 영상)

 

 

 

저작권자 © 인공지능신문 무단전재 및 재배포 금지