로봇이 광범위한 단단한 정형 물체를 파악할 수 있도록 하는 관련 기술이 발전을 주도했지만 케이블, 직물 및 가방 등과 같은 변형 가능한 물체를 재배열하고 조작하는 것은 로봇 조작에 있어 처리할 수 있는 알고리즘을 개발하기 위한 연구는 많이 부족한 상태이다.

변형 가능한 객체 조작의 과제 중 하나는 그러한 객체의 구성을 지정하기가 매우 어렵기 때문이다.

예를 들어, 단단한 입방체(Cube)의 경우 중심에 상대적인 고정점(Fixed Point)의 구성을 아는 것만으로도 3D 공간에서의 배열을 설명하기에 충분하지만, 직물 조각 등의 변형 가능한 고정점은 로봇의 알고리즘이 직물의 완전한 상태(State)를 인식하기가 어렵다. 특히 교합(Occlusions) 상태에서는 더욱 그렇다.

또한, 변형 가능한 물체에 대해 충분히 설명적인 상태 표현이 있더라도 그 역학은 복잡하다. 이로 인해 일부 작업에 적용된 후 변형 가능한 객체의 미래 상태를 예측하기가 어렵기 때문에 다단계 계획 알고리즘이 필요하다.

이에 구글 AI 연구팀이 트랜스포터 네트워크(Transporter Networks)를 사용하여 변형 가능한 객체 조작에 대한 연구를 가속화하고 적용한 '변형 가능한 레이븐(이하, DeformableRavens)'이라는 시뮬레이션 벤치마크를 오픈 소스로 14일(현지시간) 공개했다.

이 DeformableRavens는 객체가 상황에 따라 변화될 수 있는 케이블, 직물 및 가방 등을 조작하는 것과 관련된 12가지 작업을 특징으로 하며 이미지로 지정된 원하는 목표 구성을 향해 변형 가능한 객체를 조작하기 위한 모델 아키텍처 세트를 포함하고 있다.

이러한 아키텍처를 통해 로봇은 대상 모양과 일치하도록 케이블을 재정렬하고, 대상 영역에 직물을 매끄럽게 하고, 가방에 항목을 삽입할 수 있다. 이것은 로봇이 다른 항목을 포함하기 위해 가방을 사용해야 하는 작업을 포함하는 최초의 시뮬레이터로, 로봇이 보다 복잡한 상대적 공간 관계를 학습할 수 있도록 하는 데 중요한 과제를 제시한다.

DeformableRavens는 객체 재배열에 대한 이전 작업을 확장하고 1D, 2D 및 3D 변형 가능 구조를 포함하는 12개의 시뮬레이션 작업 모음을 포함한다.

각 작업에는 모의 그립핑(Grasping)을 위한 모의 그리퍼가 있는 시뮬레이션 된 UR5암 이 포함되어 있으며 모방 학습(Imitation Learning)을 위한 데이터를 자율적으로 수집하기 위해 스크립팅 된 데모와 함께 번들로 제공된다.

작업은 분포 내 항목의 시작 상태를 무작위로 지정하여 다른 객체 구성에 대한 일반성을 테스트한다.

로봇 조작 작업에 대한 목표 구성을 지정하는 것은 변형 가능한 객체의 경우 특히 어려울 수 있다. 복잡한 역동성과 고차원적인 구성 공간을 감안할 때 목표는 일련의 단단한 물체 포즈만큼 쉽게 지정될 수 없으며 '가방 안에 아이템 배치'와 같은 복잡한 상대적 공간 관계를 포함할 수 있다.

따라서 스크립팅 된 데모 배포에 의해 정의 된 작업 외에도 벤치 마크에는 목표 이미지로 지정된 목표 조건 작업도 포함된다. 목표 조건 작업의 경우 지정된 객체의 시작 구성은 동일한 객체의 원하는 구성을 보여주는 별도의 이미지와 쌍을 이루어야 한다.

시뮬레이션 벤치마크에서 목표 조건화 작업을 보완하기 위해 연구팀은 이전에 출시된 트랜스포터 네트워크(논문 '로봇 조작을 위한 시각적 세계 재정렬-다운) 아키텍처(API-다운)에 목표 조건화를 통합했다. 즉, 시각적 입력으로부터 공간적 변위를 추론하기 위해 깊이 특징을 재배치함으로써 경직한 물체 조작에 잘 작동하는 액션 중심 모델 아키텍처이다.

아키텍처는 현재 환경의 이미지와 원하는 최종 객체 구성을 가진 목표 이미지를 입력으로 삼고, 두 이미지에 대한 깊은 시각적 특징을 계산한 다음, 요소별 곱셈을 사용하여 선택 및 배치 상관 관계를 조건화하여 장면에서 견고하고 변형 가능한 개체를 모두 조작한다.

여기서, 트랜스포터 네트워크 아키텍처의 장점은 시각적 이미지의 공간 구조를 보존한다는 것인데, 이는 이미지 기반 목표 조절을 보다 간단한 기능 일치 문제로 재구성하고 컨볼루션 네트워크(Convolutional Network)를 통해 학습 효율성을 향상시키는 유도성 바이어스를 제공한다.

목표 조정과 관련된 작업의 예는 위 사진을 통해 볼 수 있다. 노란색 가방에 녹색 블록을 넣기 위해서는 로봇이 노란색 가방의 상단 구멍을 열기 전에 여러 단계의 동작을 수행하여 노란색 가방의 상단 구멍을 펼 수 있는 공간적 특징을 학습해야 한다. 또 노란색 가방에 블록을 넣은 후 데모가 성공적으로 끝난다. 목표 이미지에서 블록을 파란색 백에 배치한 경우 시연자는 블록을 파란색 백에 넣어야 한다.

결론적으로 연구팀은 연구 결과는 목표 조건 트랜스포터 네트워크를 통해 에이전트가 대상 위치에 대한 테스트 시간 시각적 앵커 없이 변형 가능한 구조를 유연하게 지정된 구성으로 조작할 수 있음을 시사한다.

또한 2D 및 3D 변형 가능 작업을 테스트하여 변형 가능한 객체를 조작하기 위해 트랜스포터 네트워크를 사용하여 이전 결과를 크게 확장했다. 또한 제안된 접근 방식이 입력으로 이미지 대신 지상 실측 포즈와 정점 위치를 사용하는 데 의존하는 대안적 접근 방식보다 샘플 효율성이 더 높다는 것을 확인했다.

한편, 이번 연구는 30일부터 6월 5일까지 중국 시안의 국제 컨벤션 및 전시 센터에서 개최되는 IEEE(Institute of Electrical and Electronics Engineers) 로봇 공학 및 자동화에 관한 세계 최고 권위의 국제로봇컨퍼런스인 'ICRA 2021(International Conference on Robotics and Automation)' 에서 발표될 예정이다. 

발표될 연구 결과 논문 제목은 '목표 조건이 지정된 트렌스포터 네트워크를 사용하여 변형 가능한 케이블, 패브릭 및 가방을 재배치하는 학습(Learning to Rearrange Deformable Cables, Fabrics, and Bags with Goal-Conditioned Transporter Networks- 다운)이며, 연구팀이 공개한 DeformableRavens(다운)는 오픈 소스로 공개돼 있다.