서둘러 문 밖으로 나가다가 자동차 키가 없다는 것을 깨닫는다. 다시 들어와 소파 쿠션 아래를 확인하고, 전날 바지 주머니를 뒤져보고 여기저기 찾아보다 서류 가방을 열어 보니 열쇠가 서류 뒤에 숨겨져 있었다.

누구나 경험하는 소소한 일상이다.

MIT의 연구원들은 바로 그 일을 할 수 있는 로봇 시스템 ‘RFusion’을 개발하고 5일(현지시간) 공개했다. 이 시스템은 카메라와 무선 주파수(RF, Radio Frequency) 안테나가 그리퍼에 부착된 로봇 팔이다. 안테나의 신호와 카메라의 시각적 입력을 통해 찾는 것이 더미 아래에 묻혀 완전히 보이지 않는 경우에도 물건을 찾고 확인한다.

연구팀이 개발한 RFusion 프로토타입은 RFID 태그 기반으로 인공지능(AI) 머신러닝을 사용하여 로봇 팔은 자동으로 물체의 정확한 위치를 파악하고 찾아 이동하고 물체를 잡고 올바른 것을 집어 들었는지 확인한다. 이 과정은 카메라, 안테나, 로봇 팔, AI가 완벽하게 통합되어 있어 RFusion은 특별한 설정 없이 어떤 환경에서도 작동할 수 있다.

물론 분실된 키를 찾는 것이 도움이 되지만, RFusion은 창고에서 주문을 이행하기 위해 객체를 분류하거나, 자동차 제조 공장에서 구성 요소를 식별 및 설치하거나, ​​노인이 가정에서 일상적인 작업을 수행하도록 돕는 것과 같이 더 광범위한 응용 프로그램을 가질 수 있다.

연구팀은 현재, 개발된 프로토타입은 아직 이러한 용도로 사용하기에 충분히 빠르지 않다. 단기적으로는 제조 및 창고 환경에서 보다 많은 응용 프로그램을 가질 수 있다고 밝혔다.

연구팀은 강화학습을 사용하여 물체에 대한 로봇의 궤적을 최적화할 수 있는 신경망을 훈련했다. 이 RFusion 시스템은 먼저, 안테나를 사용하여 물체 검색을 시작한다. 안테나는 RFID 태그에서 신호를 수신해 태그가 있는 영역을 식별한다. 이 영역을 카메라 입력과 결합하여 객체의 위치 범위를 ​​좁힌다.

시스템이 정확한 지점을 식별하면 신경망은 결합된 RF 및 시각 정보를 사용하여 로봇 팔이 손의 각도와 그리퍼의 너비를 포함하여 물체를 잡는 방법과 다른 항목을 먼저 제거해야 하는지 여부를 추론한다. 또한 항목의 태그를 마지막으로 한 번 스캔하여 올바른 객체를 선택했는지 확인한다.

그들의 접근 방식은 잘 작동했으며, RFusion은 더미 아래 완전히 숨겨진 개체를 검색할 때 96%의 성공률을 보였다고 한다. 때때로 RF 측정에만 의존한다면 이상치가 있을 것이고, 시각에만 의존한다면 카메라에서도 실수가 있을 것이다. 그러나 이 둘을 결합하면 서로 보완된다. 그것이 이 시스템의 정확도를 매우 높은 수준으로 끌어올린 것이다.

앞으로 연구팀은 이 시스템의 속도를 높여 이를 통해 빠르게 변화하는 제조 또는 창고 환경에 RFusion을 배포할 수 있을 것이라고 밝혔다.(아래는 시스템 소개 영상)

매년 수십억 개의 RFID 태그가 의류 및 기타 많은 소비재를 포함하여 오늘날의 복잡한 공급망에서 객체를 식별하는 데 사용된다. RFusion 접근 방식은 혼합된 항목 더미 속에 RFID 태그에 저장된 데이터를 사용하여 분류할 수 있는 자율 로봇에 대한 방법을 제시한 것이다.

한편, 이연구 결과는 다음 달 15일부터 17일까지 포르투갈에서 개최되는 임베디드 네트워크 센서 시스템(Embedded Networked Senor Systems) 전산 기계 협회 회의에서 'RFusion: RF-시각 감지 및 학습을 통한 로봇 잡기(RFusion: Robotic Grasping via RF-Visual Sensing and Learning-다운)'란 제목으로 발표될 예정이다.