로봇이 현실에서 유용한 일을 성취하도록 훈련시키는 가장 강력한 방법 중 하나는 시뮬레이션을 통해 가르치는 것이다. 인공지능(AI) 에이전트는 가상 세계에서 실제 물리적 공간에서 보다 수천 배 또는 수백만 배 빠른 속도로 작업을 수행할 수 있다.

페이스북 AI는 인공지능(AI) 연구 및 개발자들이 가정용 서비스 로봇에게 사실적인 3D 가상 환경을 탐색할 뿐만 아니라 실제 주방, 식당 또는 일반적으로 사용되는 공간에서처럼 물체와 상호작용할 수 있도록 학습시키는 전례 없는 차세대 인터랙티브 시뮬레이션 플랫폼인 '해비타트 2.0(이하, Habitat 2.0)'을 오픈 소스로 공개했다.

지난 2019년 Habitat 1.0 버전을 업그레이드 한 Habitat 2.0은 구현된 인공지능 연구를 위한 시뮬레이션 플랫폼 'AI Habitat' 오픈 소스 기반으로 더욱 빠른 속도와 상호 작용을 통해 AI 에이전트는 집기, 서랍 및 문 열기 및 닫기 등과 같은 수십억 이상의 경험 프레임과 수년간의 실제 작업에 해당하는 작업을 쉽게 수행할 수 있다.

페이스북 AI는 Habitat 2.0이 인공지능 연구 및 개발자들이 사용할 수 있는 가장 빠른 시뮬레이터라고 밝혔다. Habitat 2.0에는 실내 공간의 새로운 완전히 대화형 3D 데이터 세트와 이러한 복잡한 물리 시나리오에서 가상 로봇을 훈련시키기 위한 새로운 벤치마크가 포함된다.

이 새로운 데이터 세트와 플랫폼을 통해 AI 연구원들은 정적 3D 환경에서 가상 에이전트를 만드는 것 이상의 것을 할 수 있고 냉장고를 채우거나 식기세척기에 식기를 넣거나 명령에 따라 물건을 가져오고 되돌려 놓는 것과 같은 유용한 작업을 쉽고 안정적으로 수행할 수 있는 로봇을 만드는 데 더 가까이 다가갈 수 있는 길을 다진 것이다.

Habitat 2.0의 새로운 데이터 세트인 레플리카CAD(ReplicaCAD)는 이전에 3D 환경을 위해 출시된 페이스북 리얼리티랩(Facebook Reality Lab)의 데이터 세트인 레플리카(이하, Replica- 다운)를 미러링하며, 현재 객체의 이동과 조작을 지원하기 위해 재구성되었다. 또한, 이전에 정적 3D 스캔이 물리적 파라미터, 충돌 프록시 모양 및 의미 주석이 포함된 개별 3D 모델로 변환되어 처음으로 이동 및 조작에 대한 훈련이 가능해졌다.

이 새로운 데이터 세트를 만들기 위해 페이스북 AI는 Replica 내에서 공간의 동일한 렌더링을 재현하는 3D 아티스트 팀에 의존했지만 재료 구성, 기하학 및 텍스처와 관련된 사양에 모든 관심을 집중했다. 상호작용 레크리에이션은 또한 물체(냉장고나 문 등)가 열거나 닫을 수 있는 구획을 가지고 있는지, 그리고 그러한 메커니즘이 어떻게 작동하는지에 대한 정보와 크기와 마찰에 대한 정보를 통합했다.

또한 각 장면마다 여러 가지 가능한 변형을 만들어 내고 주방용품, 책, 가구 등 현실적인 잡동사니를 도입하기 위한 파이프라인을 개발했다. ReplicaCAD는 단일 생활공간과 92개의 아티스트가 만든 물체의 111개의 독특한 레이아웃을 특징으로 한다.

이는 아티스트의 동의와 보상으로 제작되었으며, 비상업적 용도에 대한 크리에이티브 커먼즈(CC-BY-NC) 라이센스에 따라 공유된다. ReplicaCAD와 같은 다양한 실내 배치는 연구원들이 완전히 새로운 대화형 작업을 수행할 수 있는 에이전트를 구축하고 훈련시킬 수 있다.

Habitat 2.0은 축 또는 슬라이드에서 회전할 수 있는 캐비닛 및 서랍과 같은 개별적으로 단단한 물체를 지원하고 Fetch와 같은 모바일 조작기, Franka와 같은 고정식 기본 암, Alien Go와 같은 사분원형 물리학을 지원하여 해비타트 심(Habitat Sim-다운) 시뮬레이션 엔진의 기능을 기반으로 구축 및 확장한다.

Habitat 2.0을 구축함에 있어, 연구 및 개발 커뮤니티가 새로운 접근법을 테스트하고 더 효과적으로 반복할 수 있게 해주기 때문에 더 넓은 범위의 시뮬레이션 능력보다 속도/성능을 우선시했다. 예를 들어, 바퀴 접지 접촉을 시뮬레이션하기 보다는 로봇을 이동시키기 위해 내비게이션 메쉬(mash)를 사용한다.

또한 플랫폼은 현재 변형물, 액체, 필름, 천 및 밧줄과 같은 비정형 물체뿐만 아니라 오디오 또는 촉각 감지 기능도 지원하지 않는다. 이렇게 간소화된 연유로 Habitat 2.0 시뮬레이터는 대부분의 3D 시뮬레이터와 업계 전문가들이 사용할 수 있는 것보다 2배 더 빠르다. 이 향상된 속도는 주방 청소나 식탁 설치와 같은 느린 속도로 불가능한 복잡한 작업을 수행하기 위해 이 플랫폼을 사용할 수 있다는 것을 의미한다.

이 플랫폼은 기존 플랫폼이 일반적으로 10~400 SPS(Steps Per Pecond)에서 실행되는 동안 ReplicaCAD 장면에서 초당 1,200 SPS로 상호 작용하는 Fetch 로봇을 시뮬레이션 할 수 있다. 또한 단일 GPU에서 8,200 SPS(실시간 273 배) 다중 프로세스를 달성하고 8 GPU가 있는 단일 노드에서 거의 26,000 SPS(실시간 850 배)를 달성했다.

이러한 속도는 로봇 테스트 시간을 크게 단축시켜 연구자들이 일반적으로 6개월 이상 걸리던 테스트를 최소 2일 만에 완료할 수 있게 한 것이다.

ReplicaCAD 데이터 세트와 Habitat 2.0 시뮬레이터는 홈보조벤치마크(Home Assistive Benchmark. 이하, HAB)라고 불리는 새로운 가정 보조 작업 라이브러리를 구현할 수 있게 해준다.

HAB의 작업에는 테이블 설정, 냉장고 청소 및 집안 청소와 같은 일반 작업, 탐색, 선택, 배치, 캐비닛 서랍 열기, 냉장고 문 열기 등과 같은 로봇 기술, 일반적인 집안 심부름과 관련된 에이전트 구성 등이 포함될 수 있다.

또한 HAB는 로봇이 환경에 대한 사전 지식을 갖지 않고(새로운 환경과 알려진 환경의 급격한 변화에 대처할 수 있도록) RGBD 카메라, 자기동작, 위치 센서와 같은 온보드 센서에서만 작동하도록 요구한다.

페이스북 AI는 앞으로 Habitat 2.0은 전 세계 더 많은 곳에서 생활공간을 모델링하여 가구 유형, 물건 유형 등을 문화·지역별 배치로 고려한 보다 다양한 교육을 가능하게 할 예정이다. 현재, 가능한 3D 환경의 다양성과 지리적 요소를 개선하기 위해 노력하고 있다.

Habitat 2.0은 빠른 시뮬레이터이지만 동기화된 병렬 환경을 처리하고 에피소드가 재설정될 때 다시 로드해야 하는 등 잠재적인 병목 현상을 해결하여 속도를 더욱 높이고 있다. 렌더링+물리학+강화학습 상호 작용을 전체적으로 재구성하는 것은 향후 작업에 흥미로운 방향이 될 것이다.

페이스북 AI는 모델 없는 대규모 강화학습을 통해 개인의 기술(선택, 배치, 탐색, 공개 서랍 등)을 합리적인 성공 수준으로 훈련할 수 있었지만, 그러한 기술을 모두 달성하고 오류 없이 이를 연결할 수 있는 단일 에이전트를 훈련하는 것은 여전히 공개적인 도전으로 남아 있다고 밝혔다. 또한, HAB가 앞으로 수년간 쌍방향으로 구현된 AI에 대한 연구 아젠다를 제시할 것이라고 덧붙였다.

한편, 페이스북 AI는 재구성된 ReplicaCAD 데이터 세트, 대폭 향상된 속도 및 Habitat 2.0에 포함된 새로운 HAB(홈보조벤치마크)를 통해 다른 연구 및 개발팀이 차세대 AI 에이전트를 보다 성공적으로 훈련시킬 수 있기를 바라며, 이 작업을 모든 사람이 사용할 수 있도록 오픈 소스(다운)로 공개한 것이라고 밝혔다. 

이 연구 및 개발과정은 지난달 28일 아카이브를 통해 'Habitat 2.0: Training Home Assistants to Rearrange their Habitat(다운)'이란 제목으로 발표됐다.