공을 쫓는 강아지이든 장애물을 뛰어넘는 말이든 동물들은 믿을 수 없을 정도로 민첩한 기술을 쉽고 다양하게 수행할 수 있다.

이러한 동물의 민첩한 행동을 복제할 수 있는 로봇을 개발하면 실제 세계에서 정교한 작업을 통해 로봇을 배치할 수 있는 기회를 열 수 있다. 그러나 4족 로봇이 이러한 민첩한 행동을 수행할 수 있도록 하는 컨트롤러를 설계하고 개발하는 것은 매우 어려운 작업이 될 수 있다.

인공지능(AI) 강화학습(Reinforcement learning 이하, RL)은 로봇 기술의 개발을 자동화하는 데 자주 사용되는 접근법이지만, 많은 기술적 문제로 여전히 어려운 문제이다.

설계하는 것 자체가 많은 전문가의 통찰력을 필요로 할 수 있으며 종종 원하는 각 기술에 대해 장기간의 보상 튜닝 과정을 수반한다. 게다가, 4족 로봇에 RL을 적용하려면 효율적인 알고리즘뿐만 아니라 로봇이 인간의 도움 없이 안전하게 평형이 유지되고 넘어진 후에도 곧바로 회복시킬 수 있는 정교한 메커니즘과 프로그래밍이 필수적이다.

이에 구글 AI 연구팀은 로봇이 실제 동물(개)의 움직임과 패턴을 모방할 수 있는 학습과 구동을 위해 RL을 사용해 개의 움직임을 한 줄씩 코딩하는 대신 실제 개의 행동 비디오를 제공해 4족 로봇을 훈련시켜 빠른 보행에서 뛰고, 점프하고, 꼬리추적, 회전에 이르기까지 다양한 민첩한 행동을 수행할 수 있는 기술을 개발했다.

이 기술은 지난 3일(현지시간) 논문 '동물을 모방한 민첩한 로봇의 이동 기술 학습(Learning Agile Robotic Locomotion Skills by Imitating Animals)'을 통해 제시했다.

이 기술은 다양한 이동 기술을 수행하는 실제 동물(개)의 모션 캡처 클립을 수집하는 것으로 시작했다. 그런 다음 RL을 사용하여 개 동작을 모방하기 위한 제어 정책(policies) 각 단계에서 참조 모션의 포즈를 추적하기 위해 물리학 시뮬레이션에서 훈련했다. 그리고 보상함수에서 서로 다른 참조 모션을 사용함으로써 다양한 기술을 모방할 수 있도록 시뮬레이션 로봇을 훈련시킬 수 있다.

그러나 시뮬레이터는 일반적으로 실제 세계에 대한 대략적인 근사치만을 제공하기 때문에 시뮬레이션에서 훈련된 정책은 실제 로봇에 배치 될 때 성능이 떨어지는 경우가 많다. 따라서 시뮬레이션에서 훈련된 정책을 실제 세계로 전이시키기 위해서 연구팀은 ‘샘플 효율적 잠복 공간 적응 기법(Sample-Efficient Latent Space)’을 사용했다.

연구팀은 먼저, 동적 변화의 강력한 행동을 학습하도록 하기 위해 로봇의 질량과 마찰과 같은 물리적 양을 변화시킴으로써 시뮬레이션의 역학을 무작위화 했으며. 시뮬레이션에서 훈련하는 동안 이러한 파라미터의 값에 접근할 수 있기 때문에 학습된 인코더를 사용하여 저차원 표현에 매핑 했다.

그런 다음, 이 인코딩은 학습 중에 폴리시(policies)에 대한 추가 입력으로 전달된다. 실제로 로봇의 물리적 파라미터는 사전에 알려져 있지 않기 때문에, 실제 로봇에 정책을 배치할 때, 연구팀은 인코더를 제거하고 로봇이 현실에서 원하는 기술을 성공적으로 실행할 수 있도록 하는 잠복 공간에서 파라미터 세트를 직접 검색했다. 이 기술은 8분미만의 실제 데이터를 사용하여 실제 세계에 적용할 수 있었다.

결론적으로 로봇은 연구팀이 개발한 인공지능(AI) 강화학습 접근법을 이용하여 걸음걸이, 발걸음 등 다른 걸음걸이 게이트를 비롯해 민첩한 회전 운동 등을 개로부터 다양한 이동 기술을 모방하는 것을 학습할 수 있었다. 더 자세한 내용은 논문(Learning Agile Robotic Locomotion Skills by Imitating Animals 다운)과 아래 영상을 참조하면 된다.