완전 자율 차량에서 사람은 가장 큰 장애물 중 하나일 수 있다. 도로에서 보다 안전한 자율 주행을 위해서는 주변의 운전자, 자전거 타는 사람 및 보행자 등이 다음에 무슨 행동을 할 것인가에 대해 예측할 수 있어야 한다.

그러나 그런 행동을 예측한다는 것은 매우 어려운 문제이다. 일반적인 인공지능(AI) 솔루션은 보행자가 항상 직선으로 걷는다고 가정하는 너무 단순하거나, 서행하거나 차라리 정차해 있는 너무 보수적이거나, 다양한 에이전트에서 특정한 한 에이전트의 다음 움직임만 예측한다는 상황에 빠질 수 있다.

이에, MIT 컴퓨터과학 및 인공지능연구소(Computer Science & Artificial Intelligence Laboratory, CSAIL)와 칭화대학교(Tsinghua University) 국제정보과학연구소(Institute for Interdisciplinary Information Sciences, IIIS)의 공동 연구팀은 이 복잡한 문제에 대해 믿을 수 없을 정도로 간단한 인공지능 모델을 개발했다.

그들은 다중 에이전트 행동 예측 문제를 더 작은 조각으로 나누고 각각을 개별적으로 처리하므로 컴퓨터가 이 복잡한 작업을 실시간으로 해결할 수 있다는 것이다.

연구팀의 행동 예측 프레임워크는 먼저, 두 명의 도로 사용자(자동차, 자전거 또는 보행자 중 어떤 차량, 자전거 또는 보행자가 우선권을 갖고 있고 어떤 에이전트가 양보할 것인지) 간의 관계를 추측하고 이러한 관계를 사용하여 여러 에이전트의 이후 다음 궤적을 추론한다. 또, 모델은 문제를 더 간단한 조각으로 나누었기 때문에 그들의 기술은 더 적은 메모리를 사용했다.

연구팀은 “이것은 매우 직관적인 방법이지만, 아무도 이를 완전히 연구한 적이 없으며 아주 잘 작동합니다. 특히, 단순함은 확실히 장점으로 작용했습니다"라며, "우리는 이 모델을 이 분야의 선두 기업인 웨이모(Waymo)의 모델을 포함하여 다른 최첨단 모델들과 비교했으며, 모델은 이 도전적인 벤치마크에서 최고의 성능을 달성했습니다"라고 밝혔다.

M2I라고 하는 연구팀의 이 머신러닝 모델은 4방향 교차로와 같은 교통 환경에서 상호 작용하는 자동차, 자전거 타는 사람 및 보행자의 이전 궤적과 거리 위치, 차선 구성 등이 포함된 지도라는 두 가지 정보를 입력을 받는다.

연구팀은 이 정보를 사용하여 관계 예측기(Relation Predictor)는 두 에이전트 중 어느 것이 먼저 우선권을 가지고 있는지 추론하며, 하나는 통행자(Passing Agent)로, 다른 하나는 양보자로 분류한다. 그런 다음, 주변 예측기(Marginal Predictor)로 알려진 예측 모델은 이 에이전트가 독립적으로 행동하기 때문에 통과하는 에이전트의 궤적을 추론한다는 것이다.

조건부 예측기(Conditional Predictor)로 알려진 두 번째 예측 모델은 통과하는 에이전트의 작업을 기반으로 패싱 에이전트가 수행할 작업을 추론한다. 시스템은 양보자와 통행자에 대한 다양한 궤적을 예측하고 각각의 확률을 개별적으로 계산한 다음 발생할 가능성이 가장 높은 6개의 공동 결과를 선택한다.

M2I는 이러한 에이전트가 향후 8초 동안 트래픽을 통해 어떻게 이동할지에 대한 예측을 출력한다. 한 예에서, 그들의 방법은 보행자가 길을 건널 수 있도록 차량을 감속시킨 다음 교차로를 통과할 때 속도를 높였다. 또 다른 예로, 샛길에서 여러 대의 차량이 지나갈 때까지 기다린 후 번화한 주 도로로 방향을 틀었다.

이 초기 연구는 두 에이전트 간의 상호 작용에 초점을 맞추고 있지만, M2I는 여러 에이전트 간의 관계를 추론한 다음, 여러 주변 및 조건부 예측자를 연결하여 그들의 궤적을 추론할 수 있다.

실제 주행 테스트에서 연구팀은 웨이모의 자율 차량에 장착된 라이다(빛 감지 및 거리 측정) 센서와 카메라에 의해 기록된 차량, 보행자, 자전거 타는 사람과 관련된 수백만 개의 실제 교통 장면이 포함된 '웨이모 오픈 모션 데이터세트(Waymo Open Motion Dataset-다운)'을 사용하여 모델을 훈련했다. 그들은 특히, 여러 에이전트가 있는 사례에 중점을 두었다.

특히, 결정(판단) 정확도를 위해 연구팀은 각 방법의 6개 예측 샘플을 신뢰 수준에 따라 가중치를 부여하여 한 장면에서 자동차, 자전거 타는 사람, 보행자가 뒤따르는 실제 궤적과 비교했다. 그들의 방법이 가장 정확했다고 한다. 또한, 중첩(두개의 궤적) 속도로 알려진 메트릭에서 기준선 모델보다 성능이 뛰어났다. 두 개의 궤적이 겹치면 충돌을 나타낸다. M2I가 가장 낮은 중첩률을 보였다.

이 문제를 해결하기 위해 연구팀은 더 복잡한 모델을 구축하는 대신, 인간이 다른 사람과의 상호 작용에 대해 추론할 때 생각하는 방식과 더 유사한 접근 방식을 취했다. 인간은 미래 행동의 수백 가지 조합에 대해 추론하지 않지만 모델은 매우 빠르게 결정을 내린다.

모델 M2I의 또 다른 장점은 문제를 더 작은 조각으로 나누기 때문에 사용자가 모델의 의사 결정을 더 쉽게 이해할 수 있다는 것이다. 장기적으로 볼 때, 그것은 사용자들이 자율 주행 차량에 더 많은 신뢰를 갖게 하는 데 도움이 될 수 있다.

그러나 모델은 운전자가 누가 양보해야 하는지 확신하지 못하기 때문에 두 대의 차량이 각각 4방향 정지선에서 앞으로 진행하는 경우와 같이 두 에이전트가 서로 상호 영향을 미치는 경우를 설명할 수 없다. 연구팀은 향후 작업에서 이 과제를 해결할 계획이다.

또한 그들의 방법을 사용하여 도로 사용자 간의 현실적인 상호 작용을 시뮬레이션하기를 원한다. 이 상호 작용은 자율 주행 자동차의 계획 알고리즘을 확인하거나 모델 성능을 개선하기 위해 방대한 양의 합성 주행 데이터를 생성하는 데 사용할 수 있다.

한편, 이 연구 결과는 오는 6월 19일부터 24일까지 미국 루이지애나 뉴올리언스에서 열리는 국제 컴퓨터 비전 및 패턴인식 학술회의(Conference on Computer Vision and Pattern Recognition, CVPR 2022)'에서 'M2I: 한계 궤적 예측에서 대화형 예측으로(M2I: From Factored Marginal Trajectory Prediction to Interactive Prediction-다운)'란 제목으로 발표될 예정이며,  M2I 프레임워크는 깃허브(다운)를 통해 곧 공개될 예정이다.