모델은 자율 시스템이 실제 세계에서 위험한 오류를 일으킬 수 있는 예제를 통해 학습하고 인스턴스를 식별한다.

(사진:MIT)
인공지능이 사각 지대를 식별한다(사진:MIT)

무인 자동차 또는 자율 로봇을 구동하는 인공지능(AI) 시스템은 가상 시뮬레이션에서 광범위하게 학습되어 이동 중 거의 모든 이벤트에 대비할 수 있다. 하지만 실제 세계에서는 때때로 행동이나 주행을 변경해야 하는 이벤트가 발생하기 때문에 예상치 못한 오류를 범하기도 한다.

MIT(Massachusetts Institute of Technology)와 마이크로 소프트 리서치(Microsoft Research AI) 연구원들이 개발한 새로운 인공지능(AI) 모델은 세상에서 실제로 일어나고 있는 것과 일치하지 않는 이벤트를 자율 시스템이 스스로 찾아내는 '인공지능 사각 지대(blind spots-맹점)'를 식별하는 새로운 모델을 개발했다고 24일(현지시각) 밝혔다. 또 엔지니어는 이 모델을 사용하여 무인 자동차 및 자율 로봇과 같은 인공지능 시스템의 안전과 성능을 개선할 수 있다고 한다.

예를 들어, 고속도로를 주행 중인 자율자동차는 대형 백색 자동차, 그리고 빨간색 불빛이 깜박이는 구급차와 같은 뚜렷하게 서로 다른 시나리오들을 구별하지 못할 수 있다. 구급차가 사이렌을 울리면서 자율차 후방에서 접근하면 자율 자동차는 속도를 늦추고 도로 한편으로 이동하거나 등의 액션을 취할 수 없다. 자율차는 이런 이벤트를 감지하지 못하고 단지, '크고 하얀 차'라는 것으로 만 인식하기 때문이다.

24일(현지시각) MIT 뉴스를 통해 발표된 이번 연구원들[MIT- 람야 라마크리쉬난(Ramya Ramakrishnan), 줄리 샤(Julie Shah)/마이크로 소프트 리서치- 에이스 카마르(Ece Kamar), 에릭 호르비츠(Eric Horvitz), 데바데우데타 데이(Debadeepta Dey)]의 공동 연구 결과는 지난해 8월 ‘자율 에이전트 및 멀티 에이전트 시스템스 컨퍼런스 2018(Autonomous Agents and Multiagent Systems 2018)’에 '강화학습에서의 맹점 발견(Discovering Blind Spots in Reinforcement Learning)'이란 제목으로 발표됐었다.

시뮬레이터 상태 표현(Ssim) 사이의 불일치는 오픈 월드 상태 표현(Sreal)은 사각지대(맹점)로 이어진다.(사진:논문캡처)

연구원들은 전통적인 접근방식으로 이 시스템에 시뮬레이션 학습을 통해 인공지능 시스템을 도입했으며, 실제 세상에서 일어나는 시스템 동작을 면밀히 관찰하여 시스템이 언제 실수를 저질렀는지에 대한 피드백이 제공된 학습 데이터를 인간 피드백 데이터와 결합하고 머신러닝 기술을 사용하여 시스템이 올바르게 작동하는 방법과 더 가능성이 높은 상황을 정확하게 가리키는 모델을 생성했으며, 이 모델은 비디오 게임을 사용하여 사람이 화면상 캐릭터의 학습된 경로를 보정하는 방법을 검증했다.

한편 이 모델은 자율 주행차와 로봇 등 자율 시스템이 모르는 것을 더 잘 알 수 있도록 했으며, 실제 환경과 일치하지 않는 경우, 격차를 안전한 방법으로 좁혀 그러한 오류의 일부를 줄일 수 있도록 한 것이다. 더 자세한 내용은 연구자들의 논문 '강화학습에서의 맹점 발견(Discovering Blind Spots in Reinforcement Learning)'을 참고(다운받기)하면 된다. 

저작권자 © 인공지능신문 무단전재 및 재배포 금지