KAIST 이의진 교수 연구팀은 다양한 센서 데이터와 주변 환경 정보를 통합 분석해 운전자에게 말 거는 시점을 판단하는 인공지능 기술을 개발 적용했다.

커넥티드카와 AI 기술을 결합한 대화형서비스가 자동차 분야에도 급속히 확대되고 있다.

대부분의 차량 시스템에는 아마존 알렉사(Alexa), 애플 시리(Siri)와 구글 어시스턴트(Google Assistant) 등과 같은 인공지능 에이전트가 기본으로 내장(사진:본지 BMW 기사중에서)

예컨대 국내외 출시되고 있는 대부분의 차량 시스템에는 아마존 알렉사(Alexa), 애플 시리(Siri)와 구글 어시스턴트(Google Assistant) 등과 같은 인공지능 에이전트가 기본으로 내장되어 있다. 차량 대화형서비스는 편의와 안전을 동시에 제공해야 한다. 대화형서비스가 ‘핸즈프리’를 가능케 해 스크린을 통한 서비스보다 차량 안전성을 높이는데 이견이 없다.

그러나 대화형서비스도 근본적인 주의분산 문제의 해결책이 되지 못한다.

운전 중에 대화형서비스를 활용해 복잡한 음성과업을 수행하다 보면 전방 주시에 소홀하거나 주변 상황에 주의를 기울이지 못하는 주의분산 문제가 발생한다. 운전과 관련 없는 과업을 동시에 수행하는 것은 운전자에게 상당한 인지 부담을 초래하기 때문이다. 운전뿐만 아니라 과업수행 전반에 부정적인 영향을 줄 수 있다. 따라서, 시스템 차원에서 인공지능 에이전트가 능동적으로 대화 서비스를 제공하기 위한 최적의 개입 시점을 자동 검출하는 AI 기술이 필요한 시점이다.

이에 국내 연구진 KAIST(총장 신성철) 산업및시스템공학과 이의진 교수 연구팀이 차량용 AI가 능동적으로 운전자에게 대화 서비스를 어느 시점에 제공해야 하는지 자동으로 판단할 수 있는 기술을 개발했다.

차량 대화형서비스의 안전성 증진 기술 개요
차량 대화형서비스의 안전성 증진 기술 개요

연구팀은 차량에서 수집되는 다양한 센서 데이터와 주변 환경 정보를 통합 분석해 언제 운전자에게 말을 걸어야 하는지 자동 판단하는 인공지능 기술을 개발했다.

무엇보다도 차량 대화형서비스는 편의와 안전을 동시에 제공해야 한다. 운전 중에 대화형서비스에만 집중하면 전방 주시에 소홀하거나 주변 상황에 주의를 기울이지 못하는 문제가 발생한다. 이는 운전뿐만 아니라 대화형서비스 사용 전반에도 부정적인 영향을 줄 수도 있다.

연구진은 말 걸기 적절한 시점 판단을 위해 현재 운전상황의 안전도, 대화 서비스 수행의 성공률, 운전 중 대화 수행 중 운전자가 느끼는 주관적 어려움을 통합적으로 고려한 인지 모델을 제시했다.

연구팀의 인지 모델은 개별 척도를 다양하게 조합해 인공지능 에이전트가 제공하는 대화형서비스의 유형에 따른 개입 시점의 판단 기준을 설정할 수 있다.

(좌) 실차 데이터 수집장비 및 (우) 실차 실험 모습 : 데이터 수집장비는 추가 장비 설치 없이 차량에 내장된 센서로부터 운전대조작, 브레이크 페달 조작 상태 등 다양한 센서 데이터와 주변 환경 정보를 통합 수집하여 스마트폰에 저장한다. 좌측사진의 중앙 하단의 위치한 CAN-bus 로거는 차량에 내장된 센서로부터 운전대 조작, 브레이크 페달 조작 상태 등의 차량 정보를 수집하는 장치이다. 수집된 모든 데이터는 스마트폰에 자동 저장된다.
(좌) 실차 데이터 수집장비 및 (우) 실차 실험 모습 : 데이터 수집장비는 추가 장비 설치 없이 차량에 내장된 센서로부터 운전대조작, 브레이크 페달 조작 상태 등 다양한 센서 데이터와 주변 환경 정보를 통합 수집하여 스마트폰에 저장한다. 좌측사진의 중앙 하단의 위치한 CAN-bus 로거는 차량에 내장된 센서로부터 운전대 조작, 브레이크 페달 조작 상태 등의 차량 정보를 수집하는 장치이다. 수집된 모든 데이터는 스마트폰에 자동 저장된다.

일기예보 같은 단순 정보만을 전달하는 경우 현재 운전상황의 안전도만 고려해 개입 시점을 판단할 수 있고, ‘그래’, ‘아니’ 같은 간단한 대답을 해야 하는 질문에는 현재 운전상황의 안전도와 대화 서비스 수행의 성공률을 함께 고려한다. 매우 보수적으로 세 가지 척도를 모두 함께 고려해 판단할 수 있다. 이 방식은 에이전트와 운전자가 여러 차례의 상호작용을 통해 의사결정을 할 때 사용한다.

정확도 높은 자동판단 인공지능 기술 개발을 위해서는 실제 도로 운전 중 에이전트와의 상호작용 데이터가 필요하기 때문에 연구팀은 반복적인 시제품 제작 및 테스트를 수행해 실제 차량 주행환경에서 사용 가능한 내비게이션 앱 기반 모의 대화형서비스를 개발했다.

자동판단을 위해 대화형서비스 시스템과 차량을 연동해 운전대 조작, 브레이크 페달 조작 상태 등 차량 내 센서 데이터와 차간거리, 차량흐름 등 주변 환경 정보를 통합 수집했다.

모의 대화형서비스 개요: 운전자가 실제 도로 운전 중 에이전트와의 상호작용 데이터를 수집하기 위해 오픈소스 내비게이션 앱을 수정하여 개발한 모의 대화형서비스는 크게 세단계로 구성되어 있다.
모의 대화형서비스 개요: 운전자가 실제 도로 운전 중 에이전트와의 상호작용 데이터를 수집하기 위해 오픈소스 내비게이션 앱을 수정하여 개발한 모의 대화형서비스는 크게 세단계로 구성되어 있다.

연구팀은 모의 대화형서비스를 사용해 29명의 운전자가 실제 운전 중에 음성 에이전트와 수행한 1천 3백 88회의 상호작용 및 센서 데이터를 구축했고, 이를 활용해 기계학습 훈련 및 테스트를 수행한 결과 적절 시점 검출 정확도가 최대 87%에 달하는 것을 확인했다.

연구팀의 이번 기술 개발로 대화형서비스로 인한 운전자 주의분산 문제를 해결할 수 있을 것으로 전망된다. 이 기술은 대화형서비스를 제공하는 차량 인포테인먼트 시스템에 바로 적용할 수 있다. 운전 부주의 실시간 진단 및 중재에도 적용될 수 있을 것으로 기대된다.

왼쪽부터) 이의진 교수, 김아욱 박사과정(사진:KAIST)

이의진 교수는 “앞으로의 차량 서비스는 더욱더 능동적으로 서비스를 제공하는 형태로 거듭나게 될 것이다”라며 “자동차에서 생성되는 기본 센서 데이터만을 활용해 최적 개입 시점을 정확히 찾을 수가 있어 앞으로는 안전한 대화 서비스 제공이 가능할 것이다”라고 밝혔다.

한편, 이번 연구는 한국연구재단 차세대정보컴퓨팅기술개발사업과 현대NGV의 지원을 통해 수행됐으며, 연구결과는 유비쿼터스 컴퓨팅 분야 국제 최우수학회인 ACM 유비콤(UbiComp)에서 9월 13일 발표됐다. 김아욱 박사과정이 1저자로 참여하고 최우혁 박사과정, 삼성리서치 박정미 연구원, 현대자동차 김계윤 연구원과의 공동 연구로 이뤄졌다.(논문명: Interrupting Drivers for Interactions: Predicting Opportune Moments for In-vehicle Proactive Auditory-verbal Tasks)

저작권자 © 인공지능신문 무단전재 및 재배포 금지