스마트 스피커 사용자의 상황맥락 요인을 규명... 언제 말 걸지 아는 스마트 스피커 개발 길 열어

(왼쪽부터) 차나래 제1저자(KAIST), 김아욱 교수(강원대학교), 이의진 교수(KAIST)
(왼쪽부터) 차나래 제1저자(KAIST), 김아욱 교수(강원대학교), 이의진 교수(KAIST)

KAIST(총장 신성철)는 전산학부 이의진 교수 연구팀이 스마트 스피커 인공지능(AI) 비서가 선제적으로 말 걸기 좋은 최적의 시점을 결정하는 중요한 상황맥락 요인을 찾아냈다.

기존에 개발되거나 시판 중인 스마트 스피커 인공지능 비서는 사용자가 먼저 요청한 서비스만 제공하는 반면 최근 스마트 스피커의 개발은 사용자의 상황에 맞춰 능동적인 서비스를 제공하는 형태로 진화하는 추세다. 똑똑한 음성비서가 사용자가 처해 있는 상황을 정확히 이해한 후에 선제적으로 일정 및 건강관리를 도와주는 방향으로 개발되고 있는 것이다. 하지만 아무 때나 눈치 없이 말을 건다면 도움은커녕 하는 일에 방해만 될 수 있다.

사람이 말을 걸기 전에 먼저 말을 거는 스마트 스피커의 선제적 서비스가 작동하는 방식이다. 용건만 바로 말하기보다는 “안녕하세요”와 같이 대화의 시작을 알리는 문장으로 말을 건다.
사람이 말을 걸기 전에 먼저 말을 거는 스마트 스피커의 선제적 서비스가 작동하는 방식이다. 용건만 바로 말하기보다는 “안녕하세요”와 같이 대화의 시작을 알리는 문장으로 말을 건다.

이의진 교수 연구팀은 스마트 스피커가 선제적으로 음성서비스를 제공하기 좋은 최적의 시점을 찾는 연구를 전산학부 이재길 교수를 비롯해 산업디자인학과 이상수 교수와 함께 다학제 연구팀을 구성해 공동연구를 수행했다. 그 결과 다학제 연구팀은 스마트 홈 환경에서의 최적의 발화(發話) 시점을 결정하는 중요한 사용자 상황맥락 요인을 찾았다.

최적의 발화 시점에 관한 추론은 인공지능 비서가 음성서비스를 시작하거나 중지 또는 재개를 스스로 결정하고 제어하기 위한 필수적인 기술이다. 연구팀이 찾아낸 중요한 상황맥락 요인은 최적의 발화 시점 추론 시 정확성을 높일 것으로 관계자들은 기대하고 있다.

스마트 스피커가 제공 가능한 선제적 서비스 예시이다. 사용자가 명령하기 전에 스마트 스피커가 먼저 전등을 켜고 끄거나, 냉난방을 켜고 끄는 등 IoT 기기를 조작할 수 있다. 사용자의 복약 시간이 되었을 때, 스마트 스피커가 먼저 사용자에게 말을 걸어 복약 일정을 알려줄 수 있다. 스마트 스피커가 사용자의 스케쥴을 파악하고, 추가 일정이 발생할 때 비어있는 시간에 일정을 추가하는 것을 선제적으로 제안할 수 있다.

스마트 스피커 인공지능 비서가 선제적으로 말 걸기 좋은 시점을 찾기 위해 연구팀은 실험용 스마트 스피커를 제작했다. 스마트 스피커는 사용자의 움직임이 감지되거나 일정한 시간이 지나면 주기적으로 "지금 대화하기 좋은가요ˮ라는 질문을 했다.

참가자는 대화하기 좋은지 아닌지, "네ˮ 또는 "아니요ˮ로 대답하고 무엇을 하고 있었는지 설명했다. 연구진은 이어 교내 기숙사에 거주하는 학생 40명(2인 1실)의 방에 스마트 스피커를 설치해 1주일간 총 3,500개의 사용자 응답 데이터를 수집했다.

질문-응답을 통한 데이터 수집(ESM)은 위와 같이 진행되었다. [1] 랜덤하게 또는 움직임이 감지되었을 때 ESM 질문은 트리거된다. [2] 스마트 스피커가 “지금 대화하기 좋은가요?”라고 질문한다. [3] 방에 있는 실험자들은 질문에 바로 응답한다. 대화하기 좋으면, “네”라고 대답하고, 무엇을 하고 있었는지 말한다. [4] 대화하기 좋지 않으면, “아니요”라고 대답하고, 무엇을 하고 있었는지 말한다. 실험자의 응답은 녹음되어 데이터로 수집된다.
질문-응답을 통한 데이터 수집(ESM)은 위 그림과 같이 진행되었다. [1] 랜덤하게 또는 움직임이 감지되었을 때 ESM 질문은 트리거된다. [2] 스마트 스피커가 “지금 대화하기 좋은가요?”라고 질문한다. [3] 방에 있는 실험자들은 질문에 바로 응답한다. 대화하기 좋으면, “네”라고 대답하고, 무엇을 하고 있었는지 말한다. [4] 대화하기 좋지 않으면, “아니요”라고 대답하고, 무엇을 하고 있었는지 말한다. 실험자의 응답은 녹음되어 데이터로 수집된다.

데이터 분석 결과 전체 참가자 응답 중 47%는 대화하기 부적절한 것으로 드러났다. 연구진은 대화하기 좋은 시점을 결정하는 주요 상황 요인을 찾기 위해 19개의 실내 활동 범주를 만들었다. 이를 통해 연구팀은 적절한 시점을 결정하는 상황맥락 요인으로 크게 개인적 요인과 움직임 요인, 사회적 요인을 꼽았다.

개인적 요인은 크게 `활동 집중도', `긴급함과 바쁨 정도', `정신적·육체적 상태' 그리고 `다중 작업수행을 위한 듣기 또는 말하기 가능성' 등 4가지다. 예를 들면 집중해서 공부하고 있거나 드라이로 머리를 말리고 있을 때는 스피커와 대화가 어려웠다. 움직임 요인은 `외출', `귀가' 그리고 `활동 전환' 등 3가지다. 특히 사용자 움직임이 있을 때는 스피커와 대화 가능한 거리가 최적 시점 판단에 큰 영향을 미쳤다.

외출은 스피커와 대화 가능 범위 밖으로 나가는 움직임이고, 귀가는 범위 안으로 들어오는 움직임이다. 범위 안으로 들어오는 귀가(歸家) 상황일 때는 대부분 대화하기 좋은 시점으로 분류됐다.

데이터를 분석한 결과, 대화하기 좋은 타이밍에 영향을 끼치는 요인은 크게 세 가지가 있었다. 개인적 요인, 움직임 요인, 사회적 요인이다.
데이터를 분석한 결과, 대화하기 좋은 타이밍에 영향을 끼치는 요인은 크게 세 가지가 있었다. 개인적 요인, 움직임 요인, 사회적 요인이다.

일반적으로 스마트 스피커는 거실처럼 집 구성원이 함께 생활하는 공간에 설치된다. 수집된 사용자 응답 중 절반은 룸메이트가 함께 있을 때 수집됐다. 연구팀은 전화 대화뿐만 아니라 누군가와 함께 있다는 것 또한 스마트 스피커와 대화하기 좋은 시점에 영향을 끼친다는 현상을 발견했다. 룸메이트가 자고 있거나 어떤 활동에 집중하고 있을 때 스마트 스피커와의 대화로 인한 갈등을 최소화하고 싶기 때문이다.

이번 연구에 제1 저자로 참여한 차나래 학생은 "이번 연구가 미래 스마트 스피커 개발의 중요한 토대가 될 것ˮ이라면서 "앞으로는 센서 데이터로 감지된 상황맥락 정보를 활용해 스마트 스피커가 스스로 대화를 시작·중지, 또는 재개하기 좋은 타이밍을 선제적으로 감지해 지능적인 음성서비스를 제공할 수 있을 것ˮ이라고 밝혔다.

한편, 이 연구는 유비쿼터스 컴퓨팅 분야 국제 최우수 학술지인 `Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies' 9월호에 '안녕하세요~ 지금 대화하기 좋은 시간인가요? 스마트 스피커와의 능동적상호작용을 위한 적절한 모멘트(Hello There! Is Now a Good Time to Talk? Opportune Moments for Proactive Interactions with Smart Speakers- )' 이란 제목으로 게재됐다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지