딥러닝 모델을 사용, 센서의 시계열 신호를 분석해 손목에 부착된 단 하나의 센서 신호로 여러 가지 손가락 관절 움직임 측정과 사용자별 신호 차이를 교정하고, 데이터 수집을 최소화하기 위해서는 전이학습(Transfer Learning)을 통해 기존 학습된 지식을 전달

전산학부 조성호 교수(사진:KAIST)
전산학부 조성호 교수(사진:KAIST)

KAIST(총장 신성철)는 전산학부 조성호 교수 연구팀이 서울대 고승환 교수(기계공학과) 연구팀과 협력 연구를 통해 딥러닝 기술을 센서와 결합, 최소한의 데이터로 인체 움직임을 정확하게 측정 가능한 유연한 `피부 형 센서'를 개발했다.

공동연구팀이 개발한 피부 형 센서에는 인체의 움직임에 의해 발생하는 복합적 신호를 피부에 부착한 최소한의 센서로 정밀하게 측정하고, 이를 딥러닝 기술로 분리, 분석하는 기술이 적용됐다.

피부형 센서 패치로 손가락 움직임 측정 모습
피부형 센서 패치로 손가락 움직임 측정 모습

사람의 움직임 측정 방법 중 가장 널리 쓰이는 방식인 모션 캡처 카메라를 사용하는 방식은 카메라가 설치된 공간에서만 움직임 측정이 가능해 장소적 제약을 받아왔다. 반면 웨어러블 장비를 사용할 경우 장소제약 없이 사용자의 상태 변화를 측정할 수 있어, 다양한 환경에서 사람의 상태를 전달할 수 있다.

다만 기존 웨어러블 기기들은 측정 부위에 직접 센서를 부착해 측정이 이뤄지기 때문에 측정 부위, 즉 관절이 늘어나면 더 많은 센서가 수십 개에서 많게는 수백 개까지 요구된다는 단점이 있다.

딥러닝된 피부형 센서 구성. 은 나노 입자를 레이저로 소결하여 크랙형상을 만들어 고민감 센서 제작 개요로 우리 몸을 통한 정보의 흐름으로 발, 무릎, 손, 팔, 걸음걸이, 얼굴 표정도 포함될 수 있다.
딥러닝된 피부형 센서 구성. 은 나노 입자를 레이저로 소결하여 크랙형상을 만들어 고민감 센서 제작 개요로 우리 몸을 통한 정보의 흐름으로 발, 무릎, 손, 팔, 걸음걸이, 얼굴 표정도 포함될 수 있다.

공동연구팀이 개발한 피부 형 센서는 `크랙' 에 기반한 고(高) 민감 센서로, 인체의 움직임이 발생하는 근원지에서 먼 위치에 부착해서 간접적으로도 인체의 움직임을 측정할 수 있다. `크랙' 이란 나노 입자에 균열이 생긴다는 뜻인데, 연구팀은 이 균열로 인해 발생하는 센서값을 변화시켜 미세한 손목 움직임 변화까지 측정할 수 있다고 설명했다.

연구팀은 또 딥러닝 모델을 사용, 센서의 시계열 신호를 분석해 손목에 부착된 단 하나의 센서 신호로 여러 가지 손가락 관절 움직임을 측정할 수 있게 했다. 사용자별 신호 차이를 교정하고, 데이터 수집을 최소화하기 위해서는 전이학습(Transfer Learning)을 통해 기존 학습된 지식을 전달했다. 이로써 적은 양의 데이터와 적은 학습 시간으로 모델을 학습하는 시스템을 완성하는 데 성공했다.

전이학습 기반 RSL 학습 시스템 개요
전이학습 기반 RSL 학습 시스템 개요

KAIST 조성호 교수는 "이번 연구는 딥러닝 기술을 활용해 실제 환경에서 더욱 효과적으로 사람의 실시간 정보를 획득하는 방법을 제시했다는 점에서 의미가 있다ˮ며 "이 측정 방법을 적용하면 웨어러블 증강현실 기술의 보편화 시대는 더욱 빨리 다가올 것ˮ 이라고 예상했다.

서울대 고승환 교수 또한 "고 민감 피부 형 센서와 딥러닝 기술의 효과적 결합은 앞으로 주목받을 웨어러블 가상/증강현실 기기의 새로운 입력 시스템으로 활용될 것으로 기대된다ˮ 고 강조했다.

한편, 이번 연구는 김민, 김권규, 하인호 연구원이 공동 제1 저자로 참여했으며 국제 학술지 `네이처 커뮤니케이션스(Nature Communications)' 5월 1일 字 온라인판에 게재됐다. (논문명 : A deep-learned skin decoding the epicentral human motions-다운). 아래는 개발된 피부형 센서 패치 시연 영상

저작권자 © 인공지능신문 무단전재 및 재배포 금지