짙은 안개가 낀 날씨에서도 사람, 자동차, 도로, 나무 등 의미에 따라 영상을 정확하게 분할하는 영상인식 AI모델 '피포(FIFO)'

모델 '피포(FIFO)' 정성적 결과 (a) 안개 낀 입력 영상 (b) 제안하는 기술의 의미적 분할 결과 (c) 의미적 분할 정답
모델 '피포(FIFO)' 정성적 결과 (a) 안개 낀 입력 영상 (b) 제안하는 기술의 의미적 분할 결과 (c) 의미적 분할 정답

자율주행 자동차를 향한 꿈이 어느덧 현실에 가까워지고 있지만, 여전히 상용화를 위해선 넘어야 할 과제들이 있다. 

갑자기 끼어든 보행자 등 예상치 못한 도로 상황에 즉각적으로 대응해야 하는 데다가, 악천후 상황에서도 주변을 정확하게 인식해야 하기 때문이다. 이는 탑승자의 안전과도 직결되기 때문에 더욱 중요하게 여겨진다.

여기에, POSTECH(포항공과대학교, 총장 김무환) 인공지능대학원 컴퓨터공학과 곽수하 교수, 인공지능대학원 통합과정 이소현(제1저자), 손태영(제2저자) 석사 연구팀은 짙은 안개가 낀 날씨에서도 사람, 자동차, 도로, 나무 등 의미에 따라 영상을 정확하게 분할하는 영상인식 인공지능(AI) 모델 '피포(FIFO)'를 개발했다. 

기존 기술로는 영상인식이 어렵다고 알려진 악조건에서도 강인하게 동작하는 이 기술은 향후 자율주행 자동차의 상용화를 한층 앞당길 것으로 기대된다.

FIFO의 전체 아키텍처: 각 훈련 반복마다 포그 패스 필터링 모듈과 분할 네트워크가 번갈아 업데이트된다.(위)분할 네트워크의 기능 맵의 Gram 행렬이 입력으로 주어지면, 포그 패스 필터링 모듈은 이미지의 포그 조건이 포그 인자에 의해 식별되도록 포그 인자를 추출하는 방법을 학습한다.(아래) 분할 네트워크는 분할 손실뿐만 아니라 안개 조건이 다른 이미지의 포그 인자 간의 간격을 줄임으로써 훈련된다. 포그 패스 필터는 교육용으로만 사용되는 보조 모듈.
FIFO의 전체 아키텍처: 각 훈련 반복마다 포그 패스 필터링 모듈과 분할 네트워크가 번갈아 업데이트된다.(위)분할 네트워크의 기능 맵의 Gram 행렬이 입력으로 주어지면, 포그 패스 필터링 모듈은 이미지의 포그 조건이 포그 인자에 의해 식별되도록 포그 인자를 추출하는 방법을 학습한다.(아래) 분할 네트워크는 분할 손실뿐만 아니라 안개 조건이 다른 이미지의 포그 인자 간의 간격을 줄임으로써 훈련된다. 포그 패스 필터는 교육용으로만 사용되는 보조 모듈.

최근 AI의 발전 덕택에 영상인식 기술이 깨끗한 영상에서는 사람 수준의 성능을 보이곤 하지만, 변화무쌍한 날씨 등 도전적인 환경에서는 여전히 뚜렷한 한계를 보였다.

연구팀은 안개 낀 상태에 불변하는 영상인식 모델을 학습하여 한계를 극복하고자 했다. 입력 영상에서 안개 낀 상태를 하나의 영상 스타일로 간주하고, AI가 이 스타일의 변화에 불변하는 영상표현 방식을 학습하도록 했다.

이를 위해, 연구팀은 영상 정보로부터 안개 낀 상태에 대한 정보만을 추출하는 필터(fog-pass filter)를 설계했다. 여기서 얻은 정보를 영상표현과 함께 적대적으로 학습함으로써 AI 모델은 점차 안개 낀 상태와 독립적인 영상 내용을 추출할 수 있었다.

연구 결과, 실제 안개가 낀 영상에서 인식 정확도가 크게 높아졌을 뿐만 아니라, 눈과 비가 오는 상황에서도 외부를 선명하게 인식할 수 있었다. 또, 이전 연구들과 달리 맑은 날씨에서의 성능 또한 높일 수 있었다.

왼쪽부터) 인공지능대학원 통합과정 이소현(제1저자), 손태영(제2저자) 석사, 곽수하 교수.
왼쪽부터) 인공지능대학원 통합과정 이소현(제1저자), 손태영(제2저자) 석사, 곽수하 교수.

곽수하 교수는 “입력 영상에서 날씨 정보를 정교하게 추출하고 이를 통해 날씨의 영향을 최소화한 영상인식 AI 모델을 개발했다는 데 의의가 있다”고 말했다.

한편, 이 연구는 지난 4일 아카이브를 통해 공개 됐으며, 오는 6월 개최되는 AI 및 컴퓨터 비전 분야 최우수 국제학술대회 CVPR 2022(IEEE/CVF Conference on Computer Vision and Pattern Recognition)에서 '안개낀 영상의 의미적 분할을 위한 안개에 불변하는 영상표현 학습(FIFO: Learning Fog-invariant Features for Foggy Scene Segmentation-다운)'란 제목으로  구두 발표 논문으로 선정되는 쾌거를 거뒀다. 

특히, 구두 발표 기회는 CVPR의 심사를 통과한 논문 중에서도 탁월한 극소수의 논문에만 주어져 더욱 학계의 관심이 집중된다. 

저작권자 © 인공지능신문 무단전재 및 재배포 금지