최근, 이미지 센서의 기술적인 진화와 저비용화를 배경으로 열화상 카메라나 물체의 내부를 포착하는 X선 및 테라헤르츠(THz)·밀리파(EHF, 극고주파) 카메라 등의 비가시광선 카메라를 활용하고 야간 및 안개 등 악천후 또는 역광과 차폐 등의 악조건 속에서도 감시와 진단 등의 용도로 확대되고 있다.

그러나 이러한 비가시광 카메라는 가시광선에 비해 해상도와 화질이 대체로 낮은 시인성 때문에 가시광선 카메라를 병설하여 빠르고 정확하게 실시간으로 대상물이나 상황을 판단하는 것은 곤란했지만 두 이미지를 비교해서 감시나 진단을 할 필요가 있었다.

두 종류의 카메라 이미지를 하나로 합성하는 것이 유효한 수단으로 카메라의 종류와 촬영 환경에 정통한 전문가가 각각의 이미지에서 복잡한 이미지 합성 작업을 걸쳐야했었고 이미지에 포함된 이상이나 위험물의 유무를 판단하는 단서가 되는 작은 특징이 합성에 의해 손실되는 점도 문제였다.

NEC와 도쿄공업대학 공학원 오쿠 토미 사토시(奥富正敏) 교수, 타나카 마사유키(田中正行) 특임 교수들의 연구 그룹은 일반 카메라로 촬영한 가시광 이미지와 열화상카메라 등으로 촬영한 비가시광 이미지를 인공지능(AI)을 이용하여 이미지 내의 각 부분의 시인성 정도를 평가, 각 이미지부터 최적인 영역만을 자동적으로 추출, 자동적이고 효과적으로 합성하고 각각의 이미지 단독으로는 파악하기 어려웠던 대상물의 시인성(visibility, 視認性)을 현격히 높이는 "멀티 모달 이미지 융합 기술"을 공동 개발했다.

이번 개발된 기술에 의해 즉시 시정(視程, Visibility Range)이 필요한 다양한 분야에서 열악한 조건에서도 정확한 상황 판단이 가능하게 됐다. 예를 들어, 야간이나 짙은 안개 등의 악천후에서도 활용 가능한 시설 감시, 야간 주행시 상대차량의 눈부신 전조등, 어둠 의한 사각이 있어도 운용할 수 있는 자동 운전 지원, 건물의 균열 등의 표면뿐만 아니라 내부의 이상까지 검사가 가능하게 하는 각종 인프라 점검 등이 있다.

종래, 다른 종류의 카메라의 이미지를 합성하려면 전문가에 의한 수동으로 복잡한 변환 작업이 필요했다. 이번 개발된 기술은 각각의 카메라로부터 얻은 이미지를 인공지능에 의해서 효과적이고 자동적으로 합성함으로써 이 변환작업이 불필요하게 됐다. 또 가시광 이미지와 비가시광 이미지의 각각의 장점을 적극 활용함으로써 종래는 시각화가 어려웠던 장면에서도 높은 시정을 얻을 수 있게 됐다.