DGIST (총장 국양) 전기전자컴퓨터공학과 진경환 교수와 정보통신융합연구소 이재원 연구원은 해상도 증대를 위한 Bicubic interpolation(입방 보간법) 기술보다 해상력은 높고, 기존 딥러닝 기술 대비 메모리와 속도가 절반 이상 절감된 기술을 개발했다.

Bicubic interpolation은 디스플레이 기기마다 다른 해상도를 보상하기 위한 개발된 신호처리 기반의 기술을 의미한다. 그러나 메모리가 적게 들고, 속도가 빠르지만 이미지의 해상도가 저하되는 화질열화 현상이 심하게 나타난다.

이를 극복하기 위해 딥러닝 기반의 초고해상도 기술들이 등장했다. 이미지 초고해상도 기술은 디스플레이, 카메라, CCTV 등과 같이 일상생활과 밀접한 관련이 있다. 예를 들어, 스마트폰에서는 화면을 확대해야 하는 경우가 많은데 이런 상황에서 기존 bicubic 보간보다 뚜렷한 영상을 고해상도화 해야만 한다.

디스플레이 역시 제품마다 해상도가 다른데 이를 보상하기 위한 DDI scaler 의 소프트웨어 알고리즘으로 사용될 수 있다.

하지만 딥러닝 기반의 초고해상도 기술은 임의 스케일에 대해 동작하지 못하고, 특정 스케일에 대해서만 동작이 원활하다는 단점을 지니고 있는데, 최근 이에 대한 해결책으로 함축 표현 신경망(Implicit Representation Neural Network) 기술이 주목을 받고 있다.

함축 표현 신경망 기술에도 고주파 성분을 잡아내지 못하고, 메모리의 크기와 신호의 속도 측면에서 크게 불리하다는 문제점이 있는데, 진경환 교수 연구팀에서 이러한 문제를 해결하기 위해 퓨리에 해석 기반 함축 표현 신경망 기술을 개발하였다.

해당 기술은 이미지의 주파수를 직접적으로 추출하기 때문에, 화질 복원에 있어서 고주파수를 복원하는 데 용이하다. 이미지의 화질을 높이기 위해서는 고주파수 복원이 반드시 필요하므로 CCTV, 디스플레이, 카메라 등과 같은 영상 또는 사진 관련 제품들에 필수적인 기술이라고 할 수 있다.

진경환 교수는 “해당 기술의 개발을 통해 짧은 시간 내에 적은 양의 메모리만으로도 임의 스케일에 대한 화질 개선이 이루어 질 수 있다. 이로 인해 영상 또는 사진 관련 제품의 알고리즘을 통한 화질 개선, 소프트웨어의 경량화가 이루어질 것으로 기대된다.”고 밝혔다.

한편, 진경환 교수와 정보통신융합연구소 이재원 연구원이 함께한 이 연구 결과는 현지시간 21일부터 24일까지 미국 뉴올리언스에서 온-오프라인 동시 개최되는 비전 기술 분야 세계 최고 권위의 CVPR 2022 : 컴퓨터 비전 및 패턴 인식에 관한 'IEEE/CVF 컨퍼런스' 에서 '암묵적 표현 함수를 위한 로컬 텍스처 추정기(Local Texture Estimator for Implicit Representation Function-다운)'란 제목으로 발표됐으며, 데이터세트 및 모델은 깃허브(다운)를 통해 공개돼 있다.