최근 이미지에서 불필요한 부분을 제거하여 자연스럽게 해소하는 인페인팅 기술은 다방면에서 연구되고 있으며, 이 기술은 이미지에서 특정 객체 제거와 손상된 이미지 복구와 같은 기본적인 이미지 편집 작업에 영향을 미치고 있다.

화웨이 캐나다(Huawei Technologies Canada) 연구팀이 8K 고해상도 이미지에서 불필요한 개체를 자연스럽게 지우는 머신러닝 기반 '인페인팅(Inpainting)' 기술을 개발했다.

이 기술은 '초고해상도 이미지 인페인팅을 위한 상황 별 잔여 집단화(Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting)'이란 제목으로 지난 CVPR 2020에서 발표됐다. 여기서, 집단화(Aggregation) 란 공통적인 특성을 갖는 객체들 사이에 관계를 부여함으로써 더 높은 단계의 객체를 추출하는 추상화의 한 기법이다.

기존 접근 방식에서는 메모리 크기 제한으로 일반적으로 1K보다 작은 저해상도 이미지에만 적용할 수 ​​있었다. 이 새로운 모델은 AI로 한정된 자원 내에서 8K까지의 고해상도 이미지를 지원하는 기술이다. 이 CRA(Contextual Farmary Aggregation) 메커니즘은 이미지에서 지정한 객체를 마스크하고 영역을 문맥에 맞게 작성하여 그럴듯한 이미지를 생성한다. 특히, 중간에 고해상도에 의한 열화를 복구하는 것이 포인트이다.

구체적으로 고해상도의 입력 화상으로부터 저해상도의 인페인팅 결과를 예측해, 그것을 업샘플링(화상의 픽셀수를 늘린다) 해 고주파 성분이 빠진 열화 이미지를 생성한다. 이어서, 최초로 저해상도 이미지에서 잔차(Residual) 이미지를 생성해, 열화 이미지에 보전하여 고해상도 이미지로 변환하는 것이다.

한편, 연구팀은 512x512 해상도를 갖는 소형 영상에 대한 모델을 훈련하고 고해상도 영상에 대한 추론을 수행하여 강력한 인페인팅 품질을 달성하였다.

이것은 이전의 학습 기반 접근법으로는 다루기 어려웠지만 모델은 8K 이미지의 렌더링 처리를 가능하게 했다. 또 연구팀은 GTX 1080 Ti GPU를 통해 2K 이미지에서 실시간으로 처리할 수 있는 것도 입증했다. 연구팀은 이미지와 모델 코드를 깃허브(다운)에 오픈 소스로 공개했다. 더 자세한 내용은 논문(다운)을 참고하면 된다.(아래는 이 기술을 설명하는 영상)