수리 성능은 매사추세츠 공과대학(MIT)이 보유한 수리 기술 대비 FID 점수가 10점 정도 감소했으며, 사용자 평가에서 시험 이미지 그룹의 약 50%가 결함이 제거됐고, 약 90%에서 품질이 개선됐다는 결과를 얻었다.

국내 최초로 2016년부터 설명가능한 AI의 연구 및 개발을 시작한 최재식 교수는 “인공지능이 현실세계의 데이터를 기반으로 학습하고 추론해 내린 결정의 이유를 설명하도록 만들고 주요 원인과 결과 사이의 변화를 학습하고, 사람이 말이나 시각자료로 설명하는 방식을 모방하는 인공지능 개발이 목표”라고 말했다.(사진:본지)
국내 최초로 2016년부터 설명가능한 AI의 연구 및 개발을 시작한 최재식 교수는 “인공지능이 현실세계의 데이터를 기반으로 학습하고 추론해 내린 결정의 이유를 설명하도록 만들고 주요 원인과 결과 사이의 변화를 학습하고, 사람이 말이나 시각자료로 설명하는 방식을 모방하는 인공지능 개발이 목표”라고 말했다.(사진:본지)

KAIST(총장 이광형)는 국내 설명가능한 AI (Explainable AI. 이하, XAI)의 선구자이자 최고 권위자인 KAIST 인공지능대학원 최재식 교수(설명가능 인공지능연구센터장) 연구팀이 딥러닝 생성모델의 오류 수정 기술을 개발했다.

최근 딥러닝 생성모델(Deep Generative Models)은 이미지, 음성뿐만 아니라 문장 등 새로운 콘텐츠를 생성하는 데 널리 활용되고 있다. 이런 생성모델의 발전에도 불구하고 최근 개발된 모델도 여전히 블랙박스의 존재로 국방, 의료, 제조, 금융 등의 매우 중요한 작업에 모델을 활용하기에는 어려운 점이 있었다.

최 교수 연구팀은 딥러닝 내부를 해석하는 XAI 기법을 활용해, 생성모델 내부에서 이미지 생성과정에서 문제를 일으키는 유닛(뉴런)을 찾아 제거하는 알고리즘을 고안해 생성모델의 오류를 수리했다.

이러한 생성 오류 수리 기술은 신경망 모델의 재학습을 요구하지 않으며 모델 구조에 대한 의존성이 적어, 다양한 적대적 생성 신경망에 폭넓게 응용 및 적용될 수 있을 것으로 기대된다. 또한, 개발된 기술은 딥러닝 생성모델의 신뢰도를 향상해 생성모델이 중요 작업에도 적용될 수 있을 것으로 기대된다.

시각적 결함이 포함된 생성 이미지의 수리 결과: 기존 수리 방식,  연구팀에서 제안한 단일 계층에서 검출된 유닛을 제거한 결과. 계층별로 검출된 유닛을 제거한 결과(사진:KAIST)
시각적 결함이 포함된 생성 이미지의 수리 결과: 기존 수리 방식, 연구팀에서 제안한 단일 계층에서 검출된 유닛을 제거한 결과. 계층별로 검출된 유닛을 제거한 결과(사진:KAIST)

주로 인간의 개입에 의한 AI가 대부분을 차지하고 있었지만 인간의 개입 및 학습 데이터가 없어도 스스로 학습하는 신경망, 서로 대립하는 두 시스템이 서로 경쟁하는 방식으로 학습을 진행하는 비지도 학습방식의 신경망을 '적대적 생성 신경망 또는 '생성적 적대 신경망(Generative Adversarial Network. 이하, GAN)'이라 한다.

또 두개의 시스템(모델)으로 하나는 생성기/생성자(G, Generator) 이며, 또 하나는 분류기/판별자(D, Discriminator)로 두 모델은 학습하면서 서로에게 영향을 미치며 고도화된다.

GAN은 지난 2014년 신경정보처리시스템 학회(NIPS, Neural Information Processing System)에서 처음 발표됐다.

이후 2016년 NIPS에서 GAN 튜토리얼이 진행되면서 GAN의 가능성과 잠재력에 대한 학계와 산업계의 큰 주목을 받으면서 이를 통해 2017년 7월 구글 딥마인드는 사람과 물체의 동작이나 보행 능력을 흉내 내는 인공지능을 개발했으며, 인실리코 메디슨은 신약에 활용될 새로운 화합물을 개발하면서 본격적으로 적용되기 시작했다.

그러나 최신 GAN 모델은 여전히 시각적 결함이 포함된 이미지를 생성하고 있으며, 재학습을 통해서 이를 해결하기에는 오류 수리를 보장할 수 없으며, 많은 학습 시간과 비용을 요구하게 된다. 이렇게 규모가 큰 GAN 모델의 일부 오류를 해결하기 위해 모델 전체를 재학습하는 것은 적합하지 않다.

연구팀은 문제 해결을 위해 생성 오류를 유도하는 딥러닝 내부의 유닛(뉴런)을 찾아 제거하는 알고리즘을 개발했다. 알고리즘은 딥러닝 모델의 시각적 결함의 위치를 파악하고, 딥러닝 모델 내 여러 계층에 존재하는 오류를 유발한 유닛을 찾아서 활성화하지 못하도록 하여 결함이 발생하지 않도록 했다.

오류를 유발하는 내부 유닛 검출(위)과 계층별 유닛 제거(아래)에 대한 모식도: 단일 계층에서 유닛을 제거하는 것 보다 계층별로 제거할 때 수리 성능이 좋음을 확인할 수 있다.
오류를 유발하는 내부 유닛 검출(위)과 계층별 유닛 제거(아래)에 대한 모식도: 단일 계층에서 유닛을 제거하는 것 보다 계층별로 제거할 때 수리 성능이 좋음을 확인할 수 있다.

연구팀은 XAI 기술을 활용해 시각적 결함이 생성된 이미지의 어느 부분에 분포하는지, 또 딥러닝 내부의 어떤 유닛이 결함의 생성에 관여하는지 찾을 수 있었다. 개발된 기술은 딥러닝 생성모델의 오류를 수리할 수 있고, 생성모델의 구조에 상관없이 적용할 수 있다.

연구팀은 전통적인 구조를 가지는 `진행형 생성모델(Progressive GAN, PGGAN)'에서 개발 기술이 효과적으로 생성 오류를 수리할 수 있음을 확인했다.

수리 성능은 매사추세츠 공과대학(MIT)이 보유한 수리 기술 대비 FID 점수가 10점 정도 감소했으며, 사용자 평가에서 시험 이미지 그룹의 약 50%가 결함이 제거됐고, 약 90%에서 품질이 개선됐다는 결과를 얻었다.

나아가 특이 구조를 가지는 `StyleGAN2'와 `U-net GAN'에서도 생성 오류 수리가 가능함을 보임으로써 개발 기술의 일반성과 확장 가능성을 보였다.

연구팀이 개발한 생성모델의 오류 제거 기술은 다양한 이미지 외에도 다양한 생성모델에 적용돼 모델의 결과물에 대한 신뢰성을 높일 것으로 기대된다.

최재식 교수 연구팀으로 (왼쪽부터) 한지연 박사과정, 최환일 박사과정, 정해동 박사과정, 알리 투씨(Ali Tousi) 박사과정(사진:KAIST)
최재식 교수 연구팀으로 (왼쪽부터) 한지연 박사과정, 최환일 박사과정, 정해동 박사과정, 알리 투씨(Ali Tousi) 박사과정(사진:KAIST)

공동 제1저자인 알리 투씨와 정해동 연구원은 "딥러닝 생성모델이 생성한 결과물에 있는 시각적 오류를 찾고, 이에 상응하는 활성화를 보이는 생성모델 내부의 유닛을 순차적으로 제거함으로써 생성 오류를 수리할 수 있음을 보였다ˮ라며 이는 "충분히 학습된 모델 내부에 미학습 혹은 잘못 학습된 내부요소가 있음을 보여주는 결과다ˮ라고 말했다.

한편, KAIST AI대학원의 알리 투씨(Ali Tousi), 정해동 연구원이 공동 제1 저자로 참여한 이번 연구는 지난 4월 13일 아카이브를 통해 '생성신경망에서 내부 단위의 자동보정(Automatic Correction of Internal Units in Generative Neural Networks-다운)'이란 제목으로 발표됐으며, 현지시간 19일부터 25일까지 온라인으로 개최된 `국제 컴퓨터 비전 및 패턴인식 학술대회 (IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2021)'에서 23일 발표됐다.

 

저작권자 © 인공지능신문 무단전재 및 재배포 금지