POSTECH(포항공과대학교) 인공지능대학원 컴퓨터공학과 이남훈 교수, 신성빈 통합과정, 인공지능대학원 이동엽 석사과정이 최근 ‘2023 한국인공지능학회 추계학술대회’에서 최우수논문상을 받았다.

과모수화된 신경망(overparameterized neural network)은 심층 학습 모델의 매개변수가 실제로 필요한 것보다 더 많은 상태를 나타낸다. 이 신경망을 활용하면 훈련된 데이터를 예측하기는 쉽지만 새로운 데이터에 대해 정확한 예측 가능 여부는 불투명하다.

연구팀은 연구를 통해 딥러닝 최적화 알고리즘 중 하나인 SAM(첨예도 인식 최소화)이 과모수화된 신경망을 학습할 때 여러 이점과 잠재력이 있음을 확인했다. 이 연구는 실제로 대규모 모델을 학습시킬 때 SAM(Sharpness-aware Minimization)이 유리함을 시사한다.

여기서, SAM은 신경망을 훈련시킬 때 모델의 손실 함수의 '날카로운 정도(sharpness)'를 고려해 최적화를 수행하는 알고리즘이다. ‘날카로운 정도'는 손실 함수 최소값이 얼마나 급격하게 변하는지를 나타낸다.

연구를 이끈 이남훈 교수는 영국 옥스포드 대에서 박사 학위를 받았으며, 지난 2021년 POSTECH에 부임했다. 이 교수는 기계 학습과 심층 학습, 최적화 분야 연구를 통해 대규모 인공지능 학습 분야에서 다양한 문제들을 해결하고 있다.

한편, 한국인공지능학회는 연구팀의 논문 '과도한 파라미터화가 날카로운 정도 인식 최소화에 미치는 영향: 경험적 및 이론적 분석(The Effects of Overparameterization on Sharpness-aware Minimization: An Empirical and Theoretical Analysis-다운)을 비롯해 올해 채택한 60여 편 논문 중 우수성과 독창성, 완성도 등을 평가해 최우수논문 2편과 우수논문 2편을 선정했다.