업스테이지(대표 김성훈)의 세계 최고 수준의 대형언어모델(LLM) '솔라(SOLAR)' 개발 논문이 세계 최고 권위의 자연어 처리(NLP) 학회인 ‘NAACL 2024 (북미전산언어학회: Annual Conference of the North American Chapter of the Association for Computational Linguistics)’에 채택됐다.

NAACL은 ACL(Association for Computational Linguistics), EMNLP(Empirical Methods in Natural Language Processing)와 함께 세계 3대 NLP 학회로 꼽힌다. 매년 구글, 메타, 아마존 등 글로벌 빅테크 기업과 수천여 명의 NLP 연구자들이 참여해 최신 연구성과를 공유하며, 올해 학회는 오는 6월 16일부터 21일까지 멕시코시티에서 열린다.

이번 NAACL 2024에 채택된 업스테이지 논문은 김다현 연구원, 박찬준 수석 연구원 등의 주도로 김성훈 대표, 이활석 최고기술책임자(CTO) 등 주요 경영진까지 모두 참여한 업스테이지 기술력의 집약체다. 

해당 논문은 최근 대형언어모델의 크기가 커짐에 따라 기존의 복잡한 모델 확장 방법들과 달리 간단하면서도 효과적인 ‘깊이 확장 스케일링(DUS: Depth-Up Scaling)’이라는 기법으로 LLM의 깊이 차원을 확장하여 모델 규모를 늘리는 새로운 방법론을 제시했다.

이는 텍스트 입력에서 처리, 출력까지 다양한 층위의 신경망 레이어(layer)로 구성되는데, 이러한 레이어를 조합해 모델의 성능을 끌어올리는 방식이다. 구체적으로 업스테이지는 ‘라마(Llama) 2’ 아키텍처인 ‘미스트랄(Mistral) 7B’를 기반으로 DUS 기법을 적용해 모델의 깊이 차원을 확장, 107억 매개변수로 구성된 ‘솔라 10.7B’ 모델을 개발했다.

업스테이지 솔라는 작년 12월 알리바바 ‘큐원(Qwen)’의 6분의 1도 안되는 크기로 미스트랄AI의 ‘믹스트랄(Mixtral 8x7B)’ 등 빅테크의 대형 모델을 제치고 머신러닝 플랫폼 허깅페이스의 ‘오픈 LLM 리더보드’에서 세계 1위를 차지, DUS 기법의 우수성을 직접 입증해 보였다.

이로써 업스테이지는 자체 LLM을 개발한 기술력을 세계적 권위의 학회에서 과시하는 쾌거를 거뒀다. 특히, 솔라의 핵심인 사전 훈련된 가중치를 기반으로 추가 학습하여 모델 사이즈는 작지만 강력한 모델을 만드는 DUS 방법론을 공식 인정받았음을 의미한다. 최근 중국 인공지능 유니콘 기업 01.AI에서 DUS를 활용해 자체 언어모델 ‘Yi’를 개발하는 등 글로벌 적용 사례들도 생겨나고 있다.

지금까지 업스테이지는 국내외 AI 관련 논문 110여 편을 발표하고, 구글 스콜라 랭킹 기준 톱 7 NLP 분야 컨퍼런스에서 모두 논문 채택을 달성하는 등 연구 저력을 이어가고 있다. 

구글 스콜라 랭킹은 학술정보 전문 검색 서비스인 구글 스콜라가 논문의 인용 횟수에 따라 평가, 학회의 영향력을 측정하는 권위 있는 지표다. NLP 분야 톱 7 컨퍼런스로는 ACL, EMNLP, NAACL, TACL, COLING, LREC, WMT가 꼽히고, 이중 저널로 구분되는 TACL을 제외한 모든 컨퍼런스에서 논문 성과를 이룬 것이다.

업스테이지 김성훈 대표는 “세계 최고 수준의 언어모델 솔라를 개발한 업스테이지의 기술력을 글로벌 탑티어 학회에서 인정받게 되어 기쁘다”라며 “앞으로 업스테이지는 세계 최고 AI 기술력을 토대로 국내는 물론 해외 시장을 주도할 수 있는 강력한 LLM 개발에 힘쓸 것”이라고 밝혔다.

한편, 업스테이지의 이번 논문은 NAACL 2024에서 '솔라 10.7B: 간단하면서도 효과적인 깊이 업스케일링으로 대형언어모델 확장하기(SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling-다운)'이란 제목으로 발표될 예정이다.