한국지능정보사회진흥원(원장 황종성, 이하 NIA)과 )은 지난 4일 NIA 서울사무소에서 국내 초거대 언어 모델(LLM) 생태계 활성화를 위해 상호협력을 강화하고자 업무협약(MoU)을 체결했다.

업스테이지(upstage)는 인공지능(AI) 글로벌 커뮤니티에서 AI 석학 성킴(Sung KIM)으로 더 알려진 홍콩과학기술대학(Hong Kong University Of Science and Technology) 컴퓨터 공학부 김성훈 교수(전 네이버 클로바 AI 헤드)가 2020년 10월 기업의 AI 트랜스포메이션을 가속시킨다는 목표로 AI 유니콘을 향한 첫발을 내디뎠다.

특히, 지난달 1일 자사가 개발한 생성 AI 모델이 세계 최대 머신러닝 플랫폼 허깅페이스의 ‘오픈 LLM(Large Language Model) 리더보드’ 평가 점수에서 72.3점을 획득, 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 8월 1일 부로 최종 1위를 차지하는 쾌거를 이뤄냈다.

허깅페이스 오픈 LLM 리더보드는 오픈소스 생성 AI 모델의 바로미터로 꼽힌다. 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력 및 환각현상(할루시네이션) 방지 등 4가지 지표의 평균 점수로 경쟁, 공신력 있는 순위가 매겨진다.

이번 협약을 통해 오는 9월 말 오픈 예정인 업스테이지의 한국형 오픈 LLM 모델 평가 시스템인 ‘Open-Ko LLM 리더보드’에 NIA의 ‘AI Hub 데이터’를 활용하는 것을 시작으로, 다양한 분야에서 국내 LLM 생태계 활성화에 함께 노력할 예정이다.

또한, NIA는 국내 LLM 생태계 활성화를 위해 업스테이지에서 발족한 1T클럽에 참여하고 국내 기업들의 LLM 기술 및 서비스 개발을 적극적으로 지원할 예정이다. ‘1T 클럽’은 ‘1 Trillion 토큰 클럽’을 줄인 것으로 텍스트, 책, 기사, 보고서, 논문 등 다양한 형태의 1억 단어 이상의 한국어 데이터를 기여하는 파트너사들로 구성됐다.

NIA는 그간 8.9억 개의 한국어 토큰을 ‘AI Hub’를 통해 개방 중이며, ’27년까지 산업계의 수요를 반영하여 LLM용 데이터 250종 이상을 추가로 구축하여 민간에 제공할 계획이다.

업스테이지 김성훈 대표는 "NIA와의 협약을 통해 한국어 데이터 부족 문제를 해결하고, 국내외 시장에서 경쟁력 있는 인공지능 플랫폼을 제공할 수 있게 됐다"며 "NIA와 함께 한국형 Open LLM 리더보드를 통해 국내 LLM들의 성능과 혁신성을 증명하고, 인공지능의 발전과 보급에 노력하겠다"고 말했다.

NIA 황종성 원장은 “LLM 분야에서 세계적인 기술력을 보유한 AI 스타트업인 업스테이지와의 업무협약을 기점으로, ‘AI Hub 데이터’가 국내 기업들의 LLM 역량강화에 이바지할 수 있도록 더욱 힘쓰겠다.”고 밝혔다.

한편, ‘AI Hub 데이터’는 ‘코난테크놀로지의 Konan LLM’, ‘엔씨소프트의 VARCO LLM’ 등 다양한 국내 AI 전문기업들에서 이미 자체 LLM 모델 개발에 활용되고 있다.