한국지능정보사회진흥원(원장 황종성, 이하 NIA)과 업스테이지(대표 김성훈)은 지난 11일 NIA 서울사무소에서 ‘11월, 이달의 LLM’ 시상식을 개최하고 ‘Open Ko-LLM 리더보드(이하, 리더보드)’의 모델 2개를 선정했다고 12일 밝혔다.

업스테이지와 NIA가 공동으로 운영하는 리더보드는 허깅페이스의 LLM 리더보드(영어 버전)를 벤치마크하여 새로 구축한 한국어 버전으로, 지난 9월 27일 오픈하였으며 운영 3개월만에 600개 이상의 LLM을 등록하였으며, AI 학계와 산업계에서 많은 관심을 받고 한국어 LLM 성능을 측정하는 주요한 벤치마크로 자리매김하고 있다.

리더보드는 LLM의 성능을 평가하고 순위를 매기는 플랫폼. 기존 허깅페이스의 지표(추론능력, 상식능력, 언어이해력, 환각방지능력)에 한국어 상식생성능력을 추가하여 평가하며, 9월 27일 시작(오픈)으로 10월 1주(49.55점, 100개 등록), 11월 1주(51.03점, 300개 등록), 12월 1주에는 52.69점, 600개 등록으로 관련 기업 및 커뮤니티들의 뜨거운 열기 속에 각축을 벌여, 일 단위로 순위 등락을 거듭하며 이목을 집중시키고 있다.

이번 ‘이달의 LLM’은 모델 파라미터 크기(7B 이하, 7B 초과)별 두 부문으로 진행했으며, 7B 이하 부문은 50.47점을 기록한 ‘미니레코드’가, 7B 초과 부문은 52.69점을 기록한 ‘미디어그룹사람과숲-마커AI 연구컨소시엄’이 차지했다.

특히, ‘미디어그룹사람과숲-마커AI 연구컨소시엄’의 LLM은 부문과 상관없이 리더보드 전체 1위로 가장 높은 점수를 기록했다.

선정 기업 외에도롯데정보통신(51.28점), 42maru(50.78점, KT(48.91점), 셀렉트스타(48.85점), 마인즈앤컴퍼니(48.17점) 등 다양한 AI 기업이 리더보드에 활발히 참여하여 공정한 경쟁을 통해 모델 성능을 평가하고 지속적으로 개선해 나가는 등 한국어 생성형 AI 생태계 활성화를 위한 민관 협력 모델로도 주목 받고 있다.

시상식에 참여한 ‘미니레코드’와 ‘미디어그룹사람과숲’은 “공공의 지원 덕분에 자사의 LLM 성능과 기술력을 대외적으로 입증할 수 있는 기회가 주어져서 기쁘고, 감사하다.”며 소감을 밝혔다.

또한, NIA와 업스테이지는 신규 구축한 LLM용 데이터(신뢰성 벤치마크 데이터셋 등)를 기반으로 평가데이터를 추가하는 등 리더보드 활성화를 위해 지속적으로 협력해나갈 계획이다.

NIA 황종성 원장은 “Open Ko-LLM 리더보드 신설이 LLM 연구개발 촉진의 도화선이 된 것 같아 매우 뜻깊으며, 앞으로도 국내 기업의 LLM 역량 강화를 위해 공공에서의 지원을 아끼지 않겠다.”고 밝혔다.