초거대 AI 개발 플랫폼 '페리플로우(PeriFlow)'를 제공하는 서울대학교 컴퓨터공학부 전병곤 교수의 교원창업 기업 ‘프렌들리에이아이(FriendliAI)가 GPT-3와 같은 생성 모델의 효율을 획기적으로 끌어올리는 ‘오르카(Orca)’ 시스템을 발표했다.

‘Orca’는 초거대 AI 모델의 효율적인 추론을 가능하게 하는 서빙 시스템(serving system)이다. 기존 서빙 시스템에서 일어나던 비효율적인 지연을 없애기 위해 ‘반복 단위 스케줄링’과 ‘선택적 배치 처리’라는 핵심 기술을 적용했다.

기존 시스템이 가장 목마를 오래 타고 싶은 사람이 만족할 때까지 아무도 회전목마에서 내리거나 올라탈 수 없도록 하는 방식이었다면, Orca는 매번 회전목마가 돌 때마다 사람들이 내리거나 올라탈 수 있게 하여 더 효율적이고 만족도 높은 운행이 가능하도록 한다는 것이다.

이를 통해 기존에 사용되던 시스템보다 수십 배 이상 빠른 속도로 초거대 언어 모델의 생성 작업을 수행할 수 있다. 특히 초거대 언어 모델을 사용하기 위한 비용이 수십 배나 줄어들어 이용자들의 접근성도 향상시킬 수 있을 것으로 기대된다. 프렌들리에이아이는 Orca를 사용하는 초거대 AI 서비스를 제공하고 있다.

이 연구 결과는 현지시간 11일부터 13일까지 미국 캘리포니아주 칼즈배드(Carlsbad)에서 개최된 컴퓨터시스템 분야 최상위 학회인 OSDI 2022(Operating Systems Design and Implementation)학회에서 ‘오르카: 트랜스포머 기반 생성 모델 위한 분산 서빙 시스템(Orca: A Distributed Serving System for Transformer-Based Generative Models-다운)’이라는 제목으로 발표되었다.

프렌들리에이아이는 누구나 쉽고 빠르게 대규모 AI 개발이 가능하도록 돕는 플랫폼 ‘페리플로우’를 제공하는 스타트업이다. 페리플로우는 대규모 AI 모델의 학습부터 추론을 수행하기까지 전 과정을 자동화하는 클라우드 기반 플랫폼이다. 

프렌들리에이아이에서는 페리플로우를 사용해 130억 개의 매개변수를 활용하는 대규모 언어 모델 ‘GPT-FAI 13B’를 직접 학습해서 공개한 바 있다.

전병곤 대표는 “OpenAI GPT-3 등의 초거대 모델을 잘 활용하기 위해선 데이터 수집 및 모델 학습뿐만 아니라 모델 사용 시 시스템의 효율을 최대한 끌어올리는 것이 중요하다” 라며 “이번 연구가 초거대 모델이 다양한 제품에 실제로 널리 활용될 수 있는 계기가 되기를 기대한다”고 전했다.

한편, 프렌들리에이아이는 인공지능(AI) 분야 국내 최고 전문가 중 한명 인 서울대 컴퓨터공학부 전병곤 교수가 지난해 1월, 설립한 교원창업 기업으로 전 대표는 2000년대 후반부터 인텔, 야후, 마이크로소프트, 페이스북, 서울대학교에서 대규모 머신러닝 시스템 연구를 수행했다.

또한, 뛰어난 연구 실적으로 국내 최초로 미국 컴퓨터 협회 SIGOPS 명예의 전당에 오르고, 유럽 시스템 협회(EuroSys)로부터 과거 10년간 가장 영향력 있는 논문상을 수상하기도 했다.