인공지능(AI) 자연어 처리(NLP) 모델이 요동을 치고 있다. 국내외 AI 커뮤니티를 넘어 단연, 최고의 이슈이다.

중국 베이징 인공지능 아카데미(Beijing Academy of Artificial Intelligence. 이하, BAAI)가 주도하는 연구팀이 지난 1일 세계 최초로 1조 7500억 개의 매개변수의 AI 사전학습모델인 '우다오2.0 (悟道. WuDao 2.0)'을 발표했다.

우다오 2.0은 1조 7500억 개의 매개변수를 사용하고 있는데, 이것은 지난해 6월 오픈AI(OpenAI)가 발표한 GPT-3(Generative Pre-Training 3)의 매개변수 1,750억개의 10배이며, 구글 스위치 트랜스포머보다 1500억 개 더 큰 매개변수로 이는 중국이 세계무대에서 AI기술 경쟁력을 높이고 자하는 가운데 AI 개발을 뒷받침하는 전략적 인프라 우위를 내세운 것으로 보인다.

우다오 2.0은 대화 음성을 시뮬레이션 하고, 시를 쓰고, 그림을 이해하고, 레시피를 생성하는 사전 훈련 된 AI 모델로 마치, 데이터를 연료로 사용하는 발전소와 같으며 중국어와 영어로 AI 애플리케이션을 지원하는 다양한 인텔리전스를 생성한다.

총 4.9테라바이트(TB)의 텍스트 및 이미지 데이터로 학습되고 있으며, 이 학습 데이터에는 중국어와 영어 텍스트를 각각 1.2TB씩 포함하고 있다. 특히, GPT-3가 할 수 없는 다중 모드로 텍스트와 이미지에서 학습하고 두 가지 유형의 데이터를 모두 포함하는 작업을 처리 할 수 ​​있다.

예를 들어, 이미지 생성이나 얼굴 인식 등의 특정 작업에 특화된 심층 생성 모델과는 달리 에세이나 시를 쓰거나 정지 이미지에 근거해 보완하는 문장을 생성할 수 있고, 문장의 설명에 따라 이미지를 만들어낼 수도 있다.

한편, 이 프로젝트는 BAAI가 주도했으며 여러 조직의 100 명 이상의 과학자와 함께 개발에 참여했다.

2018 년 11월 베이징에서 설립 된 BAAI(베이징 인공지능 아카데미)는 학계와 산업 간의 협력을 촉진하고 최고의 인재를 육성하고 이에 대한 장기적인 연구에 초점을 맞추는 비영리 연구기관이다. AI 기술의 기초. 협업 허브로서 BAAI의 창립 멤버에는 주요 AI 기업, 중국 대학 및 연구 기관이 포함된다.

또한 BAAI는 베이징 정부의 자금 지원을 받아 2018 년과 2019 년에만 3억 4천만 위안 (약 591억원)을 아카데미에 투입하고 계속 지원하고 있다.

BAAI는 장홍장(HongJiang ZHANG)을 회장으로 북경대학교(Peking University), 청화대학교(Tsinghua University), 중국과학원(Chinese Academy of Sciences), 바이두(Baidu), 샤오미(Xiaomi), 바이트댄스(ByteDance), 중관촌 기술 단지(Zhongguancun Technology Park), 메그비(Megvii), 메이투안(Meituan) 등의 AI 전문가, 교수 및 임원진으로 이사회를 구성하고 있다.

AI 학술 자문위원으로는 청화대학교 장보(Bo ZHANG) 교수, 북경대학교 Wen GAO 교수, 코넬대학교 존 홉크로프트(John E. Hopcroft) 교수, UC버클리 마이클 조던(Michael Jorda) 교수, 프린스턴대학교 카이 리(Kai LI), UCLA, 송춘주(Songchun ZHU) 교수, 맨체스터대학교 스티브 퍼버(Steve Furber) 교수 등이 위촉돼 있다.