192개의 칩을 통해 미니 냉장고 크기의 단일 CS-2에서 120조 매개변수와 거의 선형에 가까운 확장성을 갖춘 최대 1억 6300만 코어의 클러스터로 한 번에 더 많은 데이터를 저장할 수 있으며, 모델에서 소비되는 전력을 크게 줄일 수

세계 최초 인간 뇌 규모의 인공지능 거대 칩(사진:세레브라스)
세계 최초 인간 뇌 규모의 인공지능 거대 칩(사진:세레브라스)

인간의 뇌에는 약 100조 개의 시냅스가 있다. 가장 큰 인공지능(AI) 하드웨어 클러스터는 인간 두뇌 규모의 1% 정도, 즉 매개변수라고 하는 약 1조 개의 시냅스에 해당한다.

세계에서 가장 큰 컴퓨터 칩을 만드는 실리콘 밸리의 AI 반도체 스타트업 세레브라스 시스템즈(Cerebras Systems)가 24일(현지시간) 세계 최초 인간 뇌 규모의 인공지능 거대 칩을 발표했다.

세레브라스 시스템즈는 AI용으로 특별히 설계된 칩을 제조하고 현재, 시장 리더인 엔비디아 및 알파벳(Alphabet)에 도전하는 것을 목표로 하는 수많은 신생 기업 중 하나로 현재, 약 4억 7500만달러(약 5548억원)의 벤처 캐피털을 조성했으며, 글로벌 제약사 글락소스미스클라인(GSK Glaxo Smith Kline) 및 아스트라제네카(AstraZeneca Plc)가 AI 약물 발견을 가속화하기 세레브라스의 AI 칩을 적용하고 있다.

전통적으로 수백 또는 수천 개의 컴퓨터 칩은 웨이퍼라고 하는 12인치(30cm) 실리콘 디스크에서 제조되며 나중에 개별 칩으로 슬라이싱 된다. 반면, 이 거대 AI 칩은 전체 웨이퍼를 사용하며, 192개의 칩을 통해 미니 냉장고 크기의 단일 CS-2에서 120조 매개변수와 거의 선형에 가까운 확장성을 갖춘 최대 1억 6300만 코어의 클러스터로 한 번에 더 많은 데이터를 저장할 수 있으며, 모델에서 소비되는 전력을 크게 줄일 수 있다.

칩 크기 비교
칩 크기 비교

또한 이 칩에는 새로운 소프트웨어 실행 아키텍처인 Cerebras Weight Streaming, ▷메모리 확장 기술인 Cerebras MemoryX, ▷고성능 상호 연결 직물 기술인 Cerebras SwarmX, ▷동적 희소성 수집(Sparsity Harvesting) 기술인 Selectable Sparsity의 네 가지 혁신 기술이 포함되어 있다.

먼저, ▷'Cerebra Weight Streaming' 기술은 모델 매개변수를 칩에 저장하면서 동일한 교육 및 추론 성능을 제공할 수 있다. 이 새로운 실행 모델은 컴퓨팅 및 매개변수 스토리지를 세분화하여 연구자들이 유연하게 크기를 확장하고 속도를 높일 수 있도록 지원하며, 소규모 프로세서의 대규모 클러스터에 대한 대기 시간 및 메모리 대역폭 문제를 해결했다.

이를 통해 워크로드 분산 모델을 획기적으로 간소화하고 소프트웨어 변경 없이 1에서 최대 192개의 CS-2로 확장할 수 있다.

 CS-2 개요
CS-2 개요

▷'세브라스 메모리X'는 메모리 확장 기술기술로 메모리X는 최대 2.4페타바이트(PB)의 고성능 메모리를 제공하는 2세대 세레브라스 웨이퍼스케일 엔진(WSE-2)을 제공한다. 이 메모리는 모두 온칩처럼 작동하며, 메모리X를 통해 CS-2는 최대 120조 개의 매개변수가 있는 모델을 지원한다.

▷‘세레브라스 스웜X’는고성능, AI에 최적화된 통신 패브릭으로, 세레브라 스웜 온칩 패브릭을 오프칩으로 확장한다. 최대 192개의 CS-2에 걸쳐 최대 1억 6,300만개의 AI 최적화 코어를 연결하여 단일 신경망을 훈련할 수 있도록 설계되었다.

▷‘선택 가능한 희소성(Selectable Sparsity)’을 통해 사용자는 모델의 가중치 희소성(Weight Sparsity) 레벨을 선택할 수 있으며 FLOP 및 솔루션 출시 시간을 직접 줄일 수 있으며, CS-2는 작업을 가속화하고 비정형 및 동적 가중치 희소성을 포함하여 사용 가능한 모든 유형의 희소성을 통해 더 짧은 시간 내에 답을 도출할 수 있다.

세레브라스의 CEO이자 공동 설립자인 앤드류 펠드먼(Andrew Feldman)은 “GPT-3과 같은 대규모 언어 AI 모델은 자연어처리(NLP) 환경을 변화시켜 이전에는 상상할 수 없었던 것을 가능하게 했습니다"라며, "업계는 1조 개의 매개변수를 넘어서고 있으며 우리는 그 경계를 1000조 개의 매개변수로 사람의 뇌 규모의 신경망을 가능하게 하여 100배 확장한 것입니다"라고 말했다.

이어 "우리는 뇌 크기의 모델을 통해 인공지능 연구와 통찰력의 광대한 새로운 길을 열 수 있을 것입니다”라고 덧붙였다.

저작권자 © 인공지능신문 무단전재 및 재배포 금지