영국 브리스톨(Bristol)에 기반을 둔 인공지능(AI) 반도체 기업 그래프코어(Graphcore)가 세계 최초의 3D 웨이퍼-온-웨이퍼 (Wafer-on-Wafer; WoW) 반도체 ‘Bow(보우) IPU’를 3일(현지시간) 출시했다.

Bow IPU는 차세대 Bow POD AI 컴퓨터 시스템의 핵심으로 주요 AI 애플리케이션에 걸쳐 기존 프로세서 대비 40% 향상된 성능과 16% 뛰어난 전력 효율을 제공한다. 또한, 기업들은 이 모든 성능 개선을 기존과 동일한 가격에 소프트웨어 변경 없이 누릴 수 있다.

TSMC의 3D 패키징 기술 WoW가 최초로 적용된 AI 반도체 ‘Bow IPU’

플래그십 제품 Bow POD256과 초대형 Bow POD1024는 각각 89페타플롭스(PetaFLOPS)와 350 페타플롭스의 AI 연산을 지원한다. 그래프코어는 이 획기적인 시스템을 통해 AI 모델의 크기가 기하급수적으로 증가하는 추세에 대응하는 동시에 머신 인텔리전스 분야에서 새로운 혁신을 달성한다는 계획이다.

그래프코어 Bow 시스템의 첫 도입 사례는 미국 에너지부 산하 퍼시픽 노스웨스트 국립 연구소(Pacific Northwest National Laboratory; PNNL)로, 사이버보안 및 컴퓨터 화학 관련 애플리케이션에 Bow를 적용한다. 

기존의 기술로 다루기 어려운 과학 문제를 해결하기 위해 머신러닝과 GNN(그래프 신경망)의 한계에 도전하고 있는 PNNL은 그래프코어 시스템을 통해 학습과 추론에 걸리는 시간을 몇 일에서 단 몇 시간으로 단축시켰다.

클라우드 서비스 제공업체(CSP) 시라스케일(Cirrascale) 역시 자사 그래프클라우드(Graphcloud) IPU 베어메탈(bare metal) 서비스의 일부로 Bow POD 시스템을 제공한다. 이 외에도 유럽 CSP 지코어랩스(G-Core Labs)도 2022년 2분기 내 Bow IPU 클라우드 인스턴스를 출시할 계획이라고 밝혔다.

엔비디아 DGX A100 보다 5배 뛰어난 성능 제공

Bow POD는 자연어 처리(NLP)를 위한 GPT와 BERT부터 컴퓨터 비전을 위한 EfficentNet 및 ResNet, 그리고 GNN에 이르는 광범위한 AI 애플리케이션에서 가시적인 성과를 끌어낼 것으로 기대된다. Bow POD 시스템은 그래프코어의 기존 콜로서스(Colossus) Mk2 IPU-POD 시스템과 비교해 같은 피크 엔벨로프 전력 (PEP)에서 40% 향상된 성능을 제공한다.

특히, Bow POD16은 컴퓨터 비전 모델 EfficientNet 훈련에서 엔비디아 DGX A100 시스템 보다 5배 이상 뛰어난 성능을 보인 반면, 비용은 절반으로 총소유비용(TCO) 절감효과가 무려 10배에 이르는 것으로 나타났다. 

뿐만 아니라, Bow POD 시스템은 기존 제품들보다 확실히 개선된 전력 효율을 자랑한다. 다양한 애플리케이션에 걸쳐 테스트를 진행한 결과, Bow POD는 와트(Watt) 당 최대 16% 향상된 전력 효율을 보였다.

TSMC의 WoW 기술 최초로 적용

Bow IPU 프로세서는 TSMC의 3D 패키징 기술인 WoW가 적용된 최초의 AI 반도체로, 양사는 이번 Bow IPU 개발을 위해 긴밀히 협력했다. WoW는 실리콘 다이 간 더 높은 대역폭을 제공할 수 있는 잠재력을 가진 기술로, 그래프코어 콜로서스 아키텍처의 전력 효율을 최적화하고 웨이퍼 단에서 전력 공급을 개선하는데 사용되고 있기도 하다.

폴 드 부트(Paul de Bot) TSMC 유럽 지역 총괄은 “그래프코어는 TSMC의 혁신적인 SoIC-WoW 솔루션의 주요 고객으로 적극 협력해왔다”며, “그래프코어의 획기적인 병렬처리 아키텍처 설계는 TSMC의 기술과 이상적인 조화를 이룬다. 그래프코어는 TSMC의 WoW 기술을 통해 전력 공급 기능을 확대하여 성능을 크게 향상시켰다. 앞으로도 해당 기술의 지속적인 발전을 위해 그래프코어와 협력을 이어 나갈 수 있길 기대한다”고 설명했다.

세계 최초의 ‘초지능’ AI 컴퓨터 개발 로드맵 공개

그래프코어는 또한 뇌가 가진 매개변수를 능가하는 ‘초지능’ AI 컴퓨터를 개발 중이라고 발표했다. 이에 따라, 컴퓨터 과학의 선구자 잭 굿(Jack Good)의 이름을 딴 세계 최초의 초지능 AI 컴퓨터 ‘Good 컴퓨터’를 오는 2024년 출시한다는 계획이다.

새로운 Bow IPU를 비롯해, 그래프코어는 이미 Good 컴퓨터에서 구현할 차세대 IPU 기술을 개발 중에 있다. Good 컴퓨터는 10엑사플롭스(ExaFlops) 이상의 AI 부동소수점 연산을 지원하고, 초당 10페타바이트 이상의 대역폭으로 최대 4페타바이트의 메모리를 제공하게 된다. 

또한, 500조 개의 매개변수를 가진 거대 AI 모델도 구동 가능할 것으로, 가격은 최대 1억 2천만 달러에 이를 것으로 예상된다.

그래프코어는 향후 순차적으로 Good 컴퓨터에 대한 추가 업데이트를 제공할 예정이며, 이 초지능 머신이 구현될 수 있는 차세대 AI 혁신기술을 개발하는데 도움을 줄 수 있는 다른 기업과도 적극적으로 협력한다는 방침이다.

현재 보우 POD 시스템은 이미 전세계적으로 출하가 시작됐으며, 이용 가능하다.