바이두, 텐센트, 아이플라이텍, 징둥닷컴(JD.com) 등 중국 기업들, 하이퍼스케일 데이터센터 가속화 위해 엔비디아 튜링 T4 클라우드 GPU 채택

엔비디아 T4 GPU(사진:본지DB)
엔비디아 T4 GPU(사진:본지DB)

중국 최대 인터넷 기업 바이두(Baidu), 텐센트(Tencent), 징둥닷컴(JD.com), 아이플라이텍(iFLYTEK) 등은 엔비디아 튜링(Turing) T4 클라우드 GPU(이하 T4)를 기반으로 한 제품 및 서비스 출시함에 따라, 자체 하이퍼스케일 데이터센터를 확장 및 가속화하기 위해 T4를 채택하고 있다. 또한, 인스퍼(Inspur), 레노버(Lenovo), 화웨이(Huawei), 수곤(Sugon), 인스퍼 파워 시스템(IPS), H3C 등을 포함한 중국 유수의 컴퓨터 제조업체들은 T4를 탑재한 새로운 서버를 발표했다.

엔비디아는 최근 개최된 HPC 컨퍼런스인 슈퍼컴퓨팅 2018(SC18)에서 T4가 출시 두 달 만에 전세계 선도적 컴퓨터 제조업체가 제공하는 57가지 서버 설계에 적용됐다고 발표한 바 있다. 또한, 구글 클라우드(Google Cloud)도 구글 클라우드 플랫폼 고객을 위해 T4를 채택했다고 밝혔다. 이외에도, T4를 채택한 업체로는 Dell EMC, HPE, IBM, 레노버, 슈퍼마이크로(Supermicro) 등이 있다.

새로운 엔비디아 튜링 아키텍처에 기반한 T4 GPU는 다중 정밀 튜링 텐서(Tensor) 코어와 새로운 RT 코어를 특징으로 하며, 가속화된 컨테이너형 소프트웨어 스택과 결합될 경우 전례 없는 성능을 제공한다. 또 T4는 의료, 금융 및 소매업을 포함한 광범위한 분야에 걸쳐 엔터프라이즈 및 하이퍼스케일을 위한 고성능 컴퓨팅(HPC) 시장의 핵심인 AI 추론과 훈련을 가속화하는데 사용되고 있다.

서버에 탑재된 엔비디아 T4 GPU(사진:엔비디아)
서버에 탑재된 엔비디아 T4 GPU(사진:엔비디아)

특히 퍼블릭 및 엔터프라이즈 클라우드 환경에서 요구되는 고유한 확장성을 충족시키도록 설계된 T4는 처리량(throughput), 사용률, 사용자 동시성(concurrency)을 극대화시켜 고객들이 사용자 및 데이터 폭증에 효과적으로 대응하도록 지원한다. 또한 70W(와트) 소형 폼팩터로 표준 서버나 오픈 컴퓨트 프로젝트(Open Compute Project) 하이퍼스케일 서버 설계에 적합한 유연성을 제공한다. 서버 설계는 단일 노드에서 1개부터 20개의 GPU를 지원한다.

T4가 가진 다중정밀 기능은 네 가지 정밀 수준에서 다양한 AI 워크로드를 위한 획기적인 AI 성능을 제공한다. 이를 통해, FP32에서 8.1 테라플롭(teraflop), FP16에서 65 테라플롭, INT8에서 130 TOPS(초당 테라 연산), INT4에서 260 TOPS의 성능을 구현한다. AI 추론 워크로드의 경우 T4 GPU 2개를 탑재한 서버로 CPU 전용 서버 54개를 대체할 수 있다. 또한, AI 훈련을 위해서는 T4 GPU 2개를 탑재한 서버로 이중 소켓 CPU 전용 서버 9개를 대체할 수 있다.

한편 T4의 전례 없는 성능을 고려할 때 전세계 기업들이 이를 빠른 속도로 채택하는 것은 지금까지 퍼블릭 및 프라이빗 클라우드가 대규모의 컴퓨팅 집약적인 워크로드를 비용 효율적으로 처리하는데 요구되는 성능과 에너지 효율성을 제공하는 GPU는 볼 수 없었다. 규모가 관건인 시장에서 T4의 채택은 더욱 가속화될 것으로 예상된다.

 

저작권자 © 인공지능신문 무단전재 및 재배포 금지