엔비디아가 'AI 엔터프라이즈 5.0(NVIDIA AI Enterprise 5.0)'을 18일(현지시간) 출시했다. 여기에는 엔비디아 마이크로서비스(microservices), 다운로드 가능한 소프트웨어 컨테이너, 생성형 AI 애플리케이션 배포를 위한 가속 컴퓨팅이 포함된다.
주요 클라우드 서비스 제공업체, 시스템 빌더, 소프트웨어 공급업체에서 사용할 수 있으며, 우버(Uber)와 같은 고객사에서 이미 사용 중이다.
우버의 플랫폼 엔지니어링 부사장 알버트 그린버그(Albert Greenberg)는 "엔비디아 AI 엔터프라이즈 추론 소프트웨어의 도입은 사용자들이 기대하는 높은 성능을 충족하는 데 있어 매우 중요하다. 우버는 효율성과 우수성에 대한 업계 표준을 제시하는 고객 서비스 플랫폼 제공을 위해 최첨단 인공지능 도입과 사용에 앞장서고 있다. 우리는 이 점에 자부심을 느낀다"고 말했다.
앱 개발 속도를 높이는 마이크로서비스
개발자들은 글로벌 규모의 최신 엔터프라이즈 애플리케이션을 효율적으로 구축하기 위한 방안으로 마이크로서비스를 채택하고 있다. 브라우저에서 실행 가능한 마이크로서비스는 클라우드 API 또는 애플리케이션 프로그래밍 인터페이스를 사용해 시스템에서 실행하고 전 세계 사용자에게 서비스를 제공할 수 있는 앱을 구성한다.
엔비디아 AI 엔터프라이즈 5.0에는 생산에 인공지능 모델을 배포하기 위한 엔비디아 NIM과 엔비디아 cuOpt를 포함하는 마이크로서비스 모음인 엔비디아 쿠다-X(CUDA-X)등 광범위한 마이크로서비스가 포함된다.
NIM 마이크로서비스는 엔비디아와 파트너 에코시스템에서 제공하는 수십 개의 인기 있는 AI 모델에 대한 추론을 최적화한다.
트리톤(Triton) 추론 서버, 텐서RT(TensorRT), 텐서RT-LLM과 같은 엔비디아 추론 소프트웨어로 구동되는 NIM은 배포 시간을 몇 주에서 몇 분으로 단축한다. 또한 업계 표준에 기반한 보안과 관리 용이성, 기업용 관리 도구와의 호환성을 제공한다.
엔비디아 cuOpt는 경로 최적화 분야에서 세계 기록을 세운 GPU 가속 AI 마이크로서비스로, 비용, 시간, 탄소 발자국을 줄이는 동적 의사 결정을 지원할 수 있다. 이는 산업 현장에서 AI를 프로덕션에 적용하는 데 도움을 주는 쿠다-X 마이크로서비스 중 하나다.
더 많은 기능이 개발 중에 있다. 예를 들어, 엔비디아 RAG LLM 오퍼레이터를 사용하면 검색 증강 생성(retrieval-augmented generation)을 사용하는 코파일럿과 기타 생성형 AI 애플리케이션을 코드 재작성 없이 파일럿에서 생산으로 이동하는 것이 가능하다. 이는 현재 얼리 액세스 중이며 여기에서 자세한 설명을 확인할 수 있다.
현재 크라우드스트라이크(CrowdStrike), SAP, 서비스나우(ServiceNow) 등 선도적인 애플리케이션과 사이버 보안 플랫폼 제공업체에서 엔비디아 마이크로서비스를 채택하고 있다.
더 많은 도구와 기능
버전 5.0의 다른 세 가지 업데이트도 주목할 만하다. 이 플랫폼에는 생성형 AI 프로젝트를 빠르게 다운로드, 최적화, 실행할 수 있는 개발자 툴킷인 엔비디아 AI 워크벤치(AI Workbench)가 포함된다. 이 소프트웨어는 이제 정식 출시됐으며 엔비디아 AI 엔터프라이즈 라이선스를 통해 지원된다.
버전 5.0은 대부분의 포춘 500(Fortune 500) 기업이 프라이빗 및 퍼블릭 클라우드 서비스를 생성하는 데 사용하는 환경인 레드햇 오픈스택 플랫폼(Red Hat OpenStack Platform)을 지원한다. 레드햇에서 유지, 관리하는 이 플랫폼은 개발자에게 가상 컴퓨팅 환경 구축을 위한 친숙한 옵션을 제공한다. IBM 컨설팅(IBM Consulting)은 고객이 이러한 새로운 기능을 배포할 수 있도록 지원한다.
더불어 다양한 최신 엔비디아 GPU, 네트워킹 하드웨어와 가상화 소프트웨어를 포괄하도록 지원을 확대했다.
어디서나 실행 가능
개선된 엔비디아 AI 플랫폼에 대한 액세스가 그 어느 때보다 쉬워졌다. NIM, 쿠다-X 마이크로서비스와 5.0의 모든 기능은 곧 아마존웹서비스(AWS), 구글 클라우드(Google Cloud), 마이크로소프트 애저(Microsoft Azure), 오라클 클라우드(Oracle Cloud) 마켓플레이스에서 사용할 수 있게 될 예정이다.
자체 데이터센터에서 코드 실행하기를 선호하는 고객을 위해 VM웨어 프라이빗 AI 파운데이션 위드 엔비디아(VMware Private AI Foundation with NVIDIA)에서 소프트웨어를 지원하므로 브로드컴(Broadcom) 고객의 가상화된 데이터센터에 배포할 수 있다.
기업들은 레드햇 오픈시프트(OpenShift)에서 엔비디아 AI 엔터프라이즈를 실행할 수 있는 옵션을 통해 베어메탈 또는 가상화 환경에 배포할 수 있다. 또한 캐노니컬(Canonical)의 참드 쿠버네티스(Charmed Kubernetes)와 우분투(Ubuntu)에서도 지원된다.
또한 이 AI 플랫폼은 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE)의 HPE 프로라이언트(ProLiant) 서버에서 사용할 수 있는 소프트웨어의 일부가 된다. 생성형 AI를 위한 HPE의 엔터프라이즈 컴퓨팅 솔루션은 엔비디아 AI 엔터프라이즈를 사용해 추론과 모델 미세 조정을 처리한다.
머신러닝 운영 관리를 위한 소프트웨어를 제공하는 3개의 주요 공급업체인 애니스케일(Anyscale), 데이터이쿠(Dataiku), 데이터로봇(DataRobot)도 자사 플랫폼에서 NIM을 지원할 예정이다. 이들 업체는 마이크로소프트 애저 머신 러닝(Azure Machine Learning), 데이터루프 AI(Dataloop AI), 도미노 데이터랩(Domino Data Lab), 웨이츠 앤드 바이어시스(Weights & Biases) 등 수백 개의 MLOps 파트너로 구성된 엔비디아 에코시스템에 합류한다.
엔비디아 AI 엔터프라이즈 5.0 사용자는 액세스 방식에 관계없이 안전하게 생산에 바로 사용할 수 있으며 성능에 최적화된 소프트웨어의 이점을 누릴 수 있다. 더불어 데이터센터, 클라우드, 워크스테이션 또는 네트워크 엣지의 애플리케이션을 위해 유연하게 배포할 수 있다.
엔비디아 AI 엔터프라이즈는 시스코(Cisco), 델 테크놀로지스(Dell Technologies), HP, HPE, 레노버(Lenovo), 슈퍼마이크로(Supermicro)를 비롯한 주요 시스템 공급업체를 통해 제공된다.