글로벌 오픈소스 솔루션 선도기업 레드햇(Red Hat)과 일본 최대 통신 기업 NTT가 차세대 통신 표준 협의체 아이온(IOWN, Innovative Optical and Wireless Network) 이니셔티브의 일환으로 엔비디아(NVIDIA) 및 후지쯔(Fujitsu)와 협력하여 엣지(edge)에서 실시간 생성형 AI 데이터 분석을 향상하고 확장할 수 있는 솔루션을 공동 개발했다.

이 솔루션은 아이온 글로벌 포럼(IOWN Global Forum)에서 개발한 기술을 사용해 쿠버네티스(Kubernetes) 기반 업계 선도적 하이브리드 클라우드 애플리케이션 플랫폼인 레드햇 오픈시프트(Red Hat OpenShift) 상에 구축됐으며, 실제 실행 가능성 및 사용 사례에 대해 ‘아이온 글로벌 포럼의 개념 증명(IOWN Global Forum's Proof of Concept(PoC))’을 획득했다.

최근 인공지능 센싱 기술과 네트워킹 혁신이 가속화되고 특히 데이터 소스가 빠르게 확장됨에 따라, 네트워크 엣지에서 데이터를 평가하고 분류하는데 있어 AI 분석 활용의 중요성이 더욱 커지고 있다. 

그러나 AI 분석을 대규모로 사용하는 것은 속도가 느리고 복잡할 수 있으며, 새로운 AI 모델과 추가적인 하드웨어로 인한 관리 비용과 소프트웨어 유지 비용이 증가할 수 있다. 더 많은 원격지에서 엣지 컴퓨팅이 가능하게 되면 AI 분석을 센서에 더 가깝게 배치함으로써 지연 시간을 줄이고 대역폭을 늘릴 수 있게 된다.

레드햇과 NTT의 이번 솔루션은 아이온 APN(All-Photonics Network, 올 포토닉스 네트워크)과 아이온 DCI(Data-Centric Infrastructure, 데이터 중심 인프라) 내의 데이터 파이프라인 가속 기술로 구성돼 있다. NTT의 AI용 가속 데이터 파이프라인은 APN을 통한 RDMA(Remote Direct Memory Access, 원격 직접 기억장치 접근) 방식을 채택해 엣지에서 대량의 센서 데이터를 효율적으로 수집하고 처리한다.

레드햇 오픈시프트의 컨테이너 오케스트레이션 기술은 지리적으로 분산돼 있는 원격 데이터 센터들에 걸쳐 있는 가속 데이터 파이프라인 내에서 워크로드를 보다 유연하게 운영할 수 있도록 지원한다. 레드햇과 NTT는 이번 솔루션이 엣지에서 이뤄지는 실시간 AI 분석을 위한 저지연성과 낮은 전력 소비량을 확보할 수 있음을 성공적으로 입증했다.

양사는 개념 증명(PoC)을 통해 일본 요코스카(Yokosuka)시를 센서 설치 거점으로, 무사시노(Musashino)시를 원격 데이터센터로 하여 두 곳 모두 APN으로 연결된 상태에서 실시간 AI 분석 플랫폼을 평가했다. 

그 결과, 많은 수의 카메라를 포함한 경우에도 AI 분석을 위한 센서 데이터를 집계하는 데 필요한 지연 시간이 종래의 AI 추론 워크로드 대비 60% 줄었다. 또한, 엣지의 각 카메라 별 AI 분석에 필요한 전력 소비량이 기존 기술보다 40% 절감될 수 있음이 입증됐다. 

이 실시간 AI 분석 플랫폼을 사용하면 CPU의 병목 현상 없이 더 많은 수의 카메라를 수용할 수 있도록 GPU를 확장할 수 있다. 시범 계산에 따르면 1,000대의 카메라를 수용할 수 있는 규모라고 가정한다면 전력 소비량을 60%까지 줄일 수 있을 것으로 예상된다. 

이번 개념 증명의 주요 내용은 NTT가 제공하는 AI 추론을 위한 가속 데이터 파이프라인은APN을 통한 RDMA를 활용해 각지의 대규모 센서 데이터를 원격 데이터 센터의 가속기 내 메모리로 직접 가져와 기존 네트워크의 프로토콜 처리 오버헤드를 줄인다. 이후 더 적은 CPU 제어 오버헤드로 가속기 내에서 AI 추론의 데이터 처리를 완료해 AI 추론의 전력 효율을 개선한다.

레드햇 오픈시프트 기반의 실시간 대규모 AI 데이터 분석은 쿠버네티스 오퍼레이터가 하드웨어 기반 가속기(GPU, DPU 등) 구현의 복잡성을 최소화할 수 있도록 지원해 원격 데이터센터를 비롯한 분산된 위치 전반에 걸쳐 유연성을 개선하고 배포를 용이하게 한다.

이 개념 증명은 AI 추론을 위해 엔비디아 A100 텐서 코어 GPU(NVIDIA A100 Tensor Core GPU) 와 엔비디아 커넥트X-6 NIC(NVIDIA ConnectX-6 NIC)를 사용했으며, 솔루션은 지능형 AI 지원 기술의 기반을 마련하고 이를 통해 비즈니스의 지속 가능한 확장을 돕는다.