삼성전자 경계현 DS(디바이스솔루션) 부문장(사장)은 29일, 페이스북을 통해 "인공지능(AI) 애플리케이션에서 고대역폭 메모리(High Bandwidth Memory, HBM)는 경쟁력으로 HBM3와 HBM3E 12H를 고객들이 더 찾는 이유다"라며, "HBM의 리더십이 우리에게로 오고 있다"고 밝혔다.

HBM은 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 메모리로 HBM은 1세대(HBM), 2세대(HBM2), 3세대(HBM2E), 4세대(HBM3), 5세대(HBM3E) 순으로 HBM3E는 HBM3의 확장(Extended) 버전이다.

지난 18일부터 21일까지 미국 새너제이에서 열린 연례 개발자 컨퍼런스 'GTC 2024' 기간 중 젠슨 황 엔비디아 CEO가 삼성전자 부스를 찾아 차세대 고대역폭 메모리 'HBM3E 12H'에 서명을 남기기도 했다.

이어 경 사장은 "여전히 메모리와 컴퓨트 사이의 트래픽이 병목(Bottle Neck)"이라며 "많은 고객들이 이 문제를 풀기 위해 각자만의 방식으로 커스텀 HBM4를 개발하고 싶어 하며, 고객들은 우리와 함께 그 일을 할 것"이라고 자신감을 피력했다.

또한 경계현 사장은 지난달 20일, 주주총회를 통해 공개하고 내년 초 출시 예정인 자체 인공지능 가속기(AI accelerator)인 '마하-1(Mach-1)'도 언급하며, "추론 전용인 마하-1에 대한 고객의 관심 또한 증가하고 있다"며, "일부 고객은 1조 파라미터 이상의 애플리케이션에 마하를 쓰고 싶어한다"고 말했다.

이어 경 사장은 "생각보다 더 빠르게 마하-2의 개발이 필요한 이유가 생긴 것"이라며, "준비를 해야겠다"고 덧붙였다.

한편, 기존 AI 가속기 대부분은 몇가지 중요한 문제점을 가지고 있다. 특히, GPU와 메모리 사이 정보를 교환할 때 발생하는 병목 현상으로 대규모 AI 모델의 학습 및 실행에서 전력 소모량이 매우 높아지고 이에 따른 열 발생량도 증가, 이는 가속기의 온도 관리에 어려움을 초래하고 연산 속도 또한 크게 저하된다.

반면에 삼성전자가 준비 중인 마하-1은 기존 AI 가속기가 직면했던 여러 문제들을 해결하고 메모리와 GPU 사이 병목 현상을 기존보다 8분의 1가량을 줄일 수 있는 파격적인 구조로 저전력 메모리를 활용할 수 있는 경량화 모델로 AI 연산의 속도와 전력 효율성을 획기적으로 향상시켜 고성능, 저전력, 비용 효율적으로 생성 AI 애플리케이션을 비롯한 LLM 구동 등 AI 인프라 구축에 핵심 동인으로 작용할 것으로 예상된다.