글로벌 인공지능(AI) 인프라 시장에 지각변동이 시작되고 있다. 엔비디아(NVIDIA)가 장악한 AI 가속기 시장에 구글(Google)이 정면으로 도전하며 경쟁 구도가 급변하고 있다.

지난 달 6일, 인공지능 추론(AI Inference) 시대를 이끌 핵심 컴퓨팅 솔루션인 7세대 텐서처리장치(Tensor Processing Unit. 이하, TPU) ‘아이언우드(Ironwood)’의 정식 출시(GA)와 새로운 Arm 기반 악시온(Axion) 가상 머신(VM) 인스턴스의 프리뷰 버전을 발표했다.

아이언우드는 대규모 모델 학습, 복잡한 강화학습(RL), 대용량·저지연 AI 추론 등 가장 까다로운 AI 워크로드를 처리하도록 특별히 설계됐다. 구글은 이를 통해 기업 고객에게 AI 추론과 범용 컴퓨팅 워크로드 전반에서 압도적인 성능과 효율성 혁신을 제공할 예정이다.

구글은 지금까지 자사 클라우드 내부에서만 사용해 온 TPU를 외부 기업에 온프레미스(On-Premise) 방식으로 직접 판매하는 전략을 추진 중인 것으로 알려졌다. 특히 엔비디아의 최대 고객 가운데 하나인 메타(Meta Platforms)와 수십억 달러 규모의 대형 공급 계약을 협의하는 정황까지 포착되며, AI 반도체 시장 전체가 긴장하고 있다.

구글, 내부용 TPU를 ‘시장 판매용’으로 전환…AI 칩 공급 전략 대전환

구글이 TPU를 기업 고객에게 직접 공급하는 것은 사실상 최초다. 그동안 TPU는 구글 클라우드 인프라를 통해서만 임대할 수 있었으며, 칩 자체를 고객 데이터센터에 설치하는 구조는 제공되지 않았다. 그러나 최근 AI 학습·추론 연산 수요가 폭발적으로 증가하고, GPU 공급난이 지속되면서 빅테크 고객들의 요구도 다양해졌다. 이 같은 시장 변화가 구글의 전략 변화를 촉발한 것으로 분석된다.

로이터, 파이낸셜 타임즈 등 25일, 주요 외신들 보도에 따르면 구글 경영진은 내부적으로 “엔비디아의 연간 데이터센터 매출의 10% 이상을 흡수할 수 있다” 고 전망하며 TPU 시장 확대에 강한 자신감을 보이고 있는 것으로 전해진다.

구글이 공략하는 핵심 고객층은 보안 및 규제 요구가 높은 금융기관·공공기관, 데이터 외부 이동이 제한된 기업형 AI 개발 조직, 초저지연 연산이 필요한 국가·산업 인프라 기업 등을 꼽으며, 이들 산업은 온프레미스 인프라 수요가 높아 TPU 도입에 유리한 조건을 갖춘 것으로 평가된다.

메타, TPU 도입 논의…AI 칩 시장 ‘균열’ 가능성 본격 현실화

가장 큰 관심은 메타가 TPU 도입을 본격적으로 논의하고 있다는 보도다. 메타는 현재 엔비디아의 H100·B200 GPU를 대량 구매하는 대표 고객으로, 메타의 선택은 AI 반도체 시장의 흐름을 좌우하는 지표로 여겨진다.

외신 보도에 따르면 메타는 2027년부터 자체 데이터센터에 TPU 배치, 계약 규모는 수십억 달러대, 2026년부터 구글 클라우드 TPU 임차 가능성까지 검토하는 것으로 알려졌다. 업계에서는 “메타가 TPU를 채택하면 엔비디아 중심 생태계에 첫 실제 균열이 생긴다” 는 평가가 지배적이다.

또한 구글은 PyTorch 최적화, TPU 관리 API, 개발자 도구 확장 등 생태계 장벽을 낮추며 TPU의 범용성을 강화하고 있다.

엔비디아 “우리는 유일한 범용 플랫폼”…긴장 속 견제 강화

구글의 움직임에 대해 엔비디아는 즉각적으로 견제에 나섰다. 이날 보도에 따르면 엔비디아는 공식적으로 “TPU는 특정 목적에 최적화된 ASIC일 뿐이며, 모든 AI 모델을 실행할 수 있는 유일한 범용 플랫폼은 GPU”이라고 강조했다. 즉, 쿠다(CUDA) 생태계와 광범위한 소프트웨어·라이브러리를 기반으로, 엔비디아는 TPU가 쉽게 GPU 중심 구조를 대체하긴 어렵다는 입장을 드러냈다.

그러나 AI 반도체 공급난과 빅테크 기업들의 다변화 전략이 맞물리며, 시장 경쟁은 갈수록 치열해지는 양상이다.

한편, AI 반도체 시장은 지금까지 엔비디아가 독주해 왔으나, 구글의 TPU 외부 판매는 시장 구도에 전략적 의미를 지닌 중대한 변화다. 특히, 메타와의 협상이 성사될 경우 엔비디아의 고객 기반에도 직접적 영향을 미치며, 향후 2026년부터 2030년까지 AI 인프라 경쟁은 지금보다 훨씬 다극적 양상으로 전개될 가능성이 높다.

구글, 엔비디아, AMD, 인텔, 그리고 새로운 AI ASIC 스타트업까지, ‘차세대 AI 가속기 패권전’은 이제 본격적인 2막에 돌입한 것이다.