구글, 학습·추론 전용 AI칩 공개…엔비디아 독점 시장에 균열

구글이 인공지능 학습과 추론에 특화된 차세대 텐서처리장치(TPU)를 공개하며 엔비디아가 주도하는 AI 칩 시장에 본격적으로 도전장을 내밀었다. 지난 21일 미국 라스베이거스에서 발표한 8세대 TPU인 'TPU8t'와 'TPU8i'는 이전 세대 대비 연산 성능과 에너지 효율을 대폭 높였으며, 특히 추론 비용을 절감한 가성비 칩으로 평가받고 있다. 구글 AI 인프라 담당 부사장 아민 바흐다트는 이들 칩이 최첨단 AI 모델 개발 기간을 수개월에서 몇 주로 단축할 수 있다고 강조했다. 이번 출시는 그래픽처리장치(GPU)를 중심으로 한 엔비디아의 압도적 우위에 균열을 낼 가능성을 제시하고 있다.

구글이 학습과 추론 용도로 칩을 분화시킨 것은 업계 흐름의 변화를 반영한 전략이다. 기존 TPU는 학습과 추론을 모두 처리하는 겸용 설계였지만, 이번에는 각 기능에 최적화된 별도의 칩을 내놨다. TPU8t는 AI 모델을 구축하는 학습 단계에 중점을 두었으며, 전작인 7세대 '아이언우드'보다 연산 성능이 3배 향상됐다. 구글은 TPU8t의 전력 대비 연산 효율이 기존 AI 칩보다 최소 2배 이상 뛰어나다고 강조했다. 이는 대규모 AI 모델 개발에 투입되는 막대한 전력 비용을 절감할 수 있다는 의미로, 데이터센터 운영 효율성을 크게 높일 수 있다는 점에서 주목된다.

TPU8i는 추론 비용 절감에 초점을 맞춘 칩으로, 전작 대비 추론 비용을 약 절반으로 줄였다. 최근 AI 모델이 급증하면서 추론 수요가 폭발적으로 증가하는 상황에서 비용 효율성이 핵심 경쟁 요소로 떠오른 만큼, 구글의 이러한 움직임은 시장 수요를 정확히 포착한 것으로 평가된다. 특히 TPU8i의 메모리 용량 확대가 성능 향상의 핵심 동력이 되었다. 고대역폭메모리(HBM) 용량을 288GB로 전작 대비 1.5배 늘렸으며, S램(연산용 메모리) 용량은 384MB로 3배 확대했다. 바흐다트 부사장은 "TPU8i를 통해 AI 에이전트에 질문하면 5초씩 기다릴 필요 없이 즉각 응답을 받을 수 있다"고 설명했다.

S램 용량 확대는 추론 속도의 병목 현상을 해결하기 위한 핵심 전략이다. 기존에는 대용량 데이터를 HBM에서 연산용 칩으로 매번 가져오는 과정에서 지연이 발생했으나, S램에 미리 데이터를 저장함으로써 이 문제를 근본적으로 해결했다. 이는 최근 엔비디아가 GTC 2026에서 공개한 추론용 AI 칩 '그록 LPU3'가 채택한 전략과 유사하다. 바흐다트 부사장은 "S램 용량을 늘린 것은 메모리의 한계를 허물기 위한 것"이라며 "거대한 데이터가 S램에 있어 지연 시간이 0에 가까워졌다"고 설명했다. 이는 실시간 AI 서비스 제공이 필수적인 시대에 매우 중요한 기술 진전이다.

구글이 추론용 칩을 별도로 개발한 배경에는 AI 칩 시장의 중심축이 학습에서 추론으로 이동할 것이라는 판단이 깔려 있다. 엔비디아의 최고경영자 젠슨 황도 GTC 2026에서 "추론의 변곡점이 왔다"고 선언한 바 있다. 바흐다트 부사장은 2000년대 초 구글이 웹 인덱스를 구축하던 시절을 언급하며, 당시에도 초기 비용이 많이 들었지만 진정한 가치는 모델을 실제 서비스하는 데서 나온다는 것을 알고 있었다고 설명했다. 이는 현재의 AI 시장에서도 학습만큼 추론이 중요하다는 인식을 반영한 것이다.

이번 TPU 출시로 AI 칩 시장의 경쟁이 한층 심화될 것으로 예상된다. 구글은 자사의 검색·AI 모델 학습과 클라우드 운영에 TPU를 주로 사용해왔지만, 최근에는 외부 판매 확대에 적극 나서고 있다. 메타와의 수십억달러 규모 데이터센터 TPU 공급 계약 논의가 진행 중인 것으로 알려졌으며, 구글의 궁극적 목표는 엔비디아 칩 매출의 약 10%를 TPU 사업에서 확보하는 것으로 보인다. 이미 아마존도 자체 AI 칩 '트레이니엄'으로 시장 진입을 선언했으며, 마이크로소프트도 자체 칩 개발을 추진 중이다. AI 칩 시장은 더 이상 엔비디아의 독무대가 아니라 기술 대기업들의 본격적인 경쟁 무대로 변모하고 있다.