Google, 에이전트 시대 위한 8세대 TPU 포트폴리오 확장: 8tx 및 8i Max 시스템 공개

새로운 8세대 TPU 시스템 공개

Google은 2026년 11월 9일, 8세대 TPU 포트폴리오에 TPU 8tx와 TPU 8i Max 두 가지 새로운 시스템을 추가했다고 발표했다. 이로써 Google은 올해에만 총 네 가지 TPU 시스템을 선보이게 되었다. 기존의 TPU 8t(대규모 훈련용)와 TPU 8i(실시간 추론용)에 더해, TPU 8tx는 보안 및 기밀 추론에, TPU 8i Max는 대규모 컨텍스트 창 처리와 최고 수준의 랙당 컴퓨팅 밀도에 최적화되었다.

TPU 8tx는 규제 대상 기업 및 정부 기관의 민감한 데이터와 독점 모델을 위한 하드웨어 수준의 기밀 컴퓨팅을 제공한다. 이 시스템은 TPU 8t와 동일한 실리콘을 기반으로 하며, 5세대 AMD EPYC CPU 호스트와 결합된다. 데이터가 활발하게 사용되는 중에도 민감한 데이터와 모델 가중치를 보호하고 격리하며, Boardfly 네트워크를 통해 TPU 8t 대비 최대 2배 낮은 지연 시간을 제공한다. 또한, 단일 시스템에서 모델 미세 조정, 모델 증류, 강화 학습을 수행할 수 있어 민감한 데이터의 클러스터 간 이동 없이 작업을 처리한다.

TPU 8i Max는 메모리 대역폭 병목 현상을 해결하기 위해 설계되었다. 두 개의 저지연 TPU 8i 칩을 단일 패키지에 통합하여, TPU 8i 대비 컴퓨팅 성능, SRAM, HBM 대역폭을 두 배로 확장한다. 이를 통해 프로세서가 필수 데이터를 지속적으로 공급받아 대규모 워크로드의 지연을 방지한다. 또한, 기존 랙 공간에 두 배의 실리콘을 탑재하여 데이터 센터의 평방피트당 및 와트당 컴퓨팅 파워를 크게 증대시킨다.

에이전트 시대에 대응하는 TPU 발전 배경

Google은 10여 년 전 음성 인식 및 언어 번역과 같은 내부 수요를 충족하기 위해 TPU를 처음 설계했다. 이후 8세대에 걸쳐 TPU는 Gemini 모델 훈련 및 서비스, 에이전트 워크로드, Google Cloud 고객 서비스, 그리고 고객 데이터센터 직접 배포 등 다양한 사용 사례로 확장되었다. 현재 TPU는 빠르게 성장하는 사업으로, 선도적인 연구소, 금융 기업, 소매업체, 대학 등 약 100개 고객사를 확보하고 있다.

컴퓨팅 환경이 인간 규모에서 에이전트 규모로 전환됨에 따라, 기업들은 AI 모델의 방대한 컨텍스트 창을 추론할 수 있는 가속기를 요구하고 있다. 또한, 고도로 규제되는 일부 고객들은 특정 워크로드를 위한 특수 암호화 기능을 필요로 한다. 이러한 시장의 요구에 대응하기 위해 Google은 모듈형 맞춤형 실리콘과 개방적이고 사용하기 쉬운 소프트웨어 스택을 결합하여 AI 산업의 속도에 맞춰 새로운 하드웨어 및 시스템 구성을 제공하는 데 주력하고 있다.

Google은 TPU를 설계할 때 AI 소프트웨어의 발전 속도가 실리콘 제조보다 훨씬 빠를 것이라는 점을 예측하고, 시스템 균형과 모듈성에 기반한 'AI 하이퍼컴퓨터' 아키텍처를 구축했다. 이는 엔지니어들이 패키징, 고속 메모리, 광학 네트워킹, 보안 등을 신속하게 조정할 수 있도록 하여, 몇 년이 아닌 몇 달 만에 특화된 슈퍼컴퓨터를 제공할 수 있게 한다. Google DeepMind와의 공동 설계 외에도 외부 조직의 피드백을 적극 반영하여 특정 요구사항에 맞는 솔루션을 개발하고 있다.

개발자 접근성 확대를 위한 소프트웨어 혁신

Google은 TPU의 개발 장벽을 낮추고 일반 목적 하드웨어만큼 쉽게 사용할 수 있도록 여러 소프트웨어 투자를 진행했다. 지난달 오픈소스화된 TorchTPU는 PyTorch 코드와 Hugging Face 모델이 TPU에서 기본적으로 실행되도록 지원하며, vLLM 및 SGLang과 같은 선도적인 오픈소스 추론 엔진을 위한 TPU 백엔드를 제공한다. 또한, 새로운 오픈소스 TPU 에이전트 스위트(현재 프리뷰)는 Claude Code, Cursor, Google Antigravity와 같은 코딩 도구와 통합되어 TPU 온보딩 자동화, 병목 현상 진단, 맞춤형 커널 자동 튜닝을 지원한다.

프로덕션 배포를 위해, 새로운 오픈소스 XLA Serving Engine은 Python으로 훈련된 모델을 TPU, GPU, CPU 전반에 걸쳐 저지연 C++ 런타임으로 직접 서비스할 수 있게 한다. 실제 AI 워크로드에서 중요한 것은 이론적인 칩 속도보다는 실제 결과이다. 업계 표준 InferenceX 및 AgentX 벤치마크에서 TPU의 기본 vLLM-TorchTPU 소프트웨어 스택은 최첨단 가격 대비 성능을 달성했으며, 이는 다양한 오픈 모델과 오픈소스 서빙 스택에서 높은 모델 정확도를 유지하면서도 이점을 제공한다.

AI 에이전트의 유휴 컴퓨팅 낭비를 줄이기 위해 새로운 Agent Compute Engine 소프트웨어는 유휴 에이전트 세션을 자동으로 일시 중단하고 작업 메모리를 칩 밖으로 밀리초 단위로 이동시켜 운영 인프라 비용을 절감한다. 또한, 대규모 컨텍스트와 지속적인 강화 학습 루프에서 메모리 병목 현상을 해결하기 위해 Google은 TPU 클러스터를 위한 모델 상태 계층인 TPU Sync를 오픈소스화했다. TPU Sync는 칩 HBM, 호스트 DRAM, 공유 스토리지, 데이터센터 네트워크를 단일 메모리 계층으로 통합하여, 대규모 KV 캐시를 밀리초 단위로 칩 밖으로 계층화하고, 컨텍스트를 분리된 프리필 및 디코드 노드에 스트리밍하며, RL 가중치를 동기화하여 KV 전송 지연 시간과 첫 토큰까지의 시간(TTFT)을 90% 이상 단축한다.

분산 워크로드 관리 및 자원 활용 최적화

Google Kubernetes Engine(GKE)에서 일반적으로 사용할 수 있게 된 Cloud Pathways는 Google DeepMind의 Gemini 런타임을 모든 Google Cloud 고객에게 제공한다. 단일 컨트롤러 아키텍처와 pathwaysutils를 사용하여 대규모 TPU 시스템을 여러 슬라이스에 걸쳐 마치 하나의 로컬 머신처럼 오케스트레이션할 수 있으며, 이는 사전 훈련, 강화 학습, 다중 호스트 추론에 활용된다. Cloud Pathways는 공동 배치된 Python 사이드카, 1분 미만의 슬라이스 핫 스와핑, 탄력적인 리샤딩을 통해 하드웨어 중단 시에도 장기 실행 작업을 지속시킨다.

또한, GKE 동적 슬라이싱은 물리적 하드웨어 프로비저닝과 논리적 슬라이스 형성을 광학 회로 스위칭(OCS) 기술을 사용하여 분리한다. 이는 TPU 큐브를 더 큰 토폴로지로 동적으로 조립(슈퍼 슬라이싱)하거나 더 작고 격리된 워크로드로 분할(서브 슬라이싱)할 수 있게 한다. 이 업데이트는 경직된 수동 노드풀 재구성 주기를 완전히 없애고, 작업 시작 시간을 최대 5배 단축하며, 오류 복구 시간을 최대 4.5배 가속화하여 전체 플릿 활용도와 워크로드 처리량을 극대화한다.

적용 조건 및 한계

TPU 8tx는 특히 규제 대상 기업 및 정부 기관의 민감한 데이터 처리와 소규모 훈련에 적합하다. TPU 8i Max는 대규모 컨텍스트 창을 처리하는 메모리 집약적인 워크로드에 최적화되어 있다. TPU 에이전트 스위트는 현재 프리뷰 단계로 제공된다.

Google은 8세대 TPU 시스템이 에이전트 라이프사이클의 모든 단계(확장 훈련을 위한 TPU 8t, 저지연 추론을 위한 TPU 8i, 기밀 컴퓨팅을 위한 TPU 8tx, 대규모 컨텍스트 창 및 최고 컴퓨팅 밀도를 위한 TPU 8i Max)를 위한 목적별 가속기를 제공한다고 설명한다. 향후 소프트웨어 최적화를 통해 현재 하드웨어의 성능을 더욱 향상시킬 계획이다.