跳到主要内容

Google Cloud TPU v6e (Trillium)

产品概述​

Google TPU v6e（代号 Trillium）于 2024 年 12 月 GA（General Availability），是 Google 第六代 TPU。4.7× v5e 峰值算力，BF16 算力 918 TFLOPS，HBM 容量和 ICI 带宽翻倍。用于训练 Gemini 2.0。Trillium 是 Google Cloud AI Hypercomputer 架构的核心组件，可扩展到 100,000+ 芯片通过 Jupiter 网络。

核心规格​

项目参数
架构TPU v6e（Trillium）
BF16 算力918 TFLOPS（4.7× v5e）
INT8 算力1,836 TOPS
HBM 容量32 GB（2× v5e）
HBM 带宽1,638 GB/s
ICI 互联带宽800 GB/s（双向）
ICI 端口4
DCN 带宽100 Gbps（2× v5e）
Pod 规模256 芯片（2D Torus）
vCPU（4 芯片 VM）180
DRAM（4 芯片 VM）720 GB
提供方式仅 Google Cloud

Trillium vs v5p 对比​

指标v5pv6e (Trillium)变化
BF16 算力459 TFLOPS918 TFLOPS2×
HBM 容量95 GB32 GB1/3
HBM 带宽2,575 GB/s1,638 GB/s0.64×
Pod 规模8,960256较小
互联3D Torus2D Torus简化
能效1×+67%提升

说明：Trillium 更适合中规模训练和推理，v5p 适合超大规模。

厂商信息​

项目内容
制造商Google LLC
官网https://cloud.google.com/tpu
产品页https://cloud.google.com/tpu/docs/v6e
发布2024 年 12 月 GA
训练过Gemini 2.0

关键特性​

  • SparseCore 第三代：嵌入密集型模型 2× 性能
  • 训练/推理 fungible：同一配额用于训练和推理
  • Multislice：可扩展到 100,000+ 芯片
  • 多主机推理：70B+ 模型支持
  • XLA 编译器优化：JAX/PyTorch/TF 一等公民

适用场景​

  • LLM 训练（Gemini 2.0、PaLM）
  • LLM 推理
  • 多模态模型
  • 嵌入密集型模型（DLRM）
  • 扩散模型推理

相关产品对比​