9 posts tagged with "TPU"

继 AMD 2GW、AWS 5GW 之后，Anthropic 的算力拼图补上了最大的一块 Google。这不是一份普通的云合同，而是「单一云厂商对单一 AI 实验室的最大芯片承诺之一」。

协议要点​

Anthropic 周四（2026-10-23/24）官宣扩大与 Google Cloud 的合作：

• 规模：价值数百亿美元（tens of billions），覆盖最高 100 万颗 TPU
• 上线节奏：2026 年内带来超过 1GW 的容量
• 定位：公司史上最大的算力扩张，也是 AI 实验室与单一云厂商之间最大的芯片承诺之一

双方口径：

• Google Cloud CEO Thomas Kurian：Anthropic 的选择反映了其团队多年来在 TPU 上看到的强劲价格性能与效率，并点名第七代 Ironwood
• Anthropic CFO Krishna Rao：扩容是为了满足指数级增长的需求，同时保持模型前沿

商业面佐证：Anthropic 目前服务超过 30 万家企业客户，年化收入超 10 万美元的大账户数量一年增长近 7 倍。

为什么是 Ironwood​

Kurian 点名 Ironwood（TPU v7）不是客套。Ironwood 是 Google 首款为推理设计的 TPU，192GB HBM3e、单芯片 FP8 4,614 TFLOPS（TPU v7 卡片），外部基准也已给出正面信号——SemiAnalysis 的 AgentX 测试中 TPUv7 的性价比达到 GB300 NVL72 的 1.67 倍。对以推理负载为主的 Claude 商业化而言，TPU 的单位 Token 成本正是 Rao 口中「指数级需求」能否盈利的关键。

三平台对冲：杠杆，但也是三倍工程量​

Anthropic 在公告中刻意重申了不改变的多平台战略：Google TPU + Amazon Trainium + NVIDIA GPU，并确认 AWS 仍是主训练伙伴（Project Rainier 百万颗 Trainium 集群，此前报道）。

这笔交易的战略价值在于议价杠杆：当英伟达试图执行严格的配额分配时，Anthropic 可以把训练负载转向 Trainium；当 AWS 高密度机柜部署延迟时，可以切到 TPU 产能。三家云帝国互相牵制，Anthropic 从中榨取价格让步、优先供货与能源补贴。

但工程代价同样真实：CUDA、Neuron、XLA 三套不兼容的软件栈意味着三套系统工程组织。前 Anthropic 基础设施工程师的说法很直白——「每改一次注意力机制或张量切分策略，都要在三个平台上各跑一遍基准；在 H100 上跑得干净的内核，在 TPU 上可能因为内存边界没有对齐 MXU 而直接卡住」。

与 S-1 的互证​

本周流出的 Anthropic S-1 草案披露了数千亿美元级的未来云承诺（财报拆解见此前文章）——本协议正是这些承诺的最大单一组件。对 Google 而言，用 TPU 产能锁定增速最快的 AI 客户；对 Anthropic 而言，用巨额长期承诺换取产能确定性。风险也对称：需求若不及预期，这些承诺就是资产负债表上的重负。

结论​

算力竞争的第二阶段已经从「买得到」进入「锁得住」：2026 年内的 1GW、2027 年的数 GW 下一代 TPU（4 月 Google/Broadcom 协议）、AWS 的 5GW Trainium——Anthropic 用三份巨型合同把 2027 年的产能提前画完。剩下的问题是执行力：三个平台、三条软件栈、三个交期风险，任何一条掉链子都要靠另外两条兜底。

数据来源与口径说明​

• 协议规模、100 万颗 TPU、超 1GW、双方表态、客户数据：Anthropic 官方公告（2026-10 周四），DEV Community AI Daily Digest（2026-10-25）、chiprook 转述
• TPUv7 AgentX 性价比 1.67 倍：SemiAnalysis（2026-10-15）
• 三平台战略与工程摩擦：Anthropic 投资者简报及前员工表述，gfunfacts/SCMP 汇总，「三套系统工程组织」为前员工个人观点

GTC 是英伟达主办的盛会，邀请谁、不邀请谁，法律上无可指摘。但当「入场资格」与「是否采购竞品芯片」挂钩时，它就成了观察 GPU 生态权力结构的最佳样本。

指控内容​

据 SemiAnalysis 10 月下旬披露（cnBeta、网易科技等转述）：

• 多家 Neocloud 被禁止参加 GTC 柏林大会（2026-10-21 开幕），理由是这些企业在产品组合中引入了 AMD GPU、Google TPU 及其他非英伟达芯片
• 部分云服务商被迫低调部署 AMD 产品，不愿公开宣传相关合作，以避免进一步压力
• 这并非孤例：SemiAnalysis 今年早些时候曾报道，英伟达会通过限制新产品早期配额的方式，惩罚采用竞争对手技术的云服务商；相关企业在 IPO、融资以及获得英伟达资金支持时也可能面临不利

权力不对称的结构性原因​

为什么英伟达的「惩罚」对 Neocloud 有效，对超大规模云厂商却无效？

维度	Neocloud	超大规模云厂商
采购规模	数万至数十万颗	百万颗级、多年期框架
议价能力	弱，依赖配额	强，且自研芯片（TPU/Trainium/Maia）做后手
替代出路	少，客户跟着 CUDA 生态走	自建生态 + 多供应商组合
英伟达反制手段	断供/限配额近乎致命	商务摩擦，难伤筋骨

Neocloud（如 CoreWeave、Iren、Nebius 这类 GPU 租赁商）本质上是用英伟达的芯片做转租生意，供应命脉握在卖方手里。而 AWS、微软、谷歌的采购规模大到英伟达不敢轻易施压——黄仁勋本人在 GTC 期间对 CNBC 也承认，Neocloud 的需求「off the charts」，缺的是营运资本而非客户。

业界的两种读法​

支持方：GTC 由英伟达出资主办，邀请名单本就是商业决策；英伟达过去还直接投资过部分 Neocloud，这更像合作伙伴关系管理，而非市场打压。

批评方：当「拿不到早期配额」「上不了 IPO 加持名单」与「是否采购 AMD/TPU」系统性相关时，问题就不止于一张门票。有 Neocloud 连公开宣传 AMD 合作都要掂量——这说明压制已经影响了市场的信息透明度。值得注意的是，AMD 近期接连拿下 Meta、OpenAI、Anthropic 的吉瓦级订单（此前报道），多芯片采购在大客户侧已成事实，压力正在向中小租赁商传导。

对买家的启示​

• 合同条款比公开姿态重要：与英伟达洽谈配额时，竞品采购披露义务、最低承诺比例等隐性条款值得逐字审阅
• 多芯片策略要预留缓冲：中小算力商引入 AMD/TPU 前应评估供应链风险敞口，必要时分主体运营
• 对英伟达而言这同样有代价：被拒之门外的 Neocloud 恰恰是最需要 GPU 的增量买家，把推动竞品替代的动机留给了对手

数据来源与口径说明​

• SemiAnalysis 指控细节：SemiAnalysis 分析报告（2026 年 10 月），cnBeta/网易科技转述（2026-10-22）
• 黄仁勋 Neocloud 需求表态：GTC 柏林期间 CNBC 采访，Yahoo Finance 转述
• 英伟达未就本指控公开回应；「惩罚机制」为 SemiAnalysis 单方信源，涉事公司未逐一置评

谷歌造芯十五年，最被低估的变化发生在商业模式上：TPU 不再只是谷歌自家数据中心的「成本项」，而是谷歌云的收入项。2026 年，这个转变的证据链已经完整。

一、外部客户版图​

客户	合作内容	时间
Anthropic	承诺供应至多 100 万颗 TPU、2026 年超 1GW 容量（数百亿美元级）；2026 年 4 月再加订数吉瓦	2025-10 起
Meta	被曝签署数十亿美元合同，租赁谷歌 TPU 集群	2026 年报道
蚂蚁集团	高强度计算负载迁移至 TPUv7，训练性能提升 200%	2026-08 I/O Connect China
新兴云厂商	与 Crusoe、CoreWeave 等就 TPU 落地其数据中心进行洽谈	2026 年报道

Anthropic 是最大竞争对手之一，其算力命脉部分握在谷歌手里——这在商业史上几乎前所未有。而 Meta 一边推进自研 MTIA 路线图、一边与 AMD 签下最高 6GW 合作、同时还租用 TPU，「不把算力押注在单一硬件上」成为头部模型公司的共识。

二、出货量与收入节奏​

• TPU 出货量 2025 年约 250 万片，2026 年目标上调 50%、总量预计突破 370 万片
• 谷歌 CFO 在财报会上明确：2026 年 TPU 收入只占一小部分，大部分订单将在 2027 年兑现
• IDC 预测推理市场 ASIC 份额从 2024 年的 15% 升至 2030 年的 80%——谷歌是这条替代曲线的最大推手

三、为什么谷歌能做到而别人难以复制​

谷歌真正的护城河不是某一颗芯片，而是「芯片—模型—编译器—网络—数据中心—云」的垂直一体化：

• 自研光学电路交换机（OCS）支持 Pod 内网络拓扑动态重构
• XLA 编译器把软硬协同效率压到极致；2026 年 10 月 TorchTPU 开源后，PyTorch 生态的准入门槛进一步坍塌
• DeepMind 能预判未来模型形态、提前锁定架构方向
• 每一代 TPU 都真实部署在搜索、广告、YouTube 推荐和 Gemini 之上——庞大的自用需求托底，是自研芯片能撑过三代以上迭代的先决条件

四、对中国从业者的镜鉴​

百度昆仑芯常被拿来与 TPU 类比，但差距不在芯片本身，而在商业化半径：谷歌的 TPU 既自用又通过云对外规模化供给，而多数国内互联网大厂自研芯片仍停留在自用阶段。国产对外供给的力量是寒武纪、燧原、壁仞、沐曦这类独立芯片公司——融资与生态建设步步惊心，对标的是「巨头亲自下场」的另一种打法。

当芯片变成云服务的一部分，算力竞争的边界早已跨出国界。蚂蚁迁移 TPU 的案例说明：平台级算力竞争没有主场。

延伸阅读：TPU Ironwood 卡片 · TPU 8t/8i Q4 量产 · 完整对比表

过去把 PyTorch 工作负载迁上 TPU 的成本是「重写」，2026 年 10 月 20 日之后，这个成本变成了改一个设备字符串：.to("cuda") → .to("tpu")。

一、发布要点​

在 PyTorch Conference 2026 上，谷歌宣布 TorchTPU 开源（GitHub），这是谷歌与 Meta PyTorch 团队自 2025 年年中起联合开发的原生 PyTorch 后端。与旧的 PyTorch/XLA 方案不同，TorchTPU 是原生 backend：支持 eager 调试、torch.compile 生产优化、原生分布式原语，覆盖约 450 个 ATen 算子。

兼容性数据（TorchTPU 团队自测口径）：4,917 个 Hugging Face 模型中 98% 无崩溃运行，657 个架构代表性模型中 97% 数值与 GPU 结果在阈值内一致。

二、生态全家桶同步就位​

组件	合作方	用途
vLLM 原生后端	Inferact	高吞吐推理服务
SGLang 后端	RadixArk	结构化智能体执行
llm-d 1.0	Red Hat、IBM 等	TPU/GPU 混合机队路由
Hugging Face Transformers v5	HF	device_map="tpu" 直接部署
TorchTitan / Ray / VeRL	社区	训练与强化学习

Meta 方面明确表态：TorchTPU 让 Meta「把 PyTorch 工作负载部署到谷歌 TPU 上」，支撑 LLM、广告与推荐系统的生产负载——这与 Meta 租用 TPU 集群的动作互为印证。

三、推理成本：2.01 美分/百万 Token​

谷歌引用 SemiAnalysis InferenceMAX/InferenceX 基准的数据：TPU v7 配合 vLLM-TorchTPU 栈，在 8K/1K 测试上达到 2.01 美分/百万 Token，较 9 月首测的 3.6 美分下降 44%。数据为开发者自报口径，但在「推理单位成本」这场竞争中，这是目前公开可查的最低单价之一。

值得注意的是发布同日，亚马逊的 TorchNeuron（Trainium 原生 PyTorch 后端）也进入公测——两大 ASIC 阵营同时向 PyTorch 开放原生入口，框架层正在成为 ASIC 阵营争夺的主战场。

四、对算力选型的含义​

1. 迁移成本坍塌：CUDA 生态锁定的一大论据被削弱，多硬件组合（GPU 训练 + ASIC 推理）的工程门槛显著下降
2. 成本口径可对齐：企业可以直接用 SemiAnalysis 同款基准横向对比 GPU 与 TPU 的每百万 Token 成本
3. 对英伟达的威胁在推理侧最先兑现：训练侧 CUDA 护城河仍在，但推理工作负载的框架中立性更强

延伸阅读：TPU 8t/8i 卡片 · 推理接棒训练 · TCO 计算器

一份价值数百亿美元的合同，至多 100 万颗 TPU，超过 1 吉瓦的算力容量。Anthropic 与谷歌的这次扩约，把云厂商自研芯片从内部工具推向了 AI 时代的硬通货。

协议全貌：最大规模的 TPU 外部订单​

2025 年 10 月 23 日，Anthropic 与 Google Cloud 联合宣布扩大合作：Anthropic 将获得至多 100 万颗谷歌自研 TPU 以及额外云服务资源，用于训练和服务未来数代 Claude 模型；超过 1 吉瓦的算力容量自 2026 年起陆续上线。双方确认协议总价值达数百亿美元级别，是 Anthropic 迄今最大的一笔 TPU 承诺，也是谷歌 TPU 对外供应史上规模最大的单一订单。

行业测算显示，1 吉瓦数据中心的建造成本约 500 亿美元，其中芯片部分通常占约 350 亿美元。以此对照，这份协议的分量不言而喻。作为对照，OpenAI 此前签署的一系列协议涉及约 26 吉瓦以上的算力承诺，而 Anthropic 的打法显得更克制也更聚焦：不追求纸面吉瓦数，而是绑定性价比。

合作要素	具体内容
签约时间	2025 年 10 月 23 日
芯片规模	至多 100 万颗 TPU
算力容量	超过 1 吉瓦，2026 年起上线
协议价值	数百亿美元级别
核心芯片	第七代 TPU Ironwood 等
用途	Claude 系列模型训练与服务

为什么是 TPU：性价比与多云策略​

Anthropic 给出的选型理由十分务实：TPU 的性价比与能效表现突出，且团队自 2023 年起就有在 TPU 上训练与服务 Claude 的经验。谷歌云 CEO Thomas Kurian 强调，这次扩约印证了 TPU 多年积累的成熟度，并以第七代 Ironwood 作为产品组合的代表。

更深层的原因在于 Anthropic 的多云架构。据 CNBC 报道，Claude 的训练与服务横跨三大算力底座：亚马逊 Trainium（包括 Project Rainier 超算集群）、英伟达 GPU 与谷歌 TPU，不同平台按训练、推理、研究等负载分工。这种策略在 2025 年 10 月 AWS 大规模宕机事件中得到验证——得益于算力来源分散，Claude 服务未受波及。对 Anthropic 而言，不与任何单一云厂商绑定，既是供应安全，也是议价筹码。

需求侧的底气：收入与客户的爆发式增长​

支撑百万卡级采购的，是 Anthropic 自身的业务曲线。签约时点，其年化收入运行率已接近 70 亿美元，超过 30 万家企业客户使用 Claude，两年内增长约 300 倍；年贡献超过 10 万美元的大客户数量一年内增长近 7 倍。Claude Code 上线仅两个月即实现 5 亿美元年化收入，被公司称为史上增长最快的产品之一。

谷歌在合作中的角色也不仅限于芯片供应商。谷歌此前累计向 Anthropic 投入约 30 亿美元，据 2026 年披露的法庭文件持有该公司约 14% 的股权，同时 Claude 也通过 Vertex AI 面向企业客户分发。算力供应加股权绑定加渠道分发，构成了三重利益联盟。

小结​

这份协议的产业信号十分清晰：第一，自研加速器已经成为头部 AI 公司采购算力的主流选项，TPU 正从谷歌内部资产变成对外收入来源；第二，多云算力策略成为前沿 AI 公司的标准配置，单一供应商模式正在瓦解；第三，随着 2026 年这批 TPU 陆续上线，Anthropic 与 OpenAI 之间的算力竞赛将进入吉瓦级对标的新阶段。

在 2026 年 4 月 22 日拉斯维加斯 Google Cloud Next '26 大会上，谷歌发布了第八代 TPU 的两款新品——训练专用的 TPU 8t 与推理优化的 TPU 8i。这是谷歌 TPU 家族诞生以来，第一次将训练与推理拆分至独立芯片。这一决策不仅重新定义了 TPU 的产品形态，也向整个 AI 算力行业释放了一个明确信号：训练与推理的工作负载特征已经分化到"一颗芯片通吃"不再经济的程度。

为什么要把训练和推理拆开​

传统上，TPU 一直走"一芯多用"路线——第七代 Ironwood 虽然以推理为主，但训练与推理仍在同一产品线上。而大模型进入智能体（Agentic AI）时代后，两种负载的差异被急剧放大：

• 训练追求极限吞吐与集群扩展性，需要海量 HBM 容量、超高互联带宽，对单次推理延迟不敏感；
• 推理则被成本、延迟和能效三重约束，KV Cache 读取、解码阶段的内存墙问题远比算力峰值更重要。

用同一颗芯片兼顾两者，必然在架构上互相妥协。谷歌选择彻底拆分：8t 的命名即"第 8 代 + training"，8i 即"第 8 代 + inference"。谷歌基础设施负责人 Amin Vahdat 对此表态："业界将受益于针对训练和推理各自需求专门优化的芯片。" CEO 皮查伊则从商业视角补充：谷歌要"以成本效益方式提供数百万智能体所需的大规模吞吐和低延迟"。

TPU 8t：训练专用，单 Pod 121 EFLOPS​

根据站内芯片卡数据，TPU 8t 的核心规格如下：

项目	TPU 8t（训练专用）
制程	TSMC 2nm
Die 设计	双计算 Die
单芯片 FP4 算力	12.6 PFLOPS
显存	8× HBM3e 12 层（约 216GB）
HBM 带宽	约 7 TB/s
Pod 规模	9,600 芯片
Pod HBM 总量	2 PB
Pod FP4 算力	121 EFLOPS（约为 Ironwood 的 3 倍）
集成 CPU	Arm Axion（64 核 Neoverse V2）
TDP	1,300 W
代工合作	博通（Broadcom）
云端上线	2026 H2

TPU 8t 有几个值得展开的架构要点。

其一，SparseCore 加速器。 8t 专门配备 SparseCore 处理嵌入查找（embedding lookup）带来的不规则内存访问模式——这正是 MoE 架构和推荐系统训练中最拖累 GPU 利用率的环节。站内卡显示其原生支持 Expert Parallel、1M+ token 长上下文训练以及 DPO/PPO/GRPO 等在线强化学习后训练范式。

其二，超大规模组网。 单 Pod 9,600 颗芯片经 ICI 3D Torus 与 Virgo 网络互联，单设施可扩展至 134,000 卡、跨站点扩展至 100 万卡以上，通过 JAX/Pathways 软件栈实现单集群超百万块 TPU 的协同训练。这意味着 Gemini 级别的 frontier 模型可以在单一 Pod 内完成训练。

其三，代际性能跃升。 谷歌官方口径是：同价格下 TPU 8t 性能达上代的 2.8 倍，每瓦性能提升 124%——训练侧的"每美元 token"经济学再次被改写。

TPU 8i：推理专精，384MB SRAM 加持​

TPU 8i 则把刀刃对准了推理成本。它的规格取向与 8t 截然不同：

项目	TPU 8i（推理专用）
制程	TSMC 2nm
核心设计	双张量核心 + CAE（集合通信加速引擎）
片上 SRAM	384 MB（Ironwood 的 3 倍）
显存	288 GB HBM3e
Pod 规模	1,152 芯片
Pod FP8 算力	11.6 EFLOPS
性价比	较 Ironwood 提升 80%
能效	较 Ironwood 提升 117%
散热	风冷 / 液冷均可
代工合作	联发科（MediaTek，首次）

三个细节尤其关键。第一，384MB 片上 SRAM 大幅缓解长上下文 KV Cache 的内存墙，配合 CAE 将集合通信延迟降低 5 倍，KV Cache 可跨芯片共享。第二，288GB 单芯片显存是当前最大显存的推理 ASIC，FP16 下可完整装载 70B 模型。第三，风冷可选意味着不需要液冷机房也能部署，把推理集群的落地门槛大幅拉低。

Gemini API、Vertex AI 推理、Anthropic Claude on Vertex 的在线服务均面向 TPU 8i 设计。性能提升 80%、每瓦性能提升 117%，加上单美元算力比 Ironwood 高约 70% 的推测口径，8i 的目标非常直白：让"每百万 token 成本"继续下探。

两款芯片的镜像对比​

指标	TPU 8t（训练）	TPU 8i（推理）
核心设计	双计算 Die	双张量核心 + CAE
片上 SRAM	—	384 MB
Pod 芯片数	9,600	1,152
Pod 算力	121 EFLOPS FP4	11.6 EFLOPS FP8
Pod HBM	2 PB	—
集成 CPU	Arm Axion	无
散热	第四代液冷	风冷/液冷
代工	博通	联发科

一个耐人寻味的差异：只有 8t 集成了 Arm Axion CPU。训练节点需要 CPU 做海量数据预处理与加载，而推理节点的瓶颈在芯片内部，主机侧负担较轻。这也说明 Axion 集成并非营销噱头，而是精确的负载驱动设计。

Axion 集成：全栈协同的深层意图​

Arm Axion 是谷歌自研的 64 核 Neoverse V2 CPU。将其集成进 TPU 节点，意味着 TPU 不再是纯粹的"加速器"，而是 TPU + CPU 协同的"超节点"——对标 NVIDIA 的 Vera CPU + Rubin GPU 组合。数据预处理、权重初始化、推理调度全部在节点内完成，消除了传统架构中主机 CPU 与加速器之间的数据搬运瓶颈。这是谷歌全栈（自研 CPU、自研 TPU、自研网络、自研框架）协同能力的集中体现。

与 NVIDIA 通用路线的分野​

谷歌的训练/推理拆分并非孤例。华为昇腾已经走出了同款路线——昇腾 950PR 面向训练、950DT 面向推理，同样是"代际相同、形态分化"。而 NVIDIA 至今坚持一颗 GPU 通吃训练与推理的通用路线，靠 CUDA 生态和 product segmentation（B 系列 / inference 专用 SKU）来分层。

两条路线的优劣可以放进一张表：

维度	专用拆分（谷歌/华为）	通用 GPU（NVIDIA）
单位成本效率	各负载最优化，性价比更高	存在为通用性付出的冗余
软件生态	需维护两套工具链	CUDA 一套通吃
客户灵活性	训练/推理集群需分别采购	一套集群弹性调度
演进节奏	每条线独立迭代	单一代际整体升级

对于自用负载极其明确的第一方厂商（谷歌、华为），拆分的经济性压倒一切；而 NVIDIA 面向的是千行百业的混合负载，通用性才是护城河。

TPU 生态的外溢：Google 之外正在成型​

还有一条容易被忽视的线索：TPU 正在从"谷歌内部资产"变成"开放生态"。前谷歌基础设施 VP Bikash Koley 跳槽至 TPU neocloud 创业公司 Crux AI——以 TPU 算力为核心商品、依托 Google Cloud 之外的基础设施提供云服务的商业层正在成型。加上 Anthropic 等重量级 TPU 大客户的存在，TPU 已经事实上成为 CUDA 之外最成熟的 AI 算力生态。两款芯片将于 2026 年晚些时候对外供应，届时 TPU 云市场的竞争格局值得持续观察。

小结​

TPU 8t 与 8i 的拆分，标志着 AI 算力竞争从"单芯片性能竞赛"进入"负载分化设计"的新阶段。训练芯片拼集群规模与吞吐，推理芯片拼每瓦、每美元与延迟——两种优化方向已经无法在单一架构内调和。谷歌用 TSMC 2nm、Axion 集成、SparseCore 与 CAE 给出了自己的答卷；华为昇腾的 PR/DT 双线则证明这不是孤立的赌注。对整个行业而言，2026 H2 这两款芯片正式对外供应后的市场反馈，将决定"训练/推理拆分"是否会成为下一代 AI 加速器的默认范式。

当 AI 的重心从训练转向推理，芯片设计的第一性原理也随之改变。Ironwood 是 Google 十年 TPU 路线上第一次明确"为推理而生"的一代，也是迄今为止性能最强、规模最大的一代。

从训练优先到推理优先​

2025 年 4 月的 Google Cloud Next 大会上，Google 正式发布第七代 TPU——Ironwood；同年 11 月宣布全面商用。与此前历代不同，Ironwood 是第一款专为"推理时代"设计的 TPU，目标场景是思考型（thinking）大模型、混合专家（MoE）架构和高并发推理负载。

这个定位转变的背景很直接：推理模型需要对同一段提示进行多步生成，计算量远超传统问答式模型，且用户侧对延迟极其敏感。Google 的判断是，推理阶段的瓶颈不在算术单元，而在内存容量、内存带宽和芯片间通信——这决定了 Ironwood 的三大设计重心。

单芯片规格：算力、内存与互连​

Ironwood 单芯片集成两个计算 die，FP8 峰值算力 4614 TFLOPS，BF16 为 2307 TFLOPS。内存与互连的提升幅度尤为可观：

指标	Ironwood（v7）	相对上代 Trillium
HBM3e 容量	192 GB（8 组堆栈）	提升至 6 倍
内存带宽	约 7.3 TB/s	提升至 4.5 倍
ICI 芯片间互连（双向）	1.2 TB/s	提升至 1.5 倍
每瓦性能（FP8）	提升至 2 倍	约 2 倍
SparseCore	第四代，面向超大规模嵌入	持续增强

192GB 的片上内存意味着单芯片即可容纳 70B 级模型的权重与 KV cache，配合 SparseCore 对推荐、排序类嵌入负载的加速，Ironwood 把 TPU 的能力边界从纯大模型扩展到金融与科学计算领域。据公开报道，新一代 TPU 单芯片功耗最高可达约 980W，因此必须 100% 采用液冷散热，Google 为此部署了第三代液冷基础设施。

集群层面：9216 颗芯片一个 Pod​

Ironwood 提供两种标准配置：256 颗芯片和 9216 颗芯片。满配 Pod 的 FP8 总算力达 42.5 ExaFLOPS，全 Pod 可直接寻址的 HBM 总量约 1.77PB，创下共享内存超算的公开纪录。支撑这一规模的关键是光学电路交换机（OCS）与 3D 环面网络：故障节点可以被绕开，业务从检查点快速恢复，可靠性和可维护性（RAS）贯穿整个设计。

在软件侧，Pathways 执行架构允许把数十万颗 TPU 组合成一个统一算力池。Anthropic 已宣布计划使用多达 100 万颗 TPU 服务 Claude 模型家族；据公开报道，Meta 亦在评估大规模采购，Google 甚至将 2026 年 TPU 出货量目标上调了 50%。

观察与小结​

Ironwood 的竞争力不来自单点规格，而来自"芯片—互连—散热—软件"的垂直整合。相比以通用 GPU 为核心的集群，TPU 路线牺牲了部分通用性，换来更高的系统效率与更低的单位 token 成本——这正是推理时代最看重的指标。对于构建推理密集型业务的企业，Ironwood 及其背后的 AI Hypercomputer 体系值得纳入选型视野；对于国产与第三方芯片厂商，Google 证明了自研加速器在超大规模下可以与 GPU 正面竞争，这条路径的方法论比任何单颗芯片都更有参考价值。

The Tuesday-afternoon AI session at Hot Chips 2026 this August was the most historically significant of the conference — not because any single chip was so powerful, but because almost everything on stage was a "hyperscaler de-NVIDIA-ization" custom ASIC: Google's 8th-gen TPU, OpenAI's first self-designed chip, Microsoft Maia, Meta MTIA, and Cerebras wafer-scale racks, all on one stage. When the world's largest AI compute buyers start treating GPUs as "one of the options," the power structure of AI hardware is loosening.

---

1. OpenAI Jalapeno: Building a Chip in 9 Months​

On June 24, 2026, OpenAI, together with Broadcom, unveiled its first self-designed inference ASIC, Jalapeno — the fifth member of the "custom inference chip club."

Dimension	Jalapeno
Partner	Broadcom + TSMC manufacturing
Positioning	Inference-specific ASIC
Design cycle	9 months end-to-end (Greg Brockman says aided by OpenAI's own models)
Cost target	~50% lower token cost vs general-purpose GPU stack
Commercial timing	First deployments by end-2026; long-term goal 10GW of self-designed chips
Deal scale	Up to $10B strategic partnership with Broadcom (accelerators + networking by 2029)

The talk title "You Can Just Build Things … Chips" is itself a signal: the largest AI compute buyer no longer defaults to GPU as the only path.

---

2. Google TPU v8: The Biggest Architectural Pivot in a Decade — Train/Infer Split​

Google has the longest custom-chip history (2016 to now), and its 8th-gen TPU for the first time splits the product line in two:

Model	Codename	Partner	Positioning	Key Specs
TPU 8t	Sunfish	Broadcom	Training	9,600 cards per pod, 121 FP4 ExaFLOPS, 2PB shared HBM, 2× ICI bandwidth
TPU 8i	Zebrafish	MediaTek	Inference	288GB HBM, 384MB on-chip SRAM (3× prior gen), 19.2 Tb/s ICI

On capacity, Morgan Stanley estimates based on supply-chain interviews that Google TPU production in 2026 may exceed 3 million units (a brokerage estimate, not an official target). Google is also the only vendor to achieve large-scale custom-chip deployment and sell compute externally (Gemini runs on TPUs).

---

3. Meta MTIA: From Recommendation Systems to a GenAI Dual Mission​

Meta's custom journey has the clearest starting point — MTIA was originally built for recommendation ranking hardware and is being pulled toward a dual mission by generative AI.

• MTIA 300 is deployed; 400 / 450 / 500 are planned at roughly one new model every 6 months through 2027;
• Based on RISC-V, Meta claims up to 25× compute gain;
• Node evolves with industry cadence: 100 (7nm) → 200 (5nm) → 300 series (3nm + CoWoS);
• In partnership with Broadcom; another chip codenamed Iris reportedly passed testing in July 2026;
• Meta plans to start volume production of one of them in September 2026, doubling its overall compute.

---

4. Microsoft Maia 200/300: Most Advanced Deployment​

Microsoft's Maia 200, released January 26, 2026, is the most advanced in deployment among the four:

Dimension	Maia 200
Process	TSMC 3nm, 140B+ transistors
Compute	10+ PFLOPS FP4 / 5 PFLOPS FP8
Memory	216GB HBM3E, 7 TB/s
Power	750W
Deployment	Already running in Des Moines data center, serving OpenAI GPT-5.2 and Microsoft 365 Copilot

Microsoft claims roughly 3× the performance of Amazon's Trainium on specific benchmarks. The short-term strategy is a dual track of "self-designed Maia + purchased NVIDIA" in parallel — self-designed chips need time from design to mass production, and NVIDIA's mature ecosystem cannot be replaced in the short term.

---

5. Amazon Trainium 3 and Anthropic's In-House Team​

• Amazon: The Trainium series is already commercial, with 1.4 million units cumulatively deployed (officially disclosed) — a multi-billion-dollar business; its strength is the AWS customer base, letting enterprises choose between NVIDIA GPUs and self-designed chips. Trainium 3 continues this path.
• Anthropic: In August 2026 announced the formation of an in-house chip team, with no tape-out or mass-production timeline yet; initially positioned as a complement (not a replacement) to existing partnerships with NVIDIA/AMD/AWS/Google Cloud, aiming to tailor-build for the Claude architecture and shed reliance on a single GPU.

---

6. NVIDIA's Answer: Not a Faster GPU, But Full-Stack​

It's easy to simplify the narrative to "four companies build chips, NVIDIA defends GPU." But NVIDIA took 6 slots at Hot Chips: a RISC-V tutorial, the Vera CPU, the Rubin GPU, the BlueField-4 DPU, the Spectrum-X multi-plane network, and an LPU accelerator.

A hyperscaler ASIC replaces only one of those five pillars. If the CPU, NIC, switching fabric, and software all come from the same vendor, what you save by swapping out the accelerator is far less than the accelerator line item on the bill suggests. Rubin's play is a full-stack AI factory platform spanning seven chips and five racks — the competitive answer is "full-stack positioning," not "a faster single chip."

---

7. Trend Judgment: Inference De-GPU-izes, Training Still GPU-Led​

• Inference side: The CUDA moat visibly shallows. Inference is parallelizable and replaceable at the endpoint; custom ASICs trade away the generality tax (implementing only the operations LLMs actually execute) for lower cost/token. Groq LPU, Cerebras, and various TPU/ASIC players all compete on the same metric.
• Training side: Foundation models are still trained on GPUs, with no serious challenger in the short term. NVIDIA's three training moats (fastest silicon + NVLink + CUDA) remain firm.
• Conclusion: Custom chips are not "replacing NVIDIA," but giving buyers a credible external negotiation option in the largest and fastest-growing battlefield — inference. That alone is enough to reshape the economics of AI infrastructure.

Related Links​

• Inference Accelerator Market 2026
• Hot Chips 2026 Full Recap
• Google TPU 8t Spec Page
• Google TPU 8i Spec Page

References​

• Hot Chips 2026: 4 Hyperscalers Put Custom AI Silicon on One Afternoon - Sean Kim
• Custom AI inference silicon: why OpenAI built Jalapeno - nexi.fund
• Anthropic Builds Custom AI Chips for Claude - Studio Global AI
• 所有大厂都在做同一件事：自己造芯片，少买英伟达的 - Toutiao

---

This article is compiled from August 2026 Hot Chips on-site reports, corporate announcements, and industry analysis. Some capacity and performance figures are brokerage estimates or vendor-disclosed figures; actual results are subject to mass-produced products.

On April 22, 2026, at Google Cloud Next '26 in Las Vegas, Google officially launched its 8th-generation Tensor Processing Unit (TPU). For the first time in Google's history, it split AI training and inference onto two independent chips:

• TPU 8t: designed for model training
• TPU 8i: focused on high-concurrency inference

This launch introduces no new physical concept, but focuses on solving the core pain points of AI data centers: ten-thousand-card cluster scaling efficiency, Agentic AI workload optimization, and performance per watt.

TPU 8i (inference-specific): eliminating the "waiting room effect"​

TPU 8i is the first inference-specific chip co-designed by Google and MediaTek, aimed at eliminating the "waiting room effect" — where user requests are intentionally queued or delayed to maximize hardware utilization.

TPU 8i core specs (estimated)​

Parameter	TPU 8i	TPU v7 Ironwood
Positioning	Inference-specific	Mostly inference
Process	TSMC 2nm	—
Die design	Dual compute die (est.)	—
Memory	8× HBM3e 12-layer (~192GB est.)	8× HBM3 (192GB)
Memory bandwidth	~7 TB/s (est.)	7,380 GB/s
FP8 compute	~4,614 TFLOPS (est.)	4,614 TFLOPS
TDP (per chip)	1,300 W	1,000 W
Interconnect	ICI 3D Torus	ICI 3D Torus
Integrated CPU	Arm Axion (64 cores)	None
Cooling	Air or liquid	4th-gen liquid
Announced	2026-04-22	2025-08-25
Mass production	End of 2027	2026

Key features:

• ✅ High-concurrency inference optimization: built for Agentic AI, supports inference chains of thousands of steps
• ✅ Arm Axion CPU integration: 64-core Neoverse V2, host CPU + data preprocessing synergy
• ✅ Low latency: eliminates the "waiting room effect", extremely low TTFT (time to first token)
• ✅ 117% better performance per watt: vs Ironwood (at equal price)

TPU 8t (training-specific): the "engine" of Gemini 3/4​

TPU 8t is designed for training Google's frontier models like Gemini 3 / Gemini 4, continuing Google's long-term partnership with Broadcom.

TPU 8t core specs​

Parameter	TPU 8t	TPU v7 Ironwood	Improvement
Positioning	Training-specific	Mostly inference	Form-factor split
Process	TSMC 2nm	—	New gen
Die design	Dual compute die	—	Architecture upgrade
Memory	8× HBM3e 12-layer (~256GB per chip est.)	8× HBM3 (192GB)	Upgrade
Memory bandwidth	~7 TB/s (per chip est.)	7,380 GB/s	Flat
Pod chip count	9,600 chips	9,216	+4%
Pod total HBM	2 PB	—	Far exceeds
Pod FP4 compute	121 EFLOPS	~42 EFLOPS (est.)	~3×
Integrated CPU	Arm Axion (64 cores)	None	New
TDP (per chip)	1,300 W	1,000 W	+30%
Mass production	End of 2027	2026	—

Key features:

• ✅ Native MoE training support: Expert-Parallel optimization (DeepSeek / Mixtral style)
• ✅ Long-context training: 1M+ token context training optimization
• ✅ RLHF / post-training: native Online RL (DPO/PPO/GRPO) optimization
• ✅ Arm Axion CPU synergy: data preprocessing / weight init offloaded to CPU
• ✅ SparseCore acceleration: MoE routing and recommendation systems

Strategic significance of the 8th-generation TPU​

1. Training and inference split for the first time​

Previously, Google's TPU design philosophy was "one architecture for both training and inference" (e.g., TPU v5p, v6e). But the arrival of the Agentic AI era changed that:

• Training workloads: large-scale matrix multiply, long-sequence backpropagation, sparse MoE
• Inference workloads: high concurrency, low latency, KV Cache-intensive, dynamic batching

These two workloads impose very different demands on chip architecture. After the split:

• TPU 8t can focus on optimizing compute density and memory capacity
• TPU 8i can focus on optimizing inference throughput and performance per watt

2. Dual-track partnership with Broadcom and MediaTek​

• Broadcom: continues designing TPU 8t (training), extending the long-term partnership since TPU v1
• MediaTek: first-time collaboration designing TPU 8i (inference), bringing mobile-chip low-power design expertise

This "dual-track" strategy lets Google:

• Pursue peak performance on training chips (combined with Broadcom's high-end ASIC experience)
• Pursue peak energy efficiency on inference chips (combined with MediaTek's mobile-chip experience)

3. Versus NVIDIA Vera Rubin​

Comparison	Google TPU 8t + 8i	NVIDIA Vera Rubin
Strategy	Training/inference split	Unified architecture (GPU+CPU)
Process	TSMC 2nm	TSMC 3nm (est.)
Ecosystem	Google Cloud only	Globally available
Software	JAX / PyTorch-XLA	CUDA / PyTorch
Mass production	End of 2027	Fall 2026
Strength	Deep Gemini integration	Most mature ecosystem

Deep technical analysis​

TSMC 2nm: why 2nm?​

Google is the first vendor to adopt TSMC 2nm on an AI accelerator (NVIDIA Rubin uses 3nm). 2nm (N2) vs 3nm (N3E):

• Transistor density: ~15-20% higher
• Power reduction: ~25-30% (at equal performance)
• Performance gain: ~10-15% (at equal power)

For TPU 8t/8i, which already hit 1,300W, 2nm is mandatory — otherwise 4nm/3nm couldn't integrate dual compute dies and 8× HBM3e within reasonable power.

Arm Axion CPU: Google's in-house CPU enters the TPU node for the first time​

Previously, TPU nodes used Intel Xeon or AMD EPYC as host CPUs. TPU 8t/8i integrate Google's in-house Arm Axion CPU (64-core Neoverse V2) for the first time:

Significance:

1. Data preprocessing offload: tokenization, data augmentation can run entirely on Axion, freeing TPU compute
2. Weight initialization: large-model training weight init on CPU, accelerating training startup
3. Inference scheduling: Axion handles request scheduling and load balancing for multi-model inference

This marks the TPU node's evolution toward a "SuperNode": no longer a pure accelerator, but a TPU + Axion CPU co-design system, comparable to NVIDIA's Vera CPU.

4th-gen liquid cooling: the 1,300W thermal challenge​

TPU 8t/8i TDP reaches 1,300W (30% over Ironwood's 1,000W), posing a huge data-center cooling challenge.

Google adopts a 4th-gen liquid cooling solution:

• Cold-plate liquid cooling: directly cools GPU die and HBM
• Immersion cooling: optional (ultra-high-density deployment)
• Smart thermal control: dynamically adjusts pump speed and fan RPM by workload

Production timeline and use cases​

Time	Event
2026-04-22	Cloud Next '26 official announcement
H2 2026	Internal testing (Google DeepMind first)
End of 2027	Mass production, Google Cloud availability
2028	Next-gen TPU (possibly TPU 9)

Target use cases:

• ✅ Frontier model training (Gemini 3/4, external customers)
• ✅ MoE large-model inference (high concurrency, low latency)
• ✅ Multimodal AI (ViT + LLM simultaneous inference)
• ✅ Agentic AI (Agentic AI workloads)

Competitive comparison​

Vendor	Product	Process	TDP	Mass production
Google	TPU 8i (inference)	TSMC 2nm	1,300W	End of 2027
Google	TPU 8t (training)	TSMC 2nm	1,300W	End of 2027
NVIDIA	Rubin GPU	TSMC 3nm (est.)	~1,000W	Fall 2026
NVIDIA	Vera CPU	TSMC 3nm (est.)	~500W	Fall 2026
AMD	MI455X (MI400)	TSMC 3nm (est.)	~700W	2026
Huawei	Ascend 950PR	—	~500W	Q1 2026

Industry impact​

1. AI chips enter the 2nm era: Google leads with TSMC 2nm; NVIDIA and AMD will follow
2. Training/inference split becomes a new trend: other vendors (NVIDIA, AMD) may follow suit
3. In-house CPUs become standard: Google (Axion), NVIDIA (Vera), Huawei (Kunpeng) all do CPU+accelerator co-design
4. Liquid cooling becomes inevitable: 1,300W TDP means air cooling can no longer suffice

Related chips​

• Google TPU 8i - inference-specific TPU detailed specs
• Google TPU 8t - training-specific TPU detailed specs
• Google TPU v7 Ironwood - previous-gen inference TPU
• NVIDIA Rubin R200 - same-generation competitor
• NVIDIA Vera CPU - counterpart to Google Axion

References​

• Google blog: Introducing new TPUs at Cloud Next '26
• Google Cloud Next '26 keynote replay
• Tencent News: Google 8th-gen TPU deep dive

---

This article is compiled from Google's official announcements and public sources; some specs are estimates, subject to final official release.