Skip to main content

AWS Trainium3 架构解析:Project Rainier 之后的性能跃升

· 3 min read
Industry Research Team

2025 年 12 月 2 日,AWS 在 re:Invent 大会上正式发布 Trainium3。作为 AWS 首款采用台积电 3nm 工艺的 AI 芯片,它承载着亚马逊从"给 Anthropic 建算力"走向"对外开放推理服务"的野心。

单芯片:3nm 与更大更快的内存​

Trainium3 单芯片提供 2.52 PFLOPS 的 FP8 峰值算力,支持 FP32、BF16、MXFP8 以及新增的 MXFP4 等多种精度格式,并强化了结构化稀疏与微缩放硬件支持。内存规格的提升同样显著:HBM3e 容量提升至 144GB(为上一代的 1.5 倍),带宽提升至 4.9 TB/s(提升 1.7 倍)。

架构上,Trainium3 针对密集计算与专家并行做了深度优化,明确面向强化学习、混合专家(MoE)与长上下文推理这些前沿负载。AWS 透露,部署 GPT-OSS 等主流开源模型时,单芯片吞吐量提升约 3 倍,响应延迟缩短至原来的约四分之一。

系统层面:144 颗芯片的 UltraServer 与百万芯片集群​

Trainium3 的系统设计延续了 AWS 一贯的"纵向整合"路线:

系统指标Trainium3 UltraServer相对上一代
芯片数量最多 144 颗—
FP8 总算力362 PFLOPS提升 4.4 倍
HBM3e 总容量20.7 TB—
内存总带宽约 706 TB/s提升约 3.9 倍
能效—提升超过 4 倍

互连是这一代的关键升级:新的 NeuronSwitch-v1 把 UltraServer 内部带宽翻倍,芯片间通信延迟降至 10 微秒以内;通过 EC2 UltraClusters 3.0,最多可扩展至 100 万颗芯片的超级集群,规模为上一代的 10 倍。软件侧,Neuron SDK 原生支持 PyTorch 与 JAX,开发者无需重写代码即可迁移,也可以通过 Neuron Kernel Interface 做底层优化。

Project Rainier 之后的算力版图​

Trainium3 的发布建立在 Trainium2 的成功之上。为 Anthropic 打造的 Project Rainier 项目部署了超过 50 万颗 Trainium2 芯片,是全球最大的自研芯片 AI 集群之一;AWS 披露 Trainium 系列全球部署量已突破 100 万颗,业务规模达数十亿美元,2025 年第三季度增长 150%,且 Trainium2 供不应求。Karakuri、Ricoh 等客户反馈,迁移到 Trainium 后训练与推理成本最高降低 50%。

小结与建议​

Trainium3 展示了自研芯片的正循环:规模部署带来真实负载反馈,反馈驱动架构迭代,迭代再扩大规模。与前代相比,这一代最大的变化是从"服务 Anthropic"走向"服务所有企业"——Amazon Bedrock 已在 Trainium3 上运行生产负载。对于正在评估大模型训练与推理平台的团队,Trainium3 UltraServer 提供了 GPU 集群之外的一个高性价比选项,尤其适合 MoE 与长上下文场景;需要留意的是其软件生态仍以 AWS 工具链为中心,迁移前应充分验证自己的模型与框架组合。