65 posts tagged with "Tech Deep Dive"

2022 年那篇 FP8 论文刚出来时，把低精度训练当作一个需要小心翼翼对待的工程风险。到了 2026 年，情况反过来了——不是你在考虑要不要用 FP8，而是你还在用 BF16 全程训练的话，很难解释为什么成本这么高。

三套配方，而不是一个「FP8」​

FP8 有两个子格式：E4M3 尾数位多、精度高但动态范围窄，最大有限值 448；E5M2 指数位多、范围宽，最大有限值 57344。Transformer Engine 里的 HYBRID 配方是前向用 E4M3、反向用 E5M2。但这不是唯一正确答案——DeepSeek V3 公开发布的训练配方是全程 E4M3。两种选择都能跑出稳定训练，差别在于梯度的动态范围是否真的需要那么宽。

缩放策略的选择比格式选择影响更大。当前缩放（current scaling）每个张量读两次，适配实时数据；延迟缩放（delayed scaling）只读一次，但依赖历史 amax 统计，遇到离群值容易被历史污染。工程上的普遍建议是：如果稳定性优先，先用当前缩放，不要急着换。

再往上一层是 MXFP8，也就是 OCP 的微缩放格式。张量按 32 个元素切块，每块一个 UE8M0 类型的缩放因子——全是指数位、没有尾数，表示 2 的整数次幂，范围覆盖 2 的负 127 次方到 2 的正 127 次方。这一点在硬件上很关键：缩放因子是 2 的幂，解码时只需要移位，不需要完整的浮点乘法和规格化，直接缩短了处理器的关键路径。块级粒度相比每张量缩放，能把量化误差压低相当可观的比例。

维度	BF16 混合精度	FP8 保守配方	FP8 + COAT 类激进配方
计算权重	2 字节	1 字节	1 字节
主权重	4 字节 FP32	4 字节 FP32	2 字节
梯度	4 字节	4 字节	1 字节
Adam 状态	8 字节	8 字节	1 至 2 字节
每参数合计	约 18 字节	约 17 字节	约 6 至 8 字节

这张表容易被误读。FP8 保守配方看起来只省了 1 字节，这不是 FP8 没价值，而是参数量状态在总训练内存里本来就不占大头——激活值、梯度通信缓冲、框架开销构成了剩下的部分。COAT 这类把优化器状态也量化下去的研究，纸面上有 2 到 3 倍的降幅，但实测端到端内存只降了约 1.5 倍，原因就在这里。

硬件代际决定了配方能走多远​

Ampere 及更早的架构没有 FP8 Tensor Core，Transformer Engine 在那一代只提供 FP16 和 BF16 优化。Hopper 是 FP8 的起点。Blackwell 把 MXFP8 和 NVFP4 做成了 Tensor Core 原生数据类型，Transformer Engine 的 README 明确列出对 MXFP8、NVFP4 训练的支持；Transformer Engine 2.19 版本在 2026 年 9 月加入了对 Rubin 的支持。

AMD 那边，MI450 系列在 FP8 下峰值 20 PFlops、FP4 下 40 PFlops，FP8 训练已经是硬件默认能力而非附加特性。

一个容易被忽略的细节：Blackwell 上使用 MXFP8 时，Transformer Engine 会额外维护一份转置的量化权重副本以加速反向传播。这是一份实打实的额外开销，而且是格式特定行为，不是 FP8 训练的普遍属性。

成熟度体现在基准与生产两处​

MLPerf 预训练提交里的证据比较直接：Llama 3.1 8B 预训练基准中，对注意力 BMM 的输入（前向和后向都算）使用 FP8，相比对应的 BF16 方案在注意力核上实现了明显更好的性能，同时满足了基准的精度要求，注意力部分约 1.3 倍，端到端约 5% 加速。这份提交走的还是每张量当前缩放。

生产侧的公开案例更多。DeepSeek V3 是 671B 总参数、约 37B 激活的 MoE，原生 FP8 训练并且只发布 FP8 权重；Qwen 3.5 的基础设施博客同样描述了原生 FP8 训练管线。需要注意一个术语陷阱：Hugging Face 上的 FP8 检查点，包括 Qwen 自己发布的那些，绝大多数是训练后量化产物，和原生 FP8 训练是两回事。模型卡上写「FP8 权重」不代表它是 FP8 训练出来的。

硬件侧的收益区间也有公开数据：在 H100 上相比 BF16 混合精度，FP8 训练通常快 35% 到 40%；NVIDIA 的 COAT 框架报告过约 1.43 倍的端到端加速。

剩下的坑​

需要警惕三类问题。第一，精度悬崖真实存在——有些架构对 FP8 敏感程度明显更高，换格式前必须跑基线对比。NVIDIA 公布的验证曲线里 MXFP8 和当前缩放 FP8 在 Nemotron 模型上贴合 BF16，但那不保证你的模型也贴合。

第二，loss spike 频率上升。应对手段是更积极的梯度裁剪、更长的学习率预热、更频繁的检查点。FP8 梯度比 BF16 更容易溢出，这不是可以忽略的波动。

第三，激活离群值极端的模型，延迟缩放会被历史统计带偏，此时应当直接上块级缩放，而不是在两种延迟策略之间反复调参。

展望​

2026 年剩下的变量主要在两处：一是块级缩放会不会从 Blackwell 的可选路径变成跨厂商默认——MX 系列已经是 OCP 标准，AMD、Intel、NVIDIA、Meta 都在里面；二是 4 位格式从推理侧反攻训练侧的速度有多快。一旦 NVFP4 级配方在前沿规模预训练中稳定下来，FP8 就不会再是讨论的终点，而是所有新项目的起点。真正需要判断的已经不是用不用 FP8，而是你的模型对哪一档精度敏感、敏感在训练的哪个阶段。

聊天机器人时代，衡量算力的单位是 FLOPS 和 token/s。2026 年，随着企业 Agent 从"回答问题"转向"完成任务"，一种新的计量单位开始流行——沙盒/秒。基础设施的每个环节，正在被这种新工作负载重新定价。

Agent 工作负载的"三高"​

Agent 与传统推理的本质区别在于它不是一次请求、一次回答，而是一个持续数十步的执行循环：每一步都要启动工具、运行代码、读写环境、反思结果。这给基础设施带来"三高"压力。

第一，高并发沙盒。Agent 执行任务需要隔离的代码执行环境，Daytona 在 2026 年 10 月 10 日发布的智能体基准显示：在 8×EPYC 9755 服务器上，基于 Vera CPU 的方案 10.8 秒即可上线 1000 个沙盒，峰值达 13.3 任务/秒，扩展到 2000 沙盒耗时 27.4 秒——沙盒的创建延迟，正在成为 Agent 平台的核心 SLO。第二，高频短请求。一个任务循环里包含大量短小的模型调用（工具选择、结果解析、路由判断），这类请求的 prefill 远大于 decode，与聊天场景的负载曲线完全不同。第三，大 KV Cache。Agent 会话动辄数十万 token，NVIDIA RTX Spark 甚至把 100 万 token 上下文作为桌面级卖点，长会话的 KV Cache 成了显存的最大消耗者。

机构口径显示，AI 推理的 token 消耗已达人类用户直接使用量的约 5 倍——机器与机器之间的对话，正在取代人与人之间的对话，成为算力的主要买家。

算力计量单位的变迁​

时代	计量单位	代表指标	采购逻辑
训练为王	FLOPS	峰值算力	比参数表
推理规模化	token/s	吞吐与延迟	比单位 token 成本
Agent 时代	沙盒/秒、任务/秒	环境创建延迟、任务完成率	比任务执行成本

这个变迁的深层含义是：采购决策从"买算力"变成"买任务完成能力"。Meta 的 Hatch 以每月 199.99 美元的价格出售自主 Agent（接入 DoorDash、Etsy、Reddit、Outlook），Google Cloud 的 Gemini 企业 Agent 强调"做工作而非答题"，OpenAI 的 Presence 企业 Agent 进入有限 GA——定价单位都是"订阅/任务"，倒推回基础设施层，就是沙盒密度与任务吞吐。

decode 阶段专用硬件的兴起​

Agent 循环里最伤延迟的不是 prefill，而是 decode——每一步的生成速度直接决定用户等待时间。NVIDIA 在 Vera Rubin 平台的七芯片堆栈里塞进了一颗非典型成员：Groq 3 LPX，定位是"专为智能体解码阶段设计的低延迟推理加速器"。这是 NVIDIA 第一次在旗舰平台里为 decode 单独配一颗 ASIC，与 Rubin GPU（管 prefill 和训练）形成分工。

逻辑不难理解：prefill 是算力受限，GPU 的 FLOPS 越多越好；decode 是带宽与延迟受限，堆 FLOPS 无济于事，需要的是针对逐 token 生成的访存优化。当 Agent 流量的 decode 占比持续上升，专用 decode 硬件就有了独立存在的经济学基础——正如当年推理从训练中拆分出来催生了推理 ASIC 一样，decode 正在从推理中再拆分出来。

上下文内存成为新基建​

Agent 的长会话必须能"暂停、保存、恢复"——用户中午发起的任务，Agent 下午继续执行时，几十万 token 的上下文不能重算。这催生了一层新基础设施：上下文内存。NVIDIA 把 BlueField-4 DPU 升级为推理上下文内存存储平台，宣称 token 吞吐最高提升 5 倍；华为同步发布 OceanStor M900 上下文内存存储集群，通过灵衢总线一跳直连，为昇腾超节点提供 PB 级 KV Cache，并把 SSD 读写寿命延长 16 倍。

Vera CPU 的高密度机架同样服务于这个趋势：单机架最大 256 颗 Vera CPU、支持同时运行超过 2.25 万个并发环境——CPU 不再只是 GPU 的陪衬，而是沙盒编排与上下文管理的专职引擎。

企业级门槛与采购建议​

Agent 进入企业还多了一层合规门槛：agent 身份（每个 Agent 是谁、权限多大）、操作日志（每一步做了什么）、回滚能力（出错如何撤销）。这些要求把"执行层"变成了强粘性资产——模型可以随时换，但嵌入业务流程的执行层一旦部署就很难被替换。这也解释了为什么企业 Agent 的竞争焦点从"回答质量"迅速转向"任务完成"。

给采购与架构师三条建议：第一，评估 Agent 平台时先看沙盒指标——创建延迟、并发密度、任务/秒，而不是 GPU 型号；第二，规划推理集群时预留上下文存储层，BlueField-4 类平台和 PB 级 KV 存储应当进采购清单；第三，关注 decode 专用硬件的落地节奏，LPX 这类组件可能重新划分推理服务器的内部配比。

小结​

Agentic AI 把算力经济学从"每 token 多少钱"推进到"每任务多少钱"：高并发沙盒要求 CPU 密度，高频短请求要求 decode 专用硬件（Groq 3 LPX 是第一个信号），大 KV Cache 要求 PB 级上下文内存基建。Daytona 基准里 10.8 秒上线 1000 沙盒的成绩单，预示着"沙盒/秒"将成为下一轮基础设施比拼的通用语言。谁能把执行层做深、把上下文存好、把 decode 做快，谁就握住了 Agent 时代的入口。

一颗旗舰 AI 芯片价值数万美元，还要搭配数颗 HBM 一起封进昂贵的 CoWoS 封装——只要混进一颗坏 die，整颗封装报废。所以 AI 芯片的测试是一条比传统芯片严苛得多的流水线。本文按制造顺序拆解四道关卡，以及它对产业的影响。

第一关：晶圆 CP 测试——决不能封装坏 die​

晶圆切割之前，探针卡上数千根探针扎到每颗 die 的焊盘上，由 ATE 自动测试设备逐颗测电性，筛出 KGD（已知良好裸晶）。对 AI 芯片这一步是生死线：CoWoS 封装的成本远高于 die 本身，把坏 die 或坏 HBM 封进去等于把最贵的工序浪费在最差的料上。探针卡本身就是高技术壁垒耗材，单颗 die 的焊盘数量随着先进制程与 Chiplet 化持续膨胀。

测试关卡	所处阶段	核心设备	主要目的
CP（晶圆测试）	切割封装前	探针台、探针卡、ATE	筛出 KGD，避免无效封装
晶圆级老化（WLBI）	封装前	老化设备	高温高压逼出早期失效
FT（成品测试）	封装完成后	分选机、ATE、测试板	测功能、速度分档与功耗温度
SLT（系统级测试）	出货前	专用测试板与测试舱	真实固件与负载下抓 ATE 测不出的缺陷

第二到第四关：老化、终测与系统级测试​

老化（Burn-in）把芯片置于高温高压下运行一段时间——典型条件是 125 摄氏度左右、1.1 至 1.2 倍额定电压、24 至 168 小时——专门逼出可靠性曲线最左端的"婴儿死亡"失效。AI 服务器要求芯片连续数月满载运行，这一关的淘汰标准比消费芯片严得多，HBM 还要额外做堆叠级的 KGSD 测试。

FT（终测）在封装完成后进行，除了功能验证还要做速度分档：同一批晶圆的芯片体质不同，按最高稳定频率与功耗归入不同档位。封装工序本身也可能引入损伤，所以 FT 是出厂前最后一道功能闸门。SLT（系统级测试）则是 AI 时代的标配增量：把芯片装进接近真实环境的主板，运行真实固件与大模型负载，单颗测试时间可达 30 至 300 秒。ATE 的标准向量测不出的问题——多 die 协同、高速接口的边际缺陷、热与功耗的真实表现——都靠 SLT 兜底。测试成本方面，行业经验值是测试占芯片制造成本的 5% 到 15%，AI 大芯片正在把这个比例推向区间上限。

为什么测试产能成了新瓶颈​

需求端在多重放大：AI 芯片 die 面积大、测试项目多、时间长，直接吃掉测试机产能；先进封装让封装前后测试都成为必需；每一个新的定制 ASIC 项目都要重开一套测试程序，博通与谷歌、迈威尔与 Meta、AWS Trainium 这类项目越多，需求乘数式放大。据公开报道，SoC 测试机市场从 2025 年约 69 亿美元增长到 2026 年约 87 至 95 亿美元，头部厂商扩产仍供不应求。供给端则是双寡头格局：爱德万与泰瑞达合计占全球八成以上份额，探针卡、探针台与分选机同样高度集中。

对采购方的含义很直接：AI 芯片的交付周期里，测试与封装产能是和晶圆产能同等重要的变量，签约时要问清 SLT 与老化的排产情况。

写在最后​

三条建议：第一，评估芯片供应商时把测试体系纳入尽调——有没有自建或锁定的 SLT 产能，直接决定交付确定性；第二，数据中心侧对到货芯片建立抽检与老化流程，服务器上架前先跑压力与显存基准，把"婴儿死亡"挡在集群之外；第三，关注国产测试设备与第三方独立测试产能的进展，测试环节的国产化进度，往往先于设计端。用户看到的每一颗稳定运行的芯片，背后都是四道关卡层层淘汰的结果。

2025 年 12 月 2 日，AWS 在 re:Invent 大会上正式发布 Trainium3。作为 AWS 首款采用台积电 3nm 工艺的 AI 芯片，它承载着亚马逊从"给 Anthropic 建算力"走向"对外开放推理服务"的野心。

单芯片：3nm 与更大更快的内存​

Trainium3 单芯片提供 2.52 PFLOPS 的 FP8 峰值算力，支持 FP32、BF16、MXFP8 以及新增的 MXFP4 等多种精度格式，并强化了结构化稀疏与微缩放硬件支持。内存规格的提升同样显著：HBM3e 容量提升至 144GB（为上一代的 1.5 倍），带宽提升至 4.9 TB/s（提升 1.7 倍）。

架构上，Trainium3 针对密集计算与专家并行做了深度优化，明确面向强化学习、混合专家（MoE）与长上下文推理这些前沿负载。AWS 透露，部署 GPT-OSS 等主流开源模型时，单芯片吞吐量提升约 3 倍，响应延迟缩短至原来的约四分之一。

系统层面：144 颗芯片的 UltraServer 与百万芯片集群​

Trainium3 的系统设计延续了 AWS 一贯的"纵向整合"路线：

系统指标	Trainium3 UltraServer	相对上一代
芯片数量	最多 144 颗	—
FP8 总算力	362 PFLOPS	提升 4.4 倍
HBM3e 总容量	20.7 TB	—
内存总带宽	约 706 TB/s	提升约 3.9 倍
能效	—	提升超过 4 倍

互连是这一代的关键升级：新的 NeuronSwitch-v1 把 UltraServer 内部带宽翻倍，芯片间通信延迟降至 10 微秒以内；通过 EC2 UltraClusters 3.0，最多可扩展至 100 万颗芯片的超级集群，规模为上一代的 10 倍。软件侧，Neuron SDK 原生支持 PyTorch 与 JAX，开发者无需重写代码即可迁移，也可以通过 Neuron Kernel Interface 做底层优化。

Project Rainier 之后的算力版图​

Trainium3 的发布建立在 Trainium2 的成功之上。为 Anthropic 打造的 Project Rainier 项目部署了超过 50 万颗 Trainium2 芯片，是全球最大的自研芯片 AI 集群之一；AWS 披露 Trainium 系列全球部署量已突破 100 万颗，业务规模达数十亿美元，2025 年第三季度增长 150%，且 Trainium2 供不应求。Karakuri、Ricoh 等客户反馈，迁移到 Trainium 后训练与推理成本最高降低 50%。

小结与建议​

Trainium3 展示了自研芯片的正循环：规模部署带来真实负载反馈，反馈驱动架构迭代，迭代再扩大规模。与前代相比，这一代最大的变化是从"服务 Anthropic"走向"服务所有企业"——Amazon Bedrock 已在 Trainium3 上运行生产负载。对于正在评估大模型训练与推理平台的团队，Trainium3 UltraServer 提供了 GPU 集群之外的一个高性价比选项，尤其适合 MoE 与长上下文场景；需要留意的是其软件生态仍以 AWS 工具链为中心，迁移前应充分验证自己的模型与框架组合。

当算力供给的矛盾从"有没有"转向"够不够"，芯片设计的刀法也开始向场景细分。华为昇腾950系列首次拆分为950PR与950DT双版本——前者专攻推理Prefill，后者押注Decode与训练超节点。这既是Prefill/Decode负载特性差异的工程回应，也是自研HBM产能约束下的现实选择。

一、为什么推理要拆成两颗芯片​

大模型推理的两条流水线，瓶颈完全不同：

• Prefill（首 Token 生成）：一次性吞下整段 Prompt 做并行计算，算力（FLOPS）是瓶颈，带宽需求适中；
• Decode（逐 Token 生成）：每生成一个 Token 都要把权重和 KV Cache 从显存搬一遍，带宽是瓶颈。

把两类负载塞进同一颗芯片，必然出现"一半硅片在空转"的错配。华为的解法是同一 Da Vinci v5 计算核心、两套内存子系统——950PR 用成本优先的 HiBL 1.0，950DT 用带宽优先的 HiZQ 2.0。这与 Google 的思路殊途同归：谷歌同样在 TPU 家族中把训练型 8t 与推理型 8i 拆分为两条产品线，让"算力密集"和"带宽密集"各自归位。

维度	昇腾 950PR	昇腾 950DT
目标场景	推理 Prefill（首 Token 生成）、视频推荐、实时交互	推理 Decode + 模型训练
HBM	自研 HiBL 1.0，128 GB	自研 HiZQ 2.0，144 GB
HBM 带宽	1.6 TB/s	4 TB/s
FP8 算力	1 PFLOPS（HiF8 格式）	1 PFLOPS（HiF8 格式）
FP4 算力	2 PFLOPS	2 PFLOPS
TDP	~400 W	~500 W
定价逻辑	成本优先	带宽优先、性能优先

按《昇腾 950 NPU 架构白皮书》的精确口径，FP8 算力随配置在 919–1034 TFLOPS 之间（宣传口径取整 1 PFLOPS），FP4 为 1561–2007 TFLOPS。两者共享同一计算核心，差异全部体现在内存子系统上——950DT 的 4 TB/s 带宽正是 Decode 与训练场景的命门。

二、Da Vinci v5：双编程模型与 HiF8 的精度革命​

昇腾950 是 Da Vinci 架构第五代，两项变化值得单独展开：

SIMD + SIMT 双编程模型。SIMD 延续 Da Vinci 在向量计算上的传统优势；新增的 SIMT 模型则面向 Decode 阶段大量不规则内存访问，让开发者可以用更接近 GPGPU 的方式写算子。配合内存访问粒度从 512 字节压缩到 128 字节，离散内存访问效率提升 4 倍——这对小 batch、多并发的推理业务是实打实的收益。华为同时提供 ASIC（昇腾 Core）与 GPGPU 双生子型号，兼容两种开发范式。

HiF8 自研 FP8 格式。低精度化的最大阻力是精度损失，HiF8 的设计目标是"精度接近 FP16、算力比 FP16 提升 2 倍"，配合 FP4 格式整体算力利用率提升 30% 以上。结合 2 TB/s 灵衢互联，384 颗 950 组成的 CloudMatrix 384 超节点总算力约 384 PFLOPS FP8，以系统级规模对冲单卡代差。

三、自研 HBM：供应链意义大于纸面参数​

950 系列首次搭载华为自研 HBM——950PR 用 HiBL 1.0（成本优先），950DT 用 HiZQ 2.0（带宽优先，4 TB/s 对标 NVIDIA HBM3e）。这组数字的意义不在跑分，而在供应链：过去国产 AI 芯片的产量天花板被 SK 海力士、三星的 HBM 配额捏在手里，自研 HBM 让昇腾第一次把"产能多少"的决定权拿回自己这边。

但产能爬坡需要时间。渠道数据显示，国产 HBM 产能目前仅能支撑约 25–30 万颗成品加速器，缺口约六成——这正是下文涨价潮的底层原因。

四、徐直军 HC2026 访谈：节奏、份额与产能​

2026 年 10 月 8 日，华为副董事长徐直军在 HC2026 期间接受访谈，披露了几个关键信息：

• 950PR 已于 2026 年第一季度发布上市，定位推理场景，"上市量不算大"；
• 950DT 超节点正在测试中，规模供货预计今年年底或明年初落地；
• 关于训练业务，徐直军表示："950DT 训练表现非常不错，明年开始大量模型训练会构筑在 950DT 超节点上；关键在供货能力，能产多少供多少。"
• 从华为统计口径看，昇腾在中国市场的份额已超过英伟达；
• 华为暂无全面海外拓展计划，重心仍在国内市场。

"能产多少供多少"这六个字，基本概括了当前国产 AI 芯片的真实处境：需求端远未见顶，第一约束已经从市场转移到了产能。

五、生态与价格：开源换时间，稀缺换定价​

生态侧，昇腾950 正在以"开源 + 头部共建"提速：DeepSeek 与华为联合开源面向昇腾950 的编程工具链（含计算与通信库），头部模型厂商直接参与共建是"去 NVIDIA 化"的标志性事件；CANN 已全面开源，外部开发者占比达 61%（首次超过内部团队），月活开发者突破 5200 人，PyTorch 官网将昇腾列为首个中国算力平台；昇腾950 智算集群云服务已于 9 月 30 日在国内商用。

价格侧则是另一番景象。受 HBM 成本攀升与供不应求驱动：

型号	年初报价	2026-10 市场报价	涨幅
昇腾 950PR	~¥6 万	突破 ¥8 万	+30%
昇腾 950DT	~¥12–15 万	指示性报价超 ¥25 万	两个月内最高 +50%

950DT 的渠道指示价已经对齐 NVIDIA B200 的量级——国产旗舰的定价逻辑，正从"替代品折价"转向"供给稀缺溢价"。

小结​

昇腾950 的双轨战略回答了两个问题：产品层面，Prefill/Decode 分芯片让每一份硅片和带宽都花在刀刃上，与 Google TPU 的产品线拆分形成跨洋呼应；供应链层面，自研 HBM 把产能主动权握回手中，但爬坡期的缺口也直接推高了价格。徐直军"能产多少供多少"的表述说明，2027 年国产算力的故事主线不再是需求，而是产能——950DT 超节点能否如期规模供货，将决定明年大量模型训练是否真正构筑在国产超节点之上。

2026 年 9 月 17 日，华为全联接大会（HC2026）上海站，华为轮值董事长汪涛官宣昇腾960 超节点——全球首个采用 NPO（近封装光学）技术的超节点。4096 卡、8 EFLOPS FP8、1PB HBM，加上提前三个季度就绪的 960DT，华为把"系统级算力"的赌注又加大了一档。

一、HC2026 发布：单节点 4096 卡意味着什么​

先看官方口径的核心数字：

指标	昇腾 950 超节点	昇腾 960 超节点
单节点卡数	1024 卡（WAIC 2026 展出）	4096 卡
FP8 算力	8 EFLOPS（8192 卡满配）	8 EFLOPS（单节点）
FP4 算力	16 EFLOPS（8192 卡满配）	16 EFLOPS（单节点）
HBM 总容量	1152 TB（8192 卡满配）	1 PB（4096 卡）
互联 RTT	3 μs	2 μs（全域 D2D）
光互联	灵衢 2.0 总线	NPO 光引擎 Hi-ONE

一个直观的对比：950 超节点需要 8192 卡满配才能达到的 8 EFLOPS FP8，960 超节点在单节点 4096 卡内即已实现——这背后是单卡规格翻倍与光互联密度提升的叠加。芯片侧，昇腾960DT 升级至 Da Vinci v6 架构：FP8 2 PFLOPS、FP4 4 PFLOPS、288GB 自研 HBM、9.6 TB/s 带宽，各项指标较 950 系列全部翻倍，华为称这一路径为"韬定律"。双版本节奏同样清晰：960DT 配风冷超节点 Atlas 860，960PR 配液冷超节点 Atlas 960，分别于 2027 年 Q2、Q3 上市。

二、NPO 光互连：一场功耗与密度的革命​

超节点规模越大，互联越是命门。传统可插拔光模块的功耗与密度，正是把超节点从"千卡"推向"万卡"的最大障碍。昇腾960 超节点的答案是 NPO（Near-Package Optics，近封装光学）：

• 5500 个 Hi-ONE 光引擎替代 48000 颗 800G 光模块，单引擎传输容量 7.2T，是业界首个量产、当前传输能力最大、唯一内置光源的 NPO 产品；
• 系统功耗降低超 550 kW——相当于省出一个中型数据机房的总功率；
• 无故障运行时间提升一倍，整体可用度达 99.8%。

华为选择 NPO 而非更激进的 CPO，理由是工程务实：NPO 在保留光引擎独立性的同时实现光电近距离握手，规避了 CPO 在可靠性、可制造性、可维护性上的难题，并延续现有光模块产业生态。

对照海外路线，这条路径的差异非常明显：NVIDIA 的 NVL72 系列在机柜内坚持铜互连（NVLink 铜背板），AMD 亦以铜互连为主、借助 UALink 开放生态扩展机柜间网络。铜互连在 72–144 卡尺度上功耗与成本占优，但要再往上走一个数量级，光进铜退几乎是必然。昇腾960 用 NPO 直接把光互联压进超节点内部，是在用互联架构换规模上限——这也是 4096 卡得以成立的前提。华为马尔科夫实验室的仿真给出了一组佐证：4K 超节点组成的 10 万卡集群，相比 8 卡服务器组网，MFU 提升达 2.75 倍——传统架构下，集群内通信要吃掉超过 40% 的训练时间。

三、4096 卡 vs NVL72：两种规模哲学​

把昇腾960 超节点与 NVIDIA NVL72 放在一起，看到的不是同一张设计图的两个版本，而是两种哲学：

维度	NVIDIA NVL72	昇腾960 超节点
单节点规模	72 卡	4096 卡
互联介质	铜背板（NVLink）	NPO 光引擎（Hi-ONE）
设计逻辑	小域高带宽、机柜间以太网扩展	大域统一内存、集群级扩展

NVL72 的思路是把最紧密的互联限制在 72 卡的小域内，用成熟的铜互连控制功耗，再靠网络横向扩展；昇腾960 则把"超节点"的边界直接推到 4096 卡，用统一内存编址和 2 μs 全域 RTT 让整个节点在逻辑上"像一台机器"。单卡绝对性能仍落后 NVIDIA 旗舰一代的背景下，华为选择用更大的 Scale-Up 域弥补代差——评估国产算力，不能只比单芯片 PFLOPS。

四、提前三个季度：执行信号与一年一代路线图​

比规格更值得注意的是节奏：昇腾960DT 较原计划提前三个季度就绪，960PR 提前一个季度。在先进制程受限的环境里，提前就绪意味着供应链、封装、整机调测的每一个环节都被压缩过——这是执行力的信号，也是对客户交付承诺的背书。

路线图同步浮出水面：2028 年昇腾970、2029 年昇腾980，"一年一代"的迭代节奏与算力规格持续翻倍的韬定律并列官宣。而 960 的部署底盘已经就位——昇腾910C 超节点已部署超 1000 套，950 超节点规模商用，CANN 外部开发者占比升至 61%、月活开发者突破 5200 人。

配套系统同步升级：鲲鹏 TaiShan 950 超节点支持全光组网下 4096 节点、256TB 统一内存池；OceanStor M900 上下文内存存储基于灵衢总线一跳直连 PB 级 KV Cache，把推理时代的上下文瓶颈纳入系统级解法。集群扩展路径上，多个 960 超节点经灵衢网络或 RoCE 互联可达 51.2 万卡，叠加多轨道拓扑后支持 100 万卡集群。

小结​

昇腾960 超节点的故事有三层：工程层面，NPO 光互连用 5500 个光引擎换下 4.8 万颗光模块、省电 550 kW，把光互联提前压进超节点内部，走出了与 NVIDIA 铜互连不同的路线；架构层面，4096 卡对 72 卡，是以更大的 Scale-Up 域对冲单卡代差的规模哲学；执行层面，960DT 提前三个季度就绪，让"一年一代"从路线图变成了可以兑现的承诺。2027 年 Q2 上市在即，真正的考验将是：这 4096 卡的野心，能否按期变成机房里实际运转的算力。

所有 AI 芯片都在解决同一个问题：让数据离计算更近。Cerebras 的答案最为激进——干脆取消芯片边界，把整片晶圆变成一颗处理器。

WSE-3：一块 46225 平方毫米的"芯片"​

第三代晶圆级引擎 WSE-3 于 2024 年发布，沿用与前代相同的巨大外形，依靠制程升级堆叠性能：台积电 5nm 工艺，46225 平方毫米的面积上集成了 4 万亿晶体管和约 90 万个 AI 核心，44GB 片上 SRAM 均匀分布在整片晶圆表面。与英伟达 H100 的对比如下：

指标	Cerebras WSE-3	英伟达 H100	倍数
芯片面积	46225 平方毫米	约 814 平方毫米	约 57 倍
计算核心	90 万个 AI 核心	16896 个 FP32 核心	约 52 倍
片上内存	44 GB SRAM	约 50 MB	约 880 倍
内存带宽	21 PB/s	约 3 TB/s	约 7000 倍
片上结构带宽	214 PB/s	约 58 TB/s	约 3715 倍
峰值算力（FP16）	125 PFLOPS	—	—

每个核心都是独立的可编程稀疏线性代数核（SLAC），可以直接跳过零值计算；核心之间由名为 Swarm 的 2D 网格通信网络连接。44GB SRAM 让每个核心在单时钟周期内访问内存，这正是 Cerebras 推理速度优势的来源：以 16 位精度运行 Llama 3.1 8B 时每秒生成超过 1800 个 token，而基于 H100 的最优方案约为每秒 242 个。

晶圆级集成的三道难题​

把晶圆做成芯片要跨过三道坎。其一是良率：Cerebras 通过冗余设计应对制造缺陷——晶圆上预留额外核心，测试后屏蔽坏核即可正常出厂。其二是供电与散热：CS-3 系统峰值功耗约 23kW，需要定制化的供电分配与水冷系统，这也是其部署 footprint 较大的原因。其三是内存扩展：WSE 本身没有片外 HBM，Cerebras 用外挂的 MemoryX 设备将外部内存扩展至最高 1.2PB，单个逻辑内存空间可容纳高达 24 万亿参数的模型。

从"最快的训练机"到"最快的推理服务"​

有意思的是，Cerebras 商业化的转折点来自推理。2025 年初 DeepSeek-R1 发布后，推理模型的订单一度"压垮"了 Cerebras 的服务器——逐 token 的思维链生成恰恰吃满它的带宽优势。其推理服务在 Llama 3.1 405B 上跑出每秒 969 token 的输出，宣称比最优 GPU 方案快 12 倍。2026 年初，OpenAI 与 Cerebras 签署大规模算力采购协议，承诺采购 750MW 推理算力、分批部署至 2028 年，据公开报道合同金额超过 100 亿美元；AWS 也宣布将把 Cerebras 芯片引入其数据中心。这些订单支撑了 Cerebras 在 2026 年重启 IPO 进程。

小结​

晶圆级引擎是典型的"非共识但正确"路线：它牺牲了部署灵活性与单机通用性，换取了单模型推理的极致速度与极简的分布式编程模型。随着推理成本成为 AI 应用的主要瓶颈，"快"第一次有了直接的定价权。Cerebras 证明了架构创新在 GPU 巨头面前依然有生存空间——前提是找到让这种优势变现的场景。

芯片越做越大，大到接近光刻掩膜极限，良率却越做越差。业界的答案是拆：把一颗大芯片拆成几颗小芯粒（chiplet），在封装里拼回去。拆开容易拼回难——芯粒之间的接口此前是各家私有的。UCIe 标准想做的，就是给封装内互连定一个类似 USB-C 的通用规范。

为什么要拆芯片​

动机有三层。第一是良率：芯片面积越大，单颗晶圆上无缺陷的完整芯片越少，而缺陷密度短期内降不下来。拆成小 die 后，坏一颗只废一颗，总产出显著提高。第二是成本混搭：计算核心用最先进的制程，I/O、模拟电路用成熟制程即可——大芯片被迫为所有模块支付最先进节点的价格，芯粒化让每个模块各用最划算的工艺。第三是突破面积极限：单颗 reticle 能容纳的电路面积有物理上限，多芯粒封装是做出超大 AI 芯片的现实路径。AMD 的 Instinct 系列、各大云厂商的自研芯片，都已大量采用这一路线。

UCIe：分层的 die-to-die 规范​

UCIe（Universal Chiplet Interconnect Express）于 2022 年由 Intel、AMD、Arm、三星、台积电等公司联合发布，据其官方公开资料，标准分三层：

• 协议层：不发明新协议，直接复用 PCIe 与 CXL，另设 Streaming 通道供私有协议穿透——既有软件栈可以原样跑在芯粒互连上，这是它"USB-C"野心的关键。
• D2D 适配层：负责数据成帧、链路重试、流控等可靠性机制，并定义了标准化的逻辑接口，让协议 IP 与物理层 IP 可以来自不同供应商、自由拼装。
• 物理层：按封装形态分两档，规格如下。

指标	标准封装	先进封装
凸点间距	100 至 130 微米	25 至 55 微米
带宽密度	约 113 GB/s/mm	约 650 GB/s/mm
单通道速率	最高 16 GT/s	最高 32 GT/s
目标能耗	约 0.5 pJ/bit	约 0.25 pJ/bit

标准封装用传统有机基板，成本低，适合带宽需求温和的场景；先进封装需要硅中介层或嵌入式桥接，带宽密度高出近六倍，面向 AI 与 HPC。此后标准持续演进：2.0 版补充了 3D 封装支持，2025 年发布的 3.0 版将速率提升至 48 与 64 GT/s 档位。

从标准到量产：现实与理想的距离​

需要清醒的是：当下算力最强的几款产品，芯粒互连走的都是私有路线。AMD 的 Infinity Fabric 撑起跨芯粒一致性域；据公开报道，NVIDIA 在其超芯片产品中采用自研的 die-to-die 互连，带宽密度远超公开标准。私有方案在性能上跑在前面，UCIe 的价值定位在别处——跨厂商混拼。只有当不同厂家的计算芯粒、HBM 基底芯粒、I/O 芯粒能在同一封装里即插即用，芯粒才真正从"设计技巧"变成"产业分工"：小公司可以只做某一类芯粒，卖进别人的封装。EDA 工具、D2D IP、裸片测试方法学也都在围绕 UCIe 生态快速补齐。

小结​

芯粒化解决的是先进制程时代"做大芯片"的成本与物理约束，UCIe 解决的是芯粒之间的通用语言问题。前者已被头部产品验证，后者仍在追赶。对选型者的启示是：评估采用芯粒架构的芯片时，除了看标称算力，还要关注其封装内互连的带宽密度与一致性支持——它决定了拆开的芯片拼回去之后，性能能保住几成。

训练扩卡之后，性能却不是线性增长——八卡的效率可能只有七成，六十四卡可能只剩一半。损耗的大头往往不在计算，而在集合通信：每一步训练结束后，所有卡都要把梯度"对齐"。这个动作叫 AllReduce，它是分布式训练中最基础的集体操作，也是最容易被低估的时间黑洞。

AllReduce 到底在做什么​

数据并行是最常见的训练方式：每张卡持有完整模型副本，各处理一小批数据，算出的梯度彼此不同。参数更新前必须让所有卡上的梯度变成同一个平均值——这个"各自有个数，最后大家拿到同样的和"的操作就是 AllReduce。

工程实现上它通常拆成两步：ReduceScatter（各卡各拿总和的一部分）加 AllGather（再把各自的那份广播给所有人）。关键在于算法选择：环形（Ring）算法让每张卡只与相邻两卡通信，数据像接力一样绕环一周。可以证明，环形的总传输量对每张卡约为 2 乘以 N 减 1 再除以 N 乘以数据量——数据量是梯度总大小，N 是卡数。当 N 较大时，这近似等于"两倍梯度大小"，与卡数基本无关，因此被称为带宽最优算法。树形算法时延特性更好，适合小消息；实际系统中则常按网络拓扑做分层：节点内走 NVLink 高带宽环，节点间走 InfiniBand，两层各用各的最优算法。

一笔具体的时延账​

以 7B 模型混合精度训练为例，梯度约 14GB。八卡节点内 AllReduce，每卡收发总量约 2 乘 8 分之 7 乘 14GB，约 24.5GB；H100 节点内 NVLink 有效带宽按数百 GB/s 计，耗时约几十毫秒，相对于每秒多次的迭代尚可接受。但同一笔账放到跨机场景就难看了：若节点间只有 400Gbps 一条链路（约合 50GB/s），同步 14GB 梯度的耗时将以数百毫秒计，一步训练被通信拖成两倍长。

这正是大规模训练的共性困境：计算随卡数线性扩，而网络带宽扩不过卡数。节点内外带宽差出一个数量级，通信分层与流量调度因此成为大规模集群设计的核心功课。

压缩通信的三板斧​

手段	原理	典型收益
梯度分桶与计算重叠	反向传播中先算完的层先通信，与后续计算并行	掩盖大部分节点内通信
状态分片（ZeRO 类）	把优化器状态与梯度切分到各卡，减少冗余同步	通信量与显存同时下降
精度与压缩	低精度梯度、稀疏化或低秩压缩后再同步	通信量成倍下降，需评估收敛

三板斧之外还有架构层面的选择：增大每卡 batch 提高计算通信比、流水线并行减少同步频率、以及 MoE 场景改用 all-to-all（那是另一个故事）。它们的共同目标是同一个——让每字节数据通信期间，算力单元别闲着。

实操建议​

拿到集群先别急着堆模型：跑一遍基准的 AllReduce 带宽测试，确认节点内与节点间的实测有效带宽与规格的差距；训练中用 profiling 工具看通信时间占比，超过一成就说明优化空间在通信侧而不是算力侧。买卡时也别只比 FLOPS——节点内互连带宽与网络规格，在规模化训练里的重要性不亚于算力本身。

谈到 AI 芯片瓶颈，人们第一反应是 HBM 或先进制程，但真正的隐形关卡是封装。一台 3nm 光刻机不够可以排队再买，一条 CoWoS 产线从规划到爬坡却要以年计。2026 年 10 月，GlobalFoundries 与台积电这对代工对手签下互供协议，把封装产能的稀缺性暴露无遗。

AI 芯片封装"三件套"​

现代 AI 芯片的封装不再是把芯片装进外壳，而是构造一个微型系统。三个核心技术构件：

• 2.5D 中介层（interposer）：一块硅材质的"转接板"，放在 GPU die 与基板之间，上面布满密度远超 PCB 的走线，让 GPU 与 8-12 颗 HBM 之间以极短距离高速通信；
• 3D 堆叠（hybrid bonding）：用铜-铜混合键合把 die 直接面对面堆叠，不再靠凸点，互连密度提升一个数量级，主要用于 HBM 内部堆叠与缓存堆叠；
• RDL 重布线层：把 die 上的焊盘"重新布线"到合适位置，承担封装内的横向连接与信号引出。

三者组合，决定了 AI 芯片的集成形态。以 AMD MI455X 为例：8 个 N2 制程计算芯粒（XCD）、2 个 I/O die 与 2 个缓存/fabric die（N3），加上 12 颗 HBM4 堆栈，全部通过 CoWoS-L 封装整合在同一个封装内；NVIDIA Rubin R200 则是 2 颗计算 die + 2 颗 I/O die + 8 颗 HBM4 的 MCM 多芯片模块设计。没有先进封装，就没有现代 AI GPU。

CoWoS 技术梯队：S、R、L 的演进​

台积电的 CoWoS（Chip-on-Wafer-on-Substrate）家族按中介层技术分为三代：

方案	中介层技术	特点	典型应用
CoWoS-S	硅中介层（Si interposer）	成熟、成本最低，面积上限约 3 倍 reticle	H100、早期数据中心 GPU
CoWoS-R	RDL 中介层	用有机重布线层替代硅，面积更大、成本更低，带宽密度略降	H200 及部分 Blackwell 配置
CoWoS-L	局部硅互连（LSI）+ RDL	硅桥局部互连 + 大面积布线，面积上限突破 3.3 倍 reticle，互连密度最高	B200/GB200、MI455X、Rubin

演进的方向很明确：封装面积越来越大（从 1 倍 reticle 到 3 倍以上）、集成组件越来越多（GPU + HBM + 缓存 die + I/O die）、互连密度越来越高。CoWoS-L 已成为旗舰 AI 芯片的事实标准，也意味着单颗芯片占用的封装产能成倍增长。

为什么封装产能比晶圆产能更紧​

直觉上，先进制程更难、更稀缺，但封装恰恰是更紧的那一环，原因有四：

1. 产能基数小：全球先进制程晶圆厂有数十座，而具备大规模 CoWoS 产能的基地屈指可数，且全部集中在台积电体系内；
2. 扩产周期长：洁净厂房、无尘搬运、精度设备交付周期都以年计，CoWoS 月产能从规划到释放动辄 18-24 个月；
3. 需求端放大：HBM 堆栈数量从 6 颗涨到 12 颗、die 数量翻倍，单卡消耗的封装面积持续膨胀，产能需求指数级增长；
4. 良率敏感：中介层越大越贵，一片超大中介层的报废就是整封装报废，有效产能远低于名义产能。

AMD 在 2026 年明确指出，HBM 和先进封装（CoWoS）供给紧张是其增长的主要约束——注意，AMD 的瓶颈不在自家芯片设计，而在拿不到足够的封装配额。

GF-TSMC 互供：一个罕见的市场信号​

2026 年 10 月 8 日，DIGITIMES 报道 GlobalFoundries 与台积电签署多年期协议，金额约 20 亿美元：GF 将在美国纽约州 Malta 工厂为台积电的 CoWoS 生态生产硅中介层。

这个安排罕见在哪里？GF 与台积电在先进代工市场是直接竞争对手，让对手替自己生产关键耗材，只有一种解释——封装产能稀缺到连代工龙头都要向外借力。对台积电，这是快速扩大 interposer 供给的最短路径；对 GF，这是切入 AI 封装供应链的高价值订单。同时，地缘上它把 part of CoWoS 供应链锚在美国本土，呼应美国先进制造政策。

产业配套也在加速：应用材料（Applied Materials）与半导体封装设备龙头 Besi 于 2026 年 10 月 1 日宣布扩大 EPIC（Electronics Packaging Industry Consortium）中心合作，联合开发混合键合等下一代封装工艺；应用材料还与 Intel 扩大了下一代互连扩展与 Foveros 3D 技术的合作。设备商、代工厂、IDM 三方同时下注，印证封装已是 AI 算力的战略资源。

Foveros 与 CoWoS：两条路线之争​

台积电 CoWoS 并非唯一答案。Intel 的 Foveros 是另一条 3D 封装路线，两者定位有所不同：

维度	台积电 CoWoS-L	Intel Foveros
核心思路	2.5D 中介层承载多 die + 局部 3D 互连	3D 堆叠为基础逻辑 die 面对面互连
优势	生态成熟、HBM 集成经验深厚、大封装面积	互连密度与能效更高，垂直距离更短
主要客户	NVIDIA、AMD、Broadcom 等绝大多数 AI 芯片厂	Intel 自家产品为主，逐步开放代工
当前角色	AI GPU 封装事实标准	追赶者，重点在下一代互连扩展

短期内 CoWoS 地位难以撼动——AI GPU 的核心需求是把大量 HBM 和 compute die 拼在一张大封装里，CoWoS-L 正为此而生。Foveros 的机会在于 3D 堆叠密度与能效的长期演进，以及与 Intel 先进制程组合的代工吸引力。

对芯片厂商的启示：封装配额就是出货上限​

2026 年的 AI 芯片竞争已经形成一条铁律：你的出货量不取决于你能设计多少芯片，而取决于你能拿到多少封装配额。

• 对 NVIDIA、AMD：CoWoS 配额直接决定 Blackwell/Rubin 与 MI400 系列的交付节奏，封装扩产进度就是营收曲线；
• 对国产芯片：在台积电 CoWoS 体系之外建立自主先进封装能力，与自研 HBM 同等重要，是摆脱供应链约束的另一半拼图；
• 对云厂商与大买家：锁定芯片产能的同时必须锁定配套封装与 HBM，三者缺一即断供。

小结​

AI 芯片的瓶颈正在从"造出更小的晶体管"转向"把更多 die 更好地装在一起"。CoWoS-S/R/L 的技术梯队撑起了从 H100 到 Rubin 的每一次性能跨越，而 GF 与台积电的互供协议则宣告：封装产能已稀缺到让对手合作。下一个五年，谁掌握先进封装，谁就握有 AI 算力版图的划分权。