65 posts tagged with "AI Infrastructure"

当 MI430X 与第六代 EPYC 确定驱动欧洲 LUMI-AI 超算，AMD 的 HBM4 家族不再只是 PPT 上的参数表，而是正在被国家级算力项目、超大规模云厂商与 AI 实验室同时验证的产品矩阵。本文盘点 MI400 系列的完整版图，以及它背后的收购组合拳。

MI400 系列：一张覆盖三大场景的产品矩阵​

MI400 系列于 CES 2026 正式发布，在 Advancing AI 2026 上确认了清晰的 SKU 分层。三款产品覆盖了数据中心采购的三种典型场景：

型号	定位	显存	算力	出货时间
MI455X	前沿训练 + 推理旗舰（Helios 机架专用）	432GB HBM4	40 PFLOPS 级 MXFP4（dense）	2026 H2 起量产
MI430X	HPC / 主权 AI（硬件 FP64 加速）	432GB HBM4	硬件 FP64 288 TFLOPS	2027 H1
MI350P	企业存量升级（风冷 PCIe）	144GB HBM3E	4.6 PFLOPS MXFP4	已出货

再往远看，AMD 已在 Advancing AI 2026 预告了下一代 MI500 系列：CDNA 6 架构、台积电 2nm、HBM4E 显存，预计 2027 年发布，由 AMD 与 OpenAI 联合定义开发。从 MI400 到 MI500，加上此前的 MI350（CDNA 4）与 MI300X，AMD 的产品路线第一次形成了以年度为节奏的完整梯队，而非零星的单点反击。

值得注意的是，MI455X 与 MI430X 共享同一套 CDNA 5 加 432GB HBM4 的硬件底座——AI 吞吐优先与 FP64 精度优先通过同一平台的不同调校实现，这大幅摊薄了研发与生态适配成本。

MI430X：用 FP64 锁定国家级超算​

MI430X 是 MI400 家族中最具象征意义的一款。它与 MI455X 同样配备 432GB HBM4、23.3TB/s 带宽，但核心差异在于原生硬件级 FP64 双精度：288 TFLOPS，约为 NVIDIA Vera Rubin 的 8.7 倍。这是一个精准卡位——双精度科学计算是 NVIDIA 在消费级 AI 浪潮中相对弱化的领域，而它恰恰是国家级超算的刚需。

MI430X 已经锁定两套国家级系统：

• 美国 ORNL "Discovery"：橡树岭国家实验室新一代超算，2028 年部署；
• 法国 "Alice Recoque"：GENCI 与 CEA 联合打造的欧洲系统。

AMD 官方已在 8 月 4 日财报电话会确认，MI430X 正在 ORNL 与法国 Jean Zay 的 exascale 级超算中运行。而根据最新进展，MI430X 与第六代 EPYC 将共同驱动欧洲 LUMI-AI 超算——LUMI 是欧洲最强的超算系统之一，其 GPU 分区此前基于 MI250X，此次升级至 HBM4 平台，是欧洲主权 AI 对 AMD 路线的直接背书。

超算背书对 ROCm 生态的拉动​

国家级超算项目的价值远超订单本身。超算是软件生态最好的试炼场：混合精度科学计算、大规模 MPI 并行、异构调度，这些极端场景会把 ROCm 的短板逼出来并倒逼修复。同时，超算项目通常要求开源软件栈与长期维护承诺，这与 ROCm 的开源路线天然契合。ORNL、Jean Zay、Alice Recoque、LUMI-AI 构成的"超算联盟"，正在为 ROCm 提供一种商业市场买不到的信誉资产——当欧洲与美国的公共算力项目都选择 AMD 时，商业客户的采购顾虑会显著降低。

平台协同：EPYC Venice 与 2nm 双线量产​

MI400 家族的算力释放离不开主机侧的配套。第六代 EPYC "Venice"（Zen 6，最高 256 核，1.6TB/s 内存带宽）已在台积电 2nm 产线启动量产，并延伸至美国亚利桑那工厂——这使 AMD 成为唯一在两个地区都有先进制程量产能力的 x86 服务器 CPU 厂商。下一代 "Verano" 已为 AI 工作负载预留设计，将延续 CPU 与 GPU 平台协同的打法。

CPU 与 GPU 的协同不是简单的搭配销售。在 Helios 机架中，每托盘 4 颗 MI455X 配 1 颗 Venice，CPU 负责数据搬运与调度，CPU-GPU 互联带宽是上一代的 2 倍。对推理集群而言，主机侧的数据预处理好坏直接影响 GPU 利用率——这正是 AMD"CPU 加 GPU 双引擎"路线在 AI 时代的复利。

收购组合拳：内存、推理与空间智能​

围绕 MI400 平台，AMD 在 2026 年展开了一组方向明确的收购：

收购标的	能力方向	战略意图
MEXT	内存访问优化	强化 HBM4 时代的显存子系统效率
Taalas	快速推理硬件	补充推理专用架构能力
World Labs	空间智能 / 物理 AI	卡位世界模型与机器人时代

三笔收购分别对应内存、推理与物理 AI 三条线，加上与 OpenAI、Meta 各约 1000 亿美元级的合作以及 Anthropic、微软的合作，AMD 正在从"卖芯片"走向"卖 AI 基础设施能力"。这组拼图的完整解读，我们将在后续文章中展开。

市场机会与追赶空间​

AMD 管理层看到的机会窗口清晰而巨大：推理与数据中心 CPU 合计 2200 亿美元的市场机会。推理是 AI 商业化落地的主战场——训练市场已被 NVIDIA 牢固占据，但推理市场的格局远未定型，对显存容量、单位 token 成本与开放生态的敏感度更高，这正是 MI400 家族的差异化所在。

但差距同样不能回避：AMD 的市值仍不足 NVIDIA 的五分之一，CUDA 生态的迁移成本依然存在。分析师普遍认为，这种差距本身就是追赶空间——如果 MI400 系列与 Helios 的 6GW 级订单按期兑现，AMD 在 AI 加速器市场的份额将获得结构性提升。

小结​

MI400 系列的意义在于"家族成型"：MI455X 打前沿训练与推理，MI430X 用 FP64 锁定 HPC 与主权 AI，MI350P 覆盖企业存量升级，MI500 预告下一代——四个层次共享平台底座，配合 EPYC Venice 的 2nm 双厂量产，AMD 第一次拿出了一条完整、连贯、可预期的数据中心产品线。LUMI-AI 等超算的背书正在为 ROCm 生态积累信誉，而 MEXT、Taalas、World Labs 的收购则为这张版图补上了内存与物理 AI 的拼图。2027 年 MI430X 正式出货时，我们将能看到这套组合拳的完整威力。

传统数据中心为百万种应用服务，Fairwater 只为一件事而生：把数十万颗 GPU 拧成一台跨越州界的巨型计算机。这代表微软对 AI 基础设施的全新定义。

两座站点，一座超级工厂​

Fairwater 系列首站位于威斯康星州芒特普莱森特，2025 年 9 月对外公布，初始投资 33 亿美元，后续微软又追加 40 亿美元，威斯康星总投入超过 70 亿美元。据微软官方信息，该园区占地 315 英亩，三座建筑屋顶面积合计约 120 万平方英尺，采用双层高密度架构；设备于 2026 年 4 月启动上线调试，首座设施于 2026 年 6 月 23 日宣布全面投运。第二座 Fairwater 站点位于佐治亚州亚特兰大，已于 2025 年 10 月率先运营。

真正的巧思在于联网。两座站点通过专用光纤 AI 广域网直连，构成微软首座跨州"AI 超级工厂"：大型训练任务可拆分到两地协同执行，微软称此举可将部分训练周期从数月压缩到数周。威斯康星园区还规划了第二座设施，预计 2028 年建成，微软并计划在美国其他地区复制这一模式。

Fairwater 关键事实	数据
威斯康星首站投运	2026 年 6 月 23 日
亚特兰大站点投运	2025 年 10 月
威斯康星园区规模	315 英亩，约 120 万平方英尺
威斯康星投资	初始 33 亿美元，总计超过 70 亿美元
加速器规模	数十万颗英伟达 GB200 与 GB300
单机架 GPU 数量	72 颗 Blackwell GPU（NVLink 域）

工程细节：密度、液冷与扁平网络​

Fairwater 与传统云数据中心的差异体现在三个维度。计算密度上，每个机架在单一 NVLink 域内封装 72 颗英伟达 Blackwell GPU，为当时云平台最高机架吞吐水平；散热上，园区采用设施级闭环液冷，冷却液初次灌注后循环使用，微软宣称该设计将数据中心对当地水资源的消耗降到极低水平；网络架构上，单一扁平的高速网络让数十万颗加速器可以像一台机器一样协同工作。

这种设计的本质是把云数据中心的"多租户、多应用"模型彻底翻转为"单一巨型任务"模型：传统机房同时运行数百万个互不相关的工作负载，而 Fairwater 让一个前沿模型训练任务横跨百万级硬件部件。微软将其纳入更宏大的 Azure AI 超级工厂架构，与早期 AI 超算及 Azure 全球算力池互连，目标是让每吉瓦电力产出最大数量的有效 AI token。公司提出的路线图是每 18 到 24 个月将 AI 训练能力提升 10 倍。

电力与竞争背景​

支撑这一切的底层约束是电力。据公开报道，微软已签署多项天然气发电协议（总规模接近 5 吉瓦），并通过建设太阳能电厂与预付电网费用锁定供电，以分散跨州选址带来的电力需求压力。竞争对手的动向同样激进：xAI 的 Colossus 2 已成为全球首个吉瓦级训练集群，Meta、谷歌、亚马逊均在以吉瓦为单位扩张。UBS 等机构追踪 Fairwater 部署节奏并将其纳入 Azure 增长预测，显示资本市场已把 AI 数据中心建设视为云厂商竞争的核心变量。

小结​

Fairwater 的意义超出了一座数据中心：它验证了"分布式超级工厂"这一全新基建形态——训练任务不再受限于单一园区的电力与空间，而是可以在数百英里外的站点间自由调度。当 AI 竞赛的胜负手从芯片数量转向电力、散热与互联的系统工程，微软用 Fairwater 给出了自己的答案模板。

当前主流大模型几乎清一色采用混合专家（MoE）架构。很多人知道它"省算力"，但少有人意识到：省下的算力并没有变成免费的午餐，而是被换成了对显存容量和互连带宽的更高要求。这笔账值得每个选型的人算一遍。

参数量与算力解耦​

稠密模型里每个参数在每个 token 上都要参与计算；MoE 把 Transformer 中的前馈层复制成许多"专家"，由路由器为每个 token 挑选少数几个激活。以 DeepSeek-V3 为例，据其公开技术报告：总参数 671B，每 token 仅激活 37B，路由层包含 256 个路由专家外加 1 个常驻共享专家，每个 token 激活其中 8 个路由专家。计算量因此比同规模稠密模型低了一个数量级，但训练成本与模型能力并未等比打折——671B 总参的学习容量还在。

Mixtral 8x7B 是更早的参照：总参数约 47B，每 token 激活约 13B。规律一致：FLOPS 可以省，参数一个都省不掉。

瓶颈迁移：从算力到显存与通信​

对硬件而言，MoE 带来三个直接后果。

其一，显存容量压力反而更大。 671B 参数即使量化到 FP8 也要 600GB 以上，权重必须常驻显存等待被路由命中。算力需求降了，容量需求没降，"用小卡跑 MoE"的幻想在容量这一关就会破灭。

其二，通信成为新瓶颈。 专家分布在不同的卡上，每个 token 都要经历 dispatch（发给选中的专家所在卡）与 combine（收回结果）两次 all-to-all 通信，且跨层反复发生。DeepSeek 团队在技术报告中专门讨论了跨节点 all-to-all 的通信瓶颈，并用 DualPipe 流水线做计算通信重叠来掩盖它。对芯片来说，这意味着互连带宽的权重显著上升，节点内 NVLink 级带宽与跨节点网络都直接决定 MoE 的实际效率。

其三，负载不均衡。 热门专家可能被打爆，冷门专家闲置，硬件利用率随之波动。DeepSeek-V3 在推理部署中采用冗余专家策略，复制高负载专家来均衡压力——这又进一步推高了显存占用。

稠密与 MoE 的硬件账对照​

维度	稠密模型	MoE 模型
每 token 算力	与参数量成正比	远低于参数量
显存容量需求	等于全部参数	等于全部参数（一个不少）
主要通信模式	数据并行的 AllReduce	专家并行的 All-to-All
负载特征	均匀可预测	随路由波动，需均衡策略
选型关键	带宽与算力平衡	容量、互连带宽、通信软件栈

实操建议​

为 MoE 服务选硬件时，按优先级排：先看显存容量能否装下全量参数加运行时开销；再看节点内互连是否支撑专家并行的 all-to-all，卡间带宽不足时专家应尽量收拢在节点内；跨节点部署要评估网络带宽与通信计算重叠能力。推理侧尽量用大 batch，让分散命中各专家的 token 聚合成足够大的矩阵，维持算力利用率。一句话总结：MoE 时代，"算力够不够"的提问正在被"显存装不装得下、数据送不送得过来"取代。

一张 H100 大部分时间利用率不到三成，是很多企业 GPU 平台的常态——整卡分发的模式对小任务极不友好。GPU 池化就是要把一张卡切成多份安全地分出去，核心矛盾在三个词：切分粒度、隔离强度、计费公平。

五条切分路线，三种隔离等级​

业界主流的切分技术可以按隔离强度分成三档：硬件级、软件级和无隔离。

技术	隔离级别	切分粒度	厂商绑定	适用场景
MIG	硬件级，独立显存控制器与计算核	固定档位，A100/H100 最多 7 实例	仅 NVIDIA 数据中心卡	不可信租户、有合规要求的场景
vGPU	虚拟化层，hypervisor 隔离	灵活，可热迁移	NVIDIA 且需授权	云桌面、VM 形态的多租户
HAMi	软件级，CUDA 调用拦截限流	显存可到 GB 级、算力可到百分比	跨厂商，支持 NVIDIA、昇腾、寒武纪等	企业内部混部、开发测试
时间分片	无显存隔离，轮流占卡	整卡轮转	各家均有	内部可信批量任务
MPS	无隔离，共享上下文	并发进程共享算力	NVIDIA	大量小型协作进程

MIG 是唯一提供真正硬件隔离的方案：每个实例有独立的显存控制器与计算引擎，一个实例内存溢出不可能波及邻居。但它的限制同样明确：只支持较新的数据中心卡、档位固定不可在线调整、NVLink 不跨实例，而且改档位需要整节点排空重启。时间分片最省事也最危险——显存是共享池，一个租户的显存泄漏可以砸掉同卡所有邻居，绝不能当作租户边界。HAMi（已进入 CNCF 孵化阶段）走中间路线：在调度层做细粒度虚拟化，通过拦截 CUDA 调用强制执行显存与算力上限，对业务代码透明，且是五条路线里唯一跨芯片厂商的。

信任边界决定技术选型​

选型的第一问不是"哪个性能好"，而是"租户之间信不信任"。同一公司内部团队共享一张卡，软件级限流足够；面向外部客户的推理平台，租户与租户之间只有整卡或 MIG 才够格——因为共享的不只是 GPU，还有内核驱动、宿主机内核与控制平面，软件拦截层挡不住恶意工作负载。CNCF 相关指南的表述很直白：同一信任域内才共享硅片，跨信任域只共享整卡。

还有一个常见误区值得点名：部署了 HAMi 但资源申请只写整卡数、不写显存与算力限额，结果每张卡还是被一个任务独占，池化等于没做。此外，混合策略往往是最优解：生产推理用 MIG 保隔离，内部开发测试走 HAMi 提灵活性，老卡开时间分片充分利旧。调度协议层面，Kubernetes 的 DRA（动态资源分配）已在 1.34 版本转正，用结构化的 ResourceClaim 取代整数计数，是各家方案正在迁移的统一底座。

计费：按分配开票，按用量审计​

池化之后最麻烦的是"钱怎么算"。成熟的做法是双轨制：计费以分配量为准（租户占了多少 GB 显存、多少比例算力、占了多长时间），与队列和配额联动，这是账单的依据；同时用 DCGM 之类工具采集实际利用率，做成本审计与容量规划，识别"占着不用"的僵尸配额。OpenCost 等开源方案可以把这笔账对齐到团队与项目维度。没有这层计量，池化平台最终会退化成"先到先得的公共冰箱"。

写在最后​

三条建议：第一，先画信任边界再选技术，外部租户只用 MIG 或整卡，内部混部才上软件切分；第二，上池化的同时上计量，分配量开票、用量对账，缺一边都会引发结算纠纷；第三，关注 DRA 的落地进度，把自有平台的资源申请结构化，为跨厂商调度留好接口。GPU 太贵，贵到不该让任何一张卡闲着——但切分的前提，是切得安全、算得清楚。

当超节点从 72 卡扩张到 4096 卡，铜缆互连在功耗与距离面前彻底缴械。2026 年 9 月，华为发布全球首个采用 NPO（近封装光学）技术的超节点，用 5500 个光引擎替代 4.8 万颗 800G 光模块、省电 550kW——"光进铜退"从口号变成了工程现实。

可插拔光模块的功耗天花板​

传统数据中心组网依赖可插拔光模块：交换机面板上插着 400G、800G 的模块，通过光纤连接各节点。这套体系成熟、可维护，但在 AI 超节点规模下撞上了天花板。

华为披露的数字最具说服力：若用传统方案支撑昇腾 960 超节点的组网需求，需要约 48000 颗 800G 光模块。每颗 800G 可插拔模块功耗约 15-25W，4.8 万颗意味着仅光互连部分就要消耗兆瓦级电力，还不算 SerDes 链路、面板空间与故障率代价。更进一步，可插拔模块的 DSP 重定时环节占据了模块功耗的大头，且离交换芯片越远、信号损耗越大——模块越密，这场"功耗税"越重。

对于动辄数千卡、训练十万亿参数模型的超节点而言，光互连的功耗与可靠性直接决定了系统能建多大。这就是"光进铜退"的起点：把光引擎从面板挪到芯片身边，甚至塞进封装里面。

NPO、CPO、OIO：光互连技术梯队​

按光引擎与芯片的距离由远及近，光互连分为三个梯队：

技术方案	光引擎位置	功耗收益	工程成熟度	代表
可插拔光模块	交换机面板	基线	成熟，生态完整	传统数据中心组网
NPO 近封装光学	封装旁的基板上	显著降低，光源独立可换	已量产	昇腾 960 超节点 Hi-ONE
CPO 共封装光学	与交换芯片同封装	最大幅度降低	可靠性/可维护性待解	各厂商交换机路线图
OIO 光 IO	进入 GPU/芯片封装内部	终极形态	研究与早期验证	下一代超节点探索

NPO 与 CPO 的核心差异在于取舍：CPO 把光引擎与芯片放在同一封装，光电距离最短、功耗最低，但激光器故障要更换整个昂贵封装，可靠性与可制造性一直是拦路虎；NPO 则把光引擎放在封装之外的基板上，保留"独立可插换"的维护性，同时实现光电近距离握手。华为明确解释过为何 960 超节点选择 NPO 而非 CPO：规避 CPO 的可靠性、可制造性、可维护性难题，并延续现有光模块产业生态——这是工程务实主义的典型选择。OIO 则更激进，目标是把光 IO 直接做进 GPU 封装，与 HBM、die 一起共封装，被视为超节点互连的远期方向。

华为 Hi-ONE 案例精算：5500 引擎 vs 4.8 万模块​

昇腾 960 超节点的 NPO 方案给出一组可以精算的对比：

指标	传统可插拔方案	昇腾 960 NPO 方案
光互连器件	~48000 颗 800G 光模块	5500 个 Hi-ONE 光引擎
单器件容量	800G	7.2T（单引擎）
功耗	基线	降低超 550 kW
无故障运行时间	基线	提升一倍
整体可用度	—	99.8%

三个要点值得展开：

1. 单引擎容量 7.2T：一颗 Hi-ONE 顶 9 颗 800G 模块，器件数量骤降一个数量级，故障点随之大幅减少——这是无故障运行时间翻倍的直接来源；
2. 省 550kW 意味着什么：550kW 约等于把整个 Vera Rubin NVL72 机柜（约 180kW TDP）的耗电省出近三台，省下的不仅是电费，更是散热系统的建设成本；
3. 唯一内置光源：Hi-ONE 是业界首个量产、当前传输能力最大且唯一内置光源的 NPO 产品，内置光源意味着激光器与引擎协同设计，省去外置光源的耦合损耗。

配合灵衢 UnifiedBus 全域 D2D 互连（RTT 2μs），这套光互连底座支撑起单节点 4096 卡、8 EFLOPS FP8、1PB HBM 的超节点规模。

光互连对超节点规模的意义：72 卡到 4096 卡的物理前提​

超节点的本质是让大量卡共享统一内存编址、像一台机器一样工作，而互连带宽与时延是规模的第一性约束。华为仿真数据：4K 超节点组成的 10 万卡集群，相比传统 8 卡服务器组网，MFU 提升 2.75 倍——因为在传统架构下，集群内通信占用训练时间超过 40%。

从 72 卡（NVL72 级别）到 4096 卡（昇腾 960 超节点），跨了两个数量级，物理上只有光互连能同时满足带宽密度、传输距离和功耗预算。NPO 把光链路推进到基板级，使跨机柜、跨机行的卡间通信时延降到微秒级，"逻辑上的一台机器"才有了物理载体。再往上，多个 960 超节点经灵衢网络或 RoCE 互联，最大可扩展到 51.2 万卡乃至 100 万卡集群——光互连是这一切的物理前提。

硅光、VCSEL、EML：技术路线与投资热​

光互连的爆发也点燃了产业链与资本市场：

• EML 激光器：相干与高速光模块的核心光源，分析师口径显示 Lumentum 持有约 60% 的 EML 市场份额，是本轮"光进铜退"最直接的受益者之一；
• 硅光集成：把调制器、波导、探测器集成在硅片上，与 CMOS 工艺兼容，是 CPO/OIO 时代的主力路线；
• VCSEL 路线：Volantis 用类似 Face ID 的垂直腔面发射激光器连接 AI 芯片与内存芯片，主打短距、低成本，斩获 8800 万美元 A 轮融资；
• 加速器光互连创业潮：CScale 开发面向加速器的光互连技术，C 轮融资 1.45 亿美元；Upscale AI 推出多厂商芯片互联的 Token Fabric 平台，获 NVIDIA 参投（2026-10-08）。

从激光器材料、硅光工艺到系统级创业公司，资本正沿光互连链条全面下注——这与当年 HBM 军备竞赛的剧本如出一辙。

小结​

光互连不再是数据中心的"锦上添花"，而是超节点规模的"生死线"。可插拔光模块在 4.8 万颗的量级上暴露了功耗天花板，NPO 用 5500 个光引擎交出了省电 550kW、可用度 99.8% 的量产答卷，CPO 与 OIO 则代表着更彻底的光电融合。当卡间通信成为训练时间的大头，"光进铜退"就不再是技术偏好，而是算力扩张的唯一出路。

采购英伟达服务器时，报价单上经常同时出现 HGX 与 MGX 两个词。它们不是新旧两代，而是两类完全不同的东西：一个是一块固定的基板，一套模块化的规则。分清这一点，能避免大部分选型返工。

HGX：一块不可修改的 8 卡基板​

HGX 的本质是英伟达设计、制造的 GPU 基板：4 卡或 8 卡 SXM 形态，NVLink 布线与 NVSwitch 芯片全部由英伟达固定，OEM 拿到后不能改动基板本身。戴尔、HPE、超微、联想等厂商围绕这块基板构建整机——机箱、散热、CPU（Intel Xeon 或 AMD EPYC）、内存、网卡、存储、BMC 都由 OEM 自主选择。

归属	HGX 体系
英伟达固定	GPU 数量与型号、NVLink 布线、NVSwitch、基板供电
OEM 决定	机箱高度、散热方式（风冷/液冷/混合）、CPU 型号、内存、NIC/DPU、NVMe、固件与服务等级
典型整机	戴尔 PowerEdge XE9680、超微 SYS-821GE 系列、联想 ThinkSystem SR675 V3

关键约束：PCIe 服务器用不了 HGX 基板——SXM 与 PCIe 是两条互斥的路线。据公开报道，8 卡 HGX H100 整机约 20 万至 30 万美元，B200/B300 级别约 25 万至 40 万美元，价差主要来自 OEM 的散热、存储与服务配置。

MGX：模块化参考架构​

MGX（2023 年推出）不是一块板，而是一套模块化规范：OEM 从英伟达给出的组件清单里独立选择机箱、CPU（x86、Grace、Vera 或其他 Arm）、GPU（SXM 或 PCIe，覆盖 Blackwell、Rubin 及老架构）、网络（NVLink、Spectrum-X 以太网、Quantum InfiniBand、BlueField DPU），英伟达称已有超过 100 种组合，覆盖从单卡边缘服务器到 GB200/GB300 NVL72 机柜。

维度	HGX	MGX
本质	固定 8 卡 SXM 基板	开放模块化参考架构
GPU 形态	仅 SXM	SXM 或 PCIe
CPU	OEM 选 x86	x86、Grace、Vera、第三方 Arm
覆盖范围	4 卡与 8 卡训练节点	单卡推理盒到 NVL72 机柜
典型产品	HGX H200/B300 整机	GB200 NVL72、RTX PRO Server、H200 NVL 系统

两个常见误解需要澄清。第一，MGX 不是 HGX 的替代品：HGX 面向需要极致互联带宽的 8 卡训练节点，MGX 覆盖推理服务器、CPU 与 GPU 混合节点等固定基板服务不好的长尾，许多机构最终两样都买。第二，2026 年的 Blackwell 旗舰（B200/B300）几乎只以 SXM 形态出现，PCIe 阵营由独立的 RTX PRO Server 产品线（基于 MGX）承接——两条线是被产品策略刻意分开的。

决策树与采购陷阱​

按四步走。第一步问互联：多节点训练、张量并行、大型 MoE，必须 SXM/HGX；单卡或双卡可解的推理与微调，PCIe 加 MGX 更省钱。第二步问机房：没有液冷且无法改造，NVL72 直接出局，风冷 PCIe 推理服务器往往是暖气候地区最便宜的可用算力。第三步问集成能力：有资深基础设施团队选 HGX 让 OEM 组机，性价比更高；团队薄弱或要快速上线选 DGX 整机（同一块 HGX 基板加英伟达认证的固件、软件栈与单一责任支持），为省心多付约两到三成溢价。第四步问规模：跨多机柜的组网交给 BasePOD/SuperPOD 参考架构，它们是集群蓝图而非服务器选项。

两个高频陷阱：其一，把 RTX PRO 6000 Server Edition 当成"B200 平替"对比互联性能——前者无 NVLink，走 PCIe，分布式训练会掉一个数量级；其二，忽略 MGX 系统的配置自由度带来的测试责任——OEM 组合自由度高，具体配置的验证矩阵要自己确认。

小结​

一句话记住三者关系：HGX 是英伟达焊死的 8 卡基板，DGX 是英伟达自己在 HGX 上装好的整机，MGX 是让 OEM 自由组装的模块化规则。训练要带宽选 HGX，推理要灵活选 MGX，要省心买 DGX——三条路对应三种团队，没有哪条天然更高级。

当竞争对手还在对比单颗 GPU 的 FLOPS 时，NVIDIA 已经把战场挪到了另一个维度。2026 年 GTC 发布的 Vera Rubin 平台，表面上是"新一代 GPU"，实际上是一套由七颗芯片组成的完整 AI 工厂蓝图。据站内芯片数据库，这七颗芯片分别是：Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机，以及 Groq 3 LPX。本文逐一拆解这套"七芯片堆栈"的分工、协同与战略意图。

七颗芯片，各司其职​

先看全局分工表（数据据站内芯片数据库）：

#	芯片	角色	关键规格
①	Vera CPU	主机调度中枢	88 核自研 Olympus、1.5TB LPDDR5X、1.2TB/s
②	Rubin GPU	训练与 prefill 主力	288GB HBM4、22TB/s 带宽、50 PFLOPS FP4
③	NVLink 6 交换机	纵向扩展互联	单 GPU 3.6TB/s、NVL72 机柜 260TB/s
④	ConnectX-9 SuperNIC	横向扩展网络	单端口 1.6T、延迟低于 0.5μs、GPUDirect
⑤	BlueField-4 DPU	基础设施卸载与存储	驱动第三层推理上下文内存存储平台，token 吞吐最高 5 倍
⑥	Spectrum-6 交换机	数据中心以太网骨干	Scale-out 网络核心
⑦	Groq 3 LPX	智能体解码加速	256 颗 LPU/机架、128GB 聚合 SRAM、40 PB/s

七颗芯片覆盖了 AI 工厂从计算、互联、网络到存储的每一层——这是一个信号：NVIDIA 卖的不再是芯片，而是一整座工厂的参考设计。

计算层：Vera + Rubin + LPX 的异构三重奏​

计算层的分工体现了"每 token 经济学"的推理：

Rubin GPU 负责训练与 prefill。3360 亿晶体管、22TB/s 显存带宽，让它成为吞掉训练算力与推理 prefill（吃算力）这两个负载的最优解。

Groq 3 LPX 专攻智能体 decode。据站内芯片数据库，LPX 机架集成 256 颗 LPU，聚合 128GB 片上 SRAM 提供高达 40 PB/s 的片上带宽，互联达 640 TB/s。decode 阶段的核心瓶颈是内存带宽而非算力，LPU 用超大片上 SRAM 绕开这一瓶颈，延迟达到纳秒级——对于每秒上千次调用的 agentic AI 负载，这是 GPU 结构上难以企及的能力。GPU 管 prefill、LPU 管 decode，两种架构各干各的，总成本反而更低。

Vera CPU 是调度中枢。88 个自研 Olympus 核心、第二代 SCF 一致性结构（3.4TB/s 对分带宽）、1.5TB LPDDR5X 与 HBM4 构成单一一致性内存池，负责数据搬运调度、内存管理与系统控制编排——海量的智能体沙盒、KV 缓存卸载、多模型并发，都由它承接。

互联层：NVLink 6 + ConnectX-9 + Spectrum-6 的三级网络​

AI 工厂的网络是分层的，NVIDIA 用三颗芯片精确对应：

• NVLink 6 交换机（Scale-up）：机柜内纵向扩展，单 GPU 3.6TB/s 全互联带宽，让 72 乃至更多 GPU 像一颗 GPU 一样工作。这是训练超大模型的命脉，也是 NVIDIA 最深的护城河；
• ConnectX-9 SuperNIC（Scale-out）：单端口 1.6 Tb/s 的跨机柜网络，延迟低于 0.5 微秒，支持 GPU-NIC 直接 DMA，决定集群的横向扩展效率；
• Spectrum-6 以太网交换机：承载南北向流量与存储网络，是数据中心以太网骨干。

三级网络的本质是把"AI 工厂"拆解成可量化的工程指标：token 从进入机房到输出，要经过计算、Scale-up、Scale-out、存储四类路径，NVIDIA 在每一条路径上都放了一颗自己设计的芯片。

BlueField-4：被忽视的第三层存储革命​

七芯片堆栈中最容易被低估的是 BlueField-4 DPU。它的战略意义在于驱动第三层推理上下文内存存储平台——在 GPU 显存（HBM）与主机内存（LPDDR5X）之外，用 DPU 管理一层专门的推理上下文存储，官方宣称可将 token 吞吐提升最高 5 倍。

这重构了经典的 HBM-DRAM-NAND 三层存储金字塔：智能体对话的 KV 缓存、多轮会话上下文，不再挤占宝贵的 HBM4 容量，而是按热度分层放置在三级存储中。对于长上下文、多轮对话的 agentic AI 负载，这一层的存在直接决定了"每 GB 有效 KV 容量成本"——一个纯 GPU 厂商根本无法优化的指标。

生态锁定：NVLink Fusion 与定制化开放​

七芯片堆栈的封锁性引发过大客户反弹，NVIDIA 的回应是有选择的开放：

• NVLink Fusion：向合作伙伴开放 NVLink 互联，允许其将自定义 CPU 或加速器集成进 NVIDIA 的 Scale-up 域——用互联标准换取生态驻留；
• NVHBM 定制内存控制器计划：允许超大规模客户定制 HBM 配置，市场传闻亚马逊 Annapurna 团队正参与合作——把客户自研芯片的冲动，引导为"在 NVIDIA 平台上定制"的合作姿态。

这步棋颇为高明：客户想自研的动机无非是定制与议价，NVIDIA 干脆把定制能力开放出来，但互联与软件栈的根仍握在自己手里。

系统级竞争：对手的对位打法​

Bain 在 2026 年的行业分析给出了一个重要判断：AI 算力的竞争优势正从芯片规格转向系统级整合。这解释了为什么各大厂商都在拼"整栈"：

厂商	CPU	GPU/加速器	互联/网络	开放程度
NVIDIA	Vera（自研）	Rubin R200	NVLink 6 + ConnectX-9 + Spectrum-6	NVLink Fusion 有限开放
AMD	EPYC Venice	MI455X/MI500	Vulcano NIC + UALink	开放标准联盟
华为	自研鲲鹏系	昇腾系列	灵衢 UnifiedBus	国内生态自主

AMD Helios 机架的组合是 EPYC Venice（256 核 Zen 6）+ MI455X + Vulcano 网络芯片，以 UALink 开放标准对抗 NVLink 的封闭性——用"开放"换生态盟友。华为的灵衢 UnifiedBus 则在国内市场构建对位体系。但双方都面临同一个难题：NVIDIA 的七芯片是同步迭代的——Vera 与 Rubin 同代设计、NVLink 6 为 HBM4 的带宽特性量身定做、LPX 与 GPU 的 prefill/decode 分工在参考架构层面打通。对手的"拼装式整栈"在迭代节奏上天然慢一拍。

小结​

七芯片堆栈是 NVIDIA 对"AI 工厂"时代的一次完整应答：计算层用 Vera、Rubin、LPX 实现异构分工，互联层用 NVLink 6、ConnectX-9、Spectrum-6 铺设三级网络，BlueField-4 则重构了推理存储的金字塔。再辅以 NVLink Fusion 的有限开放与 NVHBM 定制计划，NVIDIA 把竞争维度从"单芯片规格"彻底抬升到"系统级整合"——Bain 的判断在这里得到了最好的注脚。对买方而言，评估下一笔 AI 基础设施投资时，问题已经不该是"这颗 GPU 多少 TFLOPS"，而是"这套系统能把每 token 成本压到多少"。谁能回答好后者，谁就赢得下一个五年。

当 Oracle 用卡车运送天然气维持数据中心运转，当戴尔要在东京附近自建燃气电厂，一个事实已经无法回避：在 AI 工厂的成本结构里，电力正在取代芯片成为第一约束。本文梳理这场能源危机的证据链，以及行业的两条自救路线。

电力成为第一约束的证据链​

证据链从芯片功耗表开始。站内 Rubin R200 规格卡显示：单卡 TDP 1800-2300W、必须液冷，Vera Rubin NVL72 机柜整体功耗约 180kW、定价 350-400 万美元。而这只是开始——

平台	机架功耗（公开口径）	阶段
GB300 NVL72	~140kW	2026 年现役主力
VR200 NVL72	~180-230kW（按单卡 1800-2300W 口径）	2026 H2 交付
Rubin Ultra NVL576	~600kW	2027 H2 目标

机架功耗三年翻四倍，电网侧的配套却以五年为周期规划建设。缺口由此产生，并且已经产生了荒诞但真实的运营现实：据 Bloomberg 确认，Oracle 用卡车运送天然气维持多座数据中心的运转——电网容量跟不上，只能用最原始的物流方式给服务器"送电"。行业分析师给出的方向性数字是 $10 万亿美元级别的数据中心建设需求，其中相当比例将花在电力基础设施上。

需求侧的另一个信号是报建数据：Anthropic 在德州 Cedar Creek 的数据中心项目报建金额为 3.66 亿美元——这还只是头部实验室扩张计划中的一个节点。

自救路线一：离网自建燃气电厂​

第一条路线是不再等电网，自己发电。标志性案例是戴尔与日本 Jera（JERA）、Rhaelm 合作，在东京附近投资 150 亿美元建设 400MW 离网 AI 数据中心，配套燃气电厂，计划 2028 年投入运营。400MW 约等于十几万台高性能 GPU 的供电规模，"芯片厂+能源商+集成商"的组合预示着未来 AI 工厂选址的新范式：哪里有气源，哪里就能建机房。

离网自建的优势是确定性与速度——不受电网排队与扩容审批的制约；代价是资本开支剧增与能源资产的沉没成本。对于有长期算力承诺的超大规模客户，这笔账算得过来；对于中小算力运营商，则更可能通过租用离网机房来间接获益。

自救路线二：电网响应式数据中心​

第二条路线是与电网合作，让数据中心成为电网的"可调负载"。2026 年 9 月 16 日，Emerald AI、Google、NVIDIA 共同成立 AEMA 联盟（先进能源与算力联盟），推动数据中心参与电网需求响应。一个直观的案例来自硅谷：当地电力公司已向 NVIDIA Eos AI 工厂发出 200 余次需求响应信号——每当电网紧张，AI 工厂可以短时降载，换取电价优惠或容量豁免。

这条路线的理论基础是 AI 负载的时间弹性：训练可以断点续跑，推理可以排队，某些批处理任务完全可以错峰。当数万座 AI 工厂都具备柔性用电能力，数据中心就从电网的"负担"变成了"调节资源"。

DSX 的"软件定义能耗管理"玩法​

两条路线之间，NVIDIA 还提供了第三种思路：用软件榨干每一瓦的性能。NVIDIA DSX（含 MaxLPS 等能耗管理组件）在 Lambda 的实测中实现了同功率下 token 吞吐 +24%、每瓦性能 +23%——不增加一度电，多产出近四分之一的智能。

路线	代表案例	核心逻辑
离网自建	戴尔×Jera×Rhaelm 东京 400MW	能源自主，绕开电网排队
电网响应	AEMA 联盟、Eos 200+ 次需求响应	柔性用电，换电价与容量
软件提效	NVIDIA DSX：每瓦性能 +23%	同功率多出 token

这三种打法并不互斥：现实的 AI 工厂往往是"自备电源打底 + 电网响应削峰 + 软件调度提效"的组合拳。

电力之外的第二个硬约束​

在讨论能源时，别忽略存储。美光给出预测：存储短缺将持续到 2028 年。HBM 与 DRAM 的紧张不仅推高整机成本（站内 Rubin Ultra 卡记录：内存已占整机 TCO 约 40%），还直接限制了单位电力所能部署的算力——当一张 1800-2300W 的 GPU 需要搭配 288GB HBM4 才能发挥性能，存储供给与电力供给实际上是同一个产能问题的两面。

对 AI 工厂选址与 TCO 的影响​

对计划自建或租用算力的团队，能源变量必须写进 TCO 模型：

1. 电价参数是最大变量。在站内 TCO 计算器中调整电价参数即可发现：当机架功耗进入 200kW+ 区间，三年电费支出可与整机柜购置费同一量级，选址的每度电差价会直接改写回本周期。
2. 离网溢价与确定性溢价。离网机房的每度电可能更贵，但换取的是不排队、不停电的确定性——对训练任务，停电机会的成本远高于电价差。
3. 需求响应收益。具备降载能力的机房可从电力公司获得电价优惠，这部分收益在传统 TCO 模型中通常被遗漏，在 200+ 次需求响应信号的硅谷案例里已经真金白银。

小结​

"电比卡贵"不再是修辞：Oracle 的天然气卡车、戴尔的自建电厂、$10 万亿的建设需求，共同勾勒出 AI 算力竞争的下一战场在能源。行业的自救分成三条线——离网自建换取确定性、电网响应换取经济性、软件提效换取每瓦产出。对于在 2027 年计划部署 Rubin Ultra 级 600kW 机架的玩家，今天要谈的不是芯片合同，而是电力协议。算力的尽头是能源，这句话正在从口号变成资产负债表。

当训练集群规模迈过千卡、冲向万卡，网络布线就不再是"把线插上"那么简单。Rail-optimized（轨道优化）拓扑是当今几乎所有大规模 GPU 集群的标准答案——DGX SuperPOD、各大云厂商的 H100 与 B200 集群都在使用。本文从工程视角拆解它的原理、布线纪律与运维要点。

为什么需要 Rail-optimized​

现代分布式训练的通信模式高度规律：数据并行场景下，每个节点的 GPU0 与其他所有节点的 GPU0 通信最频繁，梯度 AllReduce 的主要流量就发生在这种"同位号"GPU 之间。Rail-optimized 的思路是顺着这个模式布线：一台 8 卡服务器有 8 张网卡，GPU0 的网卡统一接入 Rail 0 叶子交换机，GPU1 接入 Rail 1，以此类推。这样同轨通信只经过一层叶子交换机，只有跨轨流量才需要上脊层，跳数与拥塞都显著降低。

对比传统的"随机上联"布线，Rail-optimized 把物理拓扑与集合通信模式对齐，NCCL 等通信库可以据此选择最优路径。据公开报道，在万卡规模下，布线方式对有效通信带宽的影响可以达到两位数百分比，一根错误的跳线就足以拖慢整个训练作业。

一个典型的部署单元​

以业界常见的参考架构为例，最小部署单元（Scalable Unit，SU）通常由 32 台 8 卡服务器组成，共 256 卡，配 8 组 Rail 叶子交换机；多个 SU 通过脊层汇聚，两级架构可平滑扩展到 4096 卡以上，三层结构则可支撑数万卡。Ethernet 路线的代表是 NVIDIA Spectrum-X 平台：Spectrum-4 交换机单端口 800G，配合 BlueField-3 SuperNIC、逐包自适应路由与硬件拥塞控制；InfiniBand 阵营同样采用 rail 思路组织 Fabric。

值得关注的新趋势是多平面设计：在最新的 NVL72 级别企业参考架构中，每块 800G 网卡被拆分为两条 400G 链路，分别接入两个独立的网络平面。每个平面各由 4 台叶子交换机负责同一 GPU 位号的轨，两个平面互为冗余，单一平面故障时集群仍能继续训练。这种"拓扑并行化"正在成为十万卡级别机房的主流选择。

维度	传统随机上联	Rail-optimized
同位号 GPU 通信路径	多层跳转，路径不定	单层叶子交换机，路径确定
集合通信带宽	受 ECMP 哈希不均影响	适配 NCCL，接近线速
布线复杂度	低，随机可插	高，必须严格按图施工
故障定位	需全网排查	按 Rail 分域，边界清晰
扩容方式	灵活但性能难预测	按 SU 整体扩展

布线纪律：运维最容易踩的坑​

Rail-optimized 对施工的容错率极低。GPU3 的网卡若被误接到 Rail 5 交换机，链路照样能通，ping 与带宽抽测都看不出异常，但一旦跑起大规模 AllReduce，通信性能立刻劣化。工程上必须做到三点：

• 交付验收时逐链路核对竣工图（as-built），用带外管理工具确认每个端口对应的 GPU 位号与 Rail 编号，形成逐端口验证记录；
• 更换线缆或光模块后执行通信回归测试，重点验证跨节点同轨带宽与 AllReduce 基线；
• 把布线拓扑录入 CMDB，与 NCCL 的拓扑探测结果交叉校验，任何变更走双人复核。

此外，"同轨流量只过一层叶子"也意味着叶子交换机成为关键故障域：每组 Rail 应至少保留上联冗余，核心训练集群建议直接参考双平面设计，把容错做进拓扑而不是靠事后补救。

写在最后​

对正在规划千卡以上集群的团队，我们建议：第一，网络设计先行，Rail 拓扑、SU 划分与机柜布局要在服务器下单前锁定，避免交付期被动返工；第二，把布线验收当成与硬件点检同级的交付里程碑，逐端口记录、责任到人；第三，运维侧建立"布线变更双人复核加通信性能回归"的标准流程；第四，交换机选型预留端口余量，为后续扩容留出空间，避免为加几台机器而全机房重新跳线。万卡集群的很多故障，其实在建机房那天就已经埋下。

训练和推理抢卡、分布式作业因部分调度而死锁、GPU 利用率常年趴在低位——这些问题的根源往往是调度层设计。Ray 与 Kubernetes 生态各自给出了一套答案，关键是怎么组合。

两条路线的心智模型​

路线一：Ray 为中心。 把 Ray 当作计算编排层，Kubernetes 只负责运行 Ray Pod。KubeRay Operator 管理 RayCluster、RayJob、RayService 三类资源，Ray 自动伸缩器根据任务与 actor 的资源需求增删 worker 组。优点是 Python 世界的体验极好，任务级弹性、异构资源混用（不同代次 GPU 混部）都是内置能力；代价是调度决策发生在集群之外，Kubernetes 只看到结果。

路线二：Kubernetes 为中心。 用批调度器直接管理 GPU 作业，代表性组件是 Volcano 与 Kueue。Volcano 提供 Gang 调度、队列公平共享、抢占与网络拓扑感知调度；Kueue 做作业准入控制，排队等资源到位再放行。Ray 作业同样能被纳管：KubeRay 从早期版本就集成 Volcano 解决分布式训练的资源死锁，2025 年发布的 Volcano v1.13 进一步支持直接用原生 Volcano Job 创建和管理 Ray 集群。

能力对比​

能力	Ray 自动伸缩	Volcano	Kueue	NVIDIA KAI Scheduler
Gang 调度	弱（依赖 minReplicas）	原生支持	原生支持	原生支持
任务级弹性伸缩	强，秒级感知任务需求	作业级	队列准入级	支持工作负载伸缩
抢占与优先级	部分支持	支持	配合优先级类	高优推理可抢占低优训练
网络拓扑感知	无	v1.12 起 IB 拓扑，v1.13 支持 Label 自动发现	无	无
异构 GPU 混部	强	强	强	强

实践中的组合形态​

最常见的生产形态是"KubeRay 加批调度器"：RayCluster 的 Pod 标注调度器与队列，Gang 调度保证多机训练作业要么全起要么不起；启用了自动伸缩的集群按 minReplicas 做 Gang 约束，兼顾弹性与死锁防护。大型团队还会叠 NVIDIA KAI Scheduler，让在线推理在算力紧张时抢占离线训练。工程细节上，KubeRay 在大规模集群下要调大 reconcile 并发与客户端 QPS，社区压测显示默认并发配置扩容上万个 Pod 会明显变慢。Volcano 的基于节点标签的 HyperNode 自动发现功能则把"机架到交换机到节点"的拓扑维护简化为打标签，对要求亲和性调度的 IB 集群很实用。

实操建议​

纯 Python 研发团队、任务粒度碎、需要异构混部的场景，以 Ray 为中心最省心；作业规模大、需要队列治理与多团队配额的平台团队，以 Volcano 或 Kueue 为骨架、Ray 作为负载接入。两条路线不冲突，先想清楚"谁拥有资源审批权"这个组织问题，技术选型自然清晰。