11 posts tagged with "Benchmarks"

2026 年是 AI 加速芯片竞争分水岭式的一年。一边是 NVIDIA 用 Blackwell 产能与 Rubin 首发把「训练算力」的标尺再抬高一截，另一边是中国本土供应链在出口管制常态化下，把「可用」加速推向「好用」——昇腾 960 超节点、寒武纪思元 690、摩尔线程 MTT S5000、阿里真武 V900 等产品密集落地。本文用同一把尺子，把国产与国际主力芯片放到一张桌子上对比。

一、为什么说 2026 是分水岭​

• 出口管制进入稳态：美国对高端训练卡的禁运已不是新闻，而是采购决策的默认前提。国产芯片的「替代」叙事从口号转为规模部署。
• 国产份额跨越临界点：据 Counterpoint 口径，中国 AI 芯片市场国产化率从 2022 年近乎为零，升至 2025 年的约 41%，其中昇腾占国产份额约 62%。这意味着「国产 vs 国际」不再是技术爱好者话题，而是采购刚需。
• 代际差距收窄但仍在：纸面算力上，旗舰国产卡（昇腾 910C 128GB、思元 690 196GB）在显存容量上已不输同代国际卡；但在单卡稠密算力、软件生态与集群扩展效率上，仍有一代左右的差距。

本文对比维度固定为五类可比指标：算力（FP16 稀疏口径，与站内科普一致）、显存容量与带宽、功耗与能效、制程、价格。所有数字取自本站已校验芯片数据库（252 款）与价格库（报价截至 2026-10），官方未公开的一律标注「未公布」，不作推测填充。

二、国产 AI 芯片进展​

2.1 华为昇腾：从 910C 到 960 的三级跳​

昇腾 910C 是当前国产训练主力，CloudMatrix 384 超节点已用于 DeepSeek 等大模型训练验证。950 系列在 2026 年 HC 大会官宣：950PR 渠道报价已超 ¥8 万（年初约 ¥6 万），950DT 超 ¥25 万（较 7 月上涨 20%~50%），HBM 供给挤压是涨价主因。960 超节点公布 NPO Hi-ONE 引擎、4096 卡规模与 99.8% 可用度目标，其中 960DT 主攻训练（FP4 4 PFLOPS）、960PR 主攻推理（FP4 8 PFLOPS），是 2027 年的旗舰预期。

2.2 寒武纪思元 690：纸面规格天花板​

思元 690 采用双 die Chiplet 设计与 MLUarch 4.0 架构，中芯国际 N+2 制程、196GB HBM3、3.35 TB/s 带宽、FP16 700 TFLOPS、TDP 500W。其显存容量与带宽已对齐 H100 SXM 级别，是国产卡中少数在纸面规格上逼近国际旗舰的产品。2026 年 9 月受 HBM 供给挤压，官方指导价 ¥19 万、市场均价约 ¥17.5 万，较两月前上调 20%~30%，客户含字节、阿里、百度。

2.3 其他国产厂商​

注：燧原 T21 的 TDP 官方未公布，本站不作推测；摩尔线程、燧原等卡的 FP8/FP4 精度多数官方未单列，表中以 BF16/FP16 口径统一呈现。天数智芯「智铠」系列未见公开采购确认，暂未纳入主表。

三、国际 AI 芯片进展​

3.1 NVIDIA：Blackwell 量产 + Rubin 首发​

NVIDIA 在 2026 年的核心叙事是交付：Vera Rubin NVL72 下半年持续放量，MLPerf Inference v6.1 首秀（Qwen3-VL 较 GB300 最高 3.7 倍）。Rubin R200 官方 FP4 达 50 PFLOPS（稀疏），是本代出货主力；N1X PC 处理器秋季上市，把战场延伸到消费级。

3.2 AMD：MI300X/MI325X 守基本盘，MI455X 冲机架​

MI300X（192GB HBM3 / 5.3 TB/s / 1,307 TFLOPS）与 MI325X（256GB HBM3e / 6.48 TB/s）提供高显存性价比；真正的增量在 Helios 机架（72× MI455X，432GB HBM4 每卡、23.3 TB/s、FP4 40.3 PFLOPS、计算芯粒 TSMC 2nm），绑定 OpenAI 6GW、Meta 6GW 部署。MI450 为其母型号，量产节点排在 2027 年 Q2。

3.3 Intel 与 Google​

• Intel Gaudi 3：TSMC 5nm、128GB HBM2e、3.67 TB/s、BF16 矩阵算力 1,835 TFLOPS、TDP 900W，24× 200GbE RDMA 集成网卡，以太网组网直接对标 NVL72。Gaudi 3 之后 Intel 路线转向 Crescent Island（推理）与 Jaguar Shores（2027），Falcon Shores 已取消。
• Google TPU v6（Trillium）：v6e（32GB / 918 TFLOPS / 200W）与 v6p（96GB HBM2 / 1,350 TFLOPS / 450W）同代，TSMC 5nm，仅通过 Google Cloud 按小时计费。第七代 Ironwood 已把 HBM 容量推到 192GB、带宽 7.38 TB/s。

3.4 其他赛道​

Cerebras 已于 2026-08 发布机架级 CS-4（3× WSE-3 Turbo，750 PFLOPS），需要注意的是 CS-4 并未采用新一代晶圆，硅片与 CS-3 完全相同；SambaNova SN40L 以三层内存架构服务稀疏场景；Graphcore 已被 SoftBank 收购并退出中国市场。

四、关键指标对比（核心）​

方法学：FP16 统一采用稀疏（sparse）口径，与站内科普及首页热门芯片一致；价格为 pricing.json 市场报价（国际 USD、国产 CNY，截至 2026-10）；「未公布」表示官方未披露、本站不作推测填充。

4.1 算力对比（FP16 稀疏）​

读图：单卡 FP16 上，B200/GB300 把国产旗舰甩开约 5~6 倍；但昇腾 910C（800）已接近 H100 的 40%，思元 690（700）紧随，天垓 300（超 1,000）已进入国际旗舰区间。差距从「数量级」收敛到「一代」。

4.2 显存与带宽对比​

读图：国产旗舰在显存容量上已经反超——思元 690 的 196GB、昇腾 960DT 的 288GB、真武 V900 的 216GB 都高于 H100/H200。但带宽上，只有昇腾 960DT（9.6 TB/s）与 B200（8 TB/s）进入同一梯队，HBM3e/HBM4 代差是关键。

4.3 功耗与能效对比​

读图：能效是国产最明显的短板。H100 的 2.83 TFLOPS/W 约为昇腾 910C 的 2.1 倍，B200 更是 3.8 倍。低功耗端 TPU v6e（200W / 4.59）与昆仑芯 R200（150W）代表「每瓦算力」的另一条路线。

4.4 制程对比​

读图：制程代差是结构性差距的根源。国产主力仍停留在 7nm 级，而国际旗舰已进入 2nm 计算芯粒时代。这是单卡算力差距的物理下限。

4.5 价格对比（市场报价，2026-10）​

读图：按汇率约 7.2 折算，昇腾 910C（约 $15.3k）与 H100（$28k）价差显著但算力仅其 40%，单位算力成本仍偏高；思元 690（约 $24.3k）价格接近 H100 但显存翻倍。HBM 短缺推高国产报价，是 2026 下半年的一致趋势。

五、生态对比​

关键判断：生态差距比硬件差距更难追。CUDA 的长期积累使 NVIDIA 在算子覆盖、工具链、开发者社区上仍具压倒性优势；国产路线分两派——华为/寒武纪自建栈，天数智芯/摩尔线程走 CUDA 兼容以降低迁移成本。

六、市场表现​

6.1 出货量（2026 预估）​

6.2 中国市场份额​

6.3 客户与部署​

• 字节跳动 / 阿里 / 百度：寒武纪思元、昇腾 910C 双线采购；
• 腾讯：昇腾 910C 为主，探索其他国产；
• 智算中心：多家国产芯片混合部署，国产化率成硬指标；
• 超大规模云：NVIDIA 仍主导海外训练，但国内云厂商国产占比快速抬升。

七、未来展望（2027）​

差距判断（2027 预期）：

• 算力：从落后 40%~50% 收窄至 30%~40%；
• 显存：从落后 20%~30% 收窄至 10%~20%，部分型号已反超；
• 制程：从落后 1~2 代收窄至约 1 代；
• 生态：从落后 35 年收窄至 23 年。

八、结论与选型建议​

核心观点：

1. 2026 年国产与国际旗舰的差距从「代际」缩小到「一代」，显存容量局部反超；
2. 单卡稠密算力、能效、制程仍是结构性短板，集群扩展与软件生态是最大变量；
3. 国产化率快速攀升（2025 约 41%），采购从「尝鲜」变「刚需」；
4. 出口管制常态化下，国产替代已从政策驱动转为市场驱动。

给不同角色的建议：

• 企业采购：训练为主且合规无碍，选 NVIDIA B200/GB300/Rubin；国产化硬指标，选昇腾 910C/950DT 混合部署；推理高密度，关注昆仑芯 R200 与 TPU v6e。
• 开发者：优先 CUDA 保泛用性；若锁定国产，选 CUDA 兼容栈（天数智芯/摩尔线程）降低迁移成本。
• 投资者：关注 HBM 供给、国产先进制程良率，以及昇腾/寒武纪的客单与份额变化。
• 政策制定者：延续对先进制程、HBM、EDA 的投入，缩短生态差距比单点算力更关键。

数据来源与方法：本文全部性能与价格取自 MirrorFrog 已校验芯片数据库（chips.json，252 款）与价格库（pricing.json，报价截至 2026-10），数据核对日期 2026-10-13。FP16 统一稀疏口径；官方未公开字段以「未公布」标注，不作占位填充。文中 Rubin R200 带宽（19.2 TB/s）与 TDP（1800W）、Gaudi 3 算力（BF16 矩阵 1,835 TFLOPS）、昇腾 950 系列制程与报价等，均为 2026-10 核对后的修正值。

延伸阅读：完整芯片对比表、交互式对比工具、NVIDIA H100 规格卡、华为昇腾 910C 规格卡、寒武纪思元 690 规格卡。

2022 年那篇 FP8 论文刚出来时，把低精度训练当作一个需要小心翼翼对待的工程风险。到了 2026 年，情况反过来了——不是你在考虑要不要用 FP8，而是你还在用 BF16 全程训练的话，很难解释为什么成本这么高。

三套配方，而不是一个「FP8」​

FP8 有两个子格式：E4M3 尾数位多、精度高但动态范围窄，最大有限值 448；E5M2 指数位多、范围宽，最大有限值 57344。Transformer Engine 里的 HYBRID 配方是前向用 E4M3、反向用 E5M2。但这不是唯一正确答案——DeepSeek V3 公开发布的训练配方是全程 E4M3。两种选择都能跑出稳定训练，差别在于梯度的动态范围是否真的需要那么宽。

缩放策略的选择比格式选择影响更大。当前缩放（current scaling）每个张量读两次，适配实时数据；延迟缩放（delayed scaling）只读一次，但依赖历史 amax 统计，遇到离群值容易被历史污染。工程上的普遍建议是：如果稳定性优先，先用当前缩放，不要急着换。

再往上一层是 MXFP8，也就是 OCP 的微缩放格式。张量按 32 个元素切块，每块一个 UE8M0 类型的缩放因子——全是指数位、没有尾数，表示 2 的整数次幂，范围覆盖 2 的负 127 次方到 2 的正 127 次方。这一点在硬件上很关键：缩放因子是 2 的幂，解码时只需要移位，不需要完整的浮点乘法和规格化，直接缩短了处理器的关键路径。块级粒度相比每张量缩放，能把量化误差压低相当可观的比例。

这张表容易被误读。FP8 保守配方看起来只省了 1 字节，这不是 FP8 没价值，而是参数量状态在总训练内存里本来就不占大头——激活值、梯度通信缓冲、框架开销构成了剩下的部分。COAT 这类把优化器状态也量化下去的研究，纸面上有 2 到 3 倍的降幅，但实测端到端内存只降了约 1.5 倍，原因就在这里。

硬件代际决定了配方能走多远​

Ampere 及更早的架构没有 FP8 Tensor Core，Transformer Engine 在那一代只提供 FP16 和 BF16 优化。Hopper 是 FP8 的起点。Blackwell 把 MXFP8 和 NVFP4 做成了 Tensor Core 原生数据类型，Transformer Engine 的 README 明确列出对 MXFP8、NVFP4 训练的支持；Transformer Engine 2.19 版本在 2026 年 9 月加入了对 Rubin 的支持。

AMD 那边，MI450 系列在 FP8 下峰值 20 PFlops、FP4 下 40 PFlops，FP8 训练已经是硬件默认能力而非附加特性。

一个容易被忽略的细节：Blackwell 上使用 MXFP8 时，Transformer Engine 会额外维护一份转置的量化权重副本以加速反向传播。这是一份实打实的额外开销，而且是格式特定行为，不是 FP8 训练的普遍属性。

成熟度体现在基准与生产两处​

MLPerf 预训练提交里的证据比较直接：Llama 3.1 8B 预训练基准中，对注意力 BMM 的输入（前向和后向都算）使用 FP8，相比对应的 BF16 方案在注意力核上实现了明显更好的性能，同时满足了基准的精度要求，注意力部分约 1.3 倍，端到端约 5% 加速。这份提交走的还是每张量当前缩放。

生产侧的公开案例更多。DeepSeek V3 是 671B 总参数、约 37B 激活的 MoE，原生 FP8 训练并且只发布 FP8 权重；Qwen 3.5 的基础设施博客同样描述了原生 FP8 训练管线。需要注意一个术语陷阱：Hugging Face 上的 FP8 检查点，包括 Qwen 自己发布的那些，绝大多数是训练后量化产物，和原生 FP8 训练是两回事。模型卡上写「FP8 权重」不代表它是 FP8 训练出来的。

硬件侧的收益区间也有公开数据：在 H100 上相比 BF16 混合精度，FP8 训练通常快 35% 到 40%；NVIDIA 的 COAT 框架报告过约 1.43 倍的端到端加速。

剩下的坑​

需要警惕三类问题。第一，精度悬崖真实存在——有些架构对 FP8 敏感程度明显更高，换格式前必须跑基线对比。NVIDIA 公布的验证曲线里 MXFP8 和当前缩放 FP8 在 Nemotron 模型上贴合 BF16，但那不保证你的模型也贴合。

第二，loss spike 频率上升。应对手段是更积极的梯度裁剪、更长的学习率预热、更频繁的检查点。FP8 梯度比 BF16 更容易溢出，这不是可以忽略的波动。

第三，激活离群值极端的模型，延迟缩放会被历史统计带偏，此时应当直接上块级缩放，而不是在两种延迟策略之间反复调参。

展望​

2026 年剩下的变量主要在两处：一是块级缩放会不会从 Blackwell 的可选路径变成跨厂商默认——MX 系列已经是 OCP 标准，AMD、Intel、NVIDIA、Meta 都在里面；二是 4 位格式从推理侧反攻训练侧的速度有多快。一旦 NVFP4 级配方在前沿规模预训练中稳定下来，FP8 就不会再是讨论的终点，而是所有新项目的起点。真正需要判断的已经不是用不用 FP8，而是你的模型对哪一档精度敏感、敏感在训练的哪个阶段。

「每百万 token 多少钱」这个问题，在 2026 年已经失去了单独讨论的意义。2026 年 10 月 8 日的价格快照显示，最便宜的模型输入价已跌到每百万 token 0.05 美元（GPT-5 Nano）到 0.14 美元（DeepSeek V4 Flash）区间，而旗舰模型仍在 4 至 5 美元输入、20 至 25 美元输出。头部与尾部之间相差约 100 倍，真正决定账单的不是单价，而是你的计量口径。

一、2026 年 10 月的价格环境基线​

以下是我们核实的公开价格（单位：美元 / 每百万 token），可用于建立四季度预算模型：

四个必须注意的口径陷阱：

1. 促销有到期日。 Gemini 3.7 Flash 的 0.75 / 3.75 是促销价，官方标注 2026 年 12 月 31 日后恢复至 1.50 / 7.50。Qwen3.6-Plus 的国际版价格在输入超过 256K 后跳到 2.00 / 6.00。用促销价做全年预算，等于给自己埋一个 2 倍的账。
2. 峰谷定价真实存在。 DeepSeek V4 Flash 的官方价为离峰 0.22 / 0.66、峰段 0.44 / 1.32，峰段为 UTC 工作日的两个时段。如果你把离线批处理挪到离峰时段，同一批任务能省一半。
3. 缓存命中价差三个数量级。 DeepSeek V4 Flash 缓存命中输入低至每百万 0.007 美元。RAG 或多轮对话场景里，缓存命中率每提升 10 个百分点，输入成本下降约一个量级。
4. 输出单价通常是输入的 3 至 5 倍。 输入重的负载（翻译、文档重读）与输出重的负载（代码生成、长摘要）必须分开建模。

二、1 亿 token 月预算的真实账单​

取一个典型负载：1 亿输入 token + 1000 万输出 token。按上表单价估算：

同一份工作，账单差 26 倍。 但这里有个陷阱比价差本身更重要：一个 0.14 美元的模型如果需要三次重试才给出正确结果，实际成本是 0.42 美元——比一次成功的 0.50 美元模型更贵。重试率必须计入单 token 成本。

三、什么规模开始值得自建​

自建的门槛取决于你的月 token 量。公开分析给出的经验阈值是：70B 级模型在每月 5 亿至 8 亿 token 以上时，自建的推理开支相比前沿 API 标价可降低 65% 至 80%。

而自建的另一条参考线来自芯片视角。联想 2026 年的生成式 AI TCO 研究给出：自托管 Llama 70B 的每百万 token 成本约 0.11 美元，而同类托管 API 约 2.00 美元，相差约一个数量级；对一台 Blackwell 级系统连续运行对标按需云价，五年节省超过 500 万美元，降幅 83.8%。

但这些数字有一个共同前提：硬件不闲着。该研究测算的盈亏平衡点，在对标按需云价时不到四个月，在对标深度折扣的多年期预留合约时则拉长到九到十个月。

四、实测框架：四步算出你的真实单位成本​

第 4 步的实操做法：拿一台具体卡型（比如 8 卡 H200 整机，月租 5 万至 6.6 万元；或 B200 云端按需约 5.98 至 8.60 美元/卡时），用你实测的吞吐（token/s）换算出月产出 token 总数，再除以月成本，得到自建的每百万 token 成本。这个数字必须用你自己的实测吞吐，不能用厂商标称峰值。

五、Q4 选型清单​

• 默认档：把 DeepSeek V4 Flash 或 Qwen3.8 Flash 作为新功能的第一落点，前者综合性价比最优，后者输入最省。
• 离线档：批处理、评测、数据清洗全部挪到离峰窗口，并接缓存，DeepSeek V4 Flash 缓存命中输入低至 0.007 美元/百万。
• 旗舰档：只在具体任务被证明需要时升级。GPT-5.6 Luna 被称为「旗舰 90% 质量、2% 价格」的位置，Claude Opus 5 与 GPT-5.6 Sol 的差价买的是能力上限而非平均表现。
• 自建评估档：月 token 量稳定在 5 亿以上、且负载 7×24 有基线，才启动自建建模。
• 预算纪律：所有促销价按到期后的价格做全年预算，把峰值定价按峰段价做压测。

一句话总结：2026 年 Q4 的 token 成本优化，重点已经从「找便宜的模型」转向「选对计量口径」——缓存、峰谷、重试率、促销到期日，这四项加起来的量级远超模型之间的价差。

截至 2026 年 10 月，英伟达最近一期财报（2027 财年第二季度，截至 2026 年 7 月 26 日）把单季营收推高到 962.21 亿美元。总量已不是新闻——真正值得拆开看的是客户结构的分叉，以及中国市场贡献的持续收缩。

总量与结构​

单季营收 962.21 亿美元，同比增长 106%，环比增长 18%，连续刷新纪录，大幅超出华尔街一致预期的约 922 亿美元。GAAP 净利润 596.88 亿美元，同比增长 126%，GAAP 毛利率 75.0%。GAAP 摊薄每股收益 2.46 美元，调整后每股收益 2.22 美元，高于市场预期的约 2.10 美元。财报公布后盘后一度上涨近 5%。

管理层把数据中心增长归因于 Blackwell Ultra 平台的快速部署，并对下一季度给出约 1080 亿美元的营收指引。更罕见的是，公司首次提前一年给出远期指引，首席财务官预计 2028 财年营收增长约 70%。

客户集中度：从「依赖巨头」到「双引擎」​

这是本期财报最容易被忽略、也最有信息量的一组数字。超大规模云服务商贡献约 487 亿美元，同比增长约 102%；而 AI 云、工业与企业客户（ACIE）合计约 403 亿美元，同比增长约 138%，环比增速 25% 同样高于超大规模客户的 13%。英伟达对 ACIE 的解释是，增长来自 AI 原生公司、企业客户、主权 AI 客户，以及使用 AI 云服务的超大规模运营商。

换句话说，第二增长曲线的增速已经快于第一曲线。黄仁勋在电话会上表示，公司约一半业务目前正以每年约 100% 的速度增长，而且这部分增长来自云计算之外。这种结构变化对英伟达的意义在于：它降低了单一客户群资本开支波动带来的收入风险，也意味着定价权的基础正在从「少数几家可以签下十吉瓦的客户」扩展到成千上万家企业买家。

两个收缩项​

中国市场的贡献已经降到可以忽略的量级。本季运往中国的数据中心 Hopper 产品收入占数据中心总收入的比例低于 1%，且下一季度指引未计入任何来自中国的数据中心计算收入。这基本封死了 H20 系列在中国市场的残余想象空间。

另一项值得留意的收缩来自消费端。边缘计算板块营收约 72 亿美元，虽同比增长 27%，但公司明确表示增长主要来自 Blackwell 工作站强劲销售，部分被消费级 PC 销售放缓抵消——原因正是内存和系统价格上涨。这是本季度财报中唯一被管理层主动点名的需求抑制因素，也是 AI 内存涨价向终端传导的直接证据。

研判​

英伟达这份财报给出的信号可以概括为：总量天花板还很远，但增量来源正在换轨。ACIE 增速反超超大规模客户，意味着行业需求正从「少数巨头的基础设施投资」扩散到「成千上万家企业与主权 AI 的日常采购」。

不过有三处风险需要持续跟踪。其一，指引中不含中国收入，意味着这块若出现政策松动的边际改善，才会成为超预期的上行变量。其二，ACIE 客户群体更分散、订单颗粒度更小，对渠道与交付能力的要求高于对单一产能的依赖，这会改变公司的收入确认节奏。其三，库存与负债指标：财报披露当季存货拨备及超额存货采购义务约 9.85 亿美元，上半年合计约 21 亿美元，同时公司首次将「负债」单独列为风险因素，一到五年内到期债务为 150 亿美元，上一季度这一数字仅 27.5 亿美元。

真正决定下一个季度的变量，已经不在英伟达自己手里，而在台积电的先进封装产线和 HBM4 的爬坡速度上——这两者是 Blackwell Ultra 与 Rubin 平台能否按计划交付的物理前提。

选型 AI 芯片时，最容易被数字晃点的地方就是算力表。同一颗 H100，有的页面写 990 TFLOPS，有的写 1979 TFLOPS，两个都没错——错的是拿来做对比的那个人。这篇文章把算力口径拆开讲清楚。

稠密与稀疏：恰好两倍的差距​

稠密（dense）算力指计算单元对每一对数据都做真实乘加时的峰值吞吐；稀疏（sparse）算力则假设输入矩阵里有一定比例的零可以被跳过。NVIDIA 自 Ampere 架构起支持 2:4 结构化稀疏：每四个权重里固定有两个为零，硬件直接跳过对应的乘加，峰值算力恰好翻倍。

以公开规格为例：

NVIDIA 官方数据表中标注的数字默认就是稀疏口径，并附有"不采用稀疏技术时规格降低一半"的脚注。问题在于，这个脚注在传播过程中经常被丢掉，于是 1979 就成了流传更广的那个数。

为什么"注水"能成立：真实负载很少吃到稀疏红利​

结构化稀疏要兑现收益，前提相当苛刻：模型必须经过配套的剪枝与微调，让权重收敛到 2:4 的稀疏模式，且精度损失可接受；推理软件栈还要支持稀疏数据布局。现实是，主流大模型的训练和推理几乎都以稠密方式运行，市面上真正把结构化稀疏打满的生产级部署屈指可数。换句话说，稀疏算力是一张"理论上限的支票"，多数负载兑不了现。

除了稀疏口径，规格表里还埋着几层口径差：精度档位（FP4 数字天然比 BF16 大数倍）、单芯还是整机（机柜级数字除以 GPU 数才有可比性）、峰值还是持续（散热和功耗墙会让持续算力明显低于峰值）。厂商倾向把对自己最有利的那一格放到宣传页首行，这不是造假，而是"选择性呈现"。

四步把规格表读出真实算力​

1. 统一精度：对比双方换算到同一精度档，BF16 对 BF16，FP8 对 FP8，绝不跨档比较。
2. 还原稠密值：看到带稀疏角标的数字，先除以二再进表。粗略经验是，宣传数字越大越可能是稀疏或低精度口径。
3. 确认统计边界：是单芯片、单模组还是整机柜数字；是否有双芯封装的合并口径。
4. 换算成业务指标：用你的模型参数量和显存带宽反推 tokens 上限，与标称算力互相校验。算力再高，喂不饱就是虚的。

小结​

稠密算力才是大多数真实负载能摸到的天花板，稀疏算力是需要软硬件全套配合的期权。选型时把所有候选芯片统一到"同精度、稠密、单芯"的口径上做对比，再用显存带宽和互连带宽交叉验证，就能过滤掉大部分注水成分。记住一条朴素规律：如果某个宣传数字比同代竞品高得离谱，先查它的口径，而不是急着惊叹。

2026 年的数据中心里，Hopper 一代与 Blackwell 一代正在同柜共存。买 H100 还是 H200，上不上 B200，不再只是"买新不买旧"的问题，而是一道涉及电价、液冷改造和 token 成本的核算题。

三张规格表：看清代际差异在哪​

从 H100 到 H200，提升几乎全部来自内存子系统；从 H200 到 B200，则是一次架构层面的全面换代：新 Tensor Core、双 Die 封装、FP4 精度、NVLink 带宽翻倍。三款芯片的关键规格如下（Tensor 数据均为稀疏口径，稠密值减半）：

三点值得展开。第一，H100 与 H200 算力相同，H200 的收益完全由显存兑现：MLPerf 上 Llama 2 70B 推理吞吐接近 2 倍，训练实测提速通常在 1.1 至 1.4 倍之间，且越依赖大 batch、大上下文收益越明显。第二，B200 的 FP4 峰值是 Hopper 的约 5 倍，这是为推理时代设计的精度档位；跑传统 FP16/FP8 训练时，代际差距收窄到约 1.3 至 2.3 倍。第三，B200 的 1.8TB/s NVLink 与 1,000W 功耗，让它事实上被锁定在 HGX/DGX 的 SXM 体系里，几乎没有 PCIe 版本。

整机采购：价格与基础设施门槛​

据公开报道与市场行情，8 卡整机的大致采购区间如下：

基础设施是隐性成本。B200 整机功耗接近 10kW 级，对机柜供电密度提出要求；而更上层的 GB200 NVL72 则强制液冷，风冷机房改造动辄每兆瓦数百万美元。反过来，H100/H200 的风冷兼容性成为存量机房升级路径上最平滑的一步。云租赁价格也在同步下沉：H200 实例价格已明显低于发布初期，B200 实例则在各大云上快速铺开。

分场景采购建议​

大规模训练：优先 B200。NVLink 带宽翻倍直接影响张量并行与专家并行的通信效率，FP8 与 FP4 的混合精度路径也更完整。预算受限或机型紧张时，H200 训练 70B 级模型依然够用。

生产推理：这是 H200 的主场。单卡 141GB 装下 70B 模型免并行，每百万 token 成本往往低于 B200；除非你的业务跑在 FP4 量化模型或超长上下文上，B200 的算力溢价才会真正兑现。

微调与中小模型：H100 的性价比此时最高。模型装得进 80GB 时，H200 的多余显存帮不上忙，为带宽多付的钱买不到对应收益。

小结​

三代芯片的关系不是替换，而是分层：H100 是性价比与生态底座，H200 是推理性价比的甜点，B200 是 FP4 时代的算力上限。2026 年采购的正确姿势是先问三个问题——模型多大、机房能供多少电、预算按 token 还是按整机核算——答案自然会把你引向其中一张规格表。

快科技10月10日消息，AI 代码执行平台 Daytona 公布了最新一轮智能体 AI 基准测试结果：NVIDIA Vera 处理器在沙盒启动速度和任务吞吐量两项核心指标上，均明显优于采用 AMD EPYC "Zen 5" 架构的产品。对正处爆发期的 Agentic AI 行业而言，这是第一次有一组公开数据，把"多智能体场景下的 CPU 选型"这个新命题摆上了台面。

2026年9月16日，MLPerf Inference v6.1结果出炉：AMD以Instinct MI350系列在512卡规模创下575万tokens/秒的MLPerf纪录，而NVIDIA Vera Rubin NVL72也在本轮完成首秀。分析师称，这是NVIDIA在AI训练与推理领域历史性垄断的"实质性侵蚀"。

MLPerf v6.1：本轮关键结果​

MLPerf Inference是业界最具公信力的AI推理基准测试，v6.1这一轮的格局变化堪称历史性：

AMD的512卡提交以575万tokens/秒创下MLPerf纪录，更值得注意的是，合作方的独立提交与AMD官方结果平均差距在4%以内——第三方可复现性意味着这个纪录不是实验室里的孤立数字。

NVIDIA的回应：Vera Rubin NVL72首秀​

NVIDIA并未坐视。Vera Rubin NVL72在本轮MLPerf完成首秀，成绩同样亮眼：Qwen3-VL吞吐较上一代GB300 NVL72最高提升3.7倍，DeepSeek-R1最高提升2.5倍，288卡规模演示了99%的扩展效率。

这里存在一个口径差异需要读者注意：AMD刷新的是tokens/秒的绝对纪录（512卡），NVIDIA展示的是代际提升幅度（相对自家GB300）。两者并不矛盾，但说明竞争已从"单点性能"转向"规模效率与代际节奏"的全方位对垒。此外，Intel虽无新硬件登场，但证明了在成熟硬件上软件优化仍能压榨出可观的性能增益——软件栈的权重在推理竞争中持续上升。

MLPerf看什么：吞吐、延迟与规模效率​

对于习惯只看 headlines 的读者，读MLPerf结果建议关注三个维度：

1. 吞吐（Throughput）：单位时间token产出，反映系统在大批量服务场景的容量上限。AMD本次575万tokens/秒就是吞吐口径的纪录。
2. 延迟（Latency）：单请求响应速度，决定交互式应用的用户体验。吞吐成绩往往在放宽延迟约束时更高，需对照延迟约束看吞吐。
3. 规模效率（Scaling Efficiency）：从几十卡扩展到数百卡时性能保留多少。NVIDIA的288卡99%扩展效率正是这个口径——硬件再强，扩展效率低下就无法支撑真实的超大规模部署。

三者组合才能还原一个系统的真实战力：吞吐高说明"能扛量"，延迟低说明"反应快"，规模效率高说明"能放大"。

AMD的部署进展：纪录之外的商业验证​

MLPerf成绩需要落地验证才有意义。AMD在2026年的部署进展已覆盖超算、国家级基础设施与商业训练：

• LUMI-AI超算（欧洲）：将由MI430X与第六代EPYC驱动，延续AMD在欧洲超算领域的影响力；
• HUMAIN（沙特）与Cisco等大型基础设施项目：MI355X系统参与其中，进入国家级AI基础设施采购清单；
• Zyphra的商业训练：8月19日，Zyphra用1536张MI300X从零预训练ZAYA1-8B模型，证明AMD平台不仅能推理，也能承担大规模预训练。

从超算到主权AI项目再到独立AI公司的预训练，AMD正在补齐"性能证明→商业信任"的最后一环。

机架级竞争下的benchmark口径变化​

MLPerf v6.1还有一层容易被忽视的行业信号：benchmark口径正在变化。随着NVL72、Helios等机架级（rack-scale）系统成为竞争主战场，提交单位的颗粒度从"单卡/单机"演进到"整个机架"，互联、内存、网络全部被打包进成绩。

这带来两个影响：其一，比较口径更接近真实部署（用户买的就是整机架），成绩参考价值更高；其二，小玩家更难参与——机架级提交的门槛将绝大多数中小厂商挡在门外。未来MLPerf榜单可能进一步分化为"单节点榜"与"机架级/集群榜"两个层次。

国产芯片何时加入MLPerf提交​

另一个值得国内读者思考的问题：何时能看到国产AI芯片的MLPerf正式提交？MLPerf的公信力来自开放提交与第三方可复现，国产芯片若要在国际市场建立性能信任，参与MLPerf是绕不开的一步。目前MLPerf v6.1榜单上尚未出现国产芯片的正式提交，国产芯片何时加入、以什么规模加入，将成为观察其国际化进程的重要风向标。

小结​

MLPerf Inference v6.1是分水岭式的一轮：AMD以512卡MI350创下575万tokens/秒的MLPerf纪录、合作方结果差距在4%以内，Tom's Hardware口径的判断是NVIDIA在AI训练与推理领域的历史性垄断出现"实质性侵蚀"；NVIDIA则以Vera Rubin NVL72首秀回应——Qwen3-VL吞吐最高3.7倍、DeepSeek-R1最高2.5倍、288卡99%扩展效率。加上AMD在LUMI-AI超算、HUMAIN、Cisco与Zyphra等项目的落地，AI推理市场的竞争格局正在被实质性改写。对采购者而言，现在是重新评估"唯NVIDIA论"的时候了；对行业而言，benchmark口径的机架级演化与国产芯片的缺席，同样是下一阶段值得持续跟踪的主线。

On September 16, MLCommons released the MLPerf Inference v6.1 Closed Division results, and NVIDIA's Vera Rubin NVL72 completed its benchmark debut. The same day, CoreWeave announced that a multi-rack Vera Rubin cluster was live on its cloud — a "rent the new hardware on launch day" cadence that is compressing the cycle from next-generation compute announcement to billable output down to a quarter.

1. Debut Results: 3.7x and 2.5x​

NVIDIA, via preview submissions (entries 6.1-0106 / 6.1-0074), provided an apples-to-apples comparison of its two flagship generations:

The three technologies behind these numbers:

• NVFP4 precision: compresses the memory footprint of model weights, attention tensors, and the KV Cache, enabling significantly larger effective batch sizes;
• Disaggregated serving: prefill (compute-intensive) and decode (bandwidth-intensive) are split across separate GPU pools, each independently optimized;
• Expert parallelism: MoE expert layers route across chips in a distributed fashion, paired with sixth-generation NVLink / NVLink Switch (NVIDIA claims 10x the packet rate of commodity Ethernet at 3x lower latency).

2. Same-Session Highlights: Scaling Efficiency and the Software Dividend​

• GB300 four racks, 288 chips, 99% scaling efficiency: in the DeepSeek-R1 offline scenario, scaling from a single rack of 72 chips to 4 racks of 288 chips shows almost no loss (entries 6.1-0073 / 6.1-0074) — the first time rack-scale interconnect scaling efficiency has been validated at the 288-chip level;
• The software dividend is still being paid out: on the same GB300 hardware, v6.1 software optimizations deliver up to 1.6x Qwen3-VL gains over v6.0; NVIDIA also reported post-submission gains for GPT-OSS-120B and DLRMv3 (not verified by MLCommons);
• 19 partners submitted, 8 of them using multi-node Blackwell NVL72 configurations (ASUS, Azure, Cisco, CoreWeave, Crusoe, Dell, Fujitsu, HPE, Lambda, Nebius, OCI, Supermicro, and others); Nebius also submitted Vera Rubin preview results.

3. CoreWeave Online the Same Day: Rentable at Launch​

On the same day the MLPerf results were published, CoreWeave announced that its multi-rack Vera Rubin NVL72 cluster was live on its cloud:

• Spectrum-X networking links hundreds of Rubin GPUs into a single scale-out cluster, with each GPU paired with 2 ConnectX-9 SuperNICs (1.6Tb/s scale-out bandwidth);
• The AI object store LOTA cuts read latency by 8x;
• On the operations side: Valvey software-defined liquid cooling (NVIDIA spec: 45°C liquid inlet), the Racky rack control layer, and Rack LifeCycle Controller manage an entire NVL72 rack as a single programmable entity;
• Back in July, CoreWeave's own testing put Vera Rubin at 10x tokens/s/MW versus GB200 NVL72 on DeepSeek R1 (company figures, not MLCommons-verified).

4. The Competitive Picture​

• AMD + Crusoe: set MLPerf's all-time high aggregate throughput of 5.75M tokens/s on 512 chips (AMD had the broadest submission coverage this round);
• SemiAnalysis AgentX preview: Vera Rubin up to 30x over GB300 on agentic workloads (preview figures); the MLPerf Endpoints benchmark is forthcoming and will bring agentic inference into standardized measurement;
• Pending validation: Vera Rubin results are preview submissions awaiting independent reproduction; no quantified quality metrics were given for NVFP4's "virtually lossless" claim; per-token cost and power-consumption scaling comparisons have not been published. Matching submissions from Google TPU v7 and AMD MI455X UALoE72 are expected within 2026.

On-site spec comparisons: Rubin R200 (288GB / 22TB/s), B300 Ultra (GB300-class core).

5. Takeaways​

• Vera Rubin NVL72 debut: Qwen3-VL 3.7x, DeepSeek-R1 2.5x over GB300 NVL72 (preview figures);
• GB300 across four racks of 288 chips at 99% scaling efficiency — rack-scale interconnects have entered the usable range;
• CoreWeave brought a multi-rack cluster online the same day — the cycle from next-gen compute launch to billable output is now measured in quarters;
• What to watch: independent reproductions and formal (non-preview) submissions, TPU v7 / MI455X comparison results, and measured per-MW token throughput.

Further Reading​

• Rubin R200 Spec Page / B300 Ultra Spec Page (this site)
• NVIDIA Vera Rubin Mass Production and Liquid Cooling Deployment
• Hot Chips 2026 Full Recap: Rubin, MI455X, Crescent Island on the Same Stage

References​

• NVIDIA Blog: Vera Rubin NVL72 Makes Its First Appearance in MLPerf Inference v6.1 (2026-09-16)
• MLCommons: MLPerf Inference v6.1 Closed Division results (entries 6.1-0073 / 6.1-0074 / 6.1-0106)
• CoreWeave Investor Relations: multi-rack Vera Rubin NVL72 availability announcement (2026-09-16)
• AMD Blogs: MLPerf Inference v6.1 submission results

This article is compiled from public MLCommons results and vendor official statements. Vera Rubin results are preview submissions; some gain figures are not MLCommons-verified and are flagged item by item.

2026 H2 is the richest era for the AI compute market: NVIDIA Rubin R200, AMD MI400, Trainium 3, TPU 8t/8i, Ascend 920, and Groq 3 LPX are all in place. This article provides a complete selection tree to help you choose the most suitable product based on model size, training/inference, latency requirements, budget, and region.