之前我们讲过投机解码的概念：小模型起草稿、大模型来验证。但概念到生产之间隔着几个关键问题——接受率怎么算、草稿从哪来、为什么大 batch 场景收益会缩水。这篇往下挖一层。

草稿-验证框架：一次前向，验 K 个 token​

标准流程是：草稿模型根据当前上下文连续猜 K 个 token，目标模型把"原文加 K 个草稿 token"拼成一次前向——注意自回归模型天然支持一次并行计算多个位置的输出，所以验证 K 个 token 的耗时约等于生成一个 token。逐位比对：草稿猜对的保留，遇到第一个分歧位丢弃其后全部草稿，并采用目标模型在该位的输出。

对随机采样场景，接受与否用拒绝采样规则决定，可以严格证明最终输出分布与目标模型直接解码完全一致——这是投机解码最漂亮的性质：加速不以任何质量损失为代价。

收益取决于接受率 α：若每个草稿位被接受的概率都是 α，则每步目标模型前向平均产出约 1 加 α 加 α 的平方一直加到 α 的 K 次方个 token，随 K 增长趋于 1 除以 1 减 α。α 等于 0.7、K 等于 4 时约两倍加速；α 跌到 0.3，收益就趋近于零，草稿计算反而白费。

草稿从哪来：三条路线​

方案	草稿来源	公开接受率	典型加速	额外开销
独立草稿模型	同词表的小模型	六至八成	约 1.5 至 2.5 倍	需维护小模型
Medusa	目标模型上加多个预测头	六至七成	约 1.8 至 2.5 倍	需训练预测头
EAGLE-3	复用目标模型深层特征	七至八成	约两至四倍，部分报告更高	训练轻量草稿头
MTP	训练期原生多 token 预测	八成以上	据公开技术报告约 1.8 倍解码加速	需重训模型

独立草稿模型最直观，但要求草稿与目标共享分词器且风格对齐，体积以小为宜——太大则草稿自身耗时吃掉收益。Medusa 不引入独立模型，在目标模型上挂若干预测头并行猜测未来多个位置，部署简单。EAGLE 系列更进一步：直接把目标模型的中间层特征喂给一个轻量草稿头，配合树形注意力（每步验证多条候选分支）把接受率推高，2025 年发布的 EAGLE-3 据公开评测已成为通用模型上的标杆方案。

MTP 则把投机解码内化进训练目标：DeepSeek-V3 在预训练时就加入多 token 预测模块，推理时该模块天然充当草稿头。据其公开技术报告，MTP 带来约 1.8 倍的解码加速，接受率达八成以上——原生对齐是接受率最高的路线，代价是必须从训练侧介入。

什么场景反而变慢​

三类场景要谨慎：一是高温采样等高随机性输出，草稿与目标分歧大，接受率暴跌；二是超大 batch 服务，此时解码已接近算力受限，验证的并行红利被摊薄，甚至挤占正常请求的算力；三是草稿模型选得太大，草稿成本占比过高。经验法则是草稿比目标小一到两个数量级，且务必用自家流量实测接受率——公开基准的七成接受率在你的领域数据上可能只有三成多，收益随之天差地别。

小结​

投机解码是"用访存冗余换时延"的典型架构：单流解码卡在权重搬运上，验证多 token 几乎不额外耗时，这正是它能免费加速的物理原因。落地时先明确业务是延迟敏感还是吞吐敏感——前者优先开，后者要先压测 batch 干扰，再选对草稿路线，最后盯住接受率这个唯一的核心指标。

团队拿到第一笔融资，决定自建算力时，第一台 8 卡服务器往往是最容易踩坑的一次采购。本文按预算分档给出卡型建议，并列出初创团队最常见的四个坑。

一、先算账：一台 8 卡服务器到底多少钱​

按 2026 年的公开渠道报价，主流方案分三档。海外 OEM 的 8 卡 HGX H100 整机报价约 25 万至 32 万美元，折合人民币 180 万至 240 万元；国内渠道的 8 卡 H800 或 H100 服务器租赁报价约每月 6.8 万至 9.5 万元。国产侧，Atlas 800T A2（8 卡昇腾 910B）渠道报价区间很大，从约 75 万元到接近 200 万元都有成交案例，主要受供货紧张程度影响。消费级方案则便宜得多：8 卡 RTX 4090 整机约 25 万至 35 万元，8 卡 RTX 5090 约 40 万至 55 万元。

预算区间	推荐配置	参考总价	适合谁
30 万至 60 万	8 卡 4090 或 4 卡 5090	25 万至 55 万	微调 13B 以下模型、推理服务验证
80 万至 150 万	8 卡 A800 二手、或国产推理卡集群	60 万至 150 万	中等规模 SFT、稳定推理业务
180 万至 240 万	8 卡 H100 或 H200 HGX 整机	180 万至 240 万	70B 全参训练、严肃预训练启动
100 万至 200 万	Atlas 800T A2（8 卡 910B）	视渠道浮动	有国产化要求或拿不到进口卡的团队

二、卡型怎么选：显存优先于算力​

初创团队最常见的错误是"按 TFLOPS 买卡"。实际业务里，显存容量和带宽决定你能跑什么模型，算力只决定跑多快。4090 的 24GB 显存放不下 70B 模型的 FP16 权重，再便宜也没用；H100 的 80GB 和 H200 的 141GB 才是 70B 以上模型的入场券。

三个经验法则：

1. 做微调和推理验证：4090 或 5090 起步完全够用，7B 模型 Q4 量化只需约 4GB 显存，70B Q4 约 35 至 40GB，两张 5090 就能跑。
2. 做 70B 级 SFT 或多模态训练：直接上 8 卡 HGX，A800 二手是性价比之选，单卡 80GB、月租口径约 3.15 万至 4.5 万元，整机二手价约 60 万至 80 万元。
3. 拿不到进口卡：昇腾 910B 生态的框架适配已比较成熟，网上踩坑记录多，遇到问题容易找到答案。

三、四大避坑清单​

坑一：供电和散热被低估。 8 卡 H100 仅 GPU 满载就是 5.6kW，加上 CPU、内存、网卡，整机规划要按 8kW 以上算，普通办公室电路根本扛不住。租机房时确认机柜功率上限和是否支持液冷。

坑二：PCIe 版省钱省错了地方。 PCIe 版 8 卡机比 HGX NVSwitch 版便宜约 7 万美元，但没有 NVLink，多卡张量并行通信走 PCIe，大模型训练效率会明显下降。只做推理可以买 PCIe 版，做训练别省这个钱。

坑三：忽视保修和二手卡来源。 二手 A100 单卡约 18,500 美元、H100 约 18,000 至 22,000 美元，价格诱人，但矿卡翻新、显存故障风险真实存在。务必要求原厂保修转移或经销商保修，并做 24 小时烤机测试再付尾款。

坑四：忘了算网络和存储。 报价单上的整机通常不含 InfiniBand 交换机、光模块和分布式存储，这部分加起来可能再花 10 万至 40 万元。采购前让供应商把 BOM 拆开写清楚。

四、结尾建议​

给初创团队一句话总结：先用租赁验证业务，再决定买什么卡。 按 2026 年国内价格，4090 单卡时租低至 2 至 4 元，H100 单卡 28 至 35 元（第三方平台可低至 9.5 元左右），几个月的租赁费用就能摸清你的真实负载形态。如果月均利用率能稳定超过七成，自建才划算；否则把钱留在账上，比堆在机房里灵活得多。真要买，显存买够、供电留足、保修写清，这三条守住了，第一台 8 卡机大概率不会配错。

报价单上的 GPU 单价，通常只占三年总拥有成本的一半左右。电费、机房、冷却、折现和一系列隐藏项，才是采购决策里真正拉开差距的部分。

一、TCO 的五大组件​

一台 AI 服务器的三年总拥有成本，可以拆成五个部分：

1. 采购成本：GPU 卡 + 服务器节点 + 网络设备，一次性支出，不参与折现。
2. 电费：设备电耗 × 使用小时数 × 电价，三年里最大的持续支出之一。
3. 机房托管/租金：机柜租金或自建机房折算成本，按卡或按柜计费。
4. 冷却：风冷机房里冷却电耗约为设备电耗的 30%，液冷机房可压到 10% 左右。
5. 折现：未来三年的运营支出按年化折现率折算回今天的价值，让"三年合计"有可比性。

二、本站 TCO 计算器的默认口径​

为了让测算可复现，TCO 计算器采用了一套公开的默认口径：

• 实际功耗：不按 TDP 满负荷计，而是按"实际功耗 = TDP ×（空闲比 +（1 − 空闲比）× 使用率）"计算，空闲功耗比例默认 15%。
• 年电费：实际功耗 × 8760 小时 × 电价，电价默认 $0.1/kWh。
• 冷却：冷却电费 = 设备电费 ×（PUE − 1）。PUE 默认 1.3（风冷），液冷可设 1.1，极致方案 1.05。注意冷却单独列示、不再重复乘 PUE，避免双重计算。
• 折现：年化折现率默认 8%，按年末现金流口径折现；采购是一次性支出，永不折现。
• 集群口径：默认每 8 卡配一台服务器节点（约 $30,000/台），网络设备按 GPU 采购价的 12% 估算，千卡级集群另计每年约 $15 万的人力 OPEX。
• 汇率：人民币定价统一按 7.2 换算为美元。

三、实例测算：8 卡 B200 集群的三年 TCO​

以 B200 为例做一次文字推演。取站内卡口径：TDP 1,000W，市场价约 $42,000/卡；使用率取默认 90%，三年期。

一次性支出：GPU 采购 8 × $42,000 = $336,000；服务器节点 $30,000；网络设备按 12% 约 $40,300。合计约 $40.6 万。

年度运营：实际功耗 = 1kW × 8 ×（0.15 + 0.85 × 0.9）≈ 7.3kW；年设备电费 ≈ 7.3 × 8760 × $0.1 ≈ $6,400；冷却按 PUE 1.3 再加 30%，约 $1,900；机柜租金按 $500/卡·年 约 $4,000。年运营合计约 $12,300。

折现：8% 折现率下三年折现因子约 2.58，运营支出折现后约 $3.2 万。三年 TCO 约 $43.8 万（按 7.2 汇率约合 ¥315 万）——比单纯的采购价高出约三成，这还没算人力。拆成明细表更直观：

成本项	口径	金额（3年口径）
GPU 采购	8 × $42,000（市场价）	$336,000（一次性，不折现）
服务器节点	8 卡 × 1 台	$30,000（一次性）
网络设备	GPU 采购价 × 12%	约 $40,300（一次性）
设备电费	7.3kW × 8760h × $0.1	约 $6,400/年，折现后约 $16,500
冷却	设备电 ×（PUE 1.3 − 1）	约 $1,900/年，折现后约 $4,900
机柜租金	$500/卡·年 × 8	$4,000/年，折现后约 $10,300
合计	—	约 $43.8 万（≈¥315 万）

换成 Rubin R200 级别的旗舰方案，差距更夸张：单卡 TDP 1,800–2,300W 且必须液冷，NVL72 机柜功耗约 180kW，机柜定价 350–400 万美元。机柜电费按液冷 PUE 1.1 测算依然可观，这就是为什么"AI 工厂"的选址决策首先是电力决策。AMD MI455X 的 TDP 与定价均未公开，评估时建议按 Helios 机柜 225–245kW 的功耗上限做保守测算。

四、被忽略的隐藏成本​

公式之外的五类成本，最容易让预算失控：

• HBM 涨价传导：2026 年 HBM 供应紧张直接推高卡价——昇腾 950DT 渠道价超 ¥25 万（两个月内涨 20%–50%）、950PR 突破 ¥8 万、寒武纪思元690 上调 20%–30%。今天入库的价格，明年可能就是另一回事；连二手 A100 市场价（约 $28,000）都已远超当年 $15,000 的指导价。
• 供货周期：Rubin R200 自建机房用户要到 2027 年一季度才能采购，MI455X 规模爬坡要到 2026 下半年之后。等卡的每一天，都是空转的机柜租金。
• 软件迁移：从 CUDA 迁到 ROCm 或 CANN，即便有兼容层（CANN Next 官方口径约 80% 的 PyTorch 代码仅需改配置），工程师时间和调优成本也要折算进 TCO。
• 液冷改造：B300 Ultra TDP 1,400W 起就必须液冷，8 卡 DGX B300 峰值功耗约 14kW，相当于两台 H100 服务器。风冷机房升级液冷是一次性资本开支，很多预算模型里根本没这一项。
• 电力增容：Helios 机柜 225–245kW、NVL72 约 180kW，数据中心级部署往往需要电力扩容审批，周期以月计。

五、云租 vs 自建：决策框架​

本站 TCO 计算器内置了 Build-vs-Rent 模型，核心结论可以用一个公式概括：自建的每 GPU·小时成本 = 固定成本 ÷ 利用率 + 变动电费。它意味着：

• 利用率是分母：跑满的自建集群单位成本可能显著低于云价；利用率 30% 以下，自建几乎必然亏。公式还能解出盈亏平衡利用率——云价低于你的变动成本底线时，租赁恒优。
• 云价参照系：默认云价 $2.5/GPU·小时；实际行情中 H100 约 $2.00，B300 约 $8.00。拿你的负载画像去对号入座。
• 决策规则：稳定高负载（利用率 70% 以上）倾向自建；波动或探索期负载先云租；介于两者之间的，用计算器输入真实电价、租金和利用率跑一遍敏感性分析（电价 +20%、使用率 +20%、PUE 1.5 等情景）再做决定。

小结​

TCO 测算的价值不在于算出一个精确数字，而在于把"采购价幻觉"拆掉：一次性支出只占三年成本的一半到三分之二，电费与冷却跟随功耗走，折现让远期支出显形，而 HBM 涨价、供货周期、液冷改造这些隐藏项往往才是超预算的元凶。建议打开站内 TCO 计算器，用自己的参数实测一遍；型号规格可查阅完整对比表与各芯片卡页面。

今天每一款 AI 芯片的规格表上，数字最大的那一行几乎都来自专门的矩阵计算单元，而不是通用核心。这些单元叫法各异——Tensor Core、MXU、Cube Core、MME——但都指向同一个设计判断：神经网络计算值得用专用电路来做。

起点：通用核心喂不饱神经网络​

深度学习计算的主体是矩阵乘法，模式极其规整：同样的乘加操作重复亿万次。早期的方案是在通用 GPU 核心上跑这些运算，效率不错但浪费——取指、调度、分支预测这些通用能力对矩阵乘毫无贡献。转折出现在 2016 到 2017 年：Google TPU v1 用脉动阵列（MXU）做 INT8 推理，数据在阵列中流动、逐拍被计算单元"接力"处理，省去了反复访存；NVIDIA 则在 Volta 架构中引入第一代 Tensor Core，把小型矩阵乘加指令下沉到硬件，每时钟周期可完成一组 4 乘 4 矩阵片段运算。矩阵计算从此有了专属电路。

Ampere 到 Hopper：精度阶梯与异步化​

NVIDIA 的演进路线最具代表性：

架构（年份）	Tensor Core 代际	关键能力
Volta（2017）	第一代	FP16 矩阵运算独立于 CUDA 核
Ampere（2020）	第三代	TF32 档位、2:4 结构化稀疏翻倍
Hopper（2022）	第四代	FP8、Transformer Engine 自动切精度、异步大块矩阵指令
Blackwell（2024）	第五代	FP4 微缩格式、attention 专项优化

这条脉络有两条主线：一是精度不断下探，FP16 到 FP8 再到 FP4，每一档都把单次运算的能耗和面积砍掉一大截，配套的格式管理机制（如自动缩放）保证精度可接受；二是执行方式从同步走向异步，矩阵指令直接在显存与计算单元之间搬运大块数据，减少寄存器中转，让算力单元的填充率更高。

不是一家的事：矩阵引擎的多种流派​

矩阵单元并非 NVIDIA 独有。Google TPU 的 MXU 是脉动阵列的代表，几代 TPU 始终坚持这一架构，用规整的数据流换取高能效。华为达芬奇架构的 Cube Core 走"三维立方运算"路线，一条指令完成一整块矩阵乘，Ascend 系列延续至今。寒武纪 MLU 核心同样以矩阵和向量单元为主体。Intel Gaudi 系列则把大矩阵引擎（MME）与可编程 VLIW 核搭配，一个负责稠密 GEMM，一个负责其余算子。各家实现细节差异很大，但方向一致：让矩阵乘法拥有专属的、尽可能宽的数据通路。

小结​

十五年演进可以压缩成一句话：算力单元从"通用核心顺便做矩阵"走向"整颗芯片围着矩阵引擎转"。精度下探仍有空间，但物理极限渐近，下一阶段的竞争点正在从单单元峰值转向数据搬运效率——显存带宽、片上 SRAM、互连拓扑。选型时看算力单元，不要只看峰值 FLOPS，要看它背后的数据供给能力：算得快的前提是喂得快。

当几乎所有 AI 芯片公司都在对标英伟达时，Jim Keller 的态度是："英伟达做什么，我们就反着来。"Blackhole 就是这句话的产物。

架构：一颗"独立的 AI 计算机"​

Blackhole 是 Tenstorrent 第三代加速器，台积电 6nm 工艺，2024 年 8 月在 Hot Chips 上首次披露，2025 年 4 月的开发者大会上正式开卖。它最特别的地方在于片上集成了三种计算资源：

规格项	Blackhole p100a	Blackhole p150a 与 p150b
Tensix 核心数	120（启用）	140
大 RISC-V 核心	16 个 SiFive X280	16 个 SiFive X280
片上 SRAM	180 MB	210 MB
显存	28 GB GDDR6	32 GB GDDR6
内存带宽	448 GB/s	512 GB/s
以太网扩展	无	4 个 800G QSFP-DD 接口
整卡功耗	300W	300W
定价	999 美元	1399 美元

每个 Tensix 核心内部又包含 5 个"小 RISC-V"核心、张量引擎、向量引擎与本地 SRAM；算上各处控制器，全片共有 752 个小 RISC-V 核。而那 16 个大核（SiFive X280）强大到可以直接在加速卡上启动 Linux，充当设备内主机——Blackhole 因此不需要独立 x86 主机即可工作。扩展方式同样不走寻常路：不用专有交换机，10 条 400G 以太网链路直接把多颗芯片连成网格。

开源：商业模式本身就是技术战略​

Tenstorrent 在开发者日当天把整个软件栈推上了 GitHub：底层运行时 TT-Metalium、神经网络库 TT-NN、编译器前端 TT-Forge 全部开源，电路原理图公开，甚至为提交内核代码的开发者设立了 500 至 5 万美元的悬赏。CI 日志与性能看板对所有人可见。

这套打法背后是清晰的商业算盘：其一，AI 集群物料成本已高达数亿美元，专有固件与非披露协议把研究者挡在门外，开源降低了最顶尖人才的试用门槛；其二，Tenstorrent 同时出售 RISC-V CPU IP（面向服务器级市场的 Ascalon 内核已向首批客户授权早期 RTL），硬件与 IP 两条腿走路；其三，据公开报道，公司已累计融资约 10 亿美元，支撑其每年迭代的目标。产品矩阵从 999 美元的开发卡、11999 美元的 QuietBox 工作站（4 颗 Blackhole）到集成 32 颗芯片的 Galaxy 服务器，覆盖了从研究生到主权 AI 的所有层级。

风险与观察​

Blackhole 用 GDDR6 替代 HBM 是成本与开放性的取舍，带宽密度明显低于同级 GPU；软件栈虽开源，成熟度与 CUDA 仍有差距；数千卡规模的公开演示也还在路线图上。Keller 自己也承认："所有只押一件事的人都会失败"——所以 Tenstorrent 同时卖卡、卖 IP、卖服务器。

小结与建议​

对开发者与研究者而言，Blackhole 是目前门槛最低的"真 AI 芯片"实验平台：999 美元、无需云配额、代码全部可读可改。对行业而言，它验证了 RISC-V 在 AI 加速领域的可行性，也给"去 CUDA 化"提供了一个开源支点。它未必能撼动 GPU 的份额，但它正在培养一代熟悉开放架构的工程师——这或许是比卖芯片更长线的投资。

过去选芯片看 FLOPS，后来大家学会了看显存带宽，现在该学会看第三个数字了：每瓦 Token 数。当机柜功率从 10 千瓦涨到 120 千瓦，电力与散热成了绕不开的第一约束——算力不再稀缺，供电才稀缺。

为什么 FLOPS 不再够用​

FLOPS 衡量的是计算上限，但 AI 芯片的能耗大头往往不在计算：数据搬运——尤其是 HBM 访问——的能耗比同规模运算高出数量级，这是业界公认的"内存墙"另一面。同样标称 1000 TFLOPS 的两颗芯片，若访存效率与互连设计不同，实际每瓦产出的 token 可能差出数倍。此外，token 产出还依赖模型结构、精度档位、batch 大小与软件栈质量，"每瓦 token 数"因此不是一个硬件常数，而是一组条件下的实测结果。

这也解释了厂商能效宣传的口径问题。以公开资料为例：NVIDIA 宣称 GB200 NVL72 机柜在 FP4 推理口径下，相比 H100 空冷基础设施有 25 倍的能效提升——这是厂商在特定负载下的对比数据，选型时应视为上限参考而非承诺值。值得注意的是，这 25 倍里既有芯片架构进步（FP4、新一代矩阵引擎），也有系统级因素（72 卡 NVLink 大域、液冷让算力密度上台阶），拆开看才不至于被单一代际数字误导。

一张对照表：用代理指标先筛一遍​

token 级能效必须实测，但选型初筛可以用"显存带宽功耗比"做代理指标——解码阶段带宽即吞吐上限，功耗即成本下限：

芯片	TDP	显存带宽	带宽功耗比（TB/s 每 kW，按公开规格推算）
H100 SXM	700W	3.35TB/s	约 4.8
H200	700W	4.8TB/s	约 6.9
AMD MI300X	750W	5.3TB/s	约 7.1
NVIDIA B200	1000W	8TB/s	约 8.0

推算显示代际间的真实进步：新平台的每瓦带宽确实在提升，且液冷平台（B200）在功耗上涨四成的同时把带宽功耗比再推高一截。但要强调，这只是一个维度的代理指标，训练场景、大 batch 服务、通信密集负载的能效排序可能完全不同。

把能效算进 TCO​

能效的最终归宿是钱。AI 工厂模式下，收入等于 token 产出乘以单价，而成本里电费与散热是随时间线性累积的部分。完整的算法是：先在相同模型、精度、batch 条件下实测各平台的 tokens 每焦耳；再乘以机房 PUE 与液冷改造成本——GB200 级液冷机柜功率达 120 至 130 千瓦（据公开报道），风冷机房无法直接承载，改造摊销要计入；最后换算成每百万 token 的能源成本。在电力配额受限的地区，"每瓦产出"直接决定同样一笔电力指标能支撑多少业务收入，这比芯片单价重要得多。

小结与实操建议​

能效选型三步走：第一，拒绝跨口径对比，要求供应商用你的模型与负载出实测数据；第二，用带宽功耗比等代理指标快速缩小候选名单，再压测验证；第三，把 PUE、液冷改造、电力供给一起纳入 TCO，而不是只看 GPU 采购价。一句话记住这把新标尺：FLOPS 决定你跑多快，每瓦 Token 数决定你能跑多久、赚多少。

训练选型的本质不是"买最强的"，而是在预算、负载规模、软件生态和供货确定性之间找到平衡点。本文数据均取自本站芯片卡与定价库，帮你按预算分档做出决策。

一、先分级：你的训练负载属于哪一档​

训练负载大致分为三档，档位不同，选型逻辑完全不同：

• 微调 / LoRA：单卡或 8 卡即可完成，7B–70B 模型为主。瓶颈在显存容量与单卡带宽，互联要求低，PCIe 机型甚至二手卡都能胜任。
• 继续预训练 / 领域适配：数百卡规模，需要稳定的多卡互联与成熟的软件栈，容错与断点续训能力开始重要。
• 从零预训练：千卡乃至万卡集群，互联带宽、机架方案（NVL72、Helios、CloudMatrix）和集群软件效率决定成败，预算通常以千万美元计。

二、按预算分档推荐​

预算档位	推荐方案	关键规格	参考单价（站内定价库）
入门微调（数十万元级）	H100 SXM / H200	BF16 1,979 TFLOPS（稀疏）、80GB / 141GB HBM3e、NVLink 900 GB/s、700W 风冷	H100 市场价约 $28,000；H200 约 $38,000
中等规模（数百万元级）	B200 / AMD MI355X	B200：192GB HBM3e、FP8 10 PFLOPS（稀疏）、NVLink 1.8 TB/s；MI355X：288GB HBM3E、FP8 dense 5 PFLOPS、UALink 600 GB/s	B200 约 $42,000；MI355X 官方指导价 $22,000
旗舰预训练（千万到亿级）	B300 Ultra / Rubin R200 / MI455X	B300：288GB HBM3e、FP8 dense 7 PFLOPS；Rubin：288GB HBM4、22 TB/s、NVLink 6 3.6 TB/s；MI455X：432GB HBM4、23.3 TB/s、MXFP4 40.3 PFLOPS	B300 约 $52,000；Rubin NVL72 机柜 350–400 万美元；MI455X 定价未公开（Helios 机柜约 500–550 万美元）
国产合规档	昇腾 910C / 昇腾 950DT / 寒武纪思元690	910C：BF16 800 TFLOPS、128GB HBM2e；950DT：FP8 约 1 PFLOPS、144GB 自研 HiZQ 4 TB/s；思元690：FP16 700+ TFLOPS、196GB HBM3	910C 渠道价超 ¥11 万；950DT 超 ¥25 万；思元690 约 ¥17.5 万

几个要点值得展开：

• 入门档首选 H100/H200 并不落伍。H100 的 BF16 稀疏算力 1,979 TFLOPS、700W TDP 风冷友好，生态最成熟；H200 显存加到 141GB、带宽 4.8 TB/s，微调 70B 级模型更从容。
• 中等规模档 B200 与 MI355X 各有侧重。MI355X 用 288GB HBM3E 和 3nm 制程在显存容量上压过 B200，官方口径 FP8 dense 5 PFLOPS 也略胜，价格还便宜约四成；但 B200 的 NVLink 1.8 TB/s 是 UALink 600 GB/s 的三倍，千卡扩展时差距会显现。
• 旗舰档看机架而不是单卡。B300 Ultra 必须液冷（TDP 1,400W），Rubin R200 的 Vera Rubin NVL72 机柜 FP4 算力约 3.6 EFLOPS、总显存 20.7TB；MI455X 的 Helios 机架 72 卡 31TB HBM4、机柜功耗 225–245kW。这一档的采购单位是"机柜"，还要配套液冷与供电改造。

三、关键参数怎么读​

• FP16/BF16 算力：注意 dense 与 sparse 口径差一倍。H100 的 1,979 TFLOPS 是稀疏值，dense 约 989 TFLOPS；比较时务必统一口径。
• 显存容量：从 H100 的 80GB 到 B300 的 288GB 再到 MI455X 的 432GB，容量决定了能训多大模型、能开多大 batch。训练 70B 模型 FP16 权重本身就要约 140GB，加上优化器状态后通常需要多卡切分。
• 互联带宽：NVLink 4.0（900 GB/s）→ NVLink 5（1.8 TB/s）→ NVLink 6（3.6 TB/s）；AMD 走开放路线的 UALink 600 GB/s；昇腾为 HCCS 784 GB/s 与灵衢 2 TB/s。张量并行通信密集，互联带宽直接决定扩展效率。
• 机架方案：GB200/GB300 NVL72、Helios、CloudMatrix 384 是三家给出的系统级答案。单卡强不等于集群强，采购前要确认整机柜方案、网络与液冷的完整交付能力。

四、软件生态权重：CUDA vs ROCm vs CANN​

• CUDA：十八年积累，算子覆盖最全，从 H100 到 Rubin 全线兼容，迁移成本最低。
• ROCm：AMD 官方口径承认成熟度仍落后 CUDA 约 2–3 年，但开放生态对云厂商和主权 AI 项目有吸引力，MI355X/MI455X 的客户名单里已有 Microsoft Azure、Meta、Oracle 等。
• CANN：昇腾 950 系列配套 CANN Next 提供 CUDA 兼容层，约 80% 的标准 PyTorch 代码仅需配置修改即可迁移；2026 年 10 月 DeepSeek 与华为还联合发布了面向昇腾 950 的开源编程工具与库。

经验法则是：微调档闭眼选 CUDA；中等规模档如果显存需求突出、团队有 ROCm 经验，MI355X 值得评估；合规档则要在选型时就把迁移人力写进预算。

五、供货与价格现实​

2026 年的选型绕不开 HBM：

• 涨价传导：HBM 成本攀升直接推高国产卡报价——昇腾 950DT 渠道指示价已超 ¥25 万（较两个月前上涨 20%–50%），昇腾 950PR 突破 ¥8 万，寒武纪等同期上调 20%–30%。
• 云租是一条现实路径：H100 云租约 $2.00/GPU·小时，B200 约 $5.87/GPU·小时，B300 的 AWS 8 卡实例约 $11.70/GPU·小时（Nebius 口径约 $9.50/GPU·小时）。训练周期短的项目，租往往比买划算。
• 旗舰卡要排队：Rubin R200 已于 2026 年 6 月全面量产，但自建机房用户要到 2027 年一季度才能采购；MI455X 也需到 2026 年下半年至 2027 年上半年才规模爬坡。急用算力，H100/H200/B200 的现货市场仍是主力。

想逐项对比更多型号（包括 Google TPU、Intel Gaudi 4、百度昆仑芯等），请查看站内完整对比表；每张卡的详细规格可进入对应芯片卡页面查看。

小结​

2026 年的训练 GPU 市场第一次出现了"四条路线"：CUDA 旗舰（Rubin/B300）、开放生态（MI355X/MI455X）、推理专用硬件和国产合规方案。选型的顺序应该是：先定负载档位，再按预算筛卡，然后核算互联与机架方案，最后把软件迁移和供货周期计入总成本。单卡峰值参数只讲了一半的故事，剩下的另一半在集群和生态里。

"推理占比什么时候超过训练"曾是个经典预测题，如今它已经有了答案：2026 年，推理算力占比正式过半。真正的悬念变成了——推理时代的算力基建，准备好了吗。

占比反转：数据给出的答案​

多家机构对训练与推理的算力结构给出了趋于一致的判断：

口径	关键数据	来源
全球 AI 负载占比	2024 年训练约六成、推理约四成；2025 年五五开；2026 年训练四成、推理六成	Epoch AI、AMD 公开材料
推理负载占比	从 2023 年约三分之一升至 2025 年约一半，2026 年预计达到三分之二	德勤估算
中国智能算力	2027 年推理占比预计突破七成；2028 年全球推理负载占比约七成三	IDC 预测
AI 云服务支出	2026 年全球 AI 优化型 IaaS 支出约 375 亿美元，推理占比 55%，首次超过训练	Gartner 预测

鼎帷咨询等机构进一步预计，训练与推理负载比将从早期的 7 比 3 演进到 2027 至 2030 年的 3 比 7 甚至 2 比 8。无论采用哪个口径，方向完全一致：算力的重心正在从"炼模型"迁移到"用模型"。

三股力量：服役、深思、智能体​

推理占比跃升由三重动力叠加驱动。第一，模型进入服役期：训练是一次性资本开支，推理是每天持续产生的运营账单——据业界估算，头部对话类产品的推理开销以每天数十万美元计，进入规模化生产后，推理可占模型全生命周期算力成本的八到九成。第二，推理时 Scaling：思维链模型用"内部深思"换取智能，用户看不见的推演 token 同样按价计费，单次请求的算力需求成倍膨胀——模型越会深思熟虑，推理阶段的需求通胀就越厉害。第三，智能体乘数：一次 Agent 任务消耗的 token 从数百跃升到数万，多轮链式思考叠加工具调用，使推理流量呈现碎片化与高波动特征。

中国市场的信号同样鲜明：据公开数据，全国日均 token 消耗从 2024 年初的千亿级跃升至 2026 年 3 月的约 140 万亿，一年半增长约三百倍——需求的斜率比任何预测模型都陡峭。

硬件逻辑的重新洗牌​

占比反转直接改写芯片设计与采购逻辑。训练硬件追求极致性能与集群可靠性，一次训练动辄连续运行数周，故障率必须压到极低；推理硬件的 KPI 则是每瓦 token 数与每百万 token 成本：FP4 与 INT8 级别的低精度成为默认态，显存容量与带宽决定长上下文的经济性，时延与吞吐的权衡成为核心竞争力。这解释了 2026 年推理专用芯片赛道的集体爆发——从英伟达面向推理优化的产品线，到云厂商自研 ASIC 与推理芯片创业公司的融资潮，都在响应同一个结构性信号。

结语：推理时代的真正考题​

推理时代不是某个季度财报里的占比数字，而是一整套产业逻辑的更替：计费从"卡时"转向"token 成本"，采购从"峰值算力"转向"单位经济学"，评测从训练基准转向真实业务负载的端到端表现。可以判断：2026 年是推理占比过半的符号性年份，而 2027 到 2028 年，推理将稳固占据七成以上份额。届时，所有今天围绕训练设计的集群、网络与商业模式，都要回答同一个问题——为推理做好准备了吗。

大家习惯把"扩容慢"归咎于抢不到 GPU，但很多项目卡住的地方其实更靠上游：为一排排机柜供电的大型电力变压器，交付周期已经拉长到两年以上。算力竞赛的下一道闸门，是电网设备。

短缺有多严重​

据 Wood Mackenzie 2025 年报告，美国电力变压器需求自 2019 年以来增长约 116%，发电机升压变压器（GSU）需求更是暴增约 274%，远超本土产能。2025 年美国电力变压器供应缺口约 30%，配电变压器缺口约 10%。价格同步起飞：自 2019 年以来，电力变压器均价上涨约 77%，部分配电变压器品类涨幅接近翻倍。

交期是最直观的指标。大型电力变压器（100MVA 级以上）的交付周期自 2023 年起持续超过两年，2025 年二季度约 128 周（约 2.5 年），GSU 更是达到约 144 周。短缺的根源是结构性的：取向硅钢供应集中、熟练绕线工人短缺、产能扩张周期长达数年——新建一座变压器工厂从动工到满产要 18 至 24 个月，而全球大型变压器制造商不足 20 家。

一张交期对照表​

设备类型	当前典型交期	疫情前参考
中小型干式变压器（5 至 25MVA）	约 12 至 18 个月	4 至 6 个月
中型电力变压器（25 至 100MVA）	约 18 至 24 个月	6 至 12 个月
大型电力变压器（100 至 300MVA）	约 24 至 36 个月	12 个月左右
GSU 及特高压等级（300MVA 以上）	约 36 至 48 个月，个别报价更长	12 至 18 个月
中高压开关柜、断路器	普遍超过 1 年	3 至 6 个月
大容量 UPS / HVDC 电源	据业界经验值，数月至一年以上	数周至数月

对照 AI 数据中心的需求尺度：一座 100MW 的园区通常需要 4 至 6 台大型电力变压器加专用变电站，而全球数据中心正以每年超过 10GW 的速度新增。变压器成了名副其实的"绑定性约束"——GPU 一个季度就能到货，变压器可能要等它两年半。

扩容方的应对策略​

变压器短缺无法绕过，只能提前布局。实践中的有效做法有四条：第一，把电力设备采购从"项目立项后"提前到"用地锁定时"，头部厂商已开始提前三四年锁定产能槽位，通常需要一笔不可退还的订金；第二，多供应商资格认证，北美之外的中、印、欧供应商交期相近但价差可达两到四成；第三，评估翻新与二手设备渠道，经完整测试与翻新的大型变压器可把部署时间压缩到 6 至 12 个月；第四，与电网公司同步启动接入流程，现实中接入排队与变压器制造经常互为前置，串行等待是最坏路径。

UPS 侧的思路类似：与其挤大容量工频机产能，不如评估 HVDC（高压直流）架构——新一代 AI 机柜普遍转向 800V 直流供电，供电链路更短、设备更少，反而降低了在紧缺设备上的暴露面。

写在最后​

给正在规划扩容的团队三条建议：第一，把"电力设备交期"列入项目关键路径，与 GPU 排货同等优先级管理，变压器晚到一天，整座机房就晚一天产生收入；第二，做财务测算时预留设备涨价缓冲，按近年趋势变压器单价每年仍有约一成的上行压力；第三，有条件的园区自建或长租变电站预留容量，把"电网接入"从一次性博弈变成持续资产。算力竞争的上半场是抢卡，下半场是抢电。

LLM 推理引擎已经有了 vLLM 和 SGLang，但它们之上还差一层"服务编排"：批量合并、多模型并发、流水线编排、指标暴露。这一层是直接拿 Triton，还是用 FastAPI 自研？答案取决于团队规模与业务复杂度。

Triton 提供了什么​

Triton Inference Server 是 NVIDIA 开源的推理服务软件，2025 年 3 月起已并入 NVIDIA Dynamo 平台体系（更名为 Dynamo Triton），但社区版仍独立发展。它的核心能力集中在四点：

1. 动态批处理：在服务端把零散请求合并成大批次，客户端零改动，通过 preferred_batch_size 与 max_queue_delay_microseconds 控制吞吐与时延的平衡。
2. 多框架后端：TensorFlow、PyTorch、ONNX、TensorRT、OpenVINO、Python、RAPIDS FIL 乃至自定义 C++ 后端统一在一份配置模型仓库下。
3. Ensemble 与 BLS：Ensemble 用声明式 DAG 编排"检测后接跟踪再接分类"这类固定流水线；Business Logic Scripting 允许写 Python 控制流做条件路由、拆批合并。
4. 并发与实例管理：instance_group 控制每张卡上同一模型的副本数，多模型并发执行由调度器托管，天然配合 MIG 与 MPS 做多租户切分。

自研网关的真实成本​

自研路线的吸引力在于灵活：鉴权、限流、业务路由、AB 实验、成本归因都能按需来，很多团队用 FastAPI 加进程池两天就能跑起来。但走到生产会陆续遇到隐性成本：请求级动态批处理要自己实现并调优；模型加载、健康检查、灰度发布要重新造轮子；Prometheus 指标、XID 错误采集、GPU 利用率导出全部要自己接；分布式追踪与优雅扩缩容更是长期工程。

决策对比表​

维度	Triton	自研网关
动态批处理	内置，微秒级队列延迟可调	需自研，质量取决于实现
模型格式支持	十余种后端统一托管	逐个适配
业务逻辑灵活度	中等，靠 BLS 补齐	完全自由
可观测性	Prometheus 指标开箱即用	全部自建
团队门槛	学配置模型仓库与调度参数	需要长期维护的服务团队
适合规模	多模型、CV 类流水线、多租户	业务逻辑重、单模型、快速验证

实操建议​

经验法则是：模型种类多、有 CV 类流水线编排需求、追求 GPU 利用率的团队，直接用 Triton，把自研精力留给上层业务网关；业务逻辑极重、模型单一且迭代以周计的小团队，自研网关反而更轻。更常见的最优解是分层——Triton 承担"模型服务与批处理"这层标准化工作，前面再叠一层薄薄的业务网关做鉴权路由，两层各司其职。无论哪条路线，先用真实流量回放压测，对比 P99 时延与单卡吞吐再定，不要凭感觉拍板。