每瓦 Token 数：AI 芯片能效的新标尺

过去选芯片看 FLOPS，后来大家学会了看显存带宽，现在该学会看第三个数字了：每瓦 Token 数。当机柜功率从 10 千瓦涨到 120 千瓦，电力与散热成了绕不开的第一约束——算力不再稀缺，供电才稀缺。

为什么 FLOPS 不再够用

FLOPS 衡量的是计算上限，但 AI 芯片的能耗大头往往不在计算：数据搬运——尤其是 HBM 访问——的能耗比同规模运算高出数量级，这是业界公认的"内存墙"另一面。同样标称 1000 TFLOPS 的两颗芯片，若访存效率与互连设计不同，实际每瓦产出的 token 可能差出数倍。此外，token 产出还依赖模型结构、精度档位、batch 大小与软件栈质量，"每瓦 token 数"因此不是一个硬件常数，而是一组条件下的实测结果。

这也解释了厂商能效宣传的口径问题。以公开资料为例：NVIDIA 宣称 GB200 NVL72 机柜在 FP4 推理口径下，相比 H100 空冷基础设施有 25 倍的能效提升——这是厂商在特定负载下的对比数据，选型时应视为上限参考而非承诺值。值得注意的是，这 25 倍里既有芯片架构进步（FP4、新一代矩阵引擎），也有系统级因素（72 卡 NVLink 大域、液冷让算力密度上台阶），拆开看才不至于被单一代际数字误导。

一张对照表：用代理指标先筛一遍

token 级能效必须实测，但选型初筛可以用"显存带宽功耗比"做代理指标——解码阶段带宽即吞吐上限，功耗即成本下限：

芯片	TDP	显存带宽	带宽功耗比（TB/s 每 kW，按公开规格推算）
H100 SXM	700W	3.35TB/s	约 4.8
H200	700W	4.8TB/s	约 6.9
AMD MI300X	750W	5.3TB/s	约 7.1
NVIDIA B200	1000W	8TB/s	约 8.0

推算显示代际间的真实进步：新平台的每瓦带宽确实在提升，且液冷平台（B200）在功耗上涨四成的同时把带宽功耗比再推高一截。但要强调，这只是一个维度的代理指标，训练场景、大 batch 服务、通信密集负载的能效排序可能完全不同。

把能效算进 TCO

能效的最终归宿是钱。AI 工厂模式下，收入等于 token 产出乘以单价，而成本里电费与散热是随时间线性累积的部分。完整的算法是：先在相同模型、精度、batch 条件下实测各平台的 tokens 每焦耳；再乘以机房 PUE 与液冷改造成本——GB200 级液冷机柜功率达 120 至 130 千瓦（据公开报道），风冷机房无法直接承载，改造摊销要计入；最后换算成每百万 token 的能源成本。在电力配额受限的地区，"每瓦产出"直接决定同样一笔电力指标能支撑多少业务收入，这比芯片单价重要得多。

小结与实操建议

能效选型三步走：第一，拒绝跨口径对比，要求供应商用你的模型与负载出实测数据；第二，用带宽功耗比等代理指标快速缩小候选名单，再压测验证；第三，把 PUE、液冷改造、电力供给一起纳入 TCO，而不是只看 GPU 采购价。一句话记住这把新标尺：FLOPS 决定你跑多快，每瓦 Token 数决定你能跑多久、赚多少。