Skip to main content

推理接棒训练：从 Token 消耗曲线看 2027 年算力结构变化

· 4 min read
AI Compute Cards Wiki Editorial
Industry Research Team

长江商报援引寒武纪中报的表述是：中国互联网大厂的 Token 日消耗正呈指数级增长，推理算力已接替训练成为新增长极。这不是一句口号——它正在改写芯片厂商的产品定义（训练/推理拆分）、云厂商的自研路线（全部推理优先）与采购方的成本模型。

需求侧：三组数字​

  • IDC：2026 年中国智能算力规模预计 2,576.5 EFLOPS，同比增长 87.9%——增量主要来自推理
  • Agent 效应：智能体任务的特点是多步骤、长上下文、持续运行，单次任务的 Token 消耗是传统问答的数十倍，且对延迟敏感
  • 平台侧：商汤大装置披露日均 Token 服务量已达 2.42 万亿（公司口径），并规划异构 Token 工厂

推理负载的经济学特征与训练完全不同：训练追求峰值算力利用率，推理追求单位 Token 成本与延迟的平衡。这解释了为什么 2026 年 10 月的三场重磅发布全部是推理优先：Maia 300（长上下文/智能体）、GPU D 系列（decode 阶段 Token 成本）、TPU 8i（推理专用拆分）。

供给侧：产品定义随需求改变​

厂商推理侧动作信号
NVIDIARubin 平台引入 Groq 3 LPU（GTC 2026-03 官宣）做低延迟解码首次在自家平台引入第三方推理芯片
Googlev8 首次拆分出推理专用 8i训练/推理产品线分家
微软Maia 300 定位「主要推理系统」，2027 数吉瓦部署自研芯片从辅助转为主力
IntelGPU D 系列专攻 decode Token 成本放弃 HBM 军备竞赛
华为950PR（Prefill）/ 950DT（Decode+训练）双版本场景细分设计
MetaMTIA 承接全部推荐与 Llama 推理，训练仍外购「训练买、推理自建」分工定型

行业分工已经清晰：训练买 NVIDIA（偶尔 AMD），推理自研或国产。这个分工在 2027 年只会加深。

价格信号：两套体系加速分化​

中国市场与国际市场的算力价格已经事实性分轨（口径：可复核成交数据，非渠道报价，引自行业媒体 2026-10 汇总）：

  • 国内成交口径：B300 八卡整机约 1,880 万元、H200（2T 版）约 670 万元；租赁价格 B300 超 40 万元/月、H200 超 14.5 万元/月
  • 海外合规口径：B300 八卡整机 400-800 万元（不含中国、不含税）
  • 租赁性价比：SemiAnalysis 口径 MI355X 大客户批量租用约 1.50 美元/GPU 时、零售 2.90 美元

注意两个边界：上述国内数字是「成交价非报价」，且不含灰市与转口裸机口径；跨体系直接换算比较没有意义，因为供给条件（管制、保修、软件服务）完全不同。

对 2027 年采购决策的三点推论​

  1. 推理容量规划要按 Agent 负载重估：多步骤智能体让单用户 Token 消耗放大一个数量级，按历史对话流量外推容量会系统性低估。建议按「日活 × 任务数 × 每任务 Token」建模，并预留 2-3 倍余量。
  2. MFU 比峰值算力更值钱：超节点把集群 MFU 从约 30% 提升到 2.75 倍水平（研报口径），意味着同样的电费预算下有效算力翻倍。选型时「实测 MFU × 峰值算力」才是真实算力。
  3. 混合供给成为常态：训练用国际旗舰、推理用国产或自研的分层架构，已经是大厂的标准答案。企业采购可以复制这个分层：核心训练集群保持 CUDA 生态，推理层引入国产卡（思元690、MTT S5000、昇腾 950PR 等）做成本优化。

相关阅读​