23 篇博文 含有标签「Selection Guide」

推理正在从"一张卡干所有活"走向"专用硬件干专项活"。Prefill 吃算力、Decode 吃带宽，这条基本规律正在重塑 2026 年的推理硬件市场——选型前先搞清楚你的负载属于哪一段。

一、推理负载画像：Prefill 与 Decode 是两件事​

一次大模型推理请求分两个阶段，瓶颈截然不同：

• Prefill（预填充）：把用户输入一次性算完，矩阵乘密集，是典型的 compute-bound 负载。算力（FP8/FP4）是瓶颈，显存带宽需求适中。
• Decode（解码）：逐 token 生成，每一步都要把全部权重和 KV Cache 从显存里读一遍，是典型的 memory-bound 负载。带宽决定吞吐，容量决定能塞下多长的上下文。

这条规律直接解释了 2026 年的两大产品趋势：昇腾把 950 拆成 950PR（Prefill 专用，1.4 TB/s 带宽）和 950DT（Decode + 训练，4 TB/s 带宽）两个版本；NVIDIA 收购 Groq 后，在 Vera Rubin 平台里给 LPU 留出正式位置——"GPU 管 Prefill，LPU 管 Decode"成为官方口径。

二、推理专用硬件成为趋势​

推理 ASIC 化是 2026 年最确定的产业方向：

• Google TPU 8i / 8t：按推理与训练分拆的第八代 TPU，站内卡口径显示 2027 年底量产，仅通过 Google Cloud 按小时计费。
• 昇腾 950PR / 950DT：同一 Da Vinci v5 计算核心配不同内存子系统。950PR 主攻 Prefill，FP4 算力 1.56 PFLOPS（Atlas 350 卡口径），112GB 自研 HiBL HBM；950DT 主攻 Decode，144GB HiZQ 2.0、带宽 4 TB/s。
• NVIDIA Groq 3 LPX：每 LPU 500MB 片上 SRAM、片上带宽 150 TB/s；256 颗组成机架后聚合带宽 640 TB/s、算力 315 PFLOPS。实测 Gemma 4 31B 单用户 3,431 token/s，首 Token 延迟低于 20ms——这是 GPU 很难摸到的延迟量级。
• OpenAI Jalapeño 等自研推理芯片：头部模型厂商自研推理 ASIC 的动作持续，推理负载的确定性让专用架构的性价比优势越来越难忽视。

结论：如果你的业务是千级并发的 Agent 调用，专用硬件已经从"可选项"变成"必选项"。

三、按场景推荐表​

场景	推荐方案	核心依据	参考价格（站内定价库）
低延迟对话 / Agent	Groq 3 LPX 机架；B300（FP4）	LPX 首 Token < 20ms、单 Token < 5ms；B300 NVFP4 短输出吞吐较 H200 最高提升 20 倍	LPX 机架推测 $800–1000 万/柜；B300 约 $52,000/卡
批量离线推理	B300 / H200	B300 FP8 口径吞吐 100,000+ tok/s，单 token 成本约为 H100 的 0.58 倍；H200 性价比稳健	H200 市场价约 $38,000
长上下文 / 长文档	H200 / B300 / Rubin R200	H200 141GB 可单卡加载 70B 模型；B300 288GB 装 70B FP16 后仍余 100GB+ 给 KV Cache；Rubin 显存带宽 22 TB/s	Rubin 单卡预测价 $85,000
国产 / 边缘与低成本	昇腾 950PR / 昆仑芯 R200 / 寒武纪思元690	950PR 面向视频推荐与实时交互；R200 仅 150W、INT8 256 TOPS、108 路视频解码；思元690 196GB HBM3 容量大	950PR 渠道价超 ¥8 万；思元690 约 ¥17.5 万；R200 未公开

场景之外还有两条通用原则：其一，Prefill 和 Decode 分离部署（P/D 分离）正在成为大厂标配，昇腾 950PR+950DT 的"异构推理流水线"就是为它设计的；其二，不要用训练卡凑合跑推理——训练卡的互联和精度配置是为反向传播优化的，推理场景下是花冤枉钱。

四、显存容量与 KV Cache：一笔必须先算的账​

模型权重之外，KV Cache 是推理显存的第二大占用，估算公式为：每 token 的 KV Cache = 2 × 层数 × KV 头数 × 每头维度 × 精度字节数。以主流 70B 级模型为例，FP16 权重约需 140GB，再叠加长上下文的 KV Cache 与激活值，就能解释选型表里的容量门槛：

• 141GB 的 H200：刚够单卡装 70B FP16 + 有限上下文，官方口径即"70B+ 单卡加载"。
• 288GB 的 B300：装完 70B FP16 后剩余 100GB+ 全部给 KV Cache，长上下文是它的主场。
• 432GB 的 MI455X / 22 TB/s 的 Rubin R200：为超长上下文与多模型并存准备，MLPerf Inference v6.1 中 Rubin 的 Qwen3-VL 吞吐较 GB300 NVL72 最高提升 3.7 倍。

容量决定"能不能跑"，带宽决定"跑多快"——Decode 阶段的吞吐几乎与显存带宽成正比，这就是为什么 4 TB/s 的昇腾 950DT 在长上下文生成场景能较 1.4 TB/s 的 950PR 提升约 2 倍。

五、成本视角：每 token 成本比每小时租金更重要​

比较推理硬件，正确指标是"每百万 token 的总成本"，它是吞吐、卡价与电费的合力。以站内 B300 卡引用的 Llama 70B 云端实测为参照：

GPU	吞吐量（tok/s）	每 GPU·小时	Token 成本（相对值）
H100 SXM	约 21,800	$2.00	1.0×（基准）
H200 SXM	约 31,700	$3.50	0.83×（省 17%）
B300（FP8）	100,000+	约 $8.00	0.58×（省 42%）
B300（FP4）	150,000+	约 $8.00	0.39×（省 61%）

结论很直白：B300 单价是 H100 的近两倍，但每 token 成本反而低四成以上。另一个常被忽略的变量是利用率——采购卡跑不满，单位成本会被空闲时间迅速摊薄。自建还是云租，取决于你的利用率曲线，这正是 TCO 测算要回答的问题。

不同方案的三年总成本差异，建议直接用站内 TCO 计算器 输入自己的利用率与电价实测；各卡的完整规格见完整对比表与对应芯片卡页面。

小结​

2026 年的推理选型可以压缩成三句话：先分清你的瓶颈在 Prefill 算力还是 Decode 带宽；延迟敏感的 Agent 场景认真评估 LPU 等专用硬件，吞吐敏感的批量场景看每 token 成本而不是卡价；显存先算 KV Cache 再谈容量，成本先算利用率再谈采购。Prefill/Decode 分离不是营销概念，而是每 token 经济学推导出的必然架构。

微调和预训练是两种完全不同的算力需求：梯度状态和优化器显存占了全参训练的大头，而 LoRA 把这部分几乎清零。理解这张显存账，你就能明白为什么很多人用一张 4090 就能微调 70B 模型。

一、先算显存账：三种方法的差异有多大​

全参 SFT 时，显存占用约等于参数量乘以 16 至 20 字节：权重（FP16 两字节）加梯度（两字节）加 AdamW 优化器状态（八字节）加激活值。一个 70B 模型全参微调需要约 1,120 至 1,400GB 显存，也就是至少 14 至 18 张 80GB 卡，这是标准 8 卡机的两倍多。

LoRA 冻结主干权重、只训练低秩适配器，可训练参数通常只占总量的千分之一量级，省掉梯度与优化器状态后，显存接近推理水平：70B 模型 FP16 权重约 140GB，8 卡 80GB 机即可全精度 LoRA。QLoRA 再把主干权重量化到 4-bit，70B 模型的权重压到约 35 至 40GB，理论上单张 48GB 卡就能跑，24GB 卡可以处理 13B 级模型。

模型规模	LoRA（FP16 主干）	QLoRA（4-bit 主干）	全参 SFT
7B 至 8B	约 16GB，单卡 24GB	约 6GB，单卡 12GB	约 140GB，双卡 80GB
13B 至 34B	约 28 至 70GB，单卡 80GB 或双卡 48GB	约 9 至 20GB，单卡 24GB	约 280 至 680GB，8 至 10 卡 80GB
70B 至 72B	约 150GB，双卡 80GB 或 8 卡 A800	约 40GB，单卡 48GB 或 80GB	约 1.2TB 起，16 卡以上集群
100B+ MoE	8 卡 141GB H200 起步	8 卡 80GB 逼近极限	不推荐，考虑改用 LoRA

二、五档推荐配置​

第一档：个人开发者与课程实验（0.8 万至 2 万元）。 单张 RTX 4090 24GB 或二手 3090。4090 时租低至 2 至 4 元，先租后买更稳。这档能完成 7B/8B 的 QLoRA 微调和 13B 的 Q4 QLoRA，足够做 RAG 场景的领域适配。

第二档：小型团队微调站（8 万至 15 万元）。 双卡 4090 或单卡至双卡 5090（32GB）。5090 带宽约 1,792GB/s，比 4090 高约七成，同模型生成速度明显更快，适合 13B 至 34B 的 QLoRA 与 7B 级 LoRA。

第三档：企业微调平台（60 万至 120 万元）。 8 卡 A800 二手机或 4 卡 A100 80GB。80GB HBM 显存的价值在于可以把 34B 模型的 FP16 LoRA 放进单卡、70B 的 QLoRA 稳定单卡，省去多卡并行带来的通信与工程复杂度。

第四档：严肃领域模型研发（180 万至 240 万元）。 8 卡 H100 或 H200。H200 的 141GB 大显存让 70B 模型在单机内完成全精度 LoRA 与大批量 SFT，配合 NVSwitch 的机内带宽，训练吞吐优势明显。

第五档：拿不到进口卡的团队（100 万至 200 万元）。 Atlas 800T A2（8 卡昇腾 910B，单卡 64GB），7B 至 70B 的 LoRA 均有成熟案例，配套文档与社区踩坑记录最多，是国产侧微调的默认起点。

三、结尾建议​

三条实用结论：第一，能 QLoRA 就不要全参 SFT——绝大多数领域适配任务，QLoRA 的效果与全参 SFT 差距有限，而成本差一个数量级；第二，显存买到"模型加两成余量"即可，微调对带宽不敏感，没必要为带宽溢价买单；第三，微调任务天然是短周期、突发型的，如果月均利用率低于三成，租赁比自建划算得多——4090 租一张跑一个月不过千余元，先把实验矩阵跑完，再决定要不要买卡。

买推理卡时，"显存多大"和"带宽多快"是两个经常打架的问题。有人为了 192GB 大容量牺牲带宽，有人反过来。要选对，得先弄清它们各自卡住的是哪一段。

解码阶段：带宽为王​

大模型自回归解码时，每生成一个 token 都要把全部权重从显存读一遍。以 70B 模型 FP16 部署为例，权重约 140GB；H100 的显存带宽 3.35TB/s，意味着单个解码步的理论下限约 42 毫秒，对应单流不超过约 24 tokens/s。此时矩阵运算本身只占极小一部分时间——算术强度太低，大量算力单元处于"等数据"状态。

这就是为什么推理被称为带宽受限负载：加多少 FLOPS 都没用，瓶颈在搬运。大 batch 是经典的缓解手段——一批请求共享同一次权重读取，把每次搬运摊给更多 token，算术强度随之上升，系统逐渐转向算力受限。代价是排队延迟变长，吞吐与延迟开始互相拉扯。

容量：决定"装得下多少并发"​

带宽决定单条请求跑多快，容量则决定同时服务多少条请求。显存里要同时放下三样东西：模型权重、KV Cache（随并发数与上下文长度线性增长）、以及运行时开销。70B FP16 权重约 140GB，在 80GB 的 H100 上单卡放不下，只能拆两卡或量化到 4bit；而 KV Cache 在长上下文场景下动辄吃掉几十 GB，直接挤压可用的并发额度。

容量不足时只能做模型切分，切分带来的通信开销进一步拉低有效带宽；带宽不足时则只能降速。两者都会触发，只是触发条件不同：小模型高并发先撞容量，大模型单流先撞带宽。

主流规格对照​

芯片	显存容量	显存带宽	同代定位
H100 80GB	80GB	3.35TB/s	Hopper 基线
H200	141GB	4.8TB/s	同款计算芯片，纯内存升级
AMD MI300X	192GB	5.3TB/s	大容量路线
AMD MI325X	256GB	6TB/s	容量再加码（据公开规格）
NVIDIA B200	192GB	8TB/s	带宽与容量双升级

H200 是最直观的案例：它与 H100 用同一颗计算芯片，算力完全相同，仅把 HBM3 换成更大更快的 HBM3e，推理收益却立竿见影——因为负载本来就卡在内存子系统上。这也是选型时"同算力不同内存配置、价差悬殊"现象的根源。

实操建议​

先定义业务形态，再定侧重：单流低延迟（对话、Agent）优先带宽，够用的容量即可；高并发吞吐（批量 API）优先容量，用大 batch 摊薄权重读取；长上下文服务两者都要，容量缺口考虑 KV 量化与分层卸载。最后提醒一句：带宽和容量都是理论值，实际有效带宽受访存模式与软件栈影响很大，选型前务必用自家模型和框架实测一遍。

GPU 共享有三档武器：时间片轮转最粗放，MPS 提升并发但不隔离，MIG 用硬件分区做到故障与安全双重隔离。多租户场景选错方案，轻则性能抖动，重则数据串租户。

三种切分方式的本质区别​

方式	隔离级别	显存保证	故障隔离	适用场景
时间片（Time-Slicing）	仅时间维度	无	无	开发测试、低风险负载
MPS	进程级	无硬保证	弱	同租户多进程提吞吐
MIG	硬件分区	有，独立显存带宽与 L2	有	生产多租户、合规场景

MIG（Multi-Instance GPU）把一张物理 GPU 切成多个独立实例，每个实例拥有专属的 SM、显存、显存带宽与 L2 缓存。租户之间互不干扰：一个实例上的进程崩溃不会波及其他实例，显存争抢与噪声邻居问题从硬件层面消除。A100、A30、H100 均支持，是当前数据中心级切分的唯一硬件方案。

MIG 档位规划​

以 A100 80GB 为例，官方 profile 如下：

Profile	显存	SM 占比	每卡最多实例数
1g.10gb	10GB	7 分之 1	7
2g.20gb	20GB	7 分之 2	3
3g.40gb	40GB	7 分之 3	2
7g.80gb	80GB	全卡	1

实践中的黄金档位是 1g.10gb 与 3g.40gb：前者把一张卡切成七份跑 7B 以下小模型的推理或开发环境，是 2025 年以来最常用配置；后者一份 40GB 足够中等模型微调。切分是静态的，改 profile 需要排空节点上的负载，规划节点池时最好按租户画像把"全跑 1g"与"全跑 3g"的机器分开。

在 Kubernetes 上落地​

NVIDIA GPU Operator 让 MIG 管理近乎自动化：给节点打上 nvidia.com/mig.config 标签（如 all-1g.10gb），MIG Manager 自动完成切分，device plugin 随后把实例以独立资源上报。租户侧的 Pod 只需在 resources.limits 里申请对应档位，例如请求一个 nvidia.com/mig-1g.10gb 资源单元。集群若要混合全卡与切分卡，用 mixed 策略即可让部分 GPU 保持完整模式。监控侧用 GPU Operator 自带的 DCGM Exporter 暴露利用率、显存与 XID 错误指标，接 Prometheus 做租户级报表。

实操建议​

1. 先做租户画像：统计各业务的模型显存占用与时延要求，再定档位，避免切成 1g 后发现核心业务挤不进去。
2. 时间片与 MIG 二选一为主：给稳定性敏感的生产负载用 MIG，给弹性开发环境用时间片，通过节点池隔离。
3. 注意限制：切分后单实例算力上限固定，大模型推理放不进 40GB 就只能走全卡或多卡。
4. 财务口径上把每个 MIG 实例当作独立计费单元，配额与报表都按实例粒度管理，才能真正把切分省下的成本落到账上。

"多模态"是一个筐，但 VLM、语音和视频生成装的是三种完全不同的负载。把它们混在一起选卡，要么算力浪费，要么显存爆掉。本文按模态分别算账。

一、VLM 推理：显存带宽决定一切​

视觉语言模型的负载形态和纯文本 LLM 接近：自回归解码受显存带宽约束，视觉编码器只在首 token 前跑一次，算力占用是脉冲式的。选卡的关键是"模型量化后能否装下"加"带宽决定吐字速度"。

7B 级 VLM（如 Qwen-VL 系列 7B）Q4 量化约 4 至 6GB，24GB 消费卡轻松承载并留出图像 token 的 KV cache 余量；30B 至 72B 级 VLM（如 Qwen-VL-Max 同级开源模型）Q4 约 18 至 40GB，需要 48GB 专业卡或 80GB HBM 卡；90B 至 100B+ 级则应直接看 H200 的 141GB——大上下文图文混合场景下，KV cache 增长很快，8B 模型在 128K 上下文时仅 KV cache 就可能超过 20GB，显存买大不为过。

二、语音推理：延迟与并发的平衡术​

语音管线的显存需求小得出人意料：Whisper large-v3 FP16 仅约 3GB、INT8 约 1.5GB；TTS 侧轻量方案（Kokoro 类）不足 1GB，中量级方案（Qwen3-TTS 类 1.7B）约 4GB，重表达力方案（Step-Audio 类 7B 级）约 6 至 8GB。完整的 STT 加 LLM 加 TTS 管线，10 至 20GB 显存即可全部常驻。

真正的门槛是延迟与并发。实时对话要求端到端低于 500 毫秒，语音流有天然停顿，10 路并发同时活跃的转写任务通常只有 4 至 5 路，一张 16 至 24GB 的卡即可承载 10 路并发语音助手。高并发客服外呼场景（百路以上）才需要考虑 80GB HBM 卡或国产推理卡集群。

场景	模态组合	推荐配置	预算区间	理由
单机 VLM 应用（7B 级）	图文理解	RTX 4090 或 5090 单卡	1.5 万至 2.5 万元	Q4 量化余量充足，带宽够用
企业 VLM 服务（30B 至 72B）	图文、文档 OCR	2 至 4 卡 4090 或单卡 A100 80GB	8 万至 30 万元	48 至 80GB 显存覆盖 Q4 至 FP8
实时语音助手（10 路并发）	STT 加 LLM 加 TTS	RTX 5060 Ti 16GB 或 4090 单卡	0.6 万至 2 万元	三模型常驻，延迟低于 500 毫秒
视频生成工作站	DiT 类视频模型	RTX 5090 单卡起步	2 万至 3 万元	32GB 显存加高带宽承接长序列
视频生成生产服务	高分辨率长时长	8 卡 H100 或 H200	180 万至 240 万元	多路生成排队，机内并行摊薄单条成本
国产化多模态服务	图文与语音	Atlas 300I Duo 集群	单卡约 2 万至 4 万元	低功耗高密度，OCR 与转写场景成熟

三、视频生成：被低估的算力黑洞​

视频生成是三者中唯一"算力吃紧"的场景。DiT 类视频模型在去噪阶段是密集矩阵运算，且长时长、高分辨率视频的隐空间序列长度线性增长，显存压力接近训练。经验值是：数秒级 720P 视频生成，24 至 32GB 消费卡可行但排队慢；分钟级或 1080P 以上，需要多卡并行与 80GB 级显存。做视频生成业务的公司，推理集群的卡时成本远高于 VLM 业务，定价模型时务必先实测单条视频的卡时消耗。

四、结尾建议​

选型三步走：先按模态对号入座（VLM 看显存、语音看延迟、视频看算力），再按并发规模定卡的数量而非档次，最后用真实流量压测两周再固化采购。特别提醒：多模态业务的显存需求会随上下文长度和分辨率持续上涨，新购卡优先选 32GB 以上显存或支持多卡扩展的机型，给六个月后的模型升级留出空间——2026 年的模型迭代速度下，显存不足是所有多模态服务扩容时最先撞上的墙。

团队拿到第一笔融资，决定自建算力时，第一台 8 卡服务器往往是最容易踩坑的一次采购。本文按预算分档给出卡型建议，并列出初创团队最常见的四个坑。

一、先算账：一台 8 卡服务器到底多少钱​

按 2026 年的公开渠道报价，主流方案分三档。海外 OEM 的 8 卡 HGX H100 整机报价约 25 万至 32 万美元，折合人民币 180 万至 240 万元；国内渠道的 8 卡 H800 或 H100 服务器租赁报价约每月 6.8 万至 9.5 万元。国产侧，Atlas 800T A2（8 卡昇腾 910B）渠道报价区间很大，从约 75 万元到接近 200 万元都有成交案例，主要受供货紧张程度影响。消费级方案则便宜得多：8 卡 RTX 4090 整机约 25 万至 35 万元，8 卡 RTX 5090 约 40 万至 55 万元。

预算区间	推荐配置	参考总价	适合谁
30 万至 60 万	8 卡 4090 或 4 卡 5090	25 万至 55 万	微调 13B 以下模型、推理服务验证
80 万至 150 万	8 卡 A800 二手、或国产推理卡集群	60 万至 150 万	中等规模 SFT、稳定推理业务
180 万至 240 万	8 卡 H100 或 H200 HGX 整机	180 万至 240 万	70B 全参训练、严肃预训练启动
100 万至 200 万	Atlas 800T A2（8 卡 910B）	视渠道浮动	有国产化要求或拿不到进口卡的团队

二、卡型怎么选：显存优先于算力​

初创团队最常见的错误是"按 TFLOPS 买卡"。实际业务里，显存容量和带宽决定你能跑什么模型，算力只决定跑多快。4090 的 24GB 显存放不下 70B 模型的 FP16 权重，再便宜也没用；H100 的 80GB 和 H200 的 141GB 才是 70B 以上模型的入场券。

三个经验法则：

1. 做微调和推理验证：4090 或 5090 起步完全够用，7B 模型 Q4 量化只需约 4GB 显存，70B Q4 约 35 至 40GB，两张 5090 就能跑。
2. 做 70B 级 SFT 或多模态训练：直接上 8 卡 HGX，A800 二手是性价比之选，单卡 80GB、月租口径约 3.15 万至 4.5 万元，整机二手价约 60 万至 80 万元。
3. 拿不到进口卡：昇腾 910B 生态的框架适配已比较成熟，网上踩坑记录多，遇到问题容易找到答案。

三、四大避坑清单​

坑一：供电和散热被低估。 8 卡 H100 仅 GPU 满载就是 5.6kW，加上 CPU、内存、网卡，整机规划要按 8kW 以上算，普通办公室电路根本扛不住。租机房时确认机柜功率上限和是否支持液冷。

坑二：PCIe 版省钱省错了地方。 PCIe 版 8 卡机比 HGX NVSwitch 版便宜约 7 万美元，但没有 NVLink，多卡张量并行通信走 PCIe，大模型训练效率会明显下降。只做推理可以买 PCIe 版，做训练别省这个钱。

坑三：忽视保修和二手卡来源。 二手 A100 单卡约 18,500 美元、H100 约 18,000 至 22,000 美元，价格诱人，但矿卡翻新、显存故障风险真实存在。务必要求原厂保修转移或经销商保修，并做 24 小时烤机测试再付尾款。

坑四：忘了算网络和存储。 报价单上的整机通常不含 InfiniBand 交换机、光模块和分布式存储，这部分加起来可能再花 10 万至 40 万元。采购前让供应商把 BOM 拆开写清楚。

四、结尾建议​

给初创团队一句话总结：先用租赁验证业务，再决定买什么卡。 按 2026 年国内价格，4090 单卡时租低至 2 至 4 元，H100 单卡 28 至 35 元（第三方平台可低至 9.5 元左右），几个月的租赁费用就能摸清你的真实负载形态。如果月均利用率能稳定超过七成，自建才划算；否则把钱留在账上，比堆在机房里灵活得多。真要买，显存买够、供电留足、保修写清，这三条守住了，第一台 8 卡机大概率不会配错。

报价单上的 GPU 单价，通常只占三年总拥有成本的一半左右。电费、机房、冷却、折现和一系列隐藏项，才是采购决策里真正拉开差距的部分。

一、TCO 的五大组件​

一台 AI 服务器的三年总拥有成本，可以拆成五个部分：

1. 采购成本：GPU 卡 + 服务器节点 + 网络设备，一次性支出，不参与折现。
2. 电费：设备电耗 × 使用小时数 × 电价，三年里最大的持续支出之一。
3. 机房托管/租金：机柜租金或自建机房折算成本，按卡或按柜计费。
4. 冷却：风冷机房里冷却电耗约为设备电耗的 30%，液冷机房可压到 10% 左右。
5. 折现：未来三年的运营支出按年化折现率折算回今天的价值，让"三年合计"有可比性。

二、本站 TCO 计算器的默认口径​

为了让测算可复现，TCO 计算器采用了一套公开的默认口径：

• 实际功耗：不按 TDP 满负荷计，而是按"实际功耗 = TDP ×（空闲比 +（1 − 空闲比）× 使用率）"计算，空闲功耗比例默认 15%。
• 年电费：实际功耗 × 8760 小时 × 电价，电价默认 $0.1/kWh。
• 冷却：冷却电费 = 设备电费 ×（PUE − 1）。PUE 默认 1.3（风冷），液冷可设 1.1，极致方案 1.05。注意冷却单独列示、不再重复乘 PUE，避免双重计算。
• 折现：年化折现率默认 8%，按年末现金流口径折现；采购是一次性支出，永不折现。
• 集群口径：默认每 8 卡配一台服务器节点（约 $30,000/台），网络设备按 GPU 采购价的 12% 估算，千卡级集群另计每年约 $15 万的人力 OPEX。
• 汇率：人民币定价统一按 7.2 换算为美元。

三、实例测算：8 卡 B200 集群的三年 TCO​

以 B200 为例做一次文字推演。取站内卡口径：TDP 1,000W，市场价约 $42,000/卡；使用率取默认 90%，三年期。

一次性支出：GPU 采购 8 × $42,000 = $336,000；服务器节点 $30,000；网络设备按 12% 约 $40,300。合计约 $40.6 万。

年度运营：实际功耗 = 1kW × 8 ×（0.15 + 0.85 × 0.9）≈ 7.3kW；年设备电费 ≈ 7.3 × 8760 × $0.1 ≈ $6,400；冷却按 PUE 1.3 再加 30%，约 $1,900；机柜租金按 $500/卡·年 约 $4,000。年运营合计约 $12,300。

折现：8% 折现率下三年折现因子约 2.58，运营支出折现后约 $3.2 万。三年 TCO 约 $43.8 万（按 7.2 汇率约合 ¥315 万）——比单纯的采购价高出约三成，这还没算人力。拆成明细表更直观：

成本项	口径	金额（3年口径）
GPU 采购	8 × $42,000（市场价）	$336,000（一次性，不折现）
服务器节点	8 卡 × 1 台	$30,000（一次性）
网络设备	GPU 采购价 × 12%	约 $40,300（一次性）
设备电费	7.3kW × 8760h × $0.1	约 $6,400/年，折现后约 $16,500
冷却	设备电 ×（PUE 1.3 − 1）	约 $1,900/年，折现后约 $4,900
机柜租金	$500/卡·年 × 8	$4,000/年，折现后约 $10,300
合计	—	约 $43.8 万（≈¥315 万）

换成 Rubin R200 级别的旗舰方案，差距更夸张：单卡 TDP 1,800–2,300W 且必须液冷，NVL72 机柜功耗约 180kW，机柜定价 350–400 万美元。机柜电费按液冷 PUE 1.1 测算依然可观，这就是为什么"AI 工厂"的选址决策首先是电力决策。AMD MI455X 的 TDP 与定价均未公开，评估时建议按 Helios 机柜 225–245kW 的功耗上限做保守测算。

四、被忽略的隐藏成本​

公式之外的五类成本，最容易让预算失控：

• HBM 涨价传导：2026 年 HBM 供应紧张直接推高卡价——昇腾 950DT 渠道价超 ¥25 万（两个月内涨 20%–50%）、950PR 突破 ¥8 万、寒武纪思元690 上调 20%–30%。今天入库的价格，明年可能就是另一回事；连二手 A100 市场价（约 $28,000）都已远超当年 $15,000 的指导价。
• 供货周期：Rubin R200 自建机房用户要到 2027 年一季度才能采购，MI455X 规模爬坡要到 2026 下半年之后。等卡的每一天，都是空转的机柜租金。
• 软件迁移：从 CUDA 迁到 ROCm 或 CANN，即便有兼容层（CANN Next 官方口径约 80% 的 PyTorch 代码仅需改配置），工程师时间和调优成本也要折算进 TCO。
• 液冷改造：B300 Ultra TDP 1,400W 起就必须液冷，8 卡 DGX B300 峰值功耗约 14kW，相当于两台 H100 服务器。风冷机房升级液冷是一次性资本开支，很多预算模型里根本没这一项。
• 电力增容：Helios 机柜 225–245kW、NVL72 约 180kW，数据中心级部署往往需要电力扩容审批，周期以月计。

五、云租 vs 自建：决策框架​

本站 TCO 计算器内置了 Build-vs-Rent 模型，核心结论可以用一个公式概括：自建的每 GPU·小时成本 = 固定成本 ÷ 利用率 + 变动电费。它意味着：

• 利用率是分母：跑满的自建集群单位成本可能显著低于云价；利用率 30% 以下，自建几乎必然亏。公式还能解出盈亏平衡利用率——云价低于你的变动成本底线时，租赁恒优。
• 云价参照系：默认云价 $2.5/GPU·小时；实际行情中 H100 约 $2.00，B300 约 $8.00。拿你的负载画像去对号入座。
• 决策规则：稳定高负载（利用率 70% 以上）倾向自建；波动或探索期负载先云租；介于两者之间的，用计算器输入真实电价、租金和利用率跑一遍敏感性分析（电价 +20%、使用率 +20%、PUE 1.5 等情景）再做决定。

小结​

TCO 测算的价值不在于算出一个精确数字，而在于把"采购价幻觉"拆掉：一次性支出只占三年成本的一半到三分之二，电费与冷却跟随功耗走，折现让远期支出显形，而 HBM 涨价、供货周期、液冷改造这些隐藏项往往才是超预算的元凶。建议打开站内 TCO 计算器，用自己的参数实测一遍；型号规格可查阅完整对比表与各芯片卡页面。

过去选芯片看 FLOPS，后来大家学会了看显存带宽，现在该学会看第三个数字了：每瓦 Token 数。当机柜功率从 10 千瓦涨到 120 千瓦，电力与散热成了绕不开的第一约束——算力不再稀缺，供电才稀缺。

为什么 FLOPS 不再够用​

FLOPS 衡量的是计算上限，但 AI 芯片的能耗大头往往不在计算：数据搬运——尤其是 HBM 访问——的能耗比同规模运算高出数量级，这是业界公认的"内存墙"另一面。同样标称 1000 TFLOPS 的两颗芯片，若访存效率与互连设计不同，实际每瓦产出的 token 可能差出数倍。此外，token 产出还依赖模型结构、精度档位、batch 大小与软件栈质量，"每瓦 token 数"因此不是一个硬件常数，而是一组条件下的实测结果。

这也解释了厂商能效宣传的口径问题。以公开资料为例：NVIDIA 宣称 GB200 NVL72 机柜在 FP4 推理口径下，相比 H100 空冷基础设施有 25 倍的能效提升——这是厂商在特定负载下的对比数据，选型时应视为上限参考而非承诺值。值得注意的是，这 25 倍里既有芯片架构进步（FP4、新一代矩阵引擎），也有系统级因素（72 卡 NVLink 大域、液冷让算力密度上台阶），拆开看才不至于被单一代际数字误导。

一张对照表：用代理指标先筛一遍​

token 级能效必须实测，但选型初筛可以用"显存带宽功耗比"做代理指标——解码阶段带宽即吞吐上限，功耗即成本下限：

芯片	TDP	显存带宽	带宽功耗比（TB/s 每 kW，按公开规格推算）
H100 SXM	700W	3.35TB/s	约 4.8
H200	700W	4.8TB/s	约 6.9
AMD MI300X	750W	5.3TB/s	约 7.1
NVIDIA B200	1000W	8TB/s	约 8.0

推算显示代际间的真实进步：新平台的每瓦带宽确实在提升，且液冷平台（B200）在功耗上涨四成的同时把带宽功耗比再推高一截。但要强调，这只是一个维度的代理指标，训练场景、大 batch 服务、通信密集负载的能效排序可能完全不同。

把能效算进 TCO​

能效的最终归宿是钱。AI 工厂模式下，收入等于 token 产出乘以单价，而成本里电费与散热是随时间线性累积的部分。完整的算法是：先在相同模型、精度、batch 条件下实测各平台的 tokens 每焦耳；再乘以机房 PUE 与液冷改造成本——GB200 级液冷机柜功率达 120 至 130 千瓦（据公开报道），风冷机房无法直接承载，改造摊销要计入；最后换算成每百万 token 的能源成本。在电力配额受限的地区，"每瓦产出"直接决定同样一笔电力指标能支撑多少业务收入，这比芯片单价重要得多。

小结与实操建议​

能效选型三步走：第一，拒绝跨口径对比，要求供应商用你的模型与负载出实测数据；第二，用带宽功耗比等代理指标快速缩小候选名单，再压测验证；第三，把 PUE、液冷改造、电力供给一起纳入 TCO，而不是只看 GPU 采购价。一句话记住这把新标尺：FLOPS 决定你跑多快，每瓦 Token 数决定你能跑多久、赚多少。

训练选型的本质不是"买最强的"，而是在预算、负载规模、软件生态和供货确定性之间找到平衡点。本文数据均取自本站芯片卡与定价库，帮你按预算分档做出决策。

一、先分级：你的训练负载属于哪一档​

训练负载大致分为三档，档位不同，选型逻辑完全不同：

• 微调 / LoRA：单卡或 8 卡即可完成，7B–70B 模型为主。瓶颈在显存容量与单卡带宽，互联要求低，PCIe 机型甚至二手卡都能胜任。
• 继续预训练 / 领域适配：数百卡规模，需要稳定的多卡互联与成熟的软件栈，容错与断点续训能力开始重要。
• 从零预训练：千卡乃至万卡集群，互联带宽、机架方案（NVL72、Helios、CloudMatrix）和集群软件效率决定成败，预算通常以千万美元计。

二、按预算分档推荐​

预算档位	推荐方案	关键规格	参考单价（站内定价库）
入门微调（数十万元级）	H100 SXM / H200	BF16 1,979 TFLOPS（稀疏）、80GB / 141GB HBM3e、NVLink 900 GB/s、700W 风冷	H100 市场价约 $28,000；H200 约 $38,000
中等规模（数百万元级）	B200 / AMD MI355X	B200：192GB HBM3e、FP8 10 PFLOPS（稀疏）、NVLink 1.8 TB/s；MI355X：288GB HBM3E、FP8 dense 5 PFLOPS、UALink 600 GB/s	B200 约 $42,000；MI355X 官方指导价 $22,000
旗舰预训练（千万到亿级）	B300 Ultra / Rubin R200 / MI455X	B300：288GB HBM3e、FP8 dense 7 PFLOPS；Rubin：288GB HBM4、22 TB/s、NVLink 6 3.6 TB/s；MI455X：432GB HBM4、23.3 TB/s、MXFP4 40.3 PFLOPS	B300 约 $52,000；Rubin NVL72 机柜 350–400 万美元；MI455X 定价未公开（Helios 机柜约 500–550 万美元）
国产合规档	昇腾 910C / 昇腾 950DT / 寒武纪思元690	910C：BF16 800 TFLOPS、128GB HBM2e；950DT：FP8 约 1 PFLOPS、144GB 自研 HiZQ 4 TB/s；思元690：FP16 700+ TFLOPS、196GB HBM3	910C 渠道价超 ¥11 万；950DT 超 ¥25 万；思元690 约 ¥17.5 万

几个要点值得展开：

• 入门档首选 H100/H200 并不落伍。H100 的 BF16 稀疏算力 1,979 TFLOPS、700W TDP 风冷友好，生态最成熟；H200 显存加到 141GB、带宽 4.8 TB/s，微调 70B 级模型更从容。
• 中等规模档 B200 与 MI355X 各有侧重。MI355X 用 288GB HBM3E 和 3nm 制程在显存容量上压过 B200，官方口径 FP8 dense 5 PFLOPS 也略胜，价格还便宜约四成；但 B200 的 NVLink 1.8 TB/s 是 UALink 600 GB/s 的三倍，千卡扩展时差距会显现。
• 旗舰档看机架而不是单卡。B300 Ultra 必须液冷（TDP 1,400W），Rubin R200 的 Vera Rubin NVL72 机柜 FP4 算力约 3.6 EFLOPS、总显存 20.7TB；MI455X 的 Helios 机架 72 卡 31TB HBM4、机柜功耗 225–245kW。这一档的采购单位是"机柜"，还要配套液冷与供电改造。

三、关键参数怎么读​

• FP16/BF16 算力：注意 dense 与 sparse 口径差一倍。H100 的 1,979 TFLOPS 是稀疏值，dense 约 989 TFLOPS；比较时务必统一口径。
• 显存容量：从 H100 的 80GB 到 B300 的 288GB 再到 MI455X 的 432GB，容量决定了能训多大模型、能开多大 batch。训练 70B 模型 FP16 权重本身就要约 140GB，加上优化器状态后通常需要多卡切分。
• 互联带宽：NVLink 4.0（900 GB/s）→ NVLink 5（1.8 TB/s）→ NVLink 6（3.6 TB/s）；AMD 走开放路线的 UALink 600 GB/s；昇腾为 HCCS 784 GB/s 与灵衢 2 TB/s。张量并行通信密集，互联带宽直接决定扩展效率。
• 机架方案：GB200/GB300 NVL72、Helios、CloudMatrix 384 是三家给出的系统级答案。单卡强不等于集群强，采购前要确认整机柜方案、网络与液冷的完整交付能力。

四、软件生态权重：CUDA vs ROCm vs CANN​

• CUDA：十八年积累，算子覆盖最全，从 H100 到 Rubin 全线兼容，迁移成本最低。
• ROCm：AMD 官方口径承认成熟度仍落后 CUDA 约 2–3 年，但开放生态对云厂商和主权 AI 项目有吸引力，MI355X/MI455X 的客户名单里已有 Microsoft Azure、Meta、Oracle 等。
• CANN：昇腾 950 系列配套 CANN Next 提供 CUDA 兼容层，约 80% 的标准 PyTorch 代码仅需配置修改即可迁移；2026 年 10 月 DeepSeek 与华为还联合发布了面向昇腾 950 的开源编程工具与库。

经验法则是：微调档闭眼选 CUDA；中等规模档如果显存需求突出、团队有 ROCm 经验，MI355X 值得评估；合规档则要在选型时就把迁移人力写进预算。

五、供货与价格现实​

2026 年的选型绕不开 HBM：

• 涨价传导：HBM 成本攀升直接推高国产卡报价——昇腾 950DT 渠道指示价已超 ¥25 万（较两个月前上涨 20%–50%），昇腾 950PR 突破 ¥8 万，寒武纪等同期上调 20%–30%。
• 云租是一条现实路径：H100 云租约 $2.00/GPU·小时，B200 约 $5.87/GPU·小时，B300 的 AWS 8 卡实例约 $11.70/GPU·小时（Nebius 口径约 $9.50/GPU·小时）。训练周期短的项目，租往往比买划算。
• 旗舰卡要排队：Rubin R200 已于 2026 年 6 月全面量产，但自建机房用户要到 2027 年一季度才能采购；MI455X 也需到 2026 年下半年至 2027 年上半年才规模爬坡。急用算力，H100/H200/B200 的现货市场仍是主力。

想逐项对比更多型号（包括 Google TPU、Intel Gaudi 4、百度昆仑芯等），请查看站内完整对比表；每张卡的详细规格可进入对应芯片卡页面查看。

小结​

2026 年的训练 GPU 市场第一次出现了"四条路线"：CUDA 旗舰（Rubin/B300）、开放生态（MI355X/MI455X）、推理专用硬件和国产合规方案。选型的顺序应该是：先定负载档位，再按预算筛卡，然后核算互联与机架方案，最后把软件迁移和供货周期计入总成本。单卡峰值参数只讲了一半的故事，剩下的另一半在集群和生态里。

LLM 推理引擎已经有了 vLLM 和 SGLang，但它们之上还差一层"服务编排"：批量合并、多模型并发、流水线编排、指标暴露。这一层是直接拿 Triton，还是用 FastAPI 自研？答案取决于团队规模与业务复杂度。

Triton 提供了什么​

Triton Inference Server 是 NVIDIA 开源的推理服务软件，2025 年 3 月起已并入 NVIDIA Dynamo 平台体系（更名为 Dynamo Triton），但社区版仍独立发展。它的核心能力集中在四点：

1. 动态批处理：在服务端把零散请求合并成大批次，客户端零改动，通过 preferred_batch_size 与 max_queue_delay_microseconds 控制吞吐与时延的平衡。
2. 多框架后端：TensorFlow、PyTorch、ONNX、TensorRT、OpenVINO、Python、RAPIDS FIL 乃至自定义 C++ 后端统一在一份配置模型仓库下。
3. Ensemble 与 BLS：Ensemble 用声明式 DAG 编排"检测后接跟踪再接分类"这类固定流水线；Business Logic Scripting 允许写 Python 控制流做条件路由、拆批合并。
4. 并发与实例管理：instance_group 控制每张卡上同一模型的副本数，多模型并发执行由调度器托管，天然配合 MIG 与 MPS 做多租户切分。

自研网关的真实成本​

自研路线的吸引力在于灵活：鉴权、限流、业务路由、AB 实验、成本归因都能按需来，很多团队用 FastAPI 加进程池两天就能跑起来。但走到生产会陆续遇到隐性成本：请求级动态批处理要自己实现并调优；模型加载、健康检查、灰度发布要重新造轮子；Prometheus 指标、XID 错误采集、GPU 利用率导出全部要自己接；分布式追踪与优雅扩缩容更是长期工程。

决策对比表​

维度	Triton	自研网关
动态批处理	内置，微秒级队列延迟可调	需自研，质量取决于实现
模型格式支持	十余种后端统一托管	逐个适配
业务逻辑灵活度	中等，靠 BLS 补齐	完全自由
可观测性	Prometheus 指标开箱即用	全部自建
团队门槛	学配置模型仓库与调度参数	需要长期维护的服务团队
适合规模	多模型、CV 类流水线、多租户	业务逻辑重、单模型、快速验证

实操建议​

经验法则是：模型种类多、有 CV 类流水线编排需求、追求 GPU 利用率的团队，直接用 Triton，把自研精力留给上层业务网关；业务逻辑极重、模型单一且迭代以周计的小团队，自研网关反而更轻。更常见的最优解是分层——Triton 承担"模型服务与批处理"这层标准化工作，前面再叠一层薄薄的业务网关做鉴权路由，两层各司其职。无论哪条路线，先用真实流量回放压测，对比 P99 时延与单卡吞吐再定，不要凭感觉拍板。