显存带宽 vs 容量：推理瓶颈的一体两面

买推理卡时，"显存多大"和"带宽多快"是两个经常打架的问题。有人为了 192GB 大容量牺牲带宽，有人反过来。要选对，得先弄清它们各自卡住的是哪一段。

解码阶段：带宽为王

大模型自回归解码时，每生成一个 token 都要把全部权重从显存读一遍。以 70B 模型 FP16 部署为例，权重约 140GB；H100 的显存带宽 3.35TB/s，意味着单个解码步的理论下限约 42 毫秒，对应单流不超过约 24 tokens/s。此时矩阵运算本身只占极小一部分时间——算术强度太低，大量算力单元处于"等数据"状态。

这就是为什么推理被称为带宽受限负载：加多少 FLOPS 都没用，瓶颈在搬运。大 batch 是经典的缓解手段——一批请求共享同一次权重读取，把每次搬运摊给更多 token，算术强度随之上升，系统逐渐转向算力受限。代价是排队延迟变长，吞吐与延迟开始互相拉扯。

容量：决定"装得下多少并发"

带宽决定单条请求跑多快，容量则决定同时服务多少条请求。显存里要同时放下三样东西：模型权重、KV Cache（随并发数与上下文长度线性增长）、以及运行时开销。70B FP16 权重约 140GB，在 80GB 的 H100 上单卡放不下，只能拆两卡或量化到 4bit；而 KV Cache 在长上下文场景下动辄吃掉几十 GB，直接挤压可用的并发额度。

容量不足时只能做模型切分，切分带来的通信开销进一步拉低有效带宽；带宽不足时则只能降速。两者都会触发，只是触发条件不同：小模型高并发先撞容量，大模型单流先撞带宽。

主流规格对照

芯片	显存容量	显存带宽	同代定位
H100 80GB	80GB	3.35TB/s	Hopper 基线
H200	141GB	4.8TB/s	同款计算芯片，纯内存升级
AMD MI300X	192GB	5.3TB/s	大容量路线
AMD MI325X	256GB	6TB/s	容量再加码（据公开规格）
NVIDIA B200	192GB	8TB/s	带宽与容量双升级

H200 是最直观的案例：它与 H100 用同一颗计算芯片，算力完全相同，仅把 HBM3 换成更大更快的 HBM3e，推理收益却立竿见影——因为负载本来就卡在内存子系统上。这也是选型时"同算力不同内存配置、价差悬殊"现象的根源。

实操建议

先定义业务形态，再定侧重：单流低延迟（对话、Agent）优先带宽，够用的容量即可；高并发吞吐（批量 API）优先容量，用大 batch 摊薄权重读取；长上下文服务两者都要，容量缺口考虑 KV 量化与分层卸载。最后提醒一句：带宽和容量都是理论值，实际有效带宽受访存模式与软件栈影响很大，选型前务必用自家模型和框架实测一遍。