36 篇博文 含有标签「Inference」

数值格式（FP8、FP4）解决的是"硬件支持什么精度"，而量化算法解决的是"训练好的模型怎么安全地住进低精度"。后者才是工程落地的日常：手里一个 70B 模型、一张 80GB 的卡，怎么让它跑起来还尽量不掉点。

GPTQ：用二阶信息做误差补偿​

GPTQ 的思路源于经典的二阶最优剪枝方法。它逐层处理权重：用少量校准数据（几百条即可）估计该层输入的二阶统计量，然后按列量化权重，每量化一列，就利用 Hessian 信息调整其余未量化列，把引入的误差"摊"到还没量化的地方去补偿。整个过程不需要反向传播，在单张卡上几个小时内就能压完一个百亿级参数模型。

代价是它本质上在做"整体最优的近似"：逐层的贪心决策叠加起来，对校准数据分布有一定敏感性，校准集与真实业务分布偏差大时，掉点风险随之上升。

AWQ：抓住关键的 1% 通道​

AWQ 从另一个观察出发：权重中真正对精度敏感的通道，是那些对应激活值特别大的少数通道——通常只占 1% 上下。与其逐列做全局误差补偿，不如识别出这些显著通道，用一个按通道缩放的变换保护它们，让它们落在量化网格的"好位置"上。

这个方法同样不需要反向传播，校准成本与 GPTQ 相当，但对校准数据规模和分布的依赖更弱，跨领域、跨任务的鲁棒性通常更好，这也是它在开源社区部署中被广泛采用的原因。它只解决权重侧的压缩（常见的 W4A16 形态：权重 4bit、激活保持 16bit），计算时需要把权重反量化回高精度再做矩阵乘。

W8A8 与激活离群值​

想同时压缩激活（W8A8）会撞上大模型的经典难题：激活分布中存在系统性的离群通道，个别通道的数值比其余大几个数量级，直接按统一 scale 量化会把这些通道全压废。SmoothQuant 的解法很巧：用一个等效数学变换，把激活里的离群难度迁移到权重侧，让两边都变得"平缓"，从而实现全整数推理。W8A8 的算子效率高、适合大 batch 高并发服务，但精度风险高于 W4A16，需要更仔细的评估。

方法对照与取舍​

方法	典型形态	是否需要反传	主要优势	适用场景
GPTQ	W4A16	否	压缩比高，工具链成熟	单卡/双卡装下大模型
AWQ	W4A16	否	鲁棒性好，跨域稳定	通用生产部署
SmoothQuant	W8A8	否	激活也压缩，算子高效	高并发吞吐服务
QAT（量化感知训练）	任意	是	精度上限最高	有训练资源且对精度极敏感

实操建议​

单卡或双卡要装下大模型、追求低延迟，选 W4A16 的 AWQ 或 GPTQ，两者精度差异通常不大，优先看框架支持度；高并发吞吐场景考虑 W8A8。评估时不要只看困惑度，困惑度的小幅变化可能对应下游任务的大幅波动，务必跑自己的业务评测集。另外，KV Cache 量化是独立的压缩维度，长上下文场景可与权重量化叠加使用。最后，任何量化方案上线前都先在影子流量上对照全精度基线跑一段时间，这是最便宜也最可靠的保险。

LLM 推理从来不是一种负载，而是两种。Rubin CPX 的出现，是 NVIDIA 第一次在芯片层面把这两种负载拆开：prefill 交给一颗便宜的 GDDR7 芯片，decode 交给昂贵的 HBM 芯片。这是自 RTX 以来 NVIDIA 对 GPU 品类最激进的一次扩容。

为什么 prefill 值得一颗专用芯片​

LLM 推理分两个阶段。上下文阶段（prefill）读入整段提示词并构建 KV Cache，是算力密集型；生成阶段（decode）逐 token 出字，瓶颈在显存带宽。过去两种负载共享同一种 GPU，结果是为了 decode 的带宽为 prefill 买了昂贵的 HBM，而 prefill 本可以跑在便宜得多的存储介质上。

Rubin CPX 关键规格	数值
Die 设计	单晶片（区别于标准 Rubin 的双 Die 封装）
算力	最高 30 PFLOPS（NVFP4）
显存	128GB GDDR7（约 HBM4 单位成本的五分之一）
视频引擎	4 组 NVENC + 4 组 NVDEC
注意力性能	官方称较 GB300 NVL72 系统快约 3 倍
发布时间	2025 年 9 月 9 日

GDDR7 带宽远低于 HBM，但对瓶颈在算力的 prefill 而言是可接受的取舍，换来的是更低的每 GB 成本和免硅中介层的标准封装。芯片还内置了硬件注意力加速与视频编解码引擎——处理一小时视频可能需要百万 token 量级的上下文，Cursor、Runway、Magic 等公司在发布时即表态探索将其用于代码库级理解与长视频生成。

系统层面，Vera Rubin NVL144 CPX 机柜集成 144 颗 Rubin CPX、144 颗标准 Rubin GPU 与 36 颗 Vera CPU，合计 8 EFLOPS NVFP4、100TB 快速内存、1.7PB/s 内存带宽，官方称 AI 算力较 GB300 NVL72 高 7.5 倍。144 颗 CPX 负责 prefill，144 颗 Rubin 负责 decode，NVIDIA Dynamo 推理平台在两个池之间调度 KV Cache 的传递。

2026 年的现实：延期、缺席与 HBM4 传闻​

差异化设计的故事在 2026 年出现了转折。按原计划，Rubin CPX 应于 2026 年底出货，但 2026 年 3 月的 GTC 主题演讲上它并未出现——NVIDIA 当场展示的是用于低延迟解码的 Groq 3 LPX 机架，据 Tom's Hardware 报道，NVIDIA 高管在问答中确认 CPX 被调整让路于 LPU 解码路线。

时间节点	事件
2025 年 9 月	Rubin CPX 正式发布，宣布 2026 年底上市
2026 年 3 月	GTC 2026 主题演讲未亮相，官方称聚焦 LPU 解码
2026 年 9 月	据公开报道，分析师郭明錤称 HBM4 改版 CPX 计划 2027 年一季度投产（未经证实）

对采购者的含义很直接：不要围绕 CPX 做部署规划。但它背后的 disaggregated serving 架构——prefill 池与 decode 池分离、跨池传递 KV Cache——是成熟且已经落地的模式，今天的推理引擎与 GPU 租赁就能实践。CPX 若最终以 HBM4 形态归来，说明市场对"专用 prefill 硅片"的定价尚未收敛；若长期缺席，则证明混合负载仍将由通用 GPU 一肩挑。

小结​

Rubin CPX 的价值一半在硬件，一半在范式：它把"推理是两种负载"写进了产品线，逼迫整个行业认真核算 prefill 的成本占比。单 Die 加 GDDR7 的设计逻辑——用便宜的介质喂饱算力密集的段——未来大概率以某种形态回归。2026 年底的现在，把它当作路线图上值得追踪的节点，而不是采购清单上的选项。

当业务里有大量重复系统提示词、多轮对话历史或 RAG 共享文档时，vLLM 的 PagedAttention 只能做页级缓存，而 SGLang 的 RadixAttention 能把前缀 KV Cache 的复用率推到极高。这正是它被 DeepSeek 官方推荐的原因。

RadixAttention 到底省在哪​

传统推理框架里，每个请求都要为相同的前缀重复计算 KV Cache。SGLang 把已计算的 KV Cache 存进一棵基数树，新请求到来时先做前缀匹配，命中部分直接复用，只计算增量部分。社区实测数据显示：

场景	SGLang 缓存命中率	传统无前缀缓存方案
Few-shot 学习	85% 至 95%	接近 0
多轮对话	75% 至 90%	接近 0
RAG 共享文档	显著命中	接近 0

命中率直接转化为首 token 时延下降与吞吐提升。在重前缀负载的独立评测中，SGLang 相比 vLLM 有 29% 至 50% 的吞吐优势；而在单轮、无前缀共享的自由文本场景，两者差距很小，选型时要先看清自己的流量画像。

另外两个性能引擎​

零开销 CPU 调度器：传统调度是 CPU 准备批次、GPU 计算、再准备下一批的串行流程，GPU 在调度期间空转。SGLang 用流水线方式让 CPU 准备批次与 GPU 计算重叠，持续负载下 GPU 利用率可逼近满载。

结构化输出：Agent 应用要求模型严格输出合法 JSON。SGLang 把格式约束编译成有限状态机，每生成一个 token 都限制下一个可选 token 范围，从源头保证格式合法，避免了"生成后校验失败再重试"的浪费，底层通过 xgrammar 实现高速约束。

生产环境关键配置​

1. PD 分离：Prefill 是计算密集型，Decode 是访存密集型，两者资源画像冲突。SGLang 支持 Prefill/Decode 分离部署，通过 RDMA 高速网络连接，能显著降低每 token 平均生成时间并提升整体吞吐。DeepSeek 部署实践曾基于 96 张 H100 的 PD 分离加大规模专家并行，跑出接近官方报告的吞吐水平。
2. 显存与调度参数：结合业务上下文长度设置 max-total-tokens，避免 KV Cache 池过小导致频繁淘汰；高并发短输出场景可调大并行批处理窗口。
3. 硬件覆盖：SGLang 原生支持 NVIDIA、AMD、Intel Xeon、Google TPU 与昇腾 NPU，截至发稿社区数据显示其已在超过 40 万张 GPU 上运行，每天生成数万亿 token。
4. 版本管理：项目于 2025 年 3 月加入 PyTorch 生态，由 LMSYS 托管，迭代速度快、API 变动频繁，建议镜像锁版本，升级前跑回归。

实操建议​

上线前先统计业务的系统提示词与文档前缀重复度，重复度越高，SGLang 的相对收益越大。开启结构化输出时要给出精简的 JSON Schema，约束越细生成越快。如果团队已经在用 vLLM，可以按模型灰度切换并用同一套压测脚本对比 P99 时延与吞吐，用数据说话而不是跟风选型。

之前我们讲过投机解码的概念：小模型起草稿、大模型来验证。但概念到生产之间隔着几个关键问题——接受率怎么算、草稿从哪来、为什么大 batch 场景收益会缩水。这篇往下挖一层。

草稿-验证框架：一次前向，验 K 个 token​

标准流程是：草稿模型根据当前上下文连续猜 K 个 token，目标模型把"原文加 K 个草稿 token"拼成一次前向——注意自回归模型天然支持一次并行计算多个位置的输出，所以验证 K 个 token 的耗时约等于生成一个 token。逐位比对：草稿猜对的保留，遇到第一个分歧位丢弃其后全部草稿，并采用目标模型在该位的输出。

对随机采样场景，接受与否用拒绝采样规则决定，可以严格证明最终输出分布与目标模型直接解码完全一致——这是投机解码最漂亮的性质：加速不以任何质量损失为代价。

收益取决于接受率 α：若每个草稿位被接受的概率都是 α，则每步目标模型前向平均产出约 1 加 α 加 α 的平方一直加到 α 的 K 次方个 token，随 K 增长趋于 1 除以 1 减 α。α 等于 0.7、K 等于 4 时约两倍加速；α 跌到 0.3，收益就趋近于零，草稿计算反而白费。

草稿从哪来：三条路线​

方案	草稿来源	公开接受率	典型加速	额外开销
独立草稿模型	同词表的小模型	六至八成	约 1.5 至 2.5 倍	需维护小模型
Medusa	目标模型上加多个预测头	六至七成	约 1.8 至 2.5 倍	需训练预测头
EAGLE-3	复用目标模型深层特征	七至八成	约两至四倍，部分报告更高	训练轻量草稿头
MTP	训练期原生多 token 预测	八成以上	据公开技术报告约 1.8 倍解码加速	需重训模型

独立草稿模型最直观，但要求草稿与目标共享分词器且风格对齐，体积以小为宜——太大则草稿自身耗时吃掉收益。Medusa 不引入独立模型，在目标模型上挂若干预测头并行猜测未来多个位置，部署简单。EAGLE 系列更进一步：直接把目标模型的中间层特征喂给一个轻量草稿头，配合树形注意力（每步验证多条候选分支）把接受率推高，2025 年发布的 EAGLE-3 据公开评测已成为通用模型上的标杆方案。

MTP 则把投机解码内化进训练目标：DeepSeek-V3 在预训练时就加入多 token 预测模块，推理时该模块天然充当草稿头。据其公开技术报告，MTP 带来约 1.8 倍的解码加速，接受率达八成以上——原生对齐是接受率最高的路线，代价是必须从训练侧介入。

什么场景反而变慢​

三类场景要谨慎：一是高温采样等高随机性输出，草稿与目标分歧大，接受率暴跌；二是超大 batch 服务，此时解码已接近算力受限，验证的并行红利被摊薄，甚至挤占正常请求的算力；三是草稿模型选得太大，草稿成本占比过高。经验法则是草稿比目标小一到两个数量级，且务必用自家流量实测接受率——公开基准的七成接受率在你的领域数据上可能只有三成多，收益随之天差地别。

小结​

投机解码是"用访存冗余换时延"的典型架构：单流解码卡在权重搬运上，验证多 token 几乎不额外耗时，这正是它能免费加速的物理原因。落地时先明确业务是延迟敏感还是吞吐敏感——前者优先开，后者要先压测 batch 干扰，再选对草稿路线，最后盯住接受率这个唯一的核心指标。

"推理占比什么时候超过训练"曾是个经典预测题，如今它已经有了答案：2026 年，推理算力占比正式过半。真正的悬念变成了——推理时代的算力基建，准备好了吗。

占比反转：数据给出的答案​

多家机构对训练与推理的算力结构给出了趋于一致的判断：

口径	关键数据	来源
全球 AI 负载占比	2024 年训练约六成、推理约四成；2025 年五五开；2026 年训练四成、推理六成	Epoch AI、AMD 公开材料
推理负载占比	从 2023 年约三分之一升至 2025 年约一半，2026 年预计达到三分之二	德勤估算
中国智能算力	2027 年推理占比预计突破七成；2028 年全球推理负载占比约七成三	IDC 预测
AI 云服务支出	2026 年全球 AI 优化型 IaaS 支出约 375 亿美元，推理占比 55%，首次超过训练	Gartner 预测

鼎帷咨询等机构进一步预计，训练与推理负载比将从早期的 7 比 3 演进到 2027 至 2030 年的 3 比 7 甚至 2 比 8。无论采用哪个口径，方向完全一致：算力的重心正在从"炼模型"迁移到"用模型"。

三股力量：服役、深思、智能体​

推理占比跃升由三重动力叠加驱动。第一，模型进入服役期：训练是一次性资本开支，推理是每天持续产生的运营账单——据业界估算，头部对话类产品的推理开销以每天数十万美元计，进入规模化生产后，推理可占模型全生命周期算力成本的八到九成。第二，推理时 Scaling：思维链模型用"内部深思"换取智能，用户看不见的推演 token 同样按价计费，单次请求的算力需求成倍膨胀——模型越会深思熟虑，推理阶段的需求通胀就越厉害。第三，智能体乘数：一次 Agent 任务消耗的 token 从数百跃升到数万，多轮链式思考叠加工具调用，使推理流量呈现碎片化与高波动特征。

中国市场的信号同样鲜明：据公开数据，全国日均 token 消耗从 2024 年初的千亿级跃升至 2026 年 3 月的约 140 万亿，一年半增长约三百倍——需求的斜率比任何预测模型都陡峭。

硬件逻辑的重新洗牌​

占比反转直接改写芯片设计与采购逻辑。训练硬件追求极致性能与集群可靠性，一次训练动辄连续运行数周，故障率必须压到极低；推理硬件的 KPI 则是每瓦 token 数与每百万 token 成本：FP4 与 INT8 级别的低精度成为默认态，显存容量与带宽决定长上下文的经济性，时延与吞吐的权衡成为核心竞争力。这解释了 2026 年推理专用芯片赛道的集体爆发——从英伟达面向推理优化的产品线，到云厂商自研 ASIC 与推理芯片创业公司的融资潮，都在响应同一个结构性信号。

结语：推理时代的真正考题​

推理时代不是某个季度财报里的占比数字，而是一整套产业逻辑的更替：计费从"卡时"转向"token 成本"，采购从"峰值算力"转向"单位经济学"，评测从训练基准转向真实业务负载的端到端表现。可以判断：2026 年是推理占比过半的符号性年份，而 2027 到 2028 年，推理将稳固占据七成以上份额。届时，所有今天围绕训练设计的集群、网络与商业模式，都要回答同一个问题——为推理做好准备了吗。

LLM 推理引擎已经有了 vLLM 和 SGLang，但它们之上还差一层"服务编排"：批量合并、多模型并发、流水线编排、指标暴露。这一层是直接拿 Triton，还是用 FastAPI 自研？答案取决于团队规模与业务复杂度。

Triton 提供了什么​

Triton Inference Server 是 NVIDIA 开源的推理服务软件，2025 年 3 月起已并入 NVIDIA Dynamo 平台体系（更名为 Dynamo Triton），但社区版仍独立发展。它的核心能力集中在四点：

1. 动态批处理：在服务端把零散请求合并成大批次，客户端零改动，通过 preferred_batch_size 与 max_queue_delay_microseconds 控制吞吐与时延的平衡。
2. 多框架后端：TensorFlow、PyTorch、ONNX、TensorRT、OpenVINO、Python、RAPIDS FIL 乃至自定义 C++ 后端统一在一份配置模型仓库下。
3. Ensemble 与 BLS：Ensemble 用声明式 DAG 编排"检测后接跟踪再接分类"这类固定流水线；Business Logic Scripting 允许写 Python 控制流做条件路由、拆批合并。
4. 并发与实例管理：instance_group 控制每张卡上同一模型的副本数，多模型并发执行由调度器托管，天然配合 MIG 与 MPS 做多租户切分。

自研网关的真实成本​

自研路线的吸引力在于灵活：鉴权、限流、业务路由、AB 实验、成本归因都能按需来，很多团队用 FastAPI 加进程池两天就能跑起来。但走到生产会陆续遇到隐性成本：请求级动态批处理要自己实现并调优；模型加载、健康检查、灰度发布要重新造轮子；Prometheus 指标、XID 错误采集、GPU 利用率导出全部要自己接；分布式追踪与优雅扩缩容更是长期工程。

决策对比表​

维度	Triton	自研网关
动态批处理	内置，微秒级队列延迟可调	需自研，质量取决于实现
模型格式支持	十余种后端统一托管	逐个适配
业务逻辑灵活度	中等，靠 BLS 补齐	完全自由
可观测性	Prometheus 指标开箱即用	全部自建
团队门槛	学配置模型仓库与调度参数	需要长期维护的服务团队
适合规模	多模型、CV 类流水线、多租户	业务逻辑重、单模型、快速验证

实操建议​

经验法则是：模型种类多、有 CV 类流水线编排需求、追求 GPU 利用率的团队，直接用 Triton，把自研精力留给上层业务网关；业务逻辑极重、模型单一且迭代以周计的小团队，自研网关反而更轻。更常见的最优解是分层——Triton 承担"模型服务与批处理"这层标准化工作，前面再叠一层薄薄的业务网关做鉴权路由，两层各司其职。无论哪条路线，先用真实流量回放压测，对比 P99 时延与单卡吞吐再定，不要凭感觉拍板。

文本生成的算力曲线尚未见顶，视频生成已经带着二次方的注意力复杂度闯入算力市场。当世界模型开始学习物理规律并支持实时交互，推理算力的需求边界将被重新定义——下一个算力黑洞，正在视野中成形。

单秒成本背后的算力真相​

2026 年，视频生成已形成清晰的商业化定价梯度。据公开资料整理：

模型	定价（每秒生成视频）	主要特性
Sora 2	约 0.10 至 0.15 美元	1080p、原生音频
Sora 2 Pro	0.30 至 0.50 美元	更长时长、更高分辨率
Veo 3.1	约 0.40 美元	原生音频、4K 上采样
可灵 3.0	0.10 至 0.75 美元	国产梯队代表，长时长可扩展
开源自托管（Wan 2.6 等）	硬件摊销后显著更低	需自行承担 GPU 与运维成本

低价表象之下是沉重的算力账单。按每秒 24 帧计算，一段 10 秒 1080p 视频意味着 240 帧高度关联的图像，时序注意力机制使显存需求随时长呈二次方增长——30 秒片段要处理的帧间关联对数以十万计。业界分析普遍估计，训练一个 Sora 2、Veo 3 级别的视频模型，仅算力投入就普遍在 5000 万美元以上，叠加数据授权、标注与安全评审，整体项目投入据估可达 1.5 亿至 4 亿美元。算一笔直观的账：一个每月生成百万秒级视频的消费级应用，即便采用较低价位档，月度 API 账单也能轻松超过 10 万美元。

自托管与开源的博弈​

开源模型正在改变成本结构。阿里的 Wan 系列与腾讯的 HunyuanVideo 已把"自己搭"变为可行选项：Wan 系列的 14B 生产级版本约需 48GB 到 80GB 显存才能流畅批量推理，HunyuanVideo 13B 版本官方推荐 H100 80GB 级别配置。对月产数十万条短视频的应用而言，API 计费与自建集群的成本平衡点，正成为技术路线的核心决策。而中国厂商在国产加速器与低电价环境下的成本优势，使国产视频模型在单位经济学上占据独特位置——可灵、海螺等产品的低价正是这一优势的直接体现。

世界模型：从生成到模拟​

比视频生成更重的，是世界模型。当模型不仅生成画面，还要内化物理规律、支持交互式探索时，算力需求呈台阶式跃迁：实时交互要求生成延迟低到毫秒级；世界一致性要求超长时序记忆与状态追踪；具身智能训练要求大规模仿真并行运行。视频生成考验的是"把序列算对"，世界模型考验的是"把世界算懂"——后者的状态空间与计算密度高出一个量级。业界普遍预期，一旦世界模型成为智能体与机器人训练的基础设施，其推理负载将远超今天的文本推理。

结语：为黑洞做好电力与芯片准备​

视频生成与世界模型对算力产业的意义，在于它们同时吃掉带宽、显存、互连这三样最贵的资源——这恰好解释了 HBM 扩产、超节点与液冷在 2026 年同步爆发的产业节奏。对芯片厂商而言，谁能把每瓦 tokens 产出做到极致、把视频推理流水线优化到物理极限，谁就能在下一个算力黑洞周围占据最有利的位置。而对整个行业，唯一确定的是：生成一秒钟的智能，永远比生成一个字贵得多，而且这个差距还会继续拉大。

vLLM 早已不只是"NVIDIA 专属"的推理引擎。随着硬件插件化 RFC 落地，AMD、昇腾、TPU 都有了官方或社区维护的后端，但各家成熟度差异悬殊。本文按硬件路线梳理适配矩阵与部署要点。

主流硬件后端适配矩阵​

硬件路线	接入方式	关键依赖	成熟度评估
NVIDIA CUDA	内置后端，开箱即用	CUDA 12.x + 主线 PyTorch	最高，特性首发地
AMD ROCm	内置支持（Docker 镜像分发）	ROCm 6.x + PyTorch ROCm 版	较高，主流模型覆盖
华为昇腾	vllm-ascend 硬件插件	CANN 8.0 以上 + torch-npu	快速追赶，2025 年完成 V1 引擎适配
Intel Xeon CPU	内置 CPU 后端	AVX-512 / AMX	稳定，适合中小模型与降本场景

需要提醒的是，vllm-ascend 从 2025 年 2 月立项后保持了约两周一个版本的节奏，v0.7.3 实现核心加速特性支持，v0.9.1 引入大规模专家并行（EP），v0.11.0 显著提升稳定性，社区反馈显示互联网、银行、运营商场景已有规模化生产落地。版本号与 vLLM 本体严格对齐，升级时必须成对更新。

NVIDIA 路线的调参要点​

在 H100/A100 上，vLLM 默认配置已经不错，但仍有几个高频调整项：

1. gpu-memory-utilization：默认 0.9，多进程共享一张卡或多卡跑多模型时建议压到 0.8 左右，避免 OOM 后进程被杀。
2. max-model-len 与 max-num-seqs：上下文长度直接决定 KV Cache 预留显存，生产环境不要盲目拉到模型上限，按业务 P99 输入长度加余量设置。
3. chunked prefill 与 prefix caching：新版默认开启，长输入场景收益明显；RAG 类应用务必确认前缀缓存生效。
4. 量化方案：FP8 适合 Hopper 及以上，AWQ/GPTQ 适合消费级卡与老卡，选型前先跑精度评测再上量。

昇腾与 AMD 路线的现实​

昇腾路线要求 CANN 8.0 以上、torch-npu 与 vLLM 版本严格匹配，官方推荐通过容器镜像部署以规避环境漂移。Atlas 800I A2 系列是当前插件的主战场，DeepSeek、Qwen、GLM 等主流开源模型均已覆盖，PD 分离（Prefill/Decode 分离）与专家并行也在持续增强。

AMD 路线则相对简单，官方 Docker 镜像内置 ROCm 支持，MI300X 凭借 192GB 显存在 70B 级稠密模型上可以单卡部署，省去张量并行带来的通信开销。但部分自定义算子和投机解码特性更新会比 CUDA 路线滞后一至两个版本，上线前要针对目标模型跑完整回归测试。

实操建议​

1. 用容器镜像锁定版本组合，不要在生产机器上直接 pip 安装三件套（vLLM、torch、底层驱动栈）。
2. 换硬件或升级版本时，先在预发环境跑官方精度评测脚本，再压测吞吐与时延曲线。
3. 关注 vllm-ascend 与 ROCm 后端的 Release Note，特性差距在缩小，但"最新特性"往往只在 CUDA 路线可用。
4. 混合集群建议统一 OpenAI 兼容 API 层，让业务侧对硬件无感，方便后续按成本迁移。

语音是所有 AI 推理场景里"单路最便宜、体验最挑剔"的一类：模型小到一张入门卡就能跑，但用户对延迟的容忍度以百毫秒计。选型的核心不是买多大的卡，而是把延迟预算分配对。

一、ASR 侧：Whisper 家族的显存与速度账​

Whisper 各型号的显存需求很友好：large-v3（1.55B 参数）FP16 约 3GB、INT8 约 1.5GB；large-v3-turbo（809M）FP16 约 2GB；蒸馏版 distil-large-v3 约 1.5GB，速度约为原版 6 倍。实测数据（faster-whisper 加 CTranslate2、INT8、单流）显示：RTX 3060 12GB 跑 large-v3 实时率约 10 至 12 倍，4090 达 40 至 50 倍，5090 达 55 至 65 倍。实时率（RTF）越高，单卡能承载的并发转写路数越多。

选型要点：中文与多语种业务建议 large-v3 或 turbo（蒸馏版在小语种和噪音场景的错误率上升明显）；电话客服场景 16kHz 采样即可，音频前处理加 VAD 静音裁剪能减少约一半的计算量。

二、TTS 侧：从"能听"到"克隆"的显存阶梯​

TTS 的显存跨度比 ASR 大得多：轻量方案（Kokoro 82M、Piper 类）不足 1GB，甚至可以纯 CPU 运行；中量级（Qwen3-TTS 1.7B 类）约 4GB；高表达力与音色克隆方案（Step-Audio 7B 级、Chatterbox、XTTS v2）约 3 至 8GB；旗舰级方案则要 12 至 17GB。完整语音对话管线（STT 加 LLM 加 TTS 三模型常驻）的典型显存账是 10 至 16GB——这意味着一张 16 至 24GB 的卡就能承载单机完整语音助手。

并发规模	业务形态	推荐配置	预算区间	关键指标
10 路以内	门店助手、智能音箱 demo	RTX 5060 Ti 16GB 或 4090 单卡	0.6 万至 2 万元	端到端低于 500 毫秒
30 至 100 路	中小客服中心、会议转写 SaaS	双卡 4090 或单卡 A100 40GB 服务器	5 万至 20 万元	转写排队低于 200 毫秒
300 至 1000 路	大型外呼平台、实时字幕服务	8 卡 A800 或 H100 集群加流式调度	60 万至 240 万元	按路数横向扩容，P95 延迟稳定
信创合规场景	政企呼叫中心	Atlas 300I Duo 推理卡集群	单卡约 2 万至 4 万元	满足国产化验收，低功耗高密度

三、延迟预算怎么分配​

实时语音对话的端到端目标通常是低于 500 至 800 毫秒，一个可参考的分配：VAD 判停约 200 毫秒、ASR 增量转写约 100 毫秒、LLM 首 token 约 150 毫秒、TTS 首音频约 100 毫秒。优化优先级最高的三件事：用 turbo 或蒸馏版 Whisper 替代 large-v3（速度差 6 倍，精度损失可控）、ASR 与 TTS 用 INT8 量化、LLM 输出流式喂给 TTS 而非等全句。这三条做完，多数管线能在消费级硬件上摸到实时门槛，不必上高端卡。

另一个常被忽略的点是语音流的话音活动率：典型对话中每人只占 40% 至 50% 的时间，100 路并发通话在任一瞬间活跃的转写任务只有四五十路。按"名义并发乘 0.45"估算算力，能省下接近一半的采购量——但外呼机器人是例外，它的静音模式更规律，活动率要单独实测。

四、结尾建议​

语音 AI 服务的硬件决策顺序：先定延迟指标（决定单卡承载路数），再按并发规模定卡的数量，最后才看要不要更好的单卡。中小规模场景的默认答案是单张 16 至 24GB 消费卡承载 10 路完整语音管线，随业务增长横向加卡，比一开始买大机灵活得多。两点最后提醒：一是 ASR 加 TTS 加 LLM 同卡混布时，务必给各模型设显存预留与常驻策略，避免运行中被逐出显存造成数秒级卡顿；二是语音业务对成本极其敏感，月利用率长期低于三成时，2 至 4 元/小时的消费卡租赁比自建更划算。

2026年9月16日，MLPerf Inference v6.1结果出炉：AMD以Instinct MI350系列在512卡规模创下575万tokens/秒的MLPerf纪录，而NVIDIA Vera Rubin NVL72也在本轮完成首秀。分析师称，这是NVIDIA在AI训练与推理领域历史性垄断的"实质性侵蚀"。

MLPerf v6.1：本轮关键结果​

MLPerf Inference是业界最具公信力的AI推理基准测试，v6.1这一轮的格局变化堪称历史性：

提交方	系统	关键结果
AMD	Instinct MI350系列，512卡	575万tokens/秒（5.75M tokens/sec）MLPerf纪录
AMD合作方	多家系统厂商	结果与AMD平均差距在4%以内
NVIDIA	Vera Rubin NVL72（首秀）	Qwen3-VL吞吐较GB300 NVL72最高提升3.7倍
NVIDIA	Vera Rubin NVL72	DeepSeek-R1吞吐较GB300 NVL72最高提升2.5倍
NVIDIA	Vera Rubin NVL72，288卡	演示99%扩展效率
Intel	软件优化	以软件优化收获性能增益

AMD的512卡提交以575万tokens/秒创下MLPerf纪录，更值得注意的是，合作方的独立提交与AMD官方结果平均差距在4%以内——第三方可复现性意味着这个纪录不是实验室里的孤立数字。

NVIDIA的回应：Vera Rubin NVL72首秀​

NVIDIA并未坐视。Vera Rubin NVL72在本轮MLPerf完成首秀，成绩同样亮眼：Qwen3-VL吞吐较上一代GB300 NVL72最高提升3.7倍，DeepSeek-R1最高提升2.5倍，288卡规模演示了99%的扩展效率。

这里存在一个口径差异需要读者注意：AMD刷新的是tokens/秒的绝对纪录（512卡），NVIDIA展示的是代际提升幅度（相对自家GB300）。两者并不矛盾，但说明竞争已从"单点性能"转向"规模效率与代际节奏"的全方位对垒。此外，Intel虽无新硬件登场，但证明了在成熟硬件上软件优化仍能压榨出可观的性能增益——软件栈的权重在推理竞争中持续上升。

MLPerf看什么：吞吐、延迟与规模效率​

对于习惯只看 headlines 的读者，读MLPerf结果建议关注三个维度：

1. 吞吐（Throughput）：单位时间token产出，反映系统在大批量服务场景的容量上限。AMD本次575万tokens/秒就是吞吐口径的纪录。
2. 延迟（Latency）：单请求响应速度，决定交互式应用的用户体验。吞吐成绩往往在放宽延迟约束时更高，需对照延迟约束看吞吐。
3. 规模效率（Scaling Efficiency）：从几十卡扩展到数百卡时性能保留多少。NVIDIA的288卡99%扩展效率正是这个口径——硬件再强，扩展效率低下就无法支撑真实的超大规模部署。

三者组合才能还原一个系统的真实战力：吞吐高说明"能扛量"，延迟低说明"反应快"，规模效率高说明"能放大"。

AMD的部署进展：纪录之外的商业验证​

MLPerf成绩需要落地验证才有意义。AMD在2026年的部署进展已覆盖超算、国家级基础设施与商业训练：

• LUMI-AI超算（欧洲）：将由MI430X与第六代EPYC驱动，延续AMD在欧洲超算领域的影响力；
• HUMAIN（沙特）与Cisco等大型基础设施项目：MI355X系统参与其中，进入国家级AI基础设施采购清单；
• Zyphra的商业训练：8月19日，Zyphra用1536张MI300X从零预训练ZAYA1-8B模型，证明AMD平台不仅能推理，也能承担大规模预训练。

从超算到主权AI项目再到独立AI公司的预训练，AMD正在补齐"性能证明→商业信任"的最后一环。

机架级竞争下的benchmark口径变化​

MLPerf v6.1还有一层容易被忽视的行业信号：benchmark口径正在变化。随着NVL72、Helios等机架级（rack-scale）系统成为竞争主战场，提交单位的颗粒度从"单卡/单机"演进到"整个机架"，互联、内存、网络全部被打包进成绩。

这带来两个影响：其一，比较口径更接近真实部署（用户买的就是整机架），成绩参考价值更高；其二，小玩家更难参与——机架级提交的门槛将绝大多数中小厂商挡在门外。未来MLPerf榜单可能进一步分化为"单节点榜"与"机架级/集群榜"两个层次。

国产芯片何时加入MLPerf提交​

另一个值得国内读者思考的问题：何时能看到国产AI芯片的MLPerf正式提交？MLPerf的公信力来自开放提交与第三方可复现，国产芯片若要在国际市场建立性能信任，参与MLPerf是绕不开的一步。目前MLPerf v6.1榜单上尚未出现国产芯片的正式提交，国产芯片何时加入、以什么规模加入，将成为观察其国际化进程的重要风向标。

小结​

MLPerf Inference v6.1是分水岭式的一轮：AMD以512卡MI350创下575万tokens/秒的MLPerf纪录、合作方结果差距在4%以内，Tom's Hardware口径的判断是NVIDIA在AI训练与推理领域的历史性垄断出现"实质性侵蚀"；NVIDIA则以Vera Rubin NVL72首秀回应——Qwen3-VL吞吐最高3.7倍、DeepSeek-R1最高2.5倍、288卡99%扩展效率。加上AMD在LUMI-AI超算、HUMAIN、Cisco与Zyphra等项目的落地，AI推理市场的竞争格局正在被实质性改写。对采购者而言，现在是重新评估"唯NVIDIA论"的时候了；对行业而言，benchmark口径的机架级演化与国产芯片的缺席，同样是下一阶段值得持续跟踪的主线。