语音 AI 推理硬件：ASR 与 TTS 服务的算力配置
语音是所有 AI 推理场景里"单路最便宜、体验最挑剔"的一类：模型小到一张入门卡就能跑，但用户对延迟的容忍度以百毫秒计。选型的核心不是买多大的卡，而是把延迟预算分配对。
一、ASR 侧：Whisper 家族的显存与速度账
Whisper 各型号的显存需求很友好：large-v3（1.55B 参数）FP16 约 3GB、INT8 约 1.5GB；large-v3-turbo（809M）FP16 约 2GB；蒸馏版 distil-large-v3 约 1.5GB，速度约为原版 6 倍。实测数据（faster-whisper 加 CTranslate2、INT8、单流）显示：RTX 3060 12GB 跑 large-v3 实时率约 10 至 12 倍，4090 达 40 至 50 倍，5090 达 55 至 65 倍。实时率（RTF）越高，单卡能承载的并发转写路数越多。
选型要点：中文与多语种业务建议 large-v3 或 turbo（蒸馏版在小语种和噪音场景的错误率上升明显）；电话客服场景 16kHz 采样即可，音频前处理加 VAD 静音裁剪能减少约一半的计算量。
二、TTS 侧：从"能听"到"克隆"的显存阶梯
TTS 的显存跨度比 ASR 大得多：轻量方案（Kokoro 82M、Piper 类）不足 1GB，甚至可以纯 CPU 运行；中量级（Qwen3-TTS 1.7B 类）约 4GB；高表达力与音色克隆方案（Step-Audio 7B 级、Chatterbox、XTTS v2）约 3 至 8GB；旗舰级方案则要 12 至 17GB。完整语音对话管线（STT 加 LLM 加 TTS 三模型常驻）的典型显存账是 10 至 16GB——这意味着一张 16 至 24GB 的卡就能承载单机完整语音助手。
| 并发规模 | 业务形态 | 推荐配置 | 预算区间 | 关键指标 |
|---|---|---|---|---|
| 10 路以内 | 门店助手、智能音箱 demo | RTX 5060 Ti 16GB 或 4090 单卡 | 0.6 万至 2 万元 | 端到端低于 500 毫秒 |
| 30 至 100 路 | 中小客服中心、会议转写 SaaS | 双卡 4090 或单卡 A100 40GB 服务器 | 5 万至 20 万元 | 转写排队低于 200 毫秒 |
| 300 至 1000 路 | 大型外呼平台、实时字幕服务 | 8 卡 A800 或 H100 集群加流式调度 | 60 万至 240 万元 | 按路数横向扩容，P95 延迟稳定 |
| 信创合规场景 | 政企呼叫中心 | Atlas 300I Duo 推理卡集群 | 单卡约 2 万至 4 万元 | 满足国产化验收，低功耗高密度 |
三、延迟预算怎么分配
实时语音对话的端到端目标通常是低于 500 至 800 毫秒，一个可参考的分配：VAD 判停约 200 毫秒、ASR 增量转写约 100 毫秒、LLM 首 token 约 150 毫秒、TTS 首音频约 100 毫秒。优化优先级最高的三件事：用 turbo 或蒸馏版 Whisper 替代 large-v3（速度差 6 倍，精度损失可控）、ASR 与 TTS 用 INT8 量化、LLM 输出流式喂给 TTS 而非等全句。这三条做完，多数管线能在消费级硬件上摸到实时门槛，不必上高端卡。
另一个常被忽略的点是语音流的话音活动率：典型对话中每人只占 40% 至 50% 的时间，100 路并发通话在任一瞬间活跃的转写任务只有四五十路。按"名义并发乘 0.45"估算算力，能省下接近一半的采购量——但外呼机器人是例外，它的静音模式更规律，活动率要单独实测。
四、结尾建议
语音 AI 服务的硬件决策顺序：先定延迟指标（决定单卡承载路数），再按并发规模定卡的数量，最后才看要不要更好的单卡。中小规模场景的默认答案是单张 16 至 24GB 消费卡承载 10 路完整语音管线，随业务增长横向加卡，比一开始买大机灵活得多。两点最后提醒：一是 ASR 加 TTS 加 LLM 同卡混布时，务必给各模型设显存预留与常驻策略，避免运行中被逐出显存造成数秒级卡顿；二是语音业务对成本极其敏感，月利用率长期低于三成时，2 至 4 元/小时的消费卡租赁比自建更划算。