多模态推理卡怎么选：VLM、语音与视频生成的硬件差异
"多模态"是一个筐，但 VLM、语音和视频生成装的是三种完全不同的负载。把它们混在一起选卡，要么算力浪费，要么显存爆掉。本文按模态分别算账。
一、VLM 推理：显存带宽决定一切
视觉语言模型的负载形态和纯文本 LLM 接近：自回归解码受显存带宽约束，视觉编码器只在首 token 前跑一次，算力占用是脉冲式的。选卡的关键是"模型量化后能否装下"加"带宽决定吐字速度"。
7B 级 VLM（如 Qwen-VL 系列 7B）Q4 量化约 4 至 6GB，24GB 消费卡轻松承载并留出图像 token 的 KV cache 余量；30B 至 72B 级 VLM（如 Qwen-VL-Max 同级开源模型）Q4 约 18 至 40GB，需要 48GB 专业卡或 80GB HBM 卡；90B 至 100B+ 级则应直接看 H200 的 141GB——大上下文图文混合场景下，KV cache 增长很快，8B 模型在 128K 上下文时仅 KV cache 就可能超过 20GB，显存买大不为过。
二、语音推理：延迟与并发的平衡术
语音管线的显存需求小得出人意料：Whisper large-v3 FP16 仅约 3GB、INT8 约 1.5GB；TTS 侧轻量方案（Kokoro 类）不足 1GB，中量级方案（Qwen3-TTS 类 1.7B）约 4GB，重表达力方案（Step-Audio 类 7B 级）约 6 至 8GB。完整的 STT 加 LLM 加 TTS 管线，10 至 20GB 显存即可全部常驻。
真正的门槛是延迟与并发。实时对话要求端到端低于 500 毫秒，语音流有天然停顿，10 路并发同时活跃的转写任务通常只有 4 至 5 路，一张 16 至 24GB 的卡即可承载 10 路并发语音助手。高并发客服外呼场景（百路以上）才需要考虑 80GB HBM 卡或国产推理卡集群。
| 场景 | 模态组合 | 推荐配置 | 预算区间 | 理由 |
|---|---|---|---|---|
| 单机 VLM 应用（7B 级） | 图文理解 | RTX 4090 或 5090 单卡 | 1.5 万至 2.5 万元 | Q4 量化余量充足，带宽够用 |
| 企业 VLM 服务（30B 至 72B） | 图文、文档 OCR | 2 至 4 卡 4090 或单卡 A100 80GB | 8 万至 30 万元 | 48 至 80GB 显存覆盖 Q4 至 FP8 |
| 实时语音助手（10 路并发） | STT 加 LLM 加 TTS | RTX 5060 Ti 16GB 或 4090 单卡 | 0.6 万至 2 万元 | 三模型常驻，延迟低于 500 毫秒 |
| 视频生成工作站 | DiT 类视频模型 | RTX 5090 单卡起步 | 2 万至 3 万元 | 32GB 显存加高带宽承接长序列 |
| 视频生成生产服务 | 高分辨率长时长 | 8 卡 H100 或 H200 | 180 万至 240 万元 | 多路生成排队，机内并行摊薄单条成本 |
| 国产化多模态服务 | 图文与语音 | Atlas 300I Duo 集群 | 单卡约 2 万至 4 万元 | 低功耗高密度，OCR 与转写场景成熟 |
三、视频生成：被低估的算力黑洞
视频生成是三者中唯一"算力吃紧"的场景。DiT 类视频模型在去噪阶段是密集矩阵运算，且长时长、高分辨率视频的隐空间序列长度线性增长，显存压力接近训练。经验值是：数秒级 720P 视频生成，24 至 32GB 消费卡可行但排队慢；分钟级或 1080P 以上，需要多卡并行与 80GB 级显存。做视频生成业务的公司，推理集群的卡时成本远高于 VLM 业务，定价模型时务必先实测单条视频的卡时消耗。
四、结尾建议
选型三步走：先按模态对号入座（VLM 看显存、语音看延迟、视频看算力），再按并发规模定卡的数量而非档次，最后用真实流量压测两周再固化采购。特别提醒：多模态业务的显存需求会随上下文长度和分辨率持续上涨，新购卡优先选 32GB 以上显存或支持多卡扩展的机型，给六个月后的模型升级留出空间——2026 年的模型迭代速度下，显存不足是所有多模态服务扩容时最先撞上的墙。