MoE 架构对芯片意味着什么：稀疏激活的算力新账

当前主流大模型几乎清一色采用混合专家（MoE）架构。很多人知道它"省算力"，但少有人意识到：省下的算力并没有变成免费的午餐，而是被换成了对显存容量和互连带宽的更高要求。这笔账值得每个选型的人算一遍。

参数量与算力解耦

稠密模型里每个参数在每个 token 上都要参与计算；MoE 把 Transformer 中的前馈层复制成许多"专家"，由路由器为每个 token 挑选少数几个激活。以 DeepSeek-V3 为例，据其公开技术报告：总参数 671B，每 token 仅激活 37B，路由层包含 256 个路由专家外加 1 个常驻共享专家，每个 token 激活其中 8 个路由专家。计算量因此比同规模稠密模型低了一个数量级，但训练成本与模型能力并未等比打折——671B 总参的学习容量还在。

Mixtral 8x7B 是更早的参照：总参数约 47B，每 token 激活约 13B。规律一致：FLOPS 可以省，参数一个都省不掉。

瓶颈迁移：从算力到显存与通信

对硬件而言，MoE 带来三个直接后果。

其一，显存容量压力反而更大。 671B 参数即使量化到 FP8 也要 600GB 以上，权重必须常驻显存等待被路由命中。算力需求降了，容量需求没降，"用小卡跑 MoE"的幻想在容量这一关就会破灭。

其二，通信成为新瓶颈。 专家分布在不同的卡上，每个 token 都要经历 dispatch（发给选中的专家所在卡）与 combine（收回结果）两次 all-to-all 通信，且跨层反复发生。DeepSeek 团队在技术报告中专门讨论了跨节点 all-to-all 的通信瓶颈，并用 DualPipe 流水线做计算通信重叠来掩盖它。对芯片来说，这意味着互连带宽的权重显著上升，节点内 NVLink 级带宽与跨节点网络都直接决定 MoE 的实际效率。

其三，负载不均衡。 热门专家可能被打爆，冷门专家闲置，硬件利用率随之波动。DeepSeek-V3 在推理部署中采用冗余专家策略，复制高负载专家来均衡压力——这又进一步推高了显存占用。

稠密与 MoE 的硬件账对照

维度	稠密模型	MoE 模型
每 token 算力	与参数量成正比	远低于参数量
显存容量需求	等于全部参数	等于全部参数（一个不少）
主要通信模式	数据并行的 AllReduce	专家并行的 All-to-All
负载特征	均匀可预测	随路由波动，需均衡策略
选型关键	带宽与算力平衡	容量、互连带宽、通信软件栈

实操建议

为 MoE 服务选硬件时，按优先级排：先看显存容量能否装下全量参数加运行时开销；再看节点内互连是否支撑专家并行的 all-to-all，卡间带宽不足时专家应尽量收拢在节点内；跨节点部署要评估网络带宽与通信计算重叠能力。推理侧尽量用大 batch，让分散命中各专家的 token 聚合成足够大的矩阵，维持算力利用率。一句话总结：MoE 时代，"算力够不够"的提问正在被"显存装不装得下、数据送不送得过来"取代。