SambaNova SN40L 深度解析：三层内存的另辟蹊径

当整个行业在"堆算力"上内卷时，SambaNova 选择回答另一个问题：推理效率取决于喂饱计算单元的能力，而不只是计算单元本身。

RDU：可重构数据流架构

SN40L 的核心是可重构数据流单元（Reconfigurable Dataflow Unit，RDU）。它没有采用传统的"CPU 式取指执行"或"GPU 式 SIMT"，而是把计算组织成可编程的数据流图：每个 RDU 插槽包含 1040 个模式计算单元（PCU）与 1040 个模式内存单元（PMU），通过可编程的数据流网络互连。

芯片采用台积电 5nm 工艺与 2.5D CoWoS 封装，集成两个 RDU 计算裸片，单插槽峰值算力为 638 TFLOPS（BF16），片上聚合内存带宽达数百 TB/s 量级。这种架构最大的价值在于算子融合：编译器可以把数百个复杂操作合并为一次内核调用，把中间结果留在片上。以论文中给出的 Monarch FFT 为例，未融合时算术强度为每字节约 39.5 次操作，完全空间融合后提升至约 410 次——外部访存需求大幅下降。

三层内存：SRAM、HBM、DDR 各司其职

SN40L 最具辨识度的设计是三层内存体系：

内存层级	容量（每芯片）	角色
片上 SRAM（PMU）	520 MB	最高带宽，紧贴计算单元
片上 HBM（封装内）	64 GB	存放正在运行的模型与热点数据
可插拔 DDR DRAM	最高 1.5 TB	存放更多模型与检查点

这个设计的巧思在于容量与成本的平衡：HBM 贵而小，DDR 便宜而大。模型从 DDR 加载到 HBM 的速度超过 1 TB/s，因此一套 16 芯片的 SambaRack 拥有 24TB DDR，可以在单系统中驻留 DeepSeek-R1 671B 这样的大模型，也能同时服务大量小模型。SambaNova 披露，在混合专家推理部署中，SN40L 相比 DGX H100 端到端提速 3.7 倍，模型切换时间提升 15 至 31 倍，机房占地最多缩减 19 倍；整rack采用风冷，功耗约 10kW，远低于晶圆级方案的 23kW 水冷系统。

企业推理的差异化路线

SambaNova 与 Cerebras、Groq 的公开对比揭示了路线差异：Cerebras 擅长单用户极致 token 速度，但 SambaNova 指出其每片 LPU 仅约 230MB SRAM、无片外内存，服务 70B 模型需要数百颗芯片；而 SN40L 用 16 颗芯片即可完成同类部署。换句话说，SambaNova 押注的是"多用户、多模型、企业级"的推理经济学，而非单点跑分。

据公开报道，2026 年 2 月 SambaNova 发布了下一代 SN50 芯片，宣称面向智能体 AI 工作负载提供 3.2 PFLOPS FP8 算力，三层内存可支持高达 10 万亿参数模型，软银成为首个客户，公司同期完成超过 3.5 亿美元融资，并宣布与 Intel 展开多年期软硬件协同合作。

小结与建议

SN40L 的启示在于：推理时代的竞争正在从峰值算力转向"单位 token 的系统经济学"。如果你的业务是多租户、多模型的企业 AI 平台，或需要频繁切换模型、在私有环境部署超大模型，三层内存架构提供了 GPU 集群难以复制的容量弹性；如果追求单用户最低延迟，晶圆级与 LPU 路线可能更合适。选型的关键，是先弄清自己的负载形状。