36 posts tagged with "Inference"

聊天负载的调度问题，本质是「怎么把请求填满批」。到了 2026 年，智能体负载把这个问题的性质改变了：同一会话的连续请求共享长前缀，缓存复用率从聊天场景的 54% 到 62% 直接跃升到超过 80%。调度器如果还按过去那套逻辑做决策，会系统性地做错事。

智能体负载的三个反常之处​

先看生产轨迹给出的硬数字。据 Bailian 生产环境轨迹的分析，智能体服务的 KV 复用率超过 80%；另一份 PackServe 的生产轨迹显示，缓存 token 约占输入 token 的 80%，同时 decode 阶段占了请求总耗时的 78.4%。这两个数字组合起来意味着：绝大多数的注意力计算被跳过，而绝大多数的时间消耗在自回归解码上——优化目标已经不是 prefill 效率。

第二个反常是请求的触发方式。CacheWise 对真实编码助手轨迹的分析显示，工具完成触发的请求比用户输入触发的多出一个数量级以上。会话时长中位数约 36 分钟，长尾超过 2.6 小时。请求间隔由外部工具延迟决定，波动极大。

第三个反常是并发密度很低。PackServe 轨迹中，五分钟采样窗口内每实例运行并发在 0.39 到 1.69 之间，而平均 TPOT 仅小幅上升、远低于 SLO 目标。这意味着存在明显的延迟余量可用于请求打包，可以在满足 SLO 的前提下用更少的活跃 GPU 承载同样的需求。

缓存感知路由的过度优化​

问题的核心在于：现有调度器的问题不是「没有复用 KV」，而是「过度追求复用」。

SMetric 论文的表述是，缓存感知的调度器把每个请求路由到持有其缓存 KV 的实例，用负载均衡换复用率。后果是：第一，同一智能体框架的不同会话首轮请求共享相似的系统提示，都被路由到少数几个缓存了这些提示的实例；第二，由于后续请求基本都命中本会话早先轮次的 KV，会话就被钉在首轮落地的那个实例上。结果是少数实例吸收了整份会话并过载，其余集群闲置，而闲置实例的算力直接封顶了整体吞吐。

更关键的是，这种牺牲是不必要的。SMetric 提出了一个看起来违反直觉的方案：首轮请求纯按负载均衡调度，把会话摊到全集群；后续请求才走传统的缓存感知路由，优先本地级复用。

它能成立，靠的是两级 KV 存储这个前提——每实例 GPU 显存上的本地层，加上集群级 CPU 内存上的全局层。即使被调度到的实例本地没有这份 KV，它仍然能从全局层取回。只要全局层能及时供给，TPS 不受影响，代价只是 TTFT 小幅上升，而智能体负载恰恰对 TTFT 的容忍度更高。

这种分层架构本身也带来了新问题。Unison 论文（复旦大学，2026 年 9 月）指出一个被所有缓存策略忽视的盲区：智能体调用工具期间，GPU 完全空闲，但会话没有结束，工具返回后要从完整 KV 前缀恢复。按 DeepSeek V3 MLA 的结构估算，每 token 每层 576 个潜元素、共 61 层、bf16 存储，约 68.6 KiB 每 token；一个 10 万上下文的会话约 7.03 GB，一百个停在工具等待中的智能体就是约 703 GB 的纯 KV 驻留——约等于九张 80GB 级 GPU，而这些会话不产生任何输出、不消耗任何注意力计算。

LRU 和 TTL 在这个状态上都会失效，而且是结构性失效。LRU 按最后访问排序，工具等待的智能体看起来比两秒前还在对话的用户更旧。TTL 同样会把慢工具的会话在返回前淘汰掉。Unison 的判断是：区分「等待工具、即将返回」和「会话已结束」所需的信息存在于作业结构里，而不在访问日志里，因此没有任何 recency 或 idle 阈值能解决问题。

工程上的四个可操作结论​

调度手段	解决的问题	代价	适用规模
缓存感知副本路由	避免重复 prefill，跳过热副本	需要一致性分词与模板	4 至 16 卡起
分片调度（prefill 与 decode 分离）	让两个阶段各自跑满各自资源	双池运维 + KV 传输链路	数十卡以上
两级 KV 存储	允许牺牲 TTFT 换取复用率	全局层的容量与带宽是有限资源	集群级
工具元数据驱动的预测式驱逐	按下次重用时间排序而非 LRU	需要依赖调用侧元数据	编码类智能体为主
准入控制与提前拒绝	避免接纳注定违反 SLO 的请求	需要预测输出长度分布	全规模

准入控制是一切的前提。一台推理服务器不应该因为收到 HTTP 请求就接受它。被接受的工作消耗 KV、增加排队延迟、可能触发抢占、可能伤害其他租户。准入需要看的量是：未缓存的 prompt token 数、当前 KV 压力、空闲块水位、租户 token 预算与 KV 预算、排队截止期、期望输出长度区间、缓存命中概率。输出长度本身未知，控制器需要为运行中序列的增长留出余量——留多了浪费算力，留少了产生抢占抖动。频繁抢占本身就是策略已经病了的信号。

路由。看热的那个副本不一定是对的。最热的副本有最好的前缀命中，但队列可能已经很高、流式延迟接近上限；缓存命中省下的 prefill，可能被排队时间吃掉。实用的做法是联合打分：前缀重叠度、队列延迟、空闲 KV 块数、活跃 KV token 数、租户压力、副本健康度。

驱逐。CacheWise 的做法值得注意：不按 recency，而是用工具元数据（工具类型、参数）训练一个轻量预测器，估算每个会话的下一次重用时间，工具耗时最长的会话最先被驱逐。它在 vLLM 上实现，把 KV 驱逐降低 2 到 2.6 倍，会话总完成时间改善约 3.5 倍，token goodput 翻倍。

公平性。请求速率层面的公平在这里不管用——一个租户用少量超大请求就能压垮引擎，另一个租户发海量小请求却占用很少容量。公平应当基于加权的 token 服务量与 KV 占用，而不是请求数。智能体流量还需要扇出控制，因为一次用户操作可以产生大量模型调用。

架构层的两个选项​

解决智能体负载有两条路。一是分片调度：把 prefill 和 decode 拆到独立的 GPU 池，通过 KV 传输层搬移缓存。NVIDIA Dynamo 1.0 在 2026 年 3 月发布，其 Planner 在运行时决定聚合还是分离，KV Block Manager 提供 HBM 到 DRAM 到 SSD 到对象存储的四级层次；LLM-d 于 2026 年 3 月进入 CNCF 沙盒，贡献了把缓存感知路由变成 Kubernetes 一等公民的 Gateway API Inference Extension。二是简单得多的方案：KV 感知的副本路由，不拆池、不传 KV、不改拓扑。

需要诚实标注的是：Dynamo 公布的 30 倍吞吐是 DeepSeek-R1 671B 在 GB200 NVL72 机架上的复合结果，包含 NVLink 域内宽专家并行等多项因素；更接近纯分离收益的口径是 Llama 70B 在 3K/50 序列长度、普通 Hopper 上的约 2 倍。官方文档也明确指出，输入输出长度比在 2:1 到 10:1 之间时，聚合服务往往更好。

对大多数 4 到 16 卡规模的团队，先做缓存感知的数据并行副本通常比直接上分离池更划算。

展望​

2026 年的调度问题已经从「怎么批」变成「KV 放在哪里、谁能拿到它、什么时候该放弃它」。这带来的直接后果是硬件需求的重心变化：decode 阶段主导耗时、缓存驻留成为主要资源占用，意味着大 HBM 容量与高带宽的价值在推理集群中的权重继续上升，而推理专用芯片的竞争维度也从峰值 FLOPS 转向了 KV 密度与缓存层级的支持能力。

真正值得关注的方向是把「意图」显式传给调度层。Dynamo 1.0 已经开始接受每请求的优先级、期望输出长度和投机 prefill 提示。这个方向一旦成熟，调度器就不再需要从访问历史里猜测意图——而这正是今天所有缓存策略失效的根本原因。

同一套 Blackwell Ultra 硅片，NVIDIA 给了它两个名字、两种形态：B300 是可以进风冷机柜的 8 卡节点核心，GB300 则是焊进 NVL72 机柜的机柜级答案。分清两者，是 2026 年 Blackwell 采购的第一道题。

B300：先看芯片本身改了什么​

B300 是 B200 的" Ultra "增强版：同样的双 Die Blackwell 架构，但显存堆叠从 8-Hi 换成 12-Hi，容量从 192GB 提升到 288GB（提升 50%）；NVFP4 稠密算力提升到约 15 PFLOPS，约为 B200 的 1.5 倍；功耗上限从 1,000W 提到 1,400W。两处容易被忽略的变化：FP64 性能大幅削减至约 1.25 TFLOPS（B200 为 37 TFLOPS），HPC 科学计算用户需特别留意；稀疏比也从常见的 2 倍收敛到约 1.33 倍（15 稠密对 20 稀疏），容量规划时不能沿用旧公式。

规格	B200	B300（Blackwell Ultra）
显存	192GB HBM3e	288GB HBM3e（12-Hi 堆叠）
显存带宽	8TB/s	8TB/s
FP4 稠密/稀疏	9 / 18 PFLOPS	15 / 20 PFLOPS
FP8 稠密/稀疏	4.5 / 9 PFLOPS	5 / 10 PFLOPS
最大功耗	1,000W	1,400W（另有 1,100W 风冷档）
NVLink	1.8TB/s	1.8TB/s
PCIe	Gen5	Gen6（256GB/s）

B300 并非只有液冷一档：1,400W 顶配档需要直冷液冷，但 1,100W 档支持风冷，NVIDIA 自家的 DGX B300 就是风冷系统，Supermicro 也有 8U 风冷 HGX B300。真正的硬约束是整机功耗——8 卡节点仅 GPU 就要 8.8kW 至 11.2kW，加上 CPU 与网络，单节点约 14 至 15kW，远高于 H200 节点。

GB300：超级芯片与 20TB 机柜​

GB300 不是"更快的 B300"，而是另一种产品：Grace CPU 与两颗 B300 组成的超级芯片（超级芯片功耗约 3,000W，含两颗 1,400W B300 与约 200W Grace）。以它为单元的 GB300 NVL72 机柜集成 72 颗 B300 与 36 颗 Grace，组成 130TB/s 的单一 NVLink 域，GPU 显存合计约 20TB HBM3e。

指标	B300 节点（8 卡）	GB300 NVL72（机柜）
组成	8 颗 B300 + 2 颗 x86 CPU	72 颗 B300 + 36 颗 Grace
显存合计	2.3TB HBM3e	约 20TB HBM3e
FP4 稠密	约 120 PFLOPS	约 1.1 EFLOPS
网络侧	ConnectX-7 400G 起	ConnectX-8 800G
散热	风冷或液冷可选	强制全液冷
形态	标准机架服务器	定制机柜，约 120kW 级

两者的分工与 GB200 NVL72 一脉相承：B300 节点服务"8 卡能装下"的负载，GB300 NVL72 服务万亿参数与巨型 MoE。相比 GB200 NVL72，GB300 机柜的稠密 FP4 算力提升 50%，显存从 13.4TB 增至 20TB，网络升级到 800G，对推理时代的长上下文与多轮 Agent 场景更友好。据公开报道，GB300 NVL72 机柜价格约在 370 万至 400 万美元区间。

选型建议​

三步判断。第一步看模型规模：单副本权重加 KV Cache 能进 180GB（B200）就不用看 B300；需要 288GB 单卡容量或 1.5 倍 FP4 吞吐，选 B300 节点；张量并行超过 8 卡、或 KV Cache 需要机柜级共享，进 GB300 NVL72。第二步看机房：风冷机房先把 B300 排除在 1,400W 档之外，GB300 NVL72 需要完整液冷改造。第三步看精度需求：FP64 密集的科学计算请留在 Hopper 或 HPC 专线，B300 会让你失望。

小结​

B300 与 GB300 是同一代硅片的两种野心：前者把 Blackwell Ultra 塞进可管理的 8 卡节点，是 2026 年高端推理与微调的主力；后者把它推向 20TB 显存的机柜级单一域，是 AI 工厂的正装。想清楚"8 卡够不够、机房供不供得起"，这道二选一就不难。

当整个行业还在围绕 GPU 的 HBM 容量与机柜规模做文章时，Cerebras Systems 走了一条从根上不同的路：把整片晶圆做成一颗"芯片"。这家公司宣称其晶圆级引擎比 GPU 快 30 倍，并与 OpenAI 签署了一份高达 100 亿美元的电力协议（有效期至 2028 年）。在分析师将 Cerebras 与 AMD 并列为"未来十年可能跑赢 NVIDIA"的两家公司的当下，替代架构赛道正在从概念验证走向商业兑现。

晶圆级架构：从站内卡看 WSE-3 的底子​

根据站内 Cerebras WSE-3 芯片卡，晶圆级引擎的硬件基础如下：

项目	WSE-3（CS-3 系统）
发布	2024 年 3 月
制程	TSMC 5nm
晶体管数	4 万亿
核心数	900,000
片上 SRAM	44 GB
FP16 稀疏算力	125 PFLOPS
TDP（系统）	15 kW
形式	CS-3 整机系统（液冷）

作为对比，一颗常规旗舰 GPU 的晶体管数量在千亿级——WSE-3 的 4 万亿晶体管相当于数十颗 GPU 被熔铸在同一片晶圆上。900,000 个核心之间通过片上网络直连，配合 Weight Streaming 技术，从架构上消除了大模型训练的两大痛点：内存墙与通信开销。传统集群训练中，跨芯片的梯度同步消耗大量时间；而在晶圆级引擎上，这些"通信"变成了片上走线。

为什么晶圆级能做到快 30 倍​

晶圆级架构的原理优势集中在两点：

第一，无 reticle 限制。 传统芯片的尺寸受光刻机 reticle（曝光区域）约束，单 die 面积存在物理上限，算力扩展只能靠多芯片组网。Cerebras 通过晶圆拼接技术在整片 300mm 晶圆上制造出统一的计算平面，绕开了这个物理天花板。

第二，内存贴近计算。 44GB 片上 SRAM 与计算核心同晶圆集成，SRAM 延迟是纳秒级，带宽远超 HBM。对照行业趋势——NVIDIA 收购 Groq 后主推 SRAM-only LPU、d-Matrix 主推数字 SRAM 推理芯片——"内存贴近计算"正在成为推理架构的共同信仰，而 Cerebras 在这条路上已经走了三代。

代价同样清晰：散热与良率。15 kW 液冷整机只是单系统功耗；晶圆上任何一个缺陷区域都必须被冗余设计屏蔽，良率管理难度远超常规 die。这也解释了为什么晶圆级引擎至今仍是高投入机构的选择，而非大众市场商品。

100 亿美元电力协议：新的合作计量单位​

Cerebras 与 OpenAI 的协议核心不是芯片采购，而是电力——至 2028 年提供 100 亿美元规模的电力保障。AI 算力产业的稀缺资源排序已经悄然变化：芯片可以加急生产，数据中心可以快速搭建，但电网接入与发电能力是按年计的硬约束。"电力协议"正在取代"芯片订单"成为巨头间合作的计量单位，这与近期 Anthropic、OpenAI 动辄以吉瓦（GW）为单位锁定算力的趋势一脉相承。

配套动作同样值得注意：Cerebras 与 AMD 合作降低成本，借力 AMD 的封装与系统生态摊薄晶圆级方案的高昂制造成本。而 2026 年 10 月 2 日，Cerebras 又演示了解耦（disaggregated）芯片架构，实现推理吞吐 5 倍增益——将计算与内存功能在系统层面分离编排，为晶圆级架构打开了推理场景的新增长空间。

替代架构赛道全景：融资密度陡增​

Cerebras 不是孤军。2026 年以来，GPU 之外的架构创新密集获得资本加持：

公司	架构方向	融资/合作动态
Volantis	光子推理系统	8,800 万美元 A 轮
CScale	加速器光互连	1.45 亿美元 C 轮
Efficient Computer	数据流架构	9,700 万美元 B 轮，估值 6.5 亿美元
Q/C Technologies	纳米光子 OPU	与 Sandia 国家实验室合作
Cerebras	晶圆级引擎	OpenAI 100 亿美元电力协议

其中光计算路线尤其活跃。Volantis 的光子推理系统采用类 Face ID 的垂直腔面发射激光器（VCSEL）连接 AI 芯片与内存，用光替代电信号突破互连带宽瓶颈；Q/C Technologies 与 Sandia 国家实验室的纳米光子 OPU 则把光学计算单元推向更深的技术腹地。光互连解决的是"数据搬运"这个所有非 GPU 架构的公共瓶颈——当计算本身已经足够快，通信才是真正的墙。

GPU 之外的第三条路：先在推理落地​

训练市场的替代架构尝试屡屡受挫，但推理市场正在成为新架构的温床，原因有三：

1. 成本敏感。LLM serving 的成本结构决定了每 token 推理成本的微小改善会被海量请求放大为巨大商业价值，架构创新有了明确的回报标尺。
2. 架构可固化。训练需要灵活支持不断演进的模型结构，而推理负载相对稳定，SRAM 密集、流水线化的专用架构可以"固化"模型结构换取极致效率——这正是 LPU、数据流架构的共同打法。
3. 无生态包袱。推理可以通过 OpenAI 兼容 API 层屏蔽底层差异，绕开 CUDA 的护城河；训练则深度依赖框架与算子生态，迁移成本极高。

分析师将 Cerebras 与 AMD 并列为未来十年可能跑赢 NVIDIA 的两家，逻辑正在于此：AMD 靠性价比与开放生态蚕食存量市场，Cerebras 靠架构范式在增量市场（极致推理速度）开疆拓土。

小结​

Cerebras 的 30 倍速度宣称与 100 亿美元电力协议，共同标记了 AI 算力竞争的第二曲线：当 GPU 路线的边际改善趋缓，晶圆级、光计算、数据流架构正在从实验室走向商业化。晶圆级架构用"无 reticle 限制 + 内存贴近计算"换取极致速度，代价是散热与良率的持续攻坚；"电力协议"则揭示算力竞争的底层已是能源竞争。对行业而言，最现实的判断是：GPU 之外的第三条路会先在推理场景落地——那里成本敏感、负载稳定、生态门槛最低，也是 Cerebras、Volantis、Efficient Computer 们共同的战场。

所有 AI 芯片都在解决同一个问题：让数据离计算更近。Cerebras 的答案最为激进——干脆取消芯片边界，把整片晶圆变成一颗处理器。

WSE-3：一块 46225 平方毫米的"芯片"​

第三代晶圆级引擎 WSE-3 于 2024 年发布，沿用与前代相同的巨大外形，依靠制程升级堆叠性能：台积电 5nm 工艺，46225 平方毫米的面积上集成了 4 万亿晶体管和约 90 万个 AI 核心，44GB 片上 SRAM 均匀分布在整片晶圆表面。与英伟达 H100 的对比如下：

指标	Cerebras WSE-3	英伟达 H100	倍数
芯片面积	46225 平方毫米	约 814 平方毫米	约 57 倍
计算核心	90 万个 AI 核心	16896 个 FP32 核心	约 52 倍
片上内存	44 GB SRAM	约 50 MB	约 880 倍
内存带宽	21 PB/s	约 3 TB/s	约 7000 倍
片上结构带宽	214 PB/s	约 58 TB/s	约 3715 倍
峰值算力（FP16）	125 PFLOPS	—	—

每个核心都是独立的可编程稀疏线性代数核（SLAC），可以直接跳过零值计算；核心之间由名为 Swarm 的 2D 网格通信网络连接。44GB SRAM 让每个核心在单时钟周期内访问内存，这正是 Cerebras 推理速度优势的来源：以 16 位精度运行 Llama 3.1 8B 时每秒生成超过 1800 个 token，而基于 H100 的最优方案约为每秒 242 个。

晶圆级集成的三道难题​

把晶圆做成芯片要跨过三道坎。其一是良率：Cerebras 通过冗余设计应对制造缺陷——晶圆上预留额外核心，测试后屏蔽坏核即可正常出厂。其二是供电与散热：CS-3 系统峰值功耗约 23kW，需要定制化的供电分配与水冷系统，这也是其部署 footprint 较大的原因。其三是内存扩展：WSE 本身没有片外 HBM，Cerebras 用外挂的 MemoryX 设备将外部内存扩展至最高 1.2PB，单个逻辑内存空间可容纳高达 24 万亿参数的模型。

从"最快的训练机"到"最快的推理服务"​

有意思的是，Cerebras 商业化的转折点来自推理。2025 年初 DeepSeek-R1 发布后，推理模型的订单一度"压垮"了 Cerebras 的服务器——逐 token 的思维链生成恰恰吃满它的带宽优势。其推理服务在 Llama 3.1 405B 上跑出每秒 969 token 的输出，宣称比最优 GPU 方案快 12 倍。2026 年初，OpenAI 与 Cerebras 签署大规模算力采购协议，承诺采购 750MW 推理算力、分批部署至 2028 年，据公开报道合同金额超过 100 亿美元；AWS 也宣布将把 Cerebras 芯片引入其数据中心。这些订单支撑了 Cerebras 在 2026 年重启 IPO 进程。

小结​

晶圆级引擎是典型的"非共识但正确"路线：它牺牲了部署灵活性与单机通用性，换取了单模型推理的极致速度与极简的分布式编程模型。随着推理成本成为 AI 应用的主要瓶颈，"快"第一次有了直接的定价权。Cerebras 证明了架构创新在 GPU 巨头面前依然有生存空间——前提是找到让这种优势变现的场景。

每当 DeepSeek 发布新模型，国产芯片厂商的适配速度就成了软件栈成熟度的公开考试。从 0day 支持到性能调优，各家交出的答卷差异不小。

适配路径：两条技术路线​

国产芯片跑 DeepSeek 目前有两条主流路径。第一条是接入开源推理框架：通过 vLLM、SGLang 的硬件插件机制适配，昇腾的 vllm-ascend、寒武纪的 vLLM-MLU 都走这条路，好处是模型覆盖随上游社区自动扩展。第二条是自研推理栈深度调优：在自己引擎内做算子融合与并行策略定制，性能上限更高但适配周期更长。头部厂商普遍双线并行。

各家进展盘点​

厂商	硬件	适配方式	公开亮点
华为昇腾	Atlas 800I A2 等	vLLM/SGLang 插件	DeepSeek-V3.2-Exp 0day 支持并开源推理代码与算子
寒武纪	MLU 系列	vLLM-MLU 开源引擎	同步适配 V3.2-Exp，主打长序列稀疏 Attention 降本
海光	DCU	DTK 软件栈	宣布无缝适配与深度调优，强调 GPGPU 生态兼容
摩尔线程	MTT S5000	联合硅基流动	DeepSeek-V3 671B 满血版单卡 Prefill 吞吐超 4000 tokens/s，Decode 超 1000 tokens/s

以 2025 年 9 月底 DeepSeek-V3.2-Exp 发布为例：昇腾实现 0day 支持并开源全部推理代码，寒武纪同步完成适配并开源 vLLM-MLU 源码，海光宣布无缝适配加深度调优。三天内的响应速度说明头部厂商的模型结构级适配能力已经工程化、流水线化，不再是运动式攻关。

性能口碑怎么看​

公开数据要分清口径。摩尔线程联合硅基流动公布的 DeepSeek-V3 671B 单卡 Prefill 超 4000 tokens/s、Decode 超 1000 tokens/s，是集群级部署下分摊到单卡的分片吞吐，不能与单卡跑全量模型的场景混比。昇腾路线的优势在于生产案例密度：据社区年度回顾，互联网、银行、运营商等用户已基于 vLLM 加昇腾插件上线 DeepSeek V3.2、Qwen 系列、GLM 系列等十余个模型，覆盖智算平台与 MaaS 形态。寒武纪的叙事重点是把 V3.2 的稀疏 Attention 机制与自家算子结合，压低长序列场景的训推成本。

实操建议​

1. 选型前明确目标模型清单，让厂商在真实负载下跑 POC，重点看连续 72 小时压测的吞吐衰减与故障恢复。
2. 优先选有开源插件、活跃社区与公开性能报告的路线，闭源黑盒调优承诺要打折扣看。
3. 关注稀疏 Attention、FP8 等新模型特性的跟进速度，这比跑老模型快慢更能预示未来半年的体验。
4. 部署形态上多卡分片跑 MoE 大模型是当前主流，网络互联与调度软件的成熟度往往比单卡算力更影响实际效果。

在国产 AI 芯片的版图里，燧原科技是一个特立独行的存在：它没有走英伟达确立的 GPGPU 路线，而是基于自研指令集的领域专用架构（DSA），从驱动、编译器到算子库全栈自研。这条路风险极高，但 S60 单款 16 万片的出货量证明，它至少在推理市场跑通了。

四代五芯：一条完整的产品时间线​

燧原成立于 2018 年，创始团队来自 AMD 与腾讯体系。七年间迭代了四代架构共 5 款云端 AI 芯片，且全部一次流片成功：

年份	芯片	产品	定位
2019	邃思 1.0	云燧 T10	第一代云端训练
2020	—	云燧 i10	第一代云端推理
2021	第二代	云燧 T20、i20	训练与推理双线，累计出货超 3 万片
2024	邃思 320	燧原 S60	第三代大规模推理
2025	邃思 400	燧原 L600	第四代训推一体

支撑这一体系的是三大自研技术：GCU-CARE 计算单元、面向训练集群的 GCU-LARE 片间互联，以及全栈自研的"驭算 TopsRider"软件平台。

S60：把推理成本打到极致​

S60 基于第三代 GCU320 芯片，据官方产品手册，单卡配备 48GB 显存、672 GB/s 显存带宽，最大功耗 300W。它的成功不在单点参数，而在系统级组合：2024 年发布后迅速部署于甘肃庆阳智算中心，建成国内首个国产万卡推理集群；截至 2026 年，累计出货达 16 万片，支撑超过 300 个应用场景，覆盖大语言模型、多模态、搜索广告推荐等负载，落地规模跻身国产 AI 加速卡第一梯队。

软件侧，燧原将 vllm-gcu 等大模型推理软件栈项目在 Gitee 开源，模型适配周期从早期的一两个月缩短到数天甚至数小时，并支持 DeepSeek-V4 等主流开源模型的极速适配。

腾讯样本：股东即客户的深度协同​

燧原与腾讯的关系是理解其商业模式的钥匙。腾讯既是第一大股东，也是第一大客户：2025 年前三季度，对腾讯销售（含指定最终客户模式）占比达七成以上，双方已签订单可执行至 2027 年。更深一层的是"芯模协同"——腾讯混元新一代开源模型在设计阶段就充分考虑燧原硬件特性，反向定制模型结构，让芯片与模型互相成就。这种把协同前置到模型设计阶段的模式，在国产芯片公司中相当罕见。

2025 年燧原营收近 10 亿元，三年复合增长率约八成；2026 年上半年营收已达 11.2 亿元。公司于 2026 年 9 月登陆科创板，拟募资的 60 亿元将投向第五代、第六代芯片研发。第四代训推一体产品 L600 预计出货量将大幅超越 S60。

小结：DSA 路线的阶段性胜利​

燧原的复盘说明：在推理这个对成本和能效极度敏感的市场，专用架构加上全栈自研完全可能打赢通用路线。风险同样存在——客户高度集中、训练侧仍需突破、生态规模与 CUDA 相去甚远。但对于建设国产万卡级推理集群的智算中心而言，S60 已经是经过大规模验证的成熟选项，而 L600 能否把这套打法复制到训推一体市场，是燧原的下一场考试。

同一颗芯片，FP4 算力是 FP16 的十倍——这不是魔法，而是数值格式的游戏。2026 年，FP4 已成为旗舰 AI 芯片的标配，华为更推出自研 HiF8 格式宣称"精度接近 FP16"。低精度到底牺牲了什么、换来了什么？本文一次讲清。

浮点格式科普：位数与动态范围的权衡​

计算机用浮点数表示小数，格式由三部分组成：符号位、指数位（决定动态范围）和尾数位（决定精度）。AI 训练与推理的历史，就是一部不断"砍位数"的历史：

格式	总位数	指数/尾数	动态范围	典型用途
FP32	32	8/23	极大	科学计算、训练基准
TF32	19	8/10	大	Ampere 起的训练加速
BF16	16	8/7	大（同 FP32 指数）	大模型训练主流
FP16	16	5/10	中	传统混合精度
FP8	8	4/3 或 5/2	小	训练与推理加速
FP4	4	2/1	极小	大规模推理

规律很清晰：每砍一半位数，算力大约翻一倍——乘法器的面积与功耗近似随位数的平方增长，FP8 的张量核心天然比 FP16 快一倍，FP4 又比 FP8 快一倍。代价是动态范围急剧收缩：FP8 的表示范围只有 FP16 的几十分之一，FP4 更是只能表达十几到几十个离散值。大模型之所以"敢"用低精度，靠的是两项补救：逐 block 的缩放因子（把数值归一到格式能表达的区间）和海量参数带来的统计冗余。

Transformer Engine：自适应精度的工程答案​

低精度的难点在训练：梯度跨越多个数量级，格式选大了浪费算力，选小了梯度下溢训练崩溃。NVIDIA 的解法是 Transformer Engine（TE）：

• 第一代在 Hopper 上实现 FP8 自动切换；第二代（Blackwell）引入 FP4/FP6；
• 第三代（Rubin）支持硬件级自适应精度压缩，不需要重写模型代码即可动态切换精度——覆盖 FP4/FP6/FP8/FP16/BF16/TF32/FP32/FP64。

工作原理是逐层分析张量的数值分布：对分布平稳的层用 FP4，对敏感层自动回退 FP8 或 BF16。开发者不改代码，硬件与框架在运行时完成"每层选档"。这把低精度的使用门槛从"数值专家专属"降到了"默认开启"。

落到算力数字上：Rubin R200 提供 FP4 推理 50 PFLOPS、FP4 训练 35 PFLOPS、FP8/FP6 17.5 PFLOPS（均为 sparse 口径），相比 B200 的 FP4 约 10 PFLOPS 提升达 5 倍。

三种 FP4 方案对比：NVFP4、MXFP4 与 OCP 标准​

FP4 只有 4 个 bit，如何组织这些 bit 成了路线分歧：

维度	NVIDIA NVFP4	AMD MXFP4	OCP MX 标准
分组缩放	每 16 元素一组 E4M3 缩放 + 二级张量缩放	每 32 元素一组共享缩放因子	定义 FP4/FP6/FP8 的 microscaling 框架
设计取向	精度优先，双级缩放压误差	开放标准优先，跨厂商兼容	行业互操作
代表硬件	Rubin R200（FP4 50 PFLOPS）	MI455X（MXFP4 40.3 PFLOPS）	AMD、微软等共同推动

AMD MI455X 的精度阶梯同样遵循 OCP 体系：MXFP4 40.3 PFLOPS，MXFP6 与 MXFP8 各约 20.1 PFLOPS——位数减半、算力翻倍的规律清晰可见。NVIDIA 的 NVFP4 则通过更细粒度的双级缩放在同等位数下保留更多精度，代价是与 MX 生态不完全兼容。两条路线之争的实质是：精度保真度与生态开放性的权衡。

华为 HiF8：低精度高保真的差异化路线​

在 FP4 军备竞赛之外，华为给出了另一种思考。昇腾 950 系列首次引入自研 HiF8 格式——FP8 的位宽、FP16 的精度：

• 精度接近 FP16，算力比 FP16 提升 2 倍：传统 FP8 因指数/尾数分配激进，在训练中常出现精度损失，HiF8 通过重新分配位与缩放机制，把 FP8 位宽用出接近 FP16 的保真度；
• 配合 FP4 格式，整体算力利用率提升 30%+：HiF8 承担对精度敏感的训练主力计算，FP4 承担推理与容忍误差的部分，两者分工让芯片算力真正"跑得满"；
• SIMD + SIMT 双编程模型配合：Da Vinci v5 架构延续 SIMD 高效向量计算，新增 SIMT 支持灵活调度，配合 HiF8 提供昇腾 Core（ASIC）与 GPGPU 双生子型号，内存访问粒度从 512 字节细化到 128 字节。

昇腾 950 的算力配置印证了这条路线：FP8 1 PFLOPS、FP4 2 PFLOPS，训练仍以 FP8/BF16 为主、FP4 用于推理。与 NVIDIA"激进压精度换峰值"不同，华为选择"低位宽但高保真，保训练质量"。

低精度与模型质量的真实权衡​

厂商宣传中低精度近乎"免费午餐"，实际权衡需要冷静看待：

• 训练：FP8/BF16 混合精度已是主流且质量损失可控；FP4 训练仍处早期，对超大规模模型需要精细的逐层策略，HiF8 这类高保真格式正是为此而生；
• 推理：FP4 权重量化的质量损失在多数对话任务上难以察觉，但在数学推理、代码生成等长链任务上可能出现累积误差；
• 评估陷阱：低精度基准分数好看，不等于业务指标不掉——用你自己的真实负载做 A/B 验证，比看 datasheet 可靠得多。

稀疏算力口径：为什么厂商数字都是 sparse​

细心的读者会发现所有厂商算力数字都标注"sparse"（稀疏）。这是因为结构化稀疏技术把矩阵中一半为零值的元素跳过计算，理论上可让吞吐翻倍：sparse 数字 = dense 数字 × 2。

以 Rubin R200 为例，FP4 推理 50 PFLOPS 是 sparse 口径，dense 口径约为 25 PFLOPS；MI455X 的 FP16 矩阵算力 5 PFLOPS，含结构化稀疏为 10.1 PFLOPS。sparse 数字反映的是最佳情况的硬件上限，实际模型因稀疏度达不到 50%，通常拿不到翻倍收益。横向对比芯片时务必确认口径一致，否则对比没有意义。

给开发者的实操建议​

1. 训练默认 BF16 或 FP8：BF16 生态最成熟；FP8 配合 Transformer Engine 类自适应机制已可放心用于主流大模型，这是当前性价比最高的一档；
2. 推理大胆上 FP8：对质量影响极小，吞吐收益直接翻倍，应作为推理部署的默认选项；
3. FP4 分场景推进：对话、检索、推荐类负载可率先切换 FP4（NVFP4 或 MXFP4）；数学与代码等高精度敏感任务先做质量评测再灰度；
4. 确认算力口径：对比硬件时统一 dense/sparse 与格式口径，用真实模型的端到端 token 吞吐做最终裁决；
5. 关注高保真低精度格式：HiF8 的"FP8 位宽、FP16 保真"思路值得跟踪，尤其当你的训练在 FP8 上出现质量回退时。

小结​

从 FP32 到 FP4，每一次位宽减半都是一次算力翻倍的机会，也是一次精度风险的博弈。NVIDIA 用第三代 Transformer Engine 把自适应精度做成"默认开启"，AMD 押注 MXFP4 开放标准，华为则以 HiF8 走出"低精度高保真"的差异化路线。低精度不是无脑降档，而是一门在算力、精度与生态之间找平衡的手艺——用好它，同样的芯片预算可以多买一倍的智能。

国产 AI 芯片有两条路：一条是自建生态，长痛但自主；另一条是兼容现有生态，短痛但受制于人。海光选择了后者——DCU 系列"类 CUDA"的通用并行计算架构，加上底层兼容 ROCm 的 DTK 软件栈，让大量存量 CUDA 代码几乎不用改写就能跑起来。这在信创市场上是独一无二的卖点。

K100 AI：规格与定位​

海光 DCU 当前的主力出货型号是 K100 AI 加速卡，综合官方与公开采购资料，核心规格如下：

参数	K100 AI	备注
FP16/BF16 算力	192 TFLOPS	部分实测资料记约 180 TFLOPS
INT8 算力	392 TOPS	适合量化推理
FP32 算力	49 TFLOPS	兼顾科学计算
显存	64GB HBM2e	带宽约 896 GB/s（部分资料记 1.2 TB/s）
功耗	350W	PCIe 4.0 x16 接口
对标	约为 A100 的六至八成水平	单卡价格约为 A100 的一半

从规格看，K100 AI 不是算力最强的国产卡，但它的强项在于"友好"：整机环境仍是 x86 加 Linux，CentOS、Ubuntu、麒麟系统，GCC 编译器、MPI、Slurm 调度器全部原样保留，运维团队的学习成本接近于零。

DTK 软件栈：迁移成本低于一成的底气​

海光的 DTK（DCU Toolkit）基于 ROCm 异构计算架构深度定制，编程模型与 CUDA 高度相似。据公开报道，存量 CUDA 代码的迁移成本可低于 10%，PyTorch、TensorFlow、PaddlePaddle 等框架以及 vLLM、SGLang 等推理引擎均有适配，累计适配的大模型超过 365 款，包括 Qwen、Llama 系列等主流开源模型。实测层面，单卡可流畅支持 27B 级别模型的推理，配合 INT8 量化可覆盖更大参数规模。

这套体系的另一层价值在于 HPC：分子动力学、计算流体力学等传统科学计算代码同样基于 CUDA 或 ROCm 生态，海光是少数能同时承接 AI 与 HPC 混合负载的国产平台。

商业表现与下一代布局​

海光的独特性还在于它是国内少有的同时拥有 x86 CPU 与 GPGPU 双产品线的公司。2025 年公司营收 143.77 亿元，同比增长 57%，净利润 25.45 亿元，研发投入占营收近三成二。DCU 出货约 8.3 万颗，落地以金融、政务、制造等传统行业 AI 改造和运营商中小规模智算集群为主。

下一代 K200 据公开报道将于 2026 年第三季度批量交付，规格大幅跃升：FP16 算力 256 TFLOPS，配备 128GB HBM3e 显存、2.4 TB/s 带宽，最大支持 2048 卡集群。届时海光在显存和互联上的短板有望明显补齐。

小结：渐进式国产替代的最优解之一​

海光 DCU 的启示在于：国产替代未必需要一次革命。对于存量 CUDA 资产庞大、团队缺乏芯片适配经验、希望先跑通再扩容的企业，K100 AI 提供了迁移摩擦最小的路径。它的算力上限决定了不适合冲击千亿参数大训练，但在推理服务与混合计算负载中，它是稳妥且现货充足的选择。追求最小改动的团队，海光应当是选型清单上的第一个名字。

推理正在从"一张卡干所有活"走向"专用硬件干专项活"。Prefill 吃算力、Decode 吃带宽，这条基本规律正在重塑 2026 年的推理硬件市场——选型前先搞清楚你的负载属于哪一段。

一、推理负载画像：Prefill 与 Decode 是两件事​

一次大模型推理请求分两个阶段，瓶颈截然不同：

• Prefill（预填充）：把用户输入一次性算完，矩阵乘密集，是典型的 compute-bound 负载。算力（FP8/FP4）是瓶颈，显存带宽需求适中。
• Decode（解码）：逐 token 生成，每一步都要把全部权重和 KV Cache 从显存里读一遍，是典型的 memory-bound 负载。带宽决定吞吐，容量决定能塞下多长的上下文。

这条规律直接解释了 2026 年的两大产品趋势：昇腾把 950 拆成 950PR（Prefill 专用，1.4 TB/s 带宽）和 950DT（Decode + 训练，4 TB/s 带宽）两个版本；NVIDIA 收购 Groq 后，在 Vera Rubin 平台里给 LPU 留出正式位置——"GPU 管 Prefill，LPU 管 Decode"成为官方口径。

二、推理专用硬件成为趋势​

推理 ASIC 化是 2026 年最确定的产业方向：

• Google TPU 8i / 8t：按推理与训练分拆的第八代 TPU，站内卡口径显示 2027 年底量产，仅通过 Google Cloud 按小时计费。
• 昇腾 950PR / 950DT：同一 Da Vinci v5 计算核心配不同内存子系统。950PR 主攻 Prefill，FP4 算力 1.56 PFLOPS（Atlas 350 卡口径），112GB 自研 HiBL HBM；950DT 主攻 Decode，144GB HiZQ 2.0、带宽 4 TB/s。
• NVIDIA Groq 3 LPX：每 LPU 500MB 片上 SRAM、片上带宽 150 TB/s；256 颗组成机架后聚合带宽 640 TB/s、算力 315 PFLOPS。实测 Gemma 4 31B 单用户 3,431 token/s，首 Token 延迟低于 20ms——这是 GPU 很难摸到的延迟量级。
• OpenAI Jalapeño 等自研推理芯片：头部模型厂商自研推理 ASIC 的动作持续，推理负载的确定性让专用架构的性价比优势越来越难忽视。

结论：如果你的业务是千级并发的 Agent 调用，专用硬件已经从"可选项"变成"必选项"。

三、按场景推荐表​

场景	推荐方案	核心依据	参考价格（站内定价库）
低延迟对话 / Agent	Groq 3 LPX 机架；B300（FP4）	LPX 首 Token < 20ms、单 Token < 5ms；B300 NVFP4 短输出吞吐较 H200 最高提升 20 倍	LPX 机架推测 $800–1000 万/柜；B300 约 $52,000/卡
批量离线推理	B300 / H200	B300 FP8 口径吞吐 100,000+ tok/s，单 token 成本约为 H100 的 0.58 倍；H200 性价比稳健	H200 市场价约 $38,000
长上下文 / 长文档	H200 / B300 / Rubin R200	H200 141GB 可单卡加载 70B 模型；B300 288GB 装 70B FP16 后仍余 100GB+ 给 KV Cache；Rubin 显存带宽 22 TB/s	Rubin 单卡预测价 $85,000
国产 / 边缘与低成本	昇腾 950PR / 昆仑芯 R200 / 寒武纪思元690	950PR 面向视频推荐与实时交互；R200 仅 150W、INT8 256 TOPS、108 路视频解码；思元690 196GB HBM3 容量大	950PR 渠道价超 ¥8 万；思元690 约 ¥17.5 万；R200 未公开

场景之外还有两条通用原则：其一，Prefill 和 Decode 分离部署（P/D 分离）正在成为大厂标配，昇腾 950PR+950DT 的"异构推理流水线"就是为它设计的；其二，不要用训练卡凑合跑推理——训练卡的互联和精度配置是为反向传播优化的，推理场景下是花冤枉钱。

四、显存容量与 KV Cache：一笔必须先算的账​

模型权重之外，KV Cache 是推理显存的第二大占用，估算公式为：每 token 的 KV Cache = 2 × 层数 × KV 头数 × 每头维度 × 精度字节数。以主流 70B 级模型为例，FP16 权重约需 140GB，再叠加长上下文的 KV Cache 与激活值，就能解释选型表里的容量门槛：

• 141GB 的 H200：刚够单卡装 70B FP16 + 有限上下文，官方口径即"70B+ 单卡加载"。
• 288GB 的 B300：装完 70B FP16 后剩余 100GB+ 全部给 KV Cache，长上下文是它的主场。
• 432GB 的 MI455X / 22 TB/s 的 Rubin R200：为超长上下文与多模型并存准备，MLPerf Inference v6.1 中 Rubin 的 Qwen3-VL 吞吐较 GB300 NVL72 最高提升 3.7 倍。

容量决定"能不能跑"，带宽决定"跑多快"——Decode 阶段的吞吐几乎与显存带宽成正比，这就是为什么 4 TB/s 的昇腾 950DT 在长上下文生成场景能较 1.4 TB/s 的 950PR 提升约 2 倍。

五、成本视角：每 token 成本比每小时租金更重要​

比较推理硬件，正确指标是"每百万 token 的总成本"，它是吞吐、卡价与电费的合力。以站内 B300 卡引用的 Llama 70B 云端实测为参照：

GPU	吞吐量（tok/s）	每 GPU·小时	Token 成本（相对值）
H100 SXM	约 21,800	$2.00	1.0×（基准）
H200 SXM	约 31,700	$3.50	0.83×（省 17%）
B300（FP8）	100,000+	约 $8.00	0.58×（省 42%）
B300（FP4）	150,000+	约 $8.00	0.39×（省 61%）

结论很直白：B300 单价是 H100 的近两倍，但每 token 成本反而低四成以上。另一个常被忽略的变量是利用率——采购卡跑不满，单位成本会被空闲时间迅速摊薄。自建还是云租，取决于你的利用率曲线，这正是 TCO 测算要回答的问题。

不同方案的三年总成本差异，建议直接用站内 TCO 计算器 输入自己的利用率与电价实测；各卡的完整规格见完整对比表与对应芯片卡页面。

小结​

2026 年的推理选型可以压缩成三句话：先分清你的瓶颈在 Prefill 算力还是 Decode 带宽；延迟敏感的 Agent 场景认真评估 LPU 等专用硬件，吞吐敏感的批量场景看每 token 成本而不是卡价；显存先算 KV Cache 再谈容量，成本先算利用率再谈采购。Prefill/Decode 分离不是营销概念，而是每 token 经济学推导出的必然架构。

很多团队上线推理服务后都遇到同一个困惑：平均延迟 200ms，用户却总抱怨"卡"。答案是尾部延迟——决定体验的是最慢的那 1% 请求。本文从 P99 说起，聊推理服务 SLA 与弹性扩缩容的生产实践。

先把指标定对​

对话式 LLM 服务的延迟要拆成两段看：TTFT（首 token 时间）决定"反应快不快"，decode 吞吐决定"打得快不快"。对交互式应用，业界常见的 SLO 是 P99 TTFT 控制在数百毫秒以内；对异步批处理任务，可以放宽到秒级换取更高吞吐。这里有个经典陷阱：平均延迟掩盖问题。一个把平均响应时间改善四成、却把 P99 恶化两成的版本，对最差的那批用户就是明确的回归，上线前必须对比优化前后的分位数。

核心指标	含义	实践建议
P99 TTFT	首 token 时间的 99 分位	主 SLO 指标，超标持续 60 秒即告警
每池队列深度	等待 prefill 或 decode 槽位的请求数	容量压力最早的信号，作为扩容主信号
每卡 tokens 每秒	吞吐效率	请求量稳定但该值下滑，警惕 KV cache 抖动
KV cache 命中率	前缀缓存复用比例	据公开经验，低于三成需检查缓存配置
每千 token 成本	财务 SLO	按模型版本跟踪，捕捉上线后的成本回归

为什么不能按 GPU 利用率扩容​

传统 HTTP 服务按 CPU 利用率扩容的经验，在 GPU 推理上会系统性失效，原因有三：第一，GPU 利用率是滞后指标，等利用率冲高时队列早已堆积，尤其 decode 阶段是访存瓶颈，利用率与压力并不同步；第二，冷启动太慢，GPU 推理副本从调度到可服务要 30 至 90 秒，加载 70B 级模型权重可能要十几分钟，而流量尖峰 60 秒就冲过去了——扩容动作永远追不上尖峰；第三，张量并行组必须整体伸缩，2 卡 TP 组加 1 卡毫无意义，扩缩容要以完整模型实例为单位。

正确的主信号是队列深度：在请求开始排队之前扩容，而不是之后。再叠加预测性伸缩——推理流量有极强的日周期与周周期规律，提前 15 分钟预热远比事后追赶便宜。

分池调度与冷启动治理​

生产级方案通常把 prefill 与 decode 拆成独立资源池分别伸缩：流量突发时先扩 prefill 池（TTFT 恶化的元凶），decode 吞吐下滑时再扩 decode 池，混在一个池里互相挤兑是最常见的过度供给原因。入口层还要做准入控制：设置最大队列深度，超限返回 429 加 Retry-After 头，而不是让队列无限增长拖垮所有请求；再按租户做令牌桶限流，防止单个大客户的突发流量劣化全平台的 P99。

冷启动治理三板斧：保持至少 1 个热副本避免缩容到零；对必须缩到零的场景，用每 30 至 60 秒一次的保活探测或启动后的预热接口提前加载权重与 KV cache；LoRA 适配器在启动时预加载而非首次请求时加载。热池的代价据公开经验约为峰值算力的两到三成，这通常比尖峰时刻的 SLA 违约便宜得多。引擎侧选用基于 PagedAttention 与连续批处理的方案（如 vLLM），据公开评测可带来 2 倍以上的 P99 改善，是杠杆率最高的单项优化。

写在最后​

三条落地建议：第一，SLA 按 TTFT 与 decode 分段定义，全部用分位数告警，并把每千 token 成本与产品指标放在同一张大盘上；第二，扩缩容以队列深度为主信号、预测性伸缩为辅，按 prefill 与 decode 分池管理；第三，每次变更前后跑同一并发水位下的负载测试，验证 P99 而非平均值。推理服务的竞争力，最终体现在最慢的那 1% 请求上。