跳到主要内容

7 篇博文 含有标签「Architecture Comparison」

AI chip architecture comparison and analysis

查看所有标签

定制 ASIC 与通用 GPU:2026 年的分工与边界

· 阅读需 8 分钟
Industry Research Team

「ASIC 即将取代 GPU」这句话在 2026 年流传很广。但同期另外一组数据同样可靠:据公开报道,NVIDIA 在 2026 年上半年仍保留了 AI 加速器收入的 75% 到 81%。两句话同时为真,说明所谓替代正在发生的其实是分工重构,而不是此消彼长。

份额曲线与它的误读方式​

多家机构给出的预测方向一致。国信证券测算 2026 年 ASIC 芯片出货量约 770 万片、份额 45%,2027 年将超过 GPU 达到 58%,2030 年约 73%。高盛预测 AI 驱动的 ASIC 需求将在 2027 年与 GPU 需求平分秋色。TrendForce 预测 2026 年定制 AI 芯片出货量增长 44.6%,而同期商用 GPU 出货量增速为 16.1%——这是 AI 时代开启以来定制芯片增速首次显著超过通用 GPU。ASIC AI 服务器出货量预计从 2026 年占 AI 服务器总市场的 27.8% 提升到 2030 年的 39.5%。

这些数字最容易被误读的地方在于:出货份额不等于价值份额,也不等于算力份额。ASIC 的定义就是面向特定工作负载设计的芯片,它的每单位算力成本天然更低、上架量天然更小。用「片数」衡量一块 1.7 TB/s 内存的 TPU 和一块 288GB HBM4 的加速卡谁更重要,方法本身就是错的。

维度通用 GPU定制 ASIC
训练吞吐(TPS)更优,万卡集群成熟度更高快速追赶中
推理单位成本毛利结构给硅片成本加上明显溢价在目标工作负载上优 2 至 4 倍
算法灵活性高,模型架构变化可适应低,架构变更需重新设计
电力效率单芯片功耗高、功率密度大单位有效算力功耗通常更优
软件生态CUDA 生态十余年积累XLA、Neuron SDK 等可用但成熟度低
可得性任何买家可获得基本被云厂商封闭在自有云内
迭代周期12 至 18 个月每代 2 至 3 年

据 SemiAnalysis 与 Bernstein 的研究估计,在大规模推理部署中 ASIC 相比通用 GPU 的 TCO 优势达 40% 到 65%。AWS 官方称 EC2 Trn2 实例相较基于 GPU 的 P5e 与 P5en 实例,在大模型训练与部署上有 30% 到 40% 更好的性价比;SemiAnalysis 测试数据显示 Ironwood 的每百万 token 成本约 0.181 美元,低于 B200 的 0.222 美元与 B300 的 0.276 美元。

四个案例说明的四种路径​

Google 是最成熟的样本。据公开报道,其自研芯片已推动 2026 年第一季度云收入同比增长 63%;2026 年 5 月与黑石集团成立合资公司 TPU Cloud,黑石初始承诺出资 50 亿美元(含杠杆最高 250 亿美元),目标 2027 年上线约 500MW 容量——这是 TPU 诞生十年来首次在 Google Cloud 体系外进行大规模商业化销售。供应链上,Google 已向 Intel 下单生产超过 300 万颗 TPU,联发科也在切入下一代 TPU v10 的设计供应链,打破了博通的长期独占格局。

AWS 走的是外部客户路线。据公开报道,Amazon 于 2026 年 6 月 18 日确认洽谈向其他公司的数据中心出售 Trainium 芯片;内部芯片部门年收入的运行率已突破 200 亿美元,Anthropic 已承诺部署超过 100 万颗 Trainium 芯片、签约高达 5GW 的芯片容量。

OpenAI 提供了另一种范式。据公开报道,OpenAI 于 2026 年 6 月 24 日与博通联合发布首款定制推理芯片 Jalapeño,Celestica 负责板卡与机架集成,台积电负责制造。其总裁 Greg Brockman 表示依托自研大模型辅助优化,从顶层设计到流片仅耗时 9 个月;物理样品已于发布当日交付,计划 2026 年末小规模首批部署、2027 年爬坡、2028 年上半年规模化量产,远期规划总耗电最高 10GW。这条路径的关键在于不自建芯片团队,而是「模型公司定义架构 + 半导体公司实现制造」。

Meta 提供的是失败样本。据公开报道,Meta 于 2025 年 9 月以超 20 亿美元收购 RISC-V 芯片初创公司 Rivos,但半年后整合受挫,原因是现有员工与 Rivos 团队在薪酬和战略路线上冲突、围绕依赖 Meta 现有 IP 还是 Rivos 技术产生内斗,导致多个项目延期,有消息称项目已在内部被实质性取消。

这四个案例指向同一个判断:自研成功的关键变量不是预算规模,而是是否复用了成熟的硅片实现能力。Meta 的路径是收购团队,OpenAI 的路径是复用博通。

软件生态的锁定才是真边界​

一个容易被低估的事实是:定制芯片节省下来的钱,有相当一部分被吞进了迁移成本。NVIDIA 的 CUDA 生态有超过 400 万开发者、十余年的库积累;XLA、Neuron SDK、ONNX Runtime 功能上可用但成熟度低得多。迁移到一个为特定模型调优过的 ASIC,模型可能需要额外工作才能搬回 GPU 或另一朵云。

不过这笔账正在被改写。一方面,模型层正在收敛——主流开源权重让「同一模型跑在不同硬件上」的可行性提高;另一方面,异构推理的需求真实存在。NVLink Fusion 的出现本身就是证据:AWS 的 Trainium4 与 NVIDIA GPU 共用同一机架占位、冷却系统与配电系统,d-Matrix 则计划让自家 Raptor XPU 承担延迟敏感的 decode 阶段、NVIDIA GPU 承担计算密集的 prefill 阶段,二者在同一个机架架构内完成异构解耦。主流路线已经不是二选一。

另一个变化是采购入口的多样化。Anthropic 目前同时运行在 AWS Trainium、Google TPU、Azure GPU 以及洽谈中的 Microsoft Maia 四个硬件平台上;OpenAI 在使用 Trainium、AMD、Cerebras 的同时开始部署自研 Jalapeño。多芯片策略已经从前沿实验室的备用方案变成基础设施层的常态。

供应链侧的连带影响​

ASIC 崛起改变的不只是芯片本身。据公开报道,博通与迈威尔合计控制全球约 95% 的定制 AI ASIC 共同设计市场。博通 2026 财年第二季度 AI 半导体收入达 108 亿美元,同比增长 143%。Google 正在弱化对博通的依赖、引入联发科与迈威尔等设计伙伴,这种供应链分散会削弱单一设计伙伴的份额。

瓶颈也在转移。随着 ASIC 规模化部署,产业瓶颈正从算力转向连接:scale-up 方向的交换芯片与 CPO 技术受益于柜内连接升级,Trainium3 的机柜方案带来了大量增量 PCIe 芯片需求;scale-out 方向则由光模块与光互连承接需求。

展望​

2026 年之后真正的分工边界,是用「工作负载的可预测程度」划出来的,而不是用训练与推理来划。

可预测的负载——固定模型结构、稳定的请求模式、明确的成本压力——ASIC 的成本优势可以直接兑现,这解释了为什么推理侧是 ASIC 的主战场。不可预测的负载——新架构探索、小批量实验、多模态混合负载——GPU 的灵活性无可替代,这也是为什么即使 ASIC 份额上升,训练和前沿研究的默认选择仍然是 GPU。

最可能出现的终局不是谁吃掉谁,而是分层:通用 GPU 承担前沿研发与不可预测负载,ASIC 承担规模化、可预测的推理流量,两者通过开放的 scale-up 互连在同一机架内协同。这个判断有一个前提值得持续跟踪——软件栈的成熟度。如果 Neuron SDK 或 XLA 这类工具链的迁移成本在未来两年显著下降,ASIC 的份额曲线可能比上述预测更陡;如果生态锁定持续,58% 也许就是相当长时间内的上限了。

NVLink Fusion 生态 2026 进展:开放标准能否撼动 NVLink

· 阅读需 6 分钟
Industry Research Team

2025 年 5 月 Computex 上发布 NVLink Fusion 时,外界普遍把它当作 NVIDIA 应对定制 ASIC 的一张防守牌。一年半后再看,这张牌打出的规模超过了多数人的预期——包括那些本该是它对手的公司。

生态名单是怎么长起来的​

2025 年 5 月 18 日首发时,合作方包括联发科、迈威尔、Aldec 旗下的 Alchip、Astera Labs、新思科技、楷登电子、富士通和高通。2025 年 9 月 18 日,Intel 同意为 NVIDIA 制造定制 x86 CPU 通过 NVLink 连入 NVIDIA 基础设施,NVIDIA 同时以每股 23.28 美元投资 Intel 普通股 50 亿美元。10 月 13 日在 OCP 全球峰会上,Intel 与三星代工宣布加入;11 月 Arm 加入,其被授权方可构建原生带 NVLink 端口的 CPU。

到了 2026 年,节奏明显加快:

时间事件附带条件
2025-12-02AWS 在 re:Invent 表示 Trainium4 将对接 NVLink 6 与 MGX 机架同时保留自研 Graviton、EFA、Nitro
2026-01SiFive 加入,RISC-V 进入生态—
2026-03-31迈威尔战略合作,提供定制 XPU 与兼容 NVLink 的 scale-up 网络NVIDIA 投资 20 亿美元
2026-08-26NVLink Fusion 扩展至 NVHBM,Annapurna Labs 成为首家内存协作方AWS 子公司
2026-08-31联发科将 NVLink Fusion 作为客户 XPU 设计基础NVIDIA 投资 35 亿美元可转债
2026-09-10d-Matrix 将 Raptor XPU 接入 MGX 机架2026 年底前流片,2027 年四季度供货

AWS 这一条最关键。Trainium4 与 NVIDIA GPU 共用同一机架占位、同一冷却系统、同一配电系统,用 NVLink 6 交换机和 400G 定制 SerDes 互连,Neuron SDK 层面的 API 表面保持一致。这不是一份采购意向,是一条多代合作的起点。

NVHBM 为什么是真正的技术变量​

与生态扩张同步推进的还有内存方案。NVHBM 是 NVIDIA 与主要内存厂商合作的定制 HBM 基底裸片技术,把内存控制器和协议逻辑从加速器裸片搬进 HBM 基底裸片——这是一个结构性决策:加速器裸片上不再需要为内存控制逻辑付出面积。其公开口径是每堆栈带宽提升约 30%、基线 PHY 面积减少约 67%、每堆栈功耗降低约 15%,从而为计算逻辑多腾出约 30% 的裸片面积,端到端 XPU 性能提升约 30%。功耗下降那 15% 在数据中心尺度上的含义被 NVIDIA 换算成:每吉瓦级设施可多部署约 15000 颗 XPU。

另一侧的阵营属于开放标准。UALink 1.0 规范支持最多 1024 颗 GPU、200 GT/s 带宽,AMD、Intel、Broadcom 是主要推动者。据公开报道,UALink 至今尚未有量产硬件出货,而 NVLink 已经在 Blackwell NVL72 机架上规模部署。

以太网阵营同样在推进 scale-up。OCP 的 ESUN(Ethernet for Scale-Up Networking)工作组于 2025 年 10 月由 AMD、Arista、Arm、Broadcom、Cisco、HPE、迈威尔、Meta、微软、NVIDIA、OpenAI、Oracle 十二家公司发起——NVIDIA 一边卖 NVLink,一边在以太网标准组织里保留席位,是个教科书式的对冲。ESUN 1.0 于 2026 年 2 月定稿、3 月发布,参与公司已超过 175 家,其核心是一个 4 字节的 ESUN Header,替代通常 28 到 48 字节的 IP/UDP 头栈。Broadcom 贡献的 SUE 框架按层拆分后,传输层成为 SUE-T,负责 XPU 端点的可靠投递。

必须诚实标注的一点:SUE 文档中 64 颗 XPU、任意两点间最高 9.6 Tb/s、亚 2 微秒往返时延这些数字,是设计目标而非实测结果,不应被当作任何 SU-144 系统的实测属性来引用。

这套打法到底解决了什么​

NVLink Fusion 在技术上并不是新互连——它从第一天起就是 NVLink。变化的是商业模式:NVIDIA 从卖完整芯片和完整系统,叠加了一层授权模式。黄仁勋在 d-Matrix 合作时的表述是「NVLink Fusion 让伙伴能把定制硅片与 NVIDIA 在 NVLink、先进封装、机架级系统和网络技术上的深厚生态集成起来」。

对超大规模云厂商来说,这提供了一条中间路径:可以部署定制件,同时买入 NVIDIA 的机架架构、网络和软件栈。机架成为共享平台这件事有实际意义——数据中心的时间线与硅片迭代的时间线完全不同,取电、设计冷却、建造设施动辄数年,而加速器代际跑得飞快。

现实的分界线也很清楚。最支持开放解读的一个数据点是 Broadcom 至今不在 NVLink Fusion 名单里,而它是定制 ASIC 双雄之一,同时是 Google TPU 十余年来跨越六代的设计伙伴,也与 Meta 和 OpenAI 有合作。如果这些客户的自研芯片最终承受不住必须部署在 NVLink 兼容机架的压力,当前的阵营分界可能松动。但至少截至 2026 年 10 月,这件事还没有发生。

展望​

NVLink Fusion 面对的真正问题不是技术能否工作——AWS 的部署已经回答了这个问题——而是客户会不会在五年后重新评估这个选择。NVIDIA 用资本的介入换取了生态名单的扩张,迈威尔的 20 亿美元、联发科的 35 亿美元、Intel 的 50 亿美元,这些投资的结构化方式让它们很难轻易转向别处。

对采购和架构团队而言,现在值得做的判断只有两个:一是异构机架内的 scale-up 域正在成为规划假设而非未来情景;二是在有明确理由把 NVIDIA 排除在栈之外时,UALink 仍是可信路径。开放标准能否撼动 NVLink,目前还无法断言,但竞争已经从路线之争进入了生态投入之争——而后者比拼的是钱和耐心,不是规格表。

从 Tensor Core 到矩阵引擎:AI 算力单元十五年演进

· 阅读需 3 分钟
Industry Research Team

今天每一款 AI 芯片的规格表上,数字最大的那一行几乎都来自专门的矩阵计算单元,而不是通用核心。这些单元叫法各异——Tensor Core、MXU、Cube Core、MME——但都指向同一个设计判断:神经网络计算值得用专用电路来做。

起点:通用核心喂不饱神经网络​

深度学习计算的主体是矩阵乘法,模式极其规整:同样的乘加操作重复亿万次。早期的方案是在通用 GPU 核心上跑这些运算,效率不错但浪费——取指、调度、分支预测这些通用能力对矩阵乘毫无贡献。转折出现在 2016 到 2017 年:Google TPU v1 用脉动阵列(MXU)做 INT8 推理,数据在阵列中流动、逐拍被计算单元"接力"处理,省去了反复访存;NVIDIA 则在 Volta 架构中引入第一代 Tensor Core,把小型矩阵乘加指令下沉到硬件,每时钟周期可完成一组 4 乘 4 矩阵片段运算。矩阵计算从此有了专属电路。

Ampere 到 Hopper:精度阶梯与异步化​

NVIDIA 的演进路线最具代表性:

架构(年份)Tensor Core 代际关键能力
Volta(2017)第一代FP16 矩阵运算独立于 CUDA 核
Ampere(2020)第三代TF32 档位、2:4 结构化稀疏翻倍
Hopper(2022)第四代FP8、Transformer Engine 自动切精度、异步大块矩阵指令
Blackwell(2024)第五代FP4 微缩格式、attention 专项优化

这条脉络有两条主线:一是精度不断下探,FP16 到 FP8 再到 FP4,每一档都把单次运算的能耗和面积砍掉一大截,配套的格式管理机制(如自动缩放)保证精度可接受;二是执行方式从同步走向异步,矩阵指令直接在显存与计算单元之间搬运大块数据,减少寄存器中转,让算力单元的填充率更高。

不是一家的事:矩阵引擎的多种流派​

矩阵单元并非 NVIDIA 独有。Google TPU 的 MXU 是脉动阵列的代表,几代 TPU 始终坚持这一架构,用规整的数据流换取高能效。华为达芬奇架构的 Cube Core 走"三维立方运算"路线,一条指令完成一整块矩阵乘,Ascend 系列延续至今。寒武纪 MLU 核心同样以矩阵和向量单元为主体。Intel Gaudi 系列则把大矩阵引擎(MME)与可编程 VLIW 核搭配,一个负责稠密 GEMM,一个负责其余算子。各家实现细节差异很大,但方向一致:让矩阵乘法拥有专属的、尽可能宽的数据通路。

小结​

十五年演进可以压缩成一句话:算力单元从"通用核心顺便做矩阵"走向"整颗芯片围着矩阵引擎转"。精度下探仍有空间,但物理极限渐近,下一阶段的竞争点正在从单单元峰值转向数据搬运效率——显存带宽、片上 SRAM、互连拓扑。选型时看算力单元,不要只看峰值 FLOPS,要看它背后的数据供给能力:算得快的前提是喂得快。

统一内存大乱斗:128GB、192GB、748GB、288GB 谁才是最优解?

· 阅读需 6 分钟
Industry Research Team

2026 年秋天,"统一内存"成了 AI 硬件圈最卷的词。AMD 和 NVIDIA 在 AI PC 上贴身肉搏,桌面端堆出 748GB 的"超算",数据中心则用 HBM4 把带宽拉到 22TB/s。容量数字一路上涨,但真正决定体验的,是那个藏在参数表角落里的带宽。

统一内存要解决什么​

传统 PC 架构里,CPU 和 GPU 各管一摊内存:模型文件躺在系统内存里,推理前要先通过 PCIe"搬运"到显存,模型一大,加载时间以分钟计,显存不够还会溢出到磁盘。统一内存的思路是把这堵墙拆掉——CPU 和 GPU 共享同一块物理内存,模型加载变成一次指针映射,权重不用搬,KV Cache 也能被两个处理器同时访问。

AMD 用 VGM(可变显存滑块)实现这一点:Ryzen AI Max+ 395 的 128GB 内存里,最多 96GB 可划给 GPU 当显存;新的 Pro 495 则允许从 192GB 里划出 160GB。NVIDIA 的路线更彻底,RTX Spark 的 GB10 超级芯片通过 NVLink-C2C 让 Arm CPU 与 Blackwell GPU 直接共享 128GB LPDDR5X,地址空间完全一致。

四档产品对比表​

2026 年 10 月的市场上,统一内存产品已经拉开四个档次:

档位产品统一内存可分配给 GPU带宽定位
AI PC 旗舰NVIDIA RTX Spark(GB10)128GB LPDDR5X共享统一内存300GB/s笔记本/紧凑桌面,跑 120B 模型
AI PC 旗舰AMD Ryzen AI Max+ 395128GB LPDDR5X96GB(VGM)256GB/s端侧 70B 完整推理
AI PC 增配AMD Ryzen AI Max Pro 495192GB LPDDR5X160GB(VGM)约 272GB/s本地离线跑 100B 级模型
桌面超算DGX Station for Windows(GB300 Ultra)748GB(252GB HBM3e + 496GB LPDDR5X)一致性内存7.1TB/s(GPU 侧)万亿参数模型桌面开发
数据中心Rubin R200288GB HBM4全部显存22TB/s机架级训练与推理

值得注意的是两家新品发布的贴身节奏:AMD 在 10 月 5 日公布 Pro 495,两天后 NVIDIA 就办了 RTX Spark 新品活动。AMD 还准备了后续牌——代号 Gorgon Halo 的 Ryzen AI Max 400 同样最高 192GB,Pro 495 加速到 5.2GHz,并宣称是首款能在本地跑 300B 级模型的 x86 客户端处理器。整机侧,联想 YOGA Pro 15 搭载 RTX Spark,统一内存规格为 9400MT/s、256-bit 位宽。

带宽才是隐藏变量​

把四档产品的带宽排成一列,差距比容量悬殊得多:256GB/s(395)、约 272GB/s(Pro 495)、273GB/s(DGX Spark 64GB)、300GB/s(RTX Spark 128GB),再到 7.1TB/s 与 22TB/s——AI PC 与数据中心之间差了整整两个数量级以上。

这解释了一个反直觉的现象:容量相同的两台机器,token 生成速度可能差出数倍。大模型推理的 decode 阶段是典型带宽受限负载,每生成一个 token 都要把权重和 KV Cache 扫一遍,带宽直接决定每秒吐出多少字。RTX Spark 靠 300GB/s 在四款 AI PC 里领先;而 DGX Station 的 748GB 之所以值钱,不只因为容量能装下万亿参数,更因为 252GB HBM3e 提供的 7.1TB/s 带宽让模型真的跑得动,而不是"装得下、跑得慢"。

还有一档容易被忽略:DGX Spark 双机通过内置 ConnectX-7 的 QSFP 直连,可把内存池化到 128GB,模型上限提升至 2000 亿参数级,Qwen3.8 27B 实测峰值较单台提升最高 70%——用网络扩展统一内存,是介于单机和工作站之间的第三条路。

VGM 与 CUDA 统一内存的分配策略差异​

同样叫统一内存,AMD 和 NVIDIA 的分配哲学并不相同。AMD 的 VGM 是显式的静态划分:用户拖滑块决定划多少 GB 给 GPU,划出去的部分 CPU 不能再用。优点是行为可预测、显存语义清晰,对 llama.cpp、Stable Diffusion 这类工具友好;代价是弹性差,划多了浪费、划少了要重划。

NVIDIA 的 CUDA 统一内存是动态的:CPU 与 GPU 共享统一地址空间,按需在两者间迁移页面。开发者不用预判"该分多少",跑什么模型都是同一套逻辑;但页面迁移的粒度和时机由运行时控制,遇到突发访问模式时可能引入抖动。对追求开箱即用的消费用户,CUDA 路线体验更顺滑;对需要稳定显存预算的 Agentic 工作流,VGM 的确定性反而更吃香。

选型建议:按模型规模分档​

需求推荐档位理由
7B-30B 模型、日常 AgentRTX Spark / 锐龙 AI Max+ 395(128GB)容量富余,带宽 256-300GB/s 足够流畅
70B-100B 模型、隐私敏感锐龙 AI Max Pro 495(192GB / 160GB VGM)本地离线跑 100B 级,数据不出机
200B 模型、桌面开发双机 DGX Spark(池化 128GB)ConnectX-7 直连扩展,成本低于工作站
万亿参数、专业工作流DGX Station(748GB)HBM3e 带宽保证可用性
生产级服务Rubin R200(288GB HBM4 / 22TB/s)机架级并发与吞吐

小结​

统一内存之战没有单一最优解:128GB 与 192GB 争夺 AI PC 入场券,748GB 的 DGX Station 把数据中心内存架构搬上桌面,288GB HBM4 则继续守卫机架级吞吐。选型的第一变量不是容量,而是带宽——256GB/s 与 22TB/s 之间隔着三个数量级的体验鸿沟;第二变量是分配策略——VGM 的确定性划分与 CUDA 的动态迁移各有适配场景。先想清楚要跑多大的模型、多少并发,再看参数表,才不会被大数字带偏。

晶圆级 vs 芯粒:两条极限算力路线的碰撞

· 阅读需 4 分钟
Industry Research Team

当整个行业都在拥抱芯粒时,Cerebras 却坚持把一整片 12 英寸晶圆做成一颗芯片。2026 年,这条"离经叛道"的路线迎来了 CS-4 量产与纳斯达克上市的双重节点。晶圆级与芯粒,究竟谁代表极限算力的未来?

晶圆级:把晶圆当芯片用​

Cerebras 的 WSE-3 是迄今最大的商用芯片之一:整片 300mm 晶圆不切割,4 万亿晶体管、约 90 万个 AI 核心通过片上网络互联,片上 SRAM 达 44GB,片内带宽据厂商数据高达 21 PB/s——这是"消灭数据搬运"的极致设计,芯片面积达到约 4.6 万平方毫米。

2026 年 8 月,Cerebras 发布了基于三片 WSE-3T 晶圆的 CS-4 系统:AI 算力 750 PFLOPS,晶圆间带宽 129.6 PB/s,宣称在 GPT-OSS-120B 上实现单用户每秒超过 4400 个 tokens 的生成速度。Hot Chips 2026 上,公司进一步公布了 Nexus 背包式供电架构——直接从铜排背面给晶圆供电,省去 PCB 与基板的传输损耗,使同等硅片性能翻倍——以及 2027 年 WSE 新一代硅片与集成堆叠 DRAM 的 CS-6 规划。资本市场也给出认可:据公开报道,Cerebras 以每股 185 美元登陆纳斯达克,募资约 55 亿美元,并与 OpenAI 签订了至 2028 年最高 750 兆瓦的算力协议。

芯粒:良率与成本的最优解​

与晶圆级的"整片浇筑"相对,芯粒路线选择"化整为零":把计算、缓存、I/O 拆成小芯粒分别流片,再用先进封装拼合。英伟达 Rubin R200 的 2 颗计算 die 加 2 颗 I/O die 加 8 堆栈 HBM4 组合、AMD MI400 系列、以及华为昇腾等国产主力芯片,走的都是这条路。芯粒的优势在于小 die 良率高、可混搭制程、封装组合灵活,是当前商业化的绝对主流。

维度晶圆级(Cerebras WSE)芯粒(Rubin、MI400 等)
面积哲学整片晶圆即芯片,约 4.6 万平方毫米多颗小 die 拼合封装
片上存储44GB SRAM,片内带宽 PB/s 级依赖 HBM,单卡容量 288GB 级
强项场景超低延迟推理、Agent 实时交互训练、大显存推理、通用部署
软件生态独立 SDK,需专门适配CUDA、ROCm 生态广泛覆盖
商业模式云服务与超大客户直销通用硬件大规模出货

两条路线的适用边界​

晶圆级的瓶颈同样明显:44GB SRAM 装不下千亿参数模型,需要外部流式供数或多晶圆互联扩展;单系统功耗高达 25 千瓦级,必须定制工业液冷;客户集中度极高,据招股材料,其阿联酋大客户曾占公司收入的 85% 以上。它注定是一条"特种尖刀"路线,专注低延迟推理、超长上下文与科研超算等小众高价值场景——毕竟 Agent 应用是"没有耐心的",每秒数千 tokens 的单用户体验正是 GPU 集群最难优雅解决的痛点。

芯粒则是规模化基本盘:性能上限虽受封装互联约束,但良率、成本与生态兼容性全面占优,能覆盖从单卡到超节点的全部市场。这也是国产算力选择以芯粒为主攻方向的根本原因——成熟制程产能加自主先进封装,是当前产业禀赋下性价比最高的突围路径。

结语:碰撞之外,各守一极​

晶圆级与芯粒并非零和竞争,而是从两端同时凿穿"访存墙"的两种尝试:前者把存储距离压到零,后者用先进封装逼近光罩物理极限。2027 年之后,随着延迟敏感型推理负载占比上升,晶圆级路线的商业空间可能继续扩大;而在通用算力市场,芯粒的地位短期内无可撼动。真正的输家,也许是停留在单片巨 die 时代、两头都不沾的中间路线。

寒武纪 MLU690 vs NVIDIA H100 深度对比:国产 AI 芯片能否替代 H100?

· 阅读需 6 分钟
AI Hardware Analyst

2026 年,在美国对华芯片出口管制背景下,寒武纪 MLU690 作为"中国版 H100"备受关注。本文从算力、显存、功耗、软件生态、实测性能、价格等维度深度对比,帮助您做出选型决策。

核心结论(先看这里)​

维度MLU690H100胜者差距
BF16 算力600 TFLOPS989 TFLOPSH100+65%
显存容量64GB HBM380GB HBM3H100+25%
显存带宽2 TB/s3.35 TB/sH100+68%
TDP280W700WMLU690-60%
能效比2.14 TFLOPS/W1.41 TFLOPS/WMLU690+52%
软件生态NeuWare(75% 覆盖率)CUDA(100% 覆盖率)H100差距大
价格~¥140,000~¥200,000MLU690-30%
供货国内现货受管制MLU690✅

一句话总结:MLU690 算力约为 H100 的 60%,但功耗仅 40%,价格仅 70%,适合中国市场 AI 训练和推理。


1. 规格对比(详细)​

1.1 算力对比​

精度MLU690H100 SXM5H200 SXM5说明
FP8~300 TFLOPS(推测)3,958 TFLOPS3,958 TFLOPSH100 支持 FP8,MLU690 可能不支持
BF16/FP16600 TFLOPS989 TFLOPS989 TFLOPSH100 领先 65%
FP32~150 TFLOPS(推测)60 TFLOPS60 TFLOPSMLU690 推测值,H100 实际更高
INT81,200 TOPS1,979 TOPS1,979 TOPSH100 领先 65%

关键发现:

  • ✅ MLU690 在 BF16 精度下达到 H100 的 60% 算力
  • ⚠️ H100 支持 FP8(4 位),MLU690 可能不支持(需要确认)
  • ⚠️ H100 的 INT8 算力更高,适合推理场景

1.2 显存对比​

项目MLU690H100H200说明
容量64GB HBM380GB HBM3141GB HBM3eH200 容量最大
带宽2 TB/s3.35 TB/s4.8 TB/sH200 带宽最高
类型HBM3HBM3HBM3eH200 使用最新 HBM3e

关键发现:

  • ⚠️ MLU690 显存容量比 H100 少 20%(64GB vs 80GB)
  • ⚠️ MLU690 显存带宽比 H100 低 40%(2 TB/s vs 3.35 TB/s)
  • ❌ 运行 70B+ 参数模型时,MLU690 可能显存不足(需要模型并行)

1.3 功耗对比​

项目MLU690H100H200
TDP280W700W700W
能效比(FP16/W)2.14 TFLOPS/W1.41 TFLOPS/W1.41 TFLOPS/W
8 卡服务器功耗~3.5kW~6kW~6kW
年电费(¥0.6/kWh)~¥18,400~¥36,800~¥36,800

关键发现:

  • ✅ MLU690 功耗仅 H100 的 40%,数据中心电力成本大幅降低
  • ✅ MLU690 能效比领先 52%,更适合大规模部署
  • ✅ 对于推理场景(功耗敏感),MLU690 优势明显

2. 软件生态对比​

2.1 框架支持​

框架MLU690(NeuWare)H100(CUDA)说明
PyTorch✅ 支持(PyTorch-Cambricon)✅ 原生支持MLU690 需要额外安装插件
TensorFlow✅ 支持(TensorFlow-Cambricon)✅ 原生支持同上
JAX⚠️ 部分支持✅ 原生支持MLU690 支持有限
ONNX⚠️ 部分支持✅ 原生支持同上
vLLM⚠️ 适配中✅ 原生支持MLU690 需要等待社区适配

2.2 算子覆盖率​

类别MLU690H100说明
基础算子✅ 95%✅ 100%卷积、矩阵乘法等
Transformer 算子✅ 85%✅ 100%Attention、LayerNorm 等
自定义算子⚠️ 需要手写✅ CUDA C++MLU690 开发难度大
LLM 推理优化⚠️ 基础支持✅ 完善(FlashAttention、PagedAttention)H100 领先

关键发现:

  • ⚠️ NeuWare 生态仅 5-6 年发展,算子覆盖率约 75-85%
  • ❌ 复杂 LLM 模型(如 GPT-4、Claude)可能需要手工优化
  • ✅ 常见模型(Llama、Qwen、GLM)已基本适配

3. 实测性能对比​

3.1 训练性能​

模型MLU690(训练时间)H100(训练时间)加速比
Llama 7B~48 小时(推测)~30 小时1.6x
Llama 70B~7 天(推测)~4.5 天1.6x
Qwen 72B~8 天(推测)~5 天1.6x

注意:以上数据为推测,实际性能取决于软件优化程度。

3.2 推理性能​

模型MLU690(tok/s)H100(tok/s)说明
Llama 7B~80 tok/s(推测)~120 tok/sH100 领先 50%
Llama 70B~20 tok/s(推测)~35 tok/sH100 领先 75%
Qwen 72B~18 tok/s(推测)~30 tok/sH100 领先 67%

关键发现:

  • ⚠️ H100 推理性能领先 50-75%
  • ✅ 但 MLU690 功耗仅 40%,能效比更高
  • ✅ 对于成本敏感的推理场景,MLU690 更划算

4. 价格对比​

4.1 硬件采购成本​

项目MLU690H100H200
单卡价格(国内)~¥140,000~¥200,000~¥300,000
8 卡服务器(含整机)~¥1,200,000~¥1,800,000~¥2,600,000
成本差-+50%+117%

4.2 TCO(3 年)​

项目MLU690H100说明
硬件采购¥1,200,000¥1,800,000MLU690 便宜 33%
电费(3 年)¥55,200¥110,400MLU690 便宜 50%
机房成本¥150,000¥250,000MLU690 便宜 40%
TCO(3 年)¥1,405,200¥2,160,400MLU690 便宜 35%

关键发现:

  • ✅ MLU690 的 TCO 比 H100 低 35%
  • ✅ 对于大规模部署(100+ 卡),成本优势明显

5. 选型建议​

5.1 选 MLU690,如果...​

  • ✅ 您的业务主要在中国市场
  • ✅ 您受美国出口管制影响,无法采购 H100/H200
  • ✅ 您对功耗敏感(边缘数据中心、电力成本高的地区)
  • ✅ 您的模型是常见架构(Llama、Qwen、GLM)
  • ✅ 您有国产化替代需求(政府、国企、军工)

5.2 选 H100/H200,如果...​

  • ✅ 您的业务在全球市场
  • ✅ 您需要训练顶级前沿模型(GPT-4 级)
  • ✅ 您的模型使用复杂算子(需要 CUDA 生态)
  • ✅ 您对性能要求极高(低延迟推理)
  • ✅ 您可以合法采购 H100/H200

5.3 混合部署(推荐)​

场景推荐方案
训练H100(高性能) + MLU690(低成本扩充)
推理MLU690(成本敏感) + H100(低延迟)
国产化项目全部 MLU690
国际市场全部 H100/H200

6. 未来展望​

6.1 MLU690 的不足​

  • ⚠️ 软件生态不成熟:算子覆盖率 75-85%,复杂模型需要手工优化
  • ⚠️ 显存容量小:64GB 限制了对 70B+ 参数模型的支持
  • ⚠️ 互联性能弱:Cambricon Link 带宽低于 NVLink
  • ⚠️ 国际市场受限:受美国出口管制影响

6.2 MLU690 的改进方向​

  • 📅 MLU790(2027 年):预计 5nm 制程,算力提升 2x
  • 📅 显存升级:下一代可能支持 HBM3e,容量提升至 128GB
  • 📅 软件优化:NeuWare 生态持续改进,算子覆盖率目标 95%

7. 总结​

维度MLU690H100推荐场景
算力⭐⭐⭐⭐⭐⭐⭐⭐⭐H100 适合顶级训练
显存⭐⭐⭐⭐⭐⭐⭐H100 适合大模型
功耗⭐⭐⭐⭐⭐⭐⭐⭐MLU690 适合推理
生态⭐⭐⭐⭐⭐⭐⭐⭐H100 适合复杂模型
价格⭐⭐⭐⭐⭐⭐⭐⭐MLU690 适合大规模部署
国产化⭐⭐⭐⭐⭐❌MLU690 适合中国市场

最终建议:

  • 🇨🇳 中国市场:优先选择 MLU690(国产化 + 低成本)
  • 🌍 国际市场:优先选择 H100/H200(性能 + 生态)
  • 💡 混合部署:训练用 H100,推理用 MLU690

参考资料​


声明:本文数据基于公开资料和合理估算,实际性能以厂商官方测试为准。MLU690 的软件生态在快速发展中,建议持续关注 NeuWare 更新。

最后更新:2026-06-23

GPU vs NPU vs TPU:三种 AI 加速架构深度对比,你应该用哪种?

· 阅读需 5 分钟
Industry Research Team

AI 加速芯片领域有三大主流架构:GPU、NPU 和 TPU。再加上近年出现的 LPU(语言处理器),很多开发者搞不清它们之间的区别。

本文从架构设计理念、生态成熟度、实际性能表现、部署成本四个维度进行对比。