18 篇博文 含有标签「Inference Chip」

当整个行业在"堆算力"上内卷时，SambaNova 选择回答另一个问题：推理效率取决于喂饱计算单元的能力，而不只是计算单元本身。

RDU：可重构数据流架构​

SN40L 的核心是可重构数据流单元（Reconfigurable Dataflow Unit，RDU）。它没有采用传统的"CPU 式取指执行"或"GPU 式 SIMT"，而是把计算组织成可编程的数据流图：每个 RDU 插槽包含 1040 个模式计算单元（PCU）与 1040 个模式内存单元（PMU），通过可编程的数据流网络互连。

芯片采用台积电 5nm 工艺与 2.5D CoWoS 封装，集成两个 RDU 计算裸片，单插槽峰值算力为 638 TFLOPS（BF16），片上聚合内存带宽达数百 TB/s 量级。这种架构最大的价值在于算子融合：编译器可以把数百个复杂操作合并为一次内核调用，把中间结果留在片上。以论文中给出的 Monarch FFT 为例，未融合时算术强度为每字节约 39.5 次操作，完全空间融合后提升至约 410 次——外部访存需求大幅下降。

三层内存：SRAM、HBM、DDR 各司其职​

SN40L 最具辨识度的设计是三层内存体系：

内存层级	容量（每芯片）	角色
片上 SRAM（PMU）	520 MB	最高带宽，紧贴计算单元
片上 HBM（封装内）	64 GB	存放正在运行的模型与热点数据
可插拔 DDR DRAM	最高 1.5 TB	存放更多模型与检查点

这个设计的巧思在于容量与成本的平衡：HBM 贵而小，DDR 便宜而大。模型从 DDR 加载到 HBM 的速度超过 1 TB/s，因此一套 16 芯片的 SambaRack 拥有 24TB DDR，可以在单系统中驻留 DeepSeek-R1 671B 这样的大模型，也能同时服务大量小模型。SambaNova 披露，在混合专家推理部署中，SN40L 相比 DGX H100 端到端提速 3.7 倍，模型切换时间提升 15 至 31 倍，机房占地最多缩减 19 倍；整rack采用风冷，功耗约 10kW，远低于晶圆级方案的 23kW 水冷系统。

企业推理的差异化路线​

SambaNova 与 Cerebras、Groq 的公开对比揭示了路线差异：Cerebras 擅长单用户极致 token 速度，但 SambaNova 指出其每片 LPU 仅约 230MB SRAM、无片外内存，服务 70B 模型需要数百颗芯片；而 SN40L 用 16 颗芯片即可完成同类部署。换句话说，SambaNova 押注的是"多用户、多模型、企业级"的推理经济学，而非单点跑分。

据公开报道，2026 年 2 月 SambaNova 发布了下一代 SN50 芯片，宣称面向智能体 AI 工作负载提供 3.2 PFLOPS FP8 算力，三层内存可支持高达 10 万亿参数模型，软银成为首个客户，公司同期完成超过 3.5 亿美元融资，并宣布与 Intel 展开多年期软硬件协同合作。

小结与建议​

SN40L 的启示在于：推理时代的竞争正在从峰值算力转向"单位 token 的系统经济学"。如果你的业务是多租户、多模型的企业 AI 平台，或需要频繁切换模型、在私有环境部署超大模型，三层内存架构提供了 GPU 集群难以复制的容量弹性；如果追求单用户最低延迟，晶圆级与 LPU 路线可能更合适。选型的关键，是先弄清自己的负载形状。

The Information 报道 NVIDIA 计划投资推理芯片对手 d-Matrix；同日，NVIDIA 参投的 Upscale AI 发布跨厂商互联平台 Token Fabric。从收购 Groq 到开放 NVLink Fusion，霸主的应对方式正在从对抗转向"收编"。

NVIDIA 计划投资 d-Matrix​

据 The Information 10 月 8 日报道，NVIDIA 计划投资 d-Matrix——一家 AI 推理芯片初创公司，同时也是 NVIDIA 产品线的直接竞争对手。交易条款和金额未披露。

值得注意的不是交易本身，而是报道给出的框架：d-Matrix 等"挑战者"正选择与 NVIDIA 合作，而非独立竞争。一家推理芯片公司拿到行业霸主的投资，这本身就是对"独立挑战"路线的一次重新定价——市场开始默认，与霸主同行可能比与其对抗更有前途。

Token Fabric：连接竞争对手的互联平台​

同日（10 月 8 日），NVIDIA 参投的 Upscale AI 发布 Token Fabric 平台。它的设计目标很特别：在同一个数据中心内连接多家竞争供应商的 AI 芯片，解决不同厂商芯片生态互不兼容所造成的网络孤岛问题。

在异构算力混布逐渐成为常态的背景下，多厂商芯片组网确实是真实痛点——数据中心里同时存在多家供应商的加速器时，网络层的不兼容会显著抬高部署成本。但一个由 NVIDIA 参投背书的多厂商互联标准，其"中立性"天然存疑：治理权在谁手里，标准就会向谁倾斜。

背景对照：从收购到开放的组合拳​

把近期动作放在一起看，NVIDIA 对推理层挑战者的策略是一条清晰的轨迹：

动作	内容	作用
收购 Groq	此前完成收购	直接消除一个推理挑战者并吸收其技术
开放 NVLink Fusion	允许伙伴集成自定义 CPU/加速器	把第三方设计拉进 NVIDIA 互联生态
投资 d-Matrix	推理芯片直接对手，条款和金额未披露	用资本绑定潜在对手
Token Fabric	参投 Upscale AI 发布，连接多家竞争供应商芯片	在互联标准层保持话语权

Inference 层是当前竞争最激烈的新战场：推理需求随应用爆发持续放量，而推理芯片的技术门槛与训练芯片不同，给了初创公司更多切入空间。NVIDIA 的回应是全套组合拳——能收购的收购，能投资的投资，能开放的开放，把每一个可能的威胁转化为生态的一部分。

市场涟漪：算力资产金融化​

同期两条市场消息进一步扩大了观察视野：

• 亚马逊拟向投资者转让约 80 亿美元的 NVIDIA 芯片，采用售后回租模式以缓解现金流压力；
• SpaceX 拟融资 400 亿美元采购英伟达芯片，由 Apollo 牵头，结构约为 100 亿美元银行贷款加 300 亿美元投资级债务。

AI 算力正在被金融工具深度改造：芯片从单纯的固定资产，变成可转让、可抵押、可回租的资产类别。售后回租和芯片抵押融资的出现，既反映了算力需求之热，也提示了部分买家的资金链已经绷得很紧。

分析：竞合逻辑的三层解读​

**对 NVIDIA：收编优于对抗。**面对推理挑战者，正面对抗意味着价格战和生态战，成本高且结果不确定；用资本和生态把挑战者拉进自己的轨道，既消解威胁又吸收创新。NVLink Fusion 开放、投资 d-Matrix、支持 Token Fabric，本质上是同一战略的不同侧面。

**对 Token Fabric：中立性是最大考题。**一个由 NVIDIA 参投的公司推出的"多厂商互联标准"，其他厂商接受它的前提是治理结构足够中立。如果标准最终被视作 NVIDIA 生态的延展工具，其多厂商价值将大打折扣，AMD、博通等厂商是否愿意接入将成为试金石。

**对推理芯片创业公司：独立生存空间收窄。**d-Matrix 选择与 NVIDIA 合作，说明独立路线的融资与商业化难度在上升。"借船出海"可以换来资本与生态的入场券，代价是战略自主性。对整个推理芯片赛道而言，站队正在加速，留给中立玩家的窗口期越来越短。

小结​

投资对手 d-Matrix、参投 Token Fabric、收购 Groq、开放 NVLink Fusion——NVIDIA 正在用资本与生态把推理层的挑战者逐个纳入轨道，"竞合"取代正面对抗成为新打法。与此同时，亚马逊 80 亿美元售后回租、SpaceX 400 亿美元债务融资采购芯片，显示算力资产金融化正在成为行业新变量。推理芯片这一新战场上的博弈，正从纯技术竞争转向资本与标准的综合较量。

Hot Chips 2026 上，OpenAI 与博通合作的首颗物理芯片 Jalapeño 完整规格曝光：700W 纯推理 ASIC、216GB HBM4、13.4 PFLOPS MXFP4，从初始设计到流片只用了约 9 个月。

Jalapeño 是什么​

综合 Data Center Dynamics、Tom's Hardware、ServeTheHome 在 Hot Chips 2026 上的报道，Jalapeño 是 OpenAI 与博通合作的首颗物理芯片，定位非常纯粹：一颗纯推理 ASIC，功耗 700W，专门针对 OpenAI 大规模推理服务（如 ChatGPT 等）的实际瓶颈设计。

与通用 GPU 不同，Jalapeño 不追求覆盖训练、微调、推理的全场景，而是把全部资源押在一件事上：以最低成本、最高密度跑好 OpenAI 自己的推理负载。这是自研芯片路线中最激进的一种——不做通用产品，只为自家业务画像画芯片。

完整规格​

项目	规格
定位	纯推理 ASIC（OpenAI × 博通首颗物理芯片）
功耗	700W
内存	216GB HBM4
算力（MXFP4）	13.4 PFLOPS
算力（MXFP8）	3.4 PFLOPS
架构	NUMA 式架构，64 个内存与计算切片
流片速度	从初始设计到流片约 9 个月
工艺	博通 3nm/2nm 混合设计，台积电代工
首批部署	目标 2026 年底

架构上，Jalapeño 采用 NUMA 式设计，共 64 个内存与计算切片。这种把内存与计算绑定为切片、再横向扩展的思路，本质上是围绕 OpenAI 自己的模型结构和流量特征做定制——博通在定制 ASIC 上最擅长的，正是这种"按客户负载画芯片"的方法论。

集群规模：单 pod 最高 27 EFLOPS​

单颗芯片只是起点，Jalapeño 的部署规划更能说明 OpenAI 的推理盘子有多大：

• 128 颗芯片组成的部署规模约 1.7 EFLOPS FP4，合计 27.5TB HBM4；
• 单个 pod 最多容纳 2048 颗加速器，最高 27 EFLOPS MXFP4。

作为背景，OpenAI 与博通的定制算力协议总规模约为 10GW，Jalapeño 只是这盘棋的第一颗子。如果 2026 年底首批部署如期落地，OpenAI 的推理成本结构将出现一个全新的变量。

背景与资金面​

围绕这颗芯片的产业与资金背景同样值得梳理：

• OpenAI 与博通签有约 10GW 算力的定制协议，芯片采用博通 3nm/2nm 混合设计、台积电代工，目标 2026 年底首批部署；
• 博通正为 OpenAI 定制芯片筹资超 500 亿美元，其中早期磋商约 300 亿美元为债务融资，接续此前为 Anthropic 安排的债务融资；
• FT 报道 OpenAI 年化营收约 500 亿美元，低于此前约 700 亿美元的口径；
• 与此同时，Meta 也在与博通合作开发下一代 MTIA 芯片。

定制芯片是资金密集型游戏：芯片要钱，HBM 要钱，数据中心还要钱。博通为 OpenAI 安排的数百亿美元债务融资，说明这类项目的资金结构已经接近基础设施建设，而非传统的芯片采购。

分析：专用化的赌注​

**纯推理专用 vs GPU 通用性。**已有分析师对 Jalapeño 的路线提出质疑：纯推理 ASIC 缺乏灵活性，一旦模型结构或推理范式发生变化，芯片可能无法跟上。OpenAI 的赌注是：自家推理需求足够大、足够可预测，专用化带来的成本与密度收益足以覆盖灵活性损失。这是一个用业务确定性换取硬件效率的交易——赌对了，推理成本大幅下降；赌错了，芯片就是沉没成本。

**9 个月流片的工程方法论。**reticle 级定制 ASIC 通常需要数年才能流片，Jalapeño 从初始设计到流片约 9 个月，是异常速度。这背后是三重支撑：博通成熟的 IP 库与设计流程、台积电先进工艺的稳定保障，以及 OpenAI 作为单一客户时的高度确定性需求——需求越明确，设计迭代越少，周期越短。

**博通成为定制 ASIC 时代最大赢家。**OpenAI 的 Jalapeño、Meta 的下一代 MTIA、Google 的 TPU，再加上为 Anthropic 安排的债务融资——几乎所有超大规模玩家的定制芯片路线，最终都汇入博通的订单簿。GPU 时代的赢家是英伟达，定制 ASIC 时代的赢家，很可能是那个卖铲子的博通。

小结​

Jalapeño 的完整规格披露，让外界第一次看清 OpenAI 自研芯片的成色：700W、216GB HBM4、13.4 PFLOPS MXFP4，9 个月流片，单 pod 最高 27 EFLOPS MXFP4。它不追求通用，只追求把 OpenAI 自己的推理账单打下来。这颗芯片能否成功，取决于推理需求是否如 OpenAI 预期的那样持续且可预测；而无论成败，博通都已经稳稳站在了赢家的位置上。

据IEEE Spectrum 2026年9月14日报道，OpenAI的Jalapeño AI加速器正逐步揭开面纱。这不仅是一颗芯片的诞生，更是一场芯片设计方法论的革命——由LLM深度参与设计、不足百人团队、从架构概念到首次流片不足20个月。

Jalapeño的核心规格​

根据OpenAI官方口径，Jalapeño AI加速器的关键规格如下：

规格项	Jalapeño参数
峰值算力	最高13.4 petaflops（4-bit精度）
内存容量	232GB
内存带宽	15.4TB/s
设计定位	专为LLM推理设计
合作伙伴	博通（Broadcom）
研发周期	从首个架构概念到首次流片不足20个月
团队规模	平均不足100人

其中最引人注目的是4-bit精度下13.4 petaflops的峰值算力。这一数字定位清晰：Jalapeño并非追求通用计算的"全能选手"，而是聚焦于大语言模型推理这一特定场景，在低精度计算上做到极致。232GB内存与15.4TB/s带宽的组合，则为KV Cache密集型的长上下文推理提供了吞吐保障。

性能对标：较GB300最高降低3.6倍延迟​

OpenAI引用的基准测试显示，在端到端延迟方面，Jalapeño较NVIDIA GB300最高降低3.6倍。对于推理业务而言，延迟直接决定用户体验——聊天机器人的首字响应、Agent系统的多轮迭代速度，都取决于每一毫秒。

需要指出的是，这一数据来自OpenAI自己的引用口径，测试条件与模型负载尚未完全公开。但即便打上折扣，一颗自研ASIC在特定推理负载上跑赢NVIDIA旗舰级GB300平台，本身就说明定制芯片在"场景足够聚焦"时确实具备结构性优势。

与博通合作：多代规划与吉瓦级部署​

Jalapeño由OpenAI与博通合作设计，规划了多代产品路线，目标直指吉瓦（GW）级部署。据公开报道，该芯片据称搭配AMD EPYC Turin主机CPU，而非完全依赖NVIDIA系统——这意味着OpenAI正在构建一条绕开NVIDIA生态的完整推理基础设施。

博通作为全球定制ASIC（XPUs）设计服务的头部玩家，此前已深度参与多家云巨头的自研芯片项目。OpenAI选择博通，等于站在了成熟的多项目晶圆与SerDes/IP积累之上，这也是20个月流片速度的重要支撑。

自定义芯片的适用条件​

Jalapeño的故事之所以成立，背后有一组苛刻的前提条件，并非所有公司都能复制：

1. 海量且可预测的推理需求。ChatGPT的token消耗量巨大且增长曲线稳定，只有这种量级才能摊薄流片与迭代成本。
2. 稳定的模型架构。Transformer架构多年未发生根本变化，才让针对特定计算模式的ASIC有了"押注"的价值。
3. 全栈软件掌控。OpenAI同时拥有模型、推理框架和基础设施，软硬件协同优化可以贯穿到底。
4. 足够的部署量。吉瓦级部署规划意味着单位芯片成本可以压到极低。

四个条件缺一不可。缺了需求，流片成本摊不掉；缺了架构稳定，芯片投产即过时；缺了软件栈，性能优势发挥不出来。

定制ASIC不会取代GPU​

一个常见的误读是"自研芯片将终结GPU"。但行业现实是：定制ASIC与GPU长期共存、各司其职。

• 训练仍是GPU的主场。训练负载多变、需要频繁调试与实验，通用性至关重要。
• 多模态与快速演进的架构同样属于GPU。新算子、新注意力变体往往先在GPU上验证。
• 推理中负载高度稳定、模型固化的部分，才是ASIC的收割区。

换句话说，NVIDIA的GPU生态不会因为Jalapeño而瓦解，但推理市场的价值分配确实开始被重新切分。对NVIDIA而言，最大的挑战或许不是失去训练市场，而是越来越多头部客户把"最大的一块推理蛋糕"留给自己。

LLM设计芯片：方法论的革命​

比规格更值得关注的，是Jalapeño的设计方式。据IEEE Spectrum报道，OpenAI的LLM深度参与了芯片设计——从首个架构概念到首次流片不足20个月，团队平均不足100人。传统芯片设计动辄数百人团队、三到五年的开发周期，Jalapeño把这个数字压缩到了令人难以置信的程度。

LLM辅助设计带来的是研发效率的量级变化：架构探索空间的快速评估、RTL代码生成与验证、设计文档与工具链自动化。如果这套方法论被验证可复制，那么芯片设计的门槛将被实质性改写——未来不仅是"大厂造芯"，而是"AI造芯"成为常态。

小结​

Jalapeño是2026年定制ASIC浪潮中最具标志性的产品之一：13.4 PFLOPS 4-bit算力、232GB内存、15.4TB/s带宽的规格专为LLM推理而生，与博通的合作、多代规划与吉瓦级部署展现了OpenAI摆脱NVIDIA依赖的决心。而LLM参与设计、不足百人团队、20个月流片的研发模式，其影响或许远超这颗芯片本身。定制ASIC不会取代GPU，但它正在重新定义推理经济的成本结构——对整个AI算力产业而言，这是一场刚刚开始的游戏。

2026 年 8 月 Hot Chips 的周二下午 AI 专场，是本届最有历史意义的一场——不是因为某颗芯片多强，而是因为登台的几乎全是"超算厂商去 NVIDIA 化"的自研 ASIC：Google 第八代 TPU、OpenAI 首颗自研芯片、微软 Maia、Meta MTIA、Cerebras 晶圆级机架同台。当全球最大的 AI 算力买家开始把 GPU 当作"可选项之一"，AI 硬件的权力结构正在松动。

---

1. OpenAI Jalapeño：9 个月造出一颗芯片​

OpenAI 于 2026 年 6 月 24 日联合博通发布首款自研推理 ASIC Jalapeño，是"自研推理芯片俱乐部"的第五个成员。

维度	Jalapeño
合作方	博通（Broadcom）+ 台积电制造
定位	推理专用 ASIC
设计周期	端到端 9 个月（Greg Brockman 称借助 OpenAI 自有模型辅助设计）
成本目标	较通用 GPU 栈 token 成本降约 50%
商用时间	2026 年底首批部署，长期目标 10GW 自研芯片
合作规模	与博通最高 100 亿美元战略合作（2029 年前部署加速器与网络）

演讲标题"You Can Just Build Things … Chips"本身就是信号：最大的 AI 算力买家不再默认 GPU 是唯一路径。

---

2. Google TPU v8：十年来最大架构转向——训练/推理分芯​

Google 拥有最悠久的自研芯片历史（2016 至今），第八代 TPU 首次将产品线一分为二：

型号	代号	合作方	定位	关键规格
TPU 8t	Sunfish	Broadcom	训练	单 pod 9600 卡、121 FP4 ExaFLOPS、2PB 共享 HBM、ICI 带宽翻倍
TPU 8i	Zebrafish	MediaTek	推理	288GB HBM、384MB 片上 SRAM（3× 上代）、ICI 19.2 Tb/s

产能方面，摩根士丹利基于供应链访谈估算 2026 年 Google TPU 产量可能超 300 万颗（券商预测，非官方目标）。Google 也是唯一实现自研芯片大规模部署并对外销售算力的厂商（Gemini 跑在 TPU 上）。

---

3. Meta MTIA：从推荐系统到 GenAI 双使命​

Meta 的自研之路起点最清晰——MTIA 最初为推荐排序硬件而生，正被生成式 AI 拉向双使命。

• MTIA 300 已部署；400 / 450 / 500 计划在 2027 年前约每 6 个月推出一款；
• 基于 RISC-V，Meta 称最高 25× 算力增益；
• 节点沿行业节奏演进：100（7nm）→ 200（5nm）→ 300 系列（3nm + CoWoS）；
• 与 博通合作，据称另一颗代号 Iris 的芯片已于 2026 年 7 月通过测试；
• Meta 计划 2026 年 9 月启动其中一款的量产，以将其整体算力翻倍。

---

4. 微软 Maia 200/300：部署最领先​

微软 Maia 200 于 2026 年 1 月 26 日发布，是四家中部署最先进的：

维度	Maia 200
制程	台积电 3nm，1400 亿+ 晶体管
算力	10+ PFLOPS FP4 / 5 PFLOPS FP8
显存	216GB HBM3E，7 TB/s
功耗	750W
部署	已在得梅因（Des Moines）数据中心运行，服务 OpenAI GPT-5.2 与 Microsoft 365 Copilot

微软称其在特定基准上约 3× 亚马逊 Trainium 性能。短期策略是"自研 Maia + 外购英伟达"双路线并行——自研芯片从设计到量产需要时间，英伟达成熟生态短期内无法替代。

---

5. 亚马逊 Trainium 3 与 Anthropic 自建团队​

• 亚马逊：Trainium 系列已商用，累计部署 140 万颗（官方披露），是数十亿美元业务；优势在 AWS 客户基数——企业可在英伟达 GPU 与自研芯片间选择。Trainium 3 延续这一路线。
• Anthropic：2026 年 8 月宣布组建自建芯片团队，尚无 tape-out 或量产时间表，初期定位为补充（而非取代）与 NVIDIA/AMD/AWS/Google Cloud 的现有合作，目标是为 Claude 架构量身打造、摆脱对单一 GPU 的依赖。

---

6. NVIDIA 的回应：不是更快的 GPU，而是全栈​

容易把叙事简化成"四家造芯片、英伟达防守 GPU"。但 NVIDIA 在 Hot Chips 拿了 6 个 slot：RISC-V 教程、Vera CPU、Rubin GPU、BlueField-4 DPU、Spectrum-X 多平面网络、以及 LPU 加速器。

一颗 hyperscaler ASIC 只替换了这五个支柱中的一个。如果 CPU、NIC、交换 fabric 与软件都来自同一家供应商，把加速器换掉省下的，比加速器那一行账单暗示的要少得多。Rubin 的打法是一个横跨七颗芯片、五种机柜的全栈 AI 工厂平台——竞争回应是"全栈位置"，而非"更快的一颗芯"。

---

7. 趋势判断：推理去 GPU 化，训练仍 GPU 主导​

• 推理侧：CUDA 护城河明显变浅。推理在端点层面可并行、可替换，自研 ASIC 通过剪掉通用性税（只实现 LLM 实际执行的操作）换取更低 cost/token。Groq LPU、Cerebras、各家 TPU/ASIC 都在同一指标上竞争。
• 训练侧：Foundation model 仍用 GPU 训练，短期内无人认真挑战。NVIDIA 在训练的三道护城河（最快硅 + NVLink + CUDA）依旧牢固。
• 结论：自研芯片不是"替代英伟达"，而是在推理这一最大、增长最快的战场上，给买家一个可信的谈判外部选项——这本身就足以重塑 AI 基础设施的经济学。

相关链接​

• 推理加速卡市场 2026
• Hot Chips 2026 全景总结
• Google TPU 8t 规格页
• Google TPU 8i 规格页

参考资料​

• Hot Chips 2026: 4 Hyperscalers Put Custom AI Silicon on One Afternoon - Sean Kim
• Custom AI inference silicon: why OpenAI built Jalapeño - nexi.fund
• Anthropic Builds Custom AI Chips for Claude - Studio Global AI
• 所有大厂都在做同一件事：自己造芯片，少买英伟达的 - 今日头条

---

本文基于 2026 年 8 月 Hot Chips 现场报道、企业公告与行业分析整理。部分产能与性能为券商估算或厂商公布口径，实际以量产产品为准。

过去三年，整个 AI 硬件故事都是"训练"：谁有最多 H100、谁能把十万卡连成集群。这场竞赛基本尘埃落定——NVIDIA 赢了。但下一战场"推理"正在完全不同的规则下开打：衡量标准不是峰值 FLOPS，而是 cost-per-token（每 token 成本）、时延与功耗。2026 年，推理芯片第一次在规模上压倒训练，成为 AI 加速器的主战场。

---

1. 推理成为主战场：80%–90% 的算力花在推理上​

训练一个大模型要花数亿美元——一次。但模型上线后，它要日复一日回答数十亿次查询。一个热门消费级模型可能需要上万颗加速器 7×24 小时运行才能跟上需求。因此：

• 推理约占一个模型生命周期算力的 80%–90%；
• 推理芯片将占 2026 年约 $400B AI 加速器市场的 60%–70%，而 2023 年这一比例仅约 40%；
• 推理芯片增速（预计年增 52.7%）显著高于训练芯片（28.4%），推理侧算力需求占比 2026 年首次超过训练侧，达 54%（约 $1010B）。

推理的经济学很直接：训练成本被摊销到微不足道，推理成本成为整张账单。每降低 1% 推理成本，都直接流向利润——对 OpenAI 这种推理流量达 hyperscale 体量的公司，Half 的账单是后面跟着一堆零的数字。

---

2. 市场规模：结构性增长拐点已至​

市场	2026 规模	增速	备注
全球推理专用芯片	$412.7B	+38.4%	较训练芯片增速高 14.2 pct
中国推理专用芯片	$118.6B（占全球 28.7%）	+44.1%	亚太增速最强单一市场
全球 AI 训练/推理芯片（含 GPU/NPU）	突破 $1850B	+40.2%	GPU 占约 62%

中国市场国产化替代加速，国产推理芯片出货占比达 34.6%，较 2025 年提升 9.8 pct。

---

3. 技术路线份额反转：GPU 放缓，ASIC 飙升​

路线	2026 出货份额	趋势
GPU	52.6%	仍居首，但增速放缓至 22.7%
ASIC 定制芯片	41.3%	从 2022 年 17.8% 大幅攀升
FPGA	稳定	特定低时延场景

GPU 凭借生态成熟度仍是主力，但 NPU/ASIC 在能效比上已实现对同代 GPU 1.8 倍的优势，推动其在边缘与端侧采用率快速攀升。专为推理优化的 ASIC 出货量预计达 1150 万颗，单位成本较 GPU 降低约 35%。

---

4. 五大流派混战​

流派	代表产品	核心优势	适用场景
通用 GPU	NVIDIA Rubin / B200 / H200	生态成熟、训推一体	前沿训练 + 高交互推理
LPU（语言处理单元）	Groq LPU	极低时延、确定性吞吐	实时对话、高并发推理
TPU（推理专用）	Google TPU 8i（Zebrafish）	288GB HBM、384MB 片上 SRAM、ICI 19.2 Tb/s	Google 规模化推理
自研 ASIC	OpenAI Jalapeño、微软 Maia 200、Meta MTIA	针对自家模型剪掉通用性税，cost/token 降 ~50%	hyperscaler 自有负载
风冷推理卡	Intel Crescent Island	350W 风冷、480GB LPDDR5X、tokens/watt	成本敏感中长尾推理

OpenAI 与博通合作的 Jalapeño 目标将推理 token 成本较通用 GPU 栈降低约 50%——这是第五个加入"自研推理芯片俱乐部"的成员（前有 Google TPU、亚马逊 Inferentia/Trainium、微软 Maia、Meta MTIA）。

---

5. 核心指标转向：cost-per-token 与 tokens/watt​

推理竞赛与训练竞赛的根本不同在于切换成本低：

• 训练需要 10 万卡集群 + NVLink + CUDA，迁移成本极高；
• 推理在端点层面" embarrassingly parallel"——不需要百万卡集群，一个能快速便宜出 token 的节点即可，per-endpoint 可替换。

这意味着 NVIDIA 的三道护城河（最快硅、NVLink 扩展、CUDA）在推理侧都不再绝对。当最大的 AI 买家（OpenAI）开始把 GPU 当作"可选项之一"，GPU 溢价就开始消蚀——定价权依赖稀缺性，而自研芯片从两个方向同时攻击稀缺性：既减少商户芯片需求，又给买家一个可信的谈判外部选项。

---

6. 边缘与端侧爆发：长尾化信号​

需求端呈现显著长尾化与碎片化：

场景	2026 需求规模	增速
云端推理	$198.2B（占 48%）	+24.5%（放缓）
边缘推理	$126.5B（占 30.7%）	+52.3%
端侧推理	$88.0B（占 21.3%）	+68.9%
智能驾驶推理	$67.3B	+58.2%
工业质检 / 机器人推理	$42.1B	+63.7%

推理负载的时延敏感性与功耗约束正在重塑芯片架构设计优先级——这也解释了为何 Crescent Island 这类"风冷大显存"方案能找到生存空间。

相关链接​

• Hot Chips 2026 全景总结
• 云巨头自研芯片浪潮
• NVIDIA Rubin 规格页
• Intel Crescent Island 规格页

参考资料​

• Inference Chips vs Training Chips - ValueAdd VC
• 全球及中国推理专用芯片行业发展深度洞察研究报告(2026) - IIM
• 2026年全球AI训练/推理芯片市场及趋势咨询报告 - IIM
• Custom AI inference silicon: why OpenAI built Jalapeño - nexi.fund

---

本文基于 2026 年公开市场研究、券商报告与行业分析整理。市场规模与份额为第三方机构测算，口径不一，仅供参考。

2026年上半年，AI芯片产业发生了历史性转折——产业重心从"训练竞赛"转向"推理效率"，国产芯片市场份额首次突破40%，NVIDIA以Blackwell Ultra筑高壁垒，推理专用芯片赛道百花齐放。

---

一、算力再翻番：NVIDIA Blackwell Ultra 发布（6月1日）​

2026年6月1日，NVIDIA CEO黄仁勋在**台北国际电脑展（Computex 2026）**上揭晓新一代AI芯片 Blackwell Ultra，为未来两年的AI基础设施竞赛划定新起跑线。

关键规格​

指标	Blackwell Ultra	B200	提升
FP8算力	20 petaFLOPS	~10 petaFLOPS	100%
架构	Blackwell Ultra	Blackwell	升级
预计交付	2027年Q1	2026年Q1	—
定位	超大规模训练+推理	训练+推理	旗舰

产业意义​

1. 算力翻倍的直接影响：20 petaFLOPS FP8意味着千亿参数模型训练时间大幅缩短，万亿参数模型训练从"科学实验"走向"工程常态"
2. 系统级平衡：Blackwell Ultra不仅是芯片，更是NVLink、HBM、散热、供电的系统级工程突破
3. 路线图确定性：2027年Q1交付时间表，让云厂商和AI实验室可以提前18个月规划基础设施预算

挑战​

• 能耗危机：性能翻倍伴随功耗大幅上升，数据中心供电和冷却设计面临极限挑战
• 可及性问题：顶级算力优先供应顶级云厂商，中小开发者和研究机构如何通过云服务以合理成本触达算力
• 软件栈适配：新硬件需要匹配的CUDA版本和框架支持，软件生态成熟度成为算力转化的关键瓶颈

---

二、国产AI芯片：从"可用"到"好用"的临界点​

2026年6月16日，信创世界发布**《2026中国国产AI芯片厂商能力象限》**，清晰勾勒出国产AI芯片的整体格局。

2.1 能力象限排名​

象限	代表厂商
领导者象限	华为昇腾、海光信息、寒武纪、阿里平头哥、摩尔线程
远见者象限	百度昆仑芯、壁仞科技、燧原科技、沐曦股份、瀚博半导体
竞争者象限	清微智能、黑芝麻智能、芯驰科技、砺算科技、后摩智能
挑战者象限	登临科技、知存科技、芯原股份、瑞芯微、云天励飞

2.2 华为昇腾：国产算力的定海神针​

市场地位​

• 2025年昇腾系列出货 81.2万张，占国产AI加速卡 49% 份额，稳居国产第一
• 昇腾950PR单卡FP8算力达 1P（PetaFLOPS）、FP4算力达 2P
• 推理性能约为NVIDIA H20的 2.87倍，定价仅 7.2-7.5万元，性价比优势显著

全栈优势​

华为"端管云芯"一体化战略是昇腾的核心壁垒：

• 芯片设计：Da Vinci 3.0架构持续迭代
• 操作系统：鸿蒙/欧拉OS深度优化
• 网络通信：欧拉网络协议栈
• 云服务：华为云ModelArts平台无缝集成

最新进展​

• 2026年6月5日，深圳河套学院联合哈工大（深圳）、华为团队，依托昇腾910C集群完成 1.6万亿参数DeepSeek V4 Pro大模型全参数后训练
• 这是国产AI芯片首次完成万亿参数级大模型训练，标志着"国产替代"从推理迈向训练

2.3 寒武纪：率先盈利的国产AI芯片标杆​

业绩爆发​

指标	2025年全年	2026年Q1	同比增长
营收	64.97亿元	28.85亿元	+453% / +160%
净利润	20.59亿元（首次年度盈利）	10.13亿元	— / +185%

核心产品：思元590​

• 在DeepSeek R1推理场景下，TPS可达 942，比H20高出约 50%
• 与字节跳动多年联合优化，具备短期最强的云端推理部署能力
• 2026年Q1营收28.85亿元中，思元590贡献超过70%

潜在风险​

在2026年第2号《安全可靠测评结果公告》中缺席，原因尚未明确，将对其国内政企市场表现产生影响。

2.4 清微智能：可重构芯片的"第三路线"​

技术路线​

清微智能采用与Groq LPU同源的可重构数据流架构，在GPU通用性与ASIC极致效率之间找到了平衡点。

指标	清微智能 TX81	传统GPU方案	优势
推理成本	基准	+100%	降低50%
能效比	基准	基准	提升3倍
架构	可重构数据流	SIMT/SIMD	更适合推理

落地进展​

• 可重构芯片累计出货量已超 3000万颗
• 在全国十余座千卡规模智算中心实现规模化落地
• 已启动A股IPO辅导，有望成为"可重构芯片第一股"

---

三、推理芯片赛道：产业重心转移的核心信号​

2026年6月4日，TrendForce发布深度报告**《推理经济时代来临：AI芯片的规则正被重写》，指出AI产业的算力竞争重心正在从训练转向推理**。

3.1 为什么是现在？​

成本结构改变​

• 训练是一次性成本：模型训练完成后，边际成本趋近于零
• 推理是持续性成本：每一次API调用、每一个生成token，都代表算力消耗与毛利压力
• 单位推理成本与能效表现将直接影响毛利率与规模扩张能力

模型精简技术成熟​

• 1.58-bit量化技术与权重剪枝，使模型可在极低内存占用下维持推理准确度
• MoE（混合专家）架构通过"部分唤醒"机制，每次推理仅激活少数专家子网络，大幅降低实际运算量
• 精简模型的崛起，为硬式编码推理芯片提供了商业可行性

3.2 NVIDIA的百亿押注：收购Groq（2025年12月）​

2025年12月24日，NVIDIA以 200亿美元取得Groq的Inference技术授权与核心团队，这是NVIDIA历史上最大规模的并购/技术收购之一。

战略意图：

1. 补全推理短板：NVIDIA GPU在训练领域无可撼动，但推理效率一直不是最强
2. 对抗专用推理芯片：Cerebras、Taalas、SambaNova等初创公司正在蚕食推理市场
3. 布局Agentic AI：Agentic AI需要极低延迟、极高吞吐的推理能力

3.3 Taalas HC1：硬式编码推理的概念验证​

2026年2月20日，加拿大AI芯片初创公司Taalas发布推理芯片 Taalas HC1，将Meta的开源AI模型Llama 3.1 8B直接刻印在芯片中。

关键指标​

指标	Taalas HC1	NVIDIA B200（throughput optimized）	优势
推理速率	16,960 tokens/s/user	基准	~4-5x
每百万tokens成本	0.75 cents	3.79 cents	降低80%
功耗	~250W	~700W	降低64%
制程	TSMC N6	TSMC 4nm	更成熟
HBM	❌ 不使用	✅ HBM3e	成本更低

技术原理​

Taalas HC1采用**存储内运算（Computing-in-Memory, CIM）**的激进实现：

• 将模型权重直接固化于Mask ROM中（完全硬体定义）
• 以片上SRAM处理动态资料（KV cache和LoRA微调权重）
• 仅需修改2层光罩就能产出另一个AI模型的专用芯片，将一个AI模型转化为实体芯片仅需2个月

局限性​

• 缺乏弹性：硬式编码无法应对快速迭代的模型更新
• 生态壁垒：当前云端市场仍依赖通用平台，客户可能更偏好可随模型升级的弹性方案
• NRE成本：一次性工程费用高，需要足够大规模的部署才能摊薄

3.4 Cerebras：晶圆级整合的上市之路​

2026年5月14日，Cerebras Systems正式在纳斯达克挂牌上市，成为首家上市的晶圆级AI芯片公司。

核心技术：Wafer-Scale Integration（WSI）​

• WSE-3（第三代晶圆级引擎）：整片12英寸晶圆做成单一芯片
• 44GB片上SRAM：无需外部HBM，彻底消除内存带宽瓶颈
• 21 PB/s带宽：片上通信带宽，是GPU的千倍级别
• 与OpenAI合作：已签署逾200亿美元、规模750MW的三年算力合作协议

上市意义​

Cerebras的上市是推理专用芯片赛道成熟的标志：

1. 资本市场开始为这类公司定价
2. 证明"非GPU"技术路线具备商业可行性
3. 为其他推理芯片初创公司（Groq、SambaNova、Taalas等）提供了估值参照

3.5 推理芯片格局：多元技术路线并存​

公司	技术路线	核心优势	代表产品
Taalas	硬式编码（Mask ROM）	极致推理效率、低成本	HC1
Cerebras	晶圆级整合（WSI）	超高带宽、大模型推理	WSE-3
Groq	SRAM-first架构	确定性延迟、高吞吐	LPU（已被NVIDIA收购）
d-Matrix	数字存储内运算（DIMC）	灵活性强于硬式编码	Corsair
Etched	Hard-wired Transformer	所有Transformer模型适用	Sohu
Axelera AI	数字存储内运算（D-IMC）+ RISC-V	高能效比	Metis AIPU

TrendForce预测：

• 通用GPU仍主导训练与多模型环境
• 但在成熟、可预测场景中，通用GPU的利润空间将受到压缩
• 产业格局从通用算力垄断，走向通用与专用并行的双轨结构

---

四、2026年H1国产AI芯片整体格局​

4.1 行业进入放量期​

指标	2025年	2026年Q1	趋势
国产AI加速卡出货量	165万张（占比41%）	—	持续上升
中国AI加速卡总出货量	~400万张	—	—
海光信息营收增速	—	翻倍增长	↑
寒武纪营收增速	—	+160%	↑
摩尔线程营收增速	—	翻倍增长	↑

头部厂商集体进入业绩兑现通道，行业从"技术验证"迈向"规模商用"。

4.2 三大核心发展趋势​

趋势一：资本化浪潮重塑格局​

• 2025年底至2026年初，摩尔线程、沐曦股份登陆科创板
• 壁仞科技登陆港股
• 燧原科技科创板IPO获受理
• 昆仑芯、平头哥启动上市进程
• 清微智能、瀚博半导体等推进IPO

资本化带来双重效应：

• ✅ 正面：为研发和生态建设提供支撑
• ⚠️ 负面：估值泡沫和业绩兑现压力

趋势二：产能成为最大制约变量​

国产AI芯片爆发式需求与有限先进制程产能的矛盾日益尖锐：

厂商	先进制程产能需求	实际获得
华为昇腾	每月1.5万片（7nm级）	优先保障
中芯国际总产能	每月约2万片（7nm级）	—
其他厂商	合计约5000片/月	极度紧张

能否拿到稳定晶圆产能直接决定厂商生死。寒武纪75.4%的营收占比存货，本质是对产能的锁定。

趋势三：竞争从"可用"转向"好用"​

早期竞争聚焦"能否跑通模型"，当前升级为"运行效率、部署成本"的比拼：

竞争维度	"可用"时代	"好用"时代
硬件性能	能否跑通模型	运行效率、能效比
软件栈	基本适配	成熟度、框架广度
生态	有无	开发者社区活跃度
部署成本	不敏感	核心竞争要素

---

五、2026年H2展望​

5.1 即将到来的关键事件​

时间	事件	影响
2026年Q3	NVIDIA Rubin架构详情公布	下一代旗舰规格揭晓
2026年Q3	华为昇腾950PR/950DT正式发布	国产推理芯片新标杆
2026年Q4	AMD MI350X规模化交付	NVIDIA Blackwell竞品
2026年Q4	寒武纪思元690发布（推测）	新一代训练芯片
2027年Q1	NVIDIA Blackwell Ultra交付	算力新标杆落地

5.2 未来三年关键竞争要素​

1. 晶圆产能获取能力：先进制程产能是稀缺资源，绑定中芯国际、TSMC的厂商具备先天优势
2. 资本运作效率：IPO窗口期有限，能否在资本市场上融到足够资金决定研发持续性
3. 软件生态建设深度：硬件性能只是入场券，软件栈成熟度、框架适配广度、开发者社区活跃度才是核心壁垒

---

六、结语：多元生态终将形成​

2026年H1，AI芯片产业正在经历从"一家独大"到"多元并存"的历史性转变。

• NVIDIA以Blackwell Ultra筑高训练壁垒，同时以收购Groq布局推理效率
• 华为昇腾以全栈能力守住国产算力的基本盘，950PR在推理性能上开始超越H20
• 寒武纪以率先盈利证明国产AI芯片的商业化可行性，思元590在特定场景超越国际竞品
• Cerebras、Taalas等推理专用芯片公司开辟了"非GPU"的第三路线
• 清微智能的可重构架构为中国AI芯片提供了技术路线的多元化选择

未来三年，国产AI芯片终局将形成GPU、ASIC、可重构计算三大技术路线并存，云端与边缘协同发展的多元生态。"国产替代"不再是口号，而是正在发生的产业现实。

---

数据来源：

• 信创世界《2026中国国产AI芯片厂商能力象限》（2026-06-16）
• TrendForce《推理经济时代来临：AI芯片的规则正被重写》（2026-06-04）
• RayByte《算力再翻番！英伟达Blackwell Ultra芯片发布》（2026-06-02）
• 各公司官方财报和公告

相关阅读：

• 华为昇腾910C规格深度解析
• 完整对比表

---

2026 年 6 月 24 日，OpenAI 与博通（Broadcom）联合发布首款自研 AI 推理芯片 Jalapeño。这款专为大型语言模型推理设计的 ASIC，从设计到流片仅用 9 个月，推理成本降低约 50%，标志着 OpenAI 从纯模型公司转型为全栈 AI 基础设施提供商。

---

一、核心结论（先看这里）​

维度	Jalapeño	当前 GPU 方案	优势
推理成本	-50%	基准	✅ 成本减半
每瓦性能	显著优于	当前最先进加速器	✅ 能效领先
设计周期	9 个月	~18 个月	✅ 速度快 2x
定位	推理 ASIC	训练+推理 GPU	专用优化
供货	仅内部	市场采购	⚠️ 不对外销售

一句话总结：Jalapeño 是 OpenAI 全栈 AI 战略的关键一步，用自研芯片将推理成本降低 50%，同时开启"AI 辅助设计 AI 芯片"的新范式。

---

二、Jalapeño 是什么？​

2.1 基本信息​

项目	内容
名称	Jalapeño（哈拉贝诺辣椒）
类型	专用集成电路（ASIC）
定位	大型语言模型推理任务
发布时间	2026-06-24
流片时间	2025-09（推测，9 个月极速流片）
部署时间	2026 年底（千兆瓦级数据中心）
合作方	博通（Broadcom）、台积电（TSMC）、Celestica
制程	TSMC 3nm
架构	Systolic Array（脉动阵列）
HBM	8 堆栈（推测 HBM3E 或 HBM4）

2.2 为什么叫"Jalapeño"？​

Jalapeño 是一种墨西哥辣椒，以"中等辣度、强烈风味"著称。OpenAI 以此命名，暗示这款芯片：

• ✅ 辣度适中：不是最激进的架构（相比 Cerebras WSE），但足够有效
• ✅ 风味强烈：在推理场景下有强烈的存在感（成本降低 50%）
• ✅ 开胃前菜：这只是"多代路线图的第一步"（博通 CEO 陈福阳）

---

三、技术深度解析​

3.1 9 个月极速流片：AI 辅助设计芯片的新范式​

通常情况下，从零开始设计一块 ASIC 芯片需要 1.5 到 2 年。而 Jalapeño 从初始设计到制造流片仅用了 9 个月。

关键原因：深度软硬件协同开发

技术手段	说明
AI 辅助架构探索	OpenAI 用自家前沿模型（GPT-5.3-Codex-Spark）探索芯片架构设计空间
AI 功耗仿真	用 AI 模型进行功耗仿真与优化
强化学习优化	用 RL 优化芯片布局布线
博通硅实现能力	博通提供业界顶尖的 ASIC 实现能力（网络芯片、交换芯片经验）

OpenAI 总裁 Greg Brockman 表示：

"我们利用服务于用户的前沿模型，来优化运行未来模型的基础设施。"

3.2 专为推理优化的架构​

与通用 GPU 不同，Jalapeño 是围绕 OpenAI 对 LLM 推理工作负载的深度理解从零构建的 ASIC：

架构特性	说明
降低数据移动	架构核心在于减少数据搬运（推理任务的主要瓶颈）
平衡计算-内存-网络	资源分配针对推理优化，使实际利用率更接近理论峰值
结合高吞吐与低延迟	目标是将当前领先加速器的吞吐能力与最快专用推理系统的低延迟结合起来
支持未来模型	不仅支持现有模型（GPT-5、GPT-5.3），也适配未来新一代模型的推理需求

3.3 全栈平台：不只是芯片​

Jalapeño 是一个多代计算平台，而不仅仅是一颗芯片：

组件	供应商	说明
加速器芯片	OpenAI 设计，台积电制造	TSMC 3nm，8 堆栈 HBM
网络交换芯片	博通 Tomahawk	高速互联（与 NVIDIA NVLink 竞争）
电路板、机架、系统	Celestica	整机架解决方案
软件栈	OpenAI	深度适配 GPT、Codex、Agent 产品

部署目标：千兆瓦（Gigawatt）级数据中心

博通 CEO 陈福阳表示：

"Jalapeño 将于今年开始与微软和其他合作伙伴一起部署在千兆瓦级数据中心。"

---

四、性能与成本分析​

4.1 推理成本降低 50%​

虽然 OpenAI 官方新闻稿中针对 Jalapeño 带来的成本节约表述相当保守，仅透露其"每瓦性能大幅优于当前最先进水平"，未给出具体百分比。

但据彭博社报道，博通 CEO 陈福阳透露：

早期内部测试显示，相较于当前主流 AI GPU，Jalapeño 可实现约 50% 的推理成本节省。

对于 OpenAI 的意义：

项目	当前（GPU 方案）	Jalapeño 方案	节省
每天 API 调用	数亿次	数亿次	—
推理成本占比	~60-70% 运营成本	~30-35%	-50%
年算力支出	数十亿美元	数亿美元	节省数十亿美元

4.2 每瓦性能显著优于当前最先进水平​

OpenAI 公告指出：

"Jalapeño 工程样品已以目标频率和功耗成功运行 GPT-5.3-Codex-Spark 等复杂强化学习任务，早期测试显示每瓦性能显著优于当前最先进的 AI 加速器。"

对比对象：NVIDIA Blackwell（当前最先进的 AI 加速器）

指标	Jalapeño	NVIDIA Blackwell	说明
每瓦性能	显著优于	基准	OpenAI 官方表述
推理延迟	媲美最快专用推理系统	基准	目标
吞吐量	媲美当前领先加速器	基准	目标
TDP	未公开（推测 400-700W）	700-1000W	Jalapeño 可能更低

---

五、对 AI 芯片市场的影响​

5.1 "去英伟达化"加速​

Jalapeño 的发布是科技巨头集体挑战英伟达市场主导地位的又一注脚：

厂商	自研芯片	类型	状态	与 OpenAI 的关系
Google	TPU v6e / Ironwood	训练+推理	✅ 已商用	Google Cloud 供应 OpenAI
Amazon	Trainium 3	训练	✅ 已发布	AWS 供应 OpenAI
Microsoft	Maia 100	训练+推理	✅ 已发布	OpenAI 独家合作伙伴
Meta	MTIA	训练+推理	✅ 已发布	—
Apple	Neural Engine	端侧推理	✅ 已商用	—
OpenAI	Jalapeño	推理	🚧 2026 年底部署	自用 + 可能出售给第三方

5.2 OpenAI 并非要完全"抛弃"英伟达​

Brockman 坦言：

"我们根本无法足够快地获得算力。"

目前，OpenAI 同时在向英伟达、AWS、AMD 和 Cerebras 等多方采购芯片，Jalapeño 是对其爆炸性算力需求的结构性补充，而非替代。

5.3 可能出售给第三方​

博通 CEO 陈福阳特别强调：

"这只是一个'多代路线图的起点'，OpenAI 与博通的目标是共同建设千兆瓦（Gigawatt）级算力集群。"

这意味着，OpenAI 有可能将其硬件出售给第三方，前提是它能从博通和台积电获得足够的供货。

---

六、Jalapeño vs 其他自研芯片对比​

指标	Jalapeño（OpenAI）	TPU v6e（Google）	Trainium 3（Amazon）	Maia 100（Microsoft）
发布时间	2026-06-24	2024	2025 Q4	2023
类型	推理 ASIC	训练+推理 TPU	训练 ASIC	训练+推理
制程	TSMC 3nm	TSMC 4nm	TSMC 5nm（推测）	TSMC 5nm（推测）
是否对外销售	❌ 仅内部（可能未来出售）	✅ GCP	✅ AWS	❌ 仅内部
设计周期	9 个月	~18 个月	~18 个月	~18 个月
AI 辅助设计	✅ 首款	❌ 否	❌ 否	❌ 否
成本优势	-50% 推理成本	优化	优化	优化

关键差异：

• ✅ Jalapeño 是首款由 AI 辅助设计的 AI 芯片
• ✅ Jalapeño 设计周期仅 9 个月（行业平均 18 个月）
• ⚠️ Jalapeño 不对外销售（至少目前如此）

---

七、未来路线图​

7.1 多代芯片平台​

Jalapeño 只是一个"多代路线图的起点"：

时间	事件
2026 年底	Jalapeño 初始部署（千兆瓦级数据中心）
2027 年	Jalapeño v2（推测，架构优化）
2027-2028 年	Jalapeño 训练版本（推测，挑战 TPU/Trainium）
2028 年及以后	千兆瓦级算力集群全面建成

7.2 OpenAI 全栈 AI 基础设施战略​

层次	OpenAI 自研	外包/采购
模型	✅ GPT-5、GPT-5.3、Codex	—
芯片	✅ Jalapeño（推理）	NVIDIA GPU、AWS Trainium、AMD GPU
系统	✅ 与 Celestica 合作	微软 Azure 数据中心
网络	✅ 博通 Tomahawk	微软 Azure 网络
云平台	❌ 无	微软 Azure（独家合作伙伴）

---

八、行业反响与专家观点​

8.1 支持观点​

专家	观点
博通 CEO 陈福阳	"Jalapeño 只是一个多代路线图的起点，目标是共同建设千兆瓦级算力集群。"
OpenAI 总裁 Greg Brockman	"我们利用服务于用户的前沿模型，来优化运行未来模型的基础设施。"
业内人士	"Jalapeño 的发布是科技巨头集体挑战英伟达市场主导地位的又一注脚。"

8.2 质疑观点​

质疑点	说明
不对外销售	目前仅内部使用，第三方无法采购，对英伟达市场份额影响有限
软件生态	OpenAI 需要自建软件栈，与 CUDA 生态竞争难度大
供货能力	台积电产能有限，能否满足 OpenAI + 博通 + 其他客户的需求？
性能数据不透明	OpenAI 未公布具体规格（算力、显存、带宽、TDP），难以客观评估

---

九、对开发者的意义​

9.1 如果 OpenAI 未来出售 Jalapeño 给开发者...​

场景	当前（NVIDIA GPU）	未来（Jalapeño）
推理成本	基准	-50%
推理延迟	基准	可能更低
软件栈	CUDA + TensorRT	OpenAI API（可能开源软件栈）
采购难度	高（出口管制、供不应求）	低（OpenAI 直接供应）

9.2 即使不出售，也值得关注​

• ✅ 推理成本降低 50% 会倒逼英伟达、AMD、英特尔降低 GPU 价格
• ✅ AI 辅助设计芯片的新范式会被行业快速复制
• ✅ 9 个月流片周期会成为行业新基准

---

十、总结​

维度	评价
技术创新	⭐⭐⭐⭐⭐ 首款 AI 辅助设计的 AI 芯片，9 个月流片
成本优势	⭐⭐⭐⭐⭐ 推理成本降低 50%，年节省数十亿美元
战略意义	⭐⭐⭐⭐⭐ OpenAI 从纯模型公司转型为全栈 AI 基础设施提供商
市场影响	⭐⭐⭐⭐ "去英伟达化"加速，科技巨头自研芯片阵营壮大
开放性	⭐⭐ 目前仅内部使用，未来可能出售给第三方

最终建议：

• 🇨🇳 中国市场：继续关注华为昇腾、寒武纪 MLU、摩尔线程 MTT（Jalapeño 不对中国出售）
• 🌍 国际市场：关注 Jalapeño 是否未来对外销售，以及其对英伟达市场份额的影响
• 💡 开发者：关注 OpenAI API 降价可能性（推理成本降低 50% 可能部分让利给开发者）

---

参考资料​

• OpenAI 官方公告（待发布技术白皮书）
• 博通 CEO 陈福阳访谈
• 彭博社：Jalapeño 推理成本降低 50%
• SemiWiki：Jalapeño 技术细节
• Tom's Hardware：Jalapeño 架构分析
• 国际电子商情：Jalapeño 9 个月流片

---

声明：本文部分规格为推测值，以 OpenAI 官方技术白皮书为准。OpenAI 将在未来数月内发布详细性能技术白皮书。

最后更新：2026-06-26