65 posts tagged with "Tech Deep Dive"

之前我们讲过投机解码的概念：小模型起草稿、大模型来验证。但概念到生产之间隔着几个关键问题——接受率怎么算、草稿从哪来、为什么大 batch 场景收益会缩水。这篇往下挖一层。

草稿-验证框架：一次前向，验 K 个 token​

标准流程是：草稿模型根据当前上下文连续猜 K 个 token，目标模型把"原文加 K 个草稿 token"拼成一次前向——注意自回归模型天然支持一次并行计算多个位置的输出，所以验证 K 个 token 的耗时约等于生成一个 token。逐位比对：草稿猜对的保留，遇到第一个分歧位丢弃其后全部草稿，并采用目标模型在该位的输出。

对随机采样场景，接受与否用拒绝采样规则决定，可以严格证明最终输出分布与目标模型直接解码完全一致——这是投机解码最漂亮的性质：加速不以任何质量损失为代价。

收益取决于接受率 α：若每个草稿位被接受的概率都是 α，则每步目标模型前向平均产出约 1 加 α 加 α 的平方一直加到 α 的 K 次方个 token，随 K 增长趋于 1 除以 1 减 α。α 等于 0.7、K 等于 4 时约两倍加速；α 跌到 0.3，收益就趋近于零，草稿计算反而白费。

草稿从哪来：三条路线​

独立草稿模型最直观，但要求草稿与目标共享分词器且风格对齐，体积以小为宜——太大则草稿自身耗时吃掉收益。Medusa 不引入独立模型，在目标模型上挂若干预测头并行猜测未来多个位置，部署简单。EAGLE 系列更进一步：直接把目标模型的中间层特征喂给一个轻量草稿头，配合树形注意力（每步验证多条候选分支）把接受率推高，2025 年发布的 EAGLE-3 据公开评测已成为通用模型上的标杆方案。

MTP 则把投机解码内化进训练目标：DeepSeek-V3 在预训练时就加入多 token 预测模块，推理时该模块天然充当草稿头。据其公开技术报告，MTP 带来约 1.8 倍的解码加速，接受率达八成以上——原生对齐是接受率最高的路线，代价是必须从训练侧介入。

什么场景反而变慢​

三类场景要谨慎：一是高温采样等高随机性输出，草稿与目标分歧大，接受率暴跌；二是超大 batch 服务，此时解码已接近算力受限，验证的并行红利被摊薄，甚至挤占正常请求的算力；三是草稿模型选得太大，草稿成本占比过高。经验法则是草稿比目标小一到两个数量级，且务必用自家流量实测接受率——公开基准的七成接受率在你的领域数据上可能只有三成多，收益随之天差地别。

小结​

投机解码是"用访存冗余换时延"的典型架构：单流解码卡在权重搬运上，验证多 token 几乎不额外耗时，这正是它能免费加速的物理原因。落地时先明确业务是延迟敏感还是吞吐敏感——前者优先开，后者要先压测 batch 干扰，再选对草稿路线，最后盯住接受率这个唯一的核心指标。

今天每一款 AI 芯片的规格表上，数字最大的那一行几乎都来自专门的矩阵计算单元，而不是通用核心。这些单元叫法各异——Tensor Core、MXU、Cube Core、MME——但都指向同一个设计判断：神经网络计算值得用专用电路来做。

起点：通用核心喂不饱神经网络​

深度学习计算的主体是矩阵乘法，模式极其规整：同样的乘加操作重复亿万次。早期的方案是在通用 GPU 核心上跑这些运算，效率不错但浪费——取指、调度、分支预测这些通用能力对矩阵乘毫无贡献。转折出现在 2016 到 2017 年：Google TPU v1 用脉动阵列（MXU）做 INT8 推理，数据在阵列中流动、逐拍被计算单元"接力"处理，省去了反复访存；NVIDIA 则在 Volta 架构中引入第一代 Tensor Core，把小型矩阵乘加指令下沉到硬件，每时钟周期可完成一组 4 乘 4 矩阵片段运算。矩阵计算从此有了专属电路。

Ampere 到 Hopper：精度阶梯与异步化​

NVIDIA 的演进路线最具代表性：

这条脉络有两条主线：一是精度不断下探，FP16 到 FP8 再到 FP4，每一档都把单次运算的能耗和面积砍掉一大截，配套的格式管理机制（如自动缩放）保证精度可接受；二是执行方式从同步走向异步，矩阵指令直接在显存与计算单元之间搬运大块数据，减少寄存器中转，让算力单元的填充率更高。

不是一家的事：矩阵引擎的多种流派​

矩阵单元并非 NVIDIA 独有。Google TPU 的 MXU 是脉动阵列的代表，几代 TPU 始终坚持这一架构，用规整的数据流换取高能效。华为达芬奇架构的 Cube Core 走"三维立方运算"路线，一条指令完成一整块矩阵乘，Ascend 系列延续至今。寒武纪 MLU 核心同样以矩阵和向量单元为主体。Intel Gaudi 系列则把大矩阵引擎（MME）与可编程 VLIW 核搭配，一个负责稠密 GEMM，一个负责其余算子。各家实现细节差异很大，但方向一致：让矩阵乘法拥有专属的、尽可能宽的数据通路。

小结​

十五年演进可以压缩成一句话：算力单元从"通用核心顺便做矩阵"走向"整颗芯片围着矩阵引擎转"。精度下探仍有空间，但物理极限渐近，下一阶段的竞争点正在从单单元峰值转向数据搬运效率——显存带宽、片上 SRAM、互连拓扑。选型时看算力单元，不要只看峰值 FLOPS，要看它背后的数据供给能力：算得快的前提是喂得快。

当几乎所有 AI 芯片公司都在对标英伟达时，Jim Keller 的态度是："英伟达做什么，我们就反着来。"Blackhole 就是这句话的产物。

架构：一颗"独立的 AI 计算机"​

Blackhole 是 Tenstorrent 第三代加速器，台积电 6nm 工艺，2024 年 8 月在 Hot Chips 上首次披露，2025 年 4 月的开发者大会上正式开卖。它最特别的地方在于片上集成了三种计算资源：

每个 Tensix 核心内部又包含 5 个"小 RISC-V"核心、张量引擎、向量引擎与本地 SRAM；算上各处控制器，全片共有 752 个小 RISC-V 核。而那 16 个大核（SiFive X280）强大到可以直接在加速卡上启动 Linux，充当设备内主机——Blackhole 因此不需要独立 x86 主机即可工作。扩展方式同样不走寻常路：不用专有交换机，10 条 400G 以太网链路直接把多颗芯片连成网格。

开源：商业模式本身就是技术战略​

Tenstorrent 在开发者日当天把整个软件栈推上了 GitHub：底层运行时 TT-Metalium、神经网络库 TT-NN、编译器前端 TT-Forge 全部开源，电路原理图公开，甚至为提交内核代码的开发者设立了 500 至 5 万美元的悬赏。CI 日志与性能看板对所有人可见。

这套打法背后是清晰的商业算盘：其一，AI 集群物料成本已高达数亿美元，专有固件与非披露协议把研究者挡在门外，开源降低了最顶尖人才的试用门槛；其二，Tenstorrent 同时出售 RISC-V CPU IP（面向服务器级市场的 Ascalon 内核已向首批客户授权早期 RTL），硬件与 IP 两条腿走路；其三，据公开报道，公司已累计融资约 10 亿美元，支撑其每年迭代的目标。产品矩阵从 999 美元的开发卡、11999 美元的 QuietBox 工作站（4 颗 Blackhole）到集成 32 颗芯片的 Galaxy 服务器，覆盖了从研究生到主权 AI 的所有层级。

风险与观察​

Blackhole 用 GDDR6 替代 HBM 是成本与开放性的取舍，带宽密度明显低于同级 GPU；软件栈虽开源，成熟度与 CUDA 仍有差距；数千卡规模的公开演示也还在路线图上。Keller 自己也承认："所有只押一件事的人都会失败"——所以 Tenstorrent 同时卖卡、卖 IP、卖服务器。

小结与建议​

对开发者与研究者而言，Blackhole 是目前门槛最低的"真 AI 芯片"实验平台：999 美元、无需云配额、代码全部可读可改。对行业而言，它验证了 RISC-V 在 AI 加速领域的可行性，也给"去 CUDA 化"提供了一个开源支点。它未必能撼动 GPU 的份额，但它正在培养一代熟悉开放架构的工程师——这或许是比卖芯片更长线的投资。

2026 年秋天，"统一内存"成了 AI 硬件圈最卷的词。AMD 和 NVIDIA 在 AI PC 上贴身肉搏，桌面端堆出 748GB 的"超算"，数据中心则用 HBM4 把带宽拉到 22TB/s。容量数字一路上涨，但真正决定体验的，是那个藏在参数表角落里的带宽。

统一内存要解决什么​

传统 PC 架构里，CPU 和 GPU 各管一摊内存：模型文件躺在系统内存里，推理前要先通过 PCIe"搬运"到显存，模型一大，加载时间以分钟计，显存不够还会溢出到磁盘。统一内存的思路是把这堵墙拆掉——CPU 和 GPU 共享同一块物理内存，模型加载变成一次指针映射，权重不用搬，KV Cache 也能被两个处理器同时访问。

AMD 用 VGM（可变显存滑块）实现这一点：Ryzen AI Max+ 395 的 128GB 内存里，最多 96GB 可划给 GPU 当显存；新的 Pro 495 则允许从 192GB 里划出 160GB。NVIDIA 的路线更彻底，RTX Spark 的 GB10 超级芯片通过 NVLink-C2C 让 Arm CPU 与 Blackwell GPU 直接共享 128GB LPDDR5X，地址空间完全一致。

四档产品对比表​

2026 年 10 月的市场上，统一内存产品已经拉开四个档次：

值得注意的是两家新品发布的贴身节奏：AMD 在 10 月 5 日公布 Pro 495，两天后 NVIDIA 就办了 RTX Spark 新品活动。AMD 还准备了后续牌——代号 Gorgon Halo 的 Ryzen AI Max 400 同样最高 192GB，Pro 495 加速到 5.2GHz，并宣称是首款能在本地跑 300B 级模型的 x86 客户端处理器。整机侧，联想 YOGA Pro 15 搭载 RTX Spark，统一内存规格为 9400MT/s、256-bit 位宽。

带宽才是隐藏变量​

把四档产品的带宽排成一列，差距比容量悬殊得多：256GB/s（395）、约 272GB/s（Pro 495）、273GB/s（DGX Spark 64GB）、300GB/s（RTX Spark 128GB），再到 7.1TB/s 与 22TB/s——AI PC 与数据中心之间差了整整两个数量级以上。

这解释了一个反直觉的现象：容量相同的两台机器，token 生成速度可能差出数倍。大模型推理的 decode 阶段是典型带宽受限负载，每生成一个 token 都要把权重和 KV Cache 扫一遍，带宽直接决定每秒吐出多少字。RTX Spark 靠 300GB/s 在四款 AI PC 里领先；而 DGX Station 的 748GB 之所以值钱，不只因为容量能装下万亿参数，更因为 252GB HBM3e 提供的 7.1TB/s 带宽让模型真的跑得动，而不是"装得下、跑得慢"。

还有一档容易被忽略：DGX Spark 双机通过内置 ConnectX-7 的 QSFP 直连，可把内存池化到 128GB，模型上限提升至 2000 亿参数级，Qwen3.8 27B 实测峰值较单台提升最高 70%——用网络扩展统一内存，是介于单机和工作站之间的第三条路。

VGM 与 CUDA 统一内存的分配策略差异​

同样叫统一内存，AMD 和 NVIDIA 的分配哲学并不相同。AMD 的 VGM 是显式的静态划分：用户拖滑块决定划多少 GB 给 GPU，划出去的部分 CPU 不能再用。优点是行为可预测、显存语义清晰，对 llama.cpp、Stable Diffusion 这类工具友好；代价是弹性差，划多了浪费、划少了要重划。

NVIDIA 的 CUDA 统一内存是动态的：CPU 与 GPU 共享统一地址空间，按需在两者间迁移页面。开发者不用预判"该分多少"，跑什么模型都是同一套逻辑；但页面迁移的粒度和时机由运行时控制，遇到突发访问模式时可能引入抖动。对追求开箱即用的消费用户，CUDA 路线体验更顺滑；对需要稳定显存预算的 Agentic 工作流，VGM 的确定性反而更吃香。

选型建议：按模型规模分档​

小结​

统一内存之战没有单一最优解：128GB 与 192GB 争夺 AI PC 入场券，748GB 的 DGX Station 把数据中心内存架构搬上桌面，288GB HBM4 则继续守卫机架级吞吐。选型的第一变量不是容量，而是带宽——256GB/s 与 22TB/s 之间隔着三个数量级的体验鸿沟；第二变量是分配策略——VGM 的确定性划分与 CUDA 的动态迁移各有适配场景。先想清楚要跑多大的模型、多少并发，再看参数表，才不会被大数字带偏。

当所有人盯着 Rubin R200 的 50 PFLOPS FP4 时，真正决定这台机器推理经济性的，可能是一颗 CPU。Vera——NVIDIA 首次全面自研核心的数据中心 CPU，用 88 个 Olympus 核心、第二代 SCF 一致性结构和 1.5TB LPDDR5X，重新定义了"AI 工厂的主机处理器"。本文依据站内芯片数据库与智能体基准实测，拆解 NVIDIA 从外购 Arm 核到自研 SCF 的演进逻辑。

从 Grace 到 Vera：自研之路的三级跳​

NVIDIA 的 CPU 战略经历了三个阶段：GH200/GB200 时代的 Grace CPU 基于 72 核 Neoverse V2 公版 Arm 核心，本质是"外购核心 + 自研互联"；GB300 延续了这一代 Grace；而 2026 年 GTC 发布的 Vera 则完成质变——核心、片上互连、内存子系统全部自研。据站内芯片数据库，Vera 的核心规格如下：

SCF：88 核无延迟扩展的底座​

SCF（Scalable Coherency Fabric，可扩展一致性结构）是 Vera 最值得细看的技术。第二代 SCF 提供 3.4 TB/s 对分带宽，采用片上网格 + 统一缓存设计，可无延迟扩展 88 个核心。

对分带宽（bisection bandwidth）是衡量片上互连质量的关键指标：它表示把芯片切成两半时，两半之间的总通信带宽。88 核的大芯片如果对分带宽不足，核心越多内耗越大。第二代 SCF 用网格拓扑让任意核心间的通信路径趋于均匀，配合统一缓存避免一致性流量的长距离穿梭——这正是 Vera 敢于采用单体计算芯片设计（而非多小芯片拼接）的底气：避免跨小芯片通信延迟，在所有核心满载时保持稳定延迟和吞吐量，性能可预测性强。

1.5TB LPDDR5X：把内存子系统当主武器​

Vera 将 SCF 与高达 1.5TB 的 LPDDR5X 内存子系统结合。对比上一代 Grace 的规格变化一目了然：

更关键的是系统级设计：LPDDR5X 与 GPU 的 HBM4 可视为单一一致性内存池。这意味着数据不再需要在"CPU 内存"和"显存"之间显式搬运，两个物理上分离的内存子系统在软件视角下是一体的。对推理业务，这带来两个直接收益：KV 缓存卸载——不常用的注意力上下文可以下沉到 LPDDR5X 侧，把昂贵的 HBM4 带宽留给热点数据；多模型高效执行——多个模型实例共享同一内存池，切换与加载开销大幅降低。

Daytona 实测：智能体时代的 CPU 门槛​

2026 年 10 月 10 日公布的 Daytona 智能体基准测试，给 Vera 的实际能力提供了量化注脚。智能体负载的特点是海量并发沙盒的创建与销毁——恰恰考验 CPU 的内存容量、一致性与调度效率：

8 倍的沙盒上线速度差距说明：智能体负载对 CPU 的要求已与通用计算分道扬镳——容量大（1.5TB 装下海量沙盒状态）、带宽高（1.2TB/s 喂饱并发）、一致性结构强（88 核高效协作）。站内芯片数据库同时记录，Vera 的软件环境运行速度相比传统架构 CPU 提升最高 50%，满负载下强化学习评估周期可缩短 50%。

与 Groq 3 LPX 的异构分工​

Vera 所在的 Rubin 平台还有一位非常规队友：NVIDIA 收购 Groq 后推出的 Groq 3 LPX。据站内芯片数据库，LPX 机架集成 256 颗 LPU，聚合 128GB 片上 SRAM，聚合带宽高达 40 PB/s，官方口径的能效优势显著（35× perf/W vs H100 推理）。在 Rubin 平台的分工中，GPU 承担训练与 prefill，Groq 3 LPX 专攻智能体解码阶段的低延迟输出——而 Vera 则是这一切的调度中枢。prefill 吃算力、decode 吃带宽、调度吃一致性与容量，三种负载由三种架构分别消化，这正是"每 token 经济学"推导出的异构架构必然性。

Vera vs EPYC Venice：服务器 CPU 的新战场​

Vera 的出现让 NVIDIA 与 AMD 在服务器 CPU 领域正面相遇。据站内芯片数据库，AMD EPYC Venice（2026 CES 发布）是全球首款 2nm 数据中心 CPU：

两者的定位差异明显：EPYC Venice 是通用数据中心 CPU 的极致（256 核、x86 生态、Helios 机架中与 MI455X 组队），而 Vera 是 AI 专用 CPU——它不做通用服务器生意，只为 AI 工厂的主机负载优化。Vera 甚至支持硬件级 FP8 计算，是全球首款支持 FP8 精度的 CPU，并支持全机密计算的硬件级安全隔离。竞争的天平取决于一个问题：AI 工厂的 CPU 采购，会不会整体从通用服务器预算中剥离？如果会，Vera 绑定 Rubin GPU 的销售模式将是护城河；如果不会，EPYC 的生态广度仍难撼动。

小结​

Vera CPU 标志着 NVIDIA 完成了从"用别人的核心攒超级芯片"到"自研全套主机平台"的跃迁：SCF 的 3.4TB/s 对分带宽解决了 88 核扩展难题，1.5TB LPDDR5X 与 HBM4 构成的一致性内存池重构了推理数据流，Daytona 实测的 8 倍沙盒优势则证明智能体负载确实需要一颗不一样的 CPU。它的野心不在挑战 x86 的通用服务器王座，而是重新划定一条边界——AI 基础设施中，CPU 是 GPU 子系统的一部分，而不是独立采购的商品。这条边界能否成立，将决定未来五年服务器市场的版图。

当芯片厂商开始"造内存"、云厂商开始"造芯片"，AI基础设施的分工边界正在瓦解——存储不再是采购来的标准件，而是与加速器协同设计的战略资产。

NVHBM：AWS与NVIDIA的定制内存联姻​

AI Infra Summit 2026（9月17日）上爆出的消息显示：亚马逊旗下Annapurna Labs正与NVIDIA合作开发NVHBM定制高带宽内存技术。

这个组合本身就足以说明问题。Annapurna Labs是AWS自研芯片体系的核心（Graviton CPU、Trainium/Inferentia加速器都出自该团队），而NVIDIA则是AI加速器绝对主导者。两家联手开发定制HBM，意味着最强势的云厂商与最强势的芯片厂商决定共同绕开标准内存路线，为AI负载打造私有化的内存方案。

存储协同设计：行业范式转移​

NVHBM并非孤立事件。AI Infra Summit 2026前后，存储行业的密集动作勾勒出一幅"存储深度嵌入AI"的图景：

2026年9月21日的半导体周报对这一趋势给出了精辟概括："Memory is being co-designed with AI accelerators rather than treated as a commodity"——内存正在与AI加速器协同设计，而不再被视为大宗商品。

这句话宣告了一个时代的结束：过去几十年，内存是标准化的商品，JEDEC规范统一接口，谁家买都一样。而在AI时代，内存的带宽、容量、拓扑直接决定集群效率，"标准件"思维已经跟不上需求。

为什么绕过JEDEC走定制路线​

超大规模厂商选择定制HBM，动机有三：

• 性能天花板：标准HBM的规格迭代节奏由JEDEC委员会决定，而AI负载的内存需求以年为单位翻倍。定制方案可以围绕特定加速器优化堆栈数、接口带宽和容量配比，榨取最大能效。
• 供应安全：HBM产能持续紧张，已成为整个AI芯片产业的瓶颈。定制协议绑定的不只是技术规格，更是产能分配——把内存供应商变成深度盟友。
• 成本控制：HBM占AI加速器物料成本的重要比重。云厂商自建芯片团队后，有动力也有能力参与内存定义，消除中间层的规格冗余。

HBM短缺：国产芯片涨价潮的根源​

定制HBM军备赛的另一面，是HBM产能的普遍短缺。近期的国产芯片涨价潮，其根源正是HBM供应不足——当NVIDIA、AMD以及各云厂商自研芯片都在争夺有限的HBM产能时，位于优先级末端的采购方（包括部分国产AI芯片厂商）面临的是"有芯片设计、没有内存可用"的窘境，成本随之水涨船高。

这解释了为什么HBM产能与成本已成为芯片厂商的核心竞争维度：谁能锁定HBM供应，谁就能锁定出货量；谁的定制内存方案能效更高，谁的产品就更具竞争力。存储厂商的地位因此空前提升——SK海力士在发布"New Spectrum"后次日即于硅谷设立SK hynix Ventures投资AI生态，正是从供应商向生态节点跃迁的标志性动作。

对下一代平台意味着什么​

NVHBM若落地，影响将体现在两个层面：

• NVIDIA Vera Rubin及后续代际：定制内存与加速器协同设计，意味着未来Rubin后续产品的内存子系统可能针对AWS负载定制，云厂商对芯片平台的参与度从"采购方"升级为"共同定义方"。
• 机架级内存竞赛：AMD已展示31TB HBM4机架方案，机架级内存容量的军备竞赛已经开打。当内存容量从单卡432GB演进到机架数十TB，内存架构的设计自由度（定制HBM vs 标准HBM4）将直接决定产品竞争力。

小结​

AWS联手NVIDIA开发NVHBM，标志着存储正式从"采购关系"进入"协同设计"时代：SK海力士以HBF/PIM/eSSD/SALT-KV重构存储产品线并设立风投部门，美光推出超密度内存模组，超大规模厂商开始绕过JEDEC定制内存。HBM短缺引发的国产芯片涨价潮则揭示了新秩序的残酷一面——内存即产能，产能即话语权。当"造内存"成为芯片巨头的必修课，AI基础设施的竞争维度被彻底改写。

2026年9月17日，SK海力士在AI Infra Summit 2026上发布面向AI基础设施的"New Spectrum"技术组合。当Agentic AI与长上下文推理把存储推向瓶颈中心，存储厂商正从部件供应商转型为AI基础设施平台玩家。

New Spectrum：四大技术方向​

SK海力士此次发布的"New Spectrum"组合覆盖四个方向，每一项都瞄准AI工作负载中最突出的存储瓶颈：

这四项技术的共同指向非常清晰：AI推理时代的存储不再是"够大就行"，而是要同时满足带宽、容量、成本与数据通路效率的多重约束。

KV Cache经济性：Agentic AI拉动的存储需求​

理解New Spectrum的关键，是理解KV Cache经济性。

大语言模型推理时，每一个token的生成都要读取之前所有上下文的KV Cache。上下文越长，KV Cache越大；Agentic AI的兴起让"长对话、多轮次、多Agent协作"成为常态——一个Agent任务可能持续数十轮调用，每轮都在累积上下文。这意味着：

• KV Cache容量需求爆炸式增长：长上下文模型动辄数十万token的窗口，单请求KV Cache可达数十GB量级；
• 带宽成为隐性成本中心：每生成一个token都要完整读取KV Cache，内存带宽直接决定了单位token成本；
• 层级化存储成为必然：HBM放不下的KV Cache需要更快的次级存储，这正是HBF与SALT-KV的切入点。

同期，华为OceanStor M900已提供PB级KV Cache集群方案，说明"KV Cache基础设施化"已是行业共识。谁能把KV Cache存得更多、读得更快、成本压得更低，谁就掌握了推理经济的新杠杆。

HBF：把闪存带宽提到内存量级​

HBF（High Bandwidth Flash）是New Spectrum中最具想象空间的一项。传统NAND闪存的致命短板是带宽——顺序读尚可，随机读性能与内存相差数个量级，因此长期只能承担"冷数据"角色。

HBF借鉴HBM的设计哲学，通过堆叠与宽接口把闪存带宽提升至接近内存的量级。这带来的可能性是：原本必须驻留HBM的热数据，可以部分下沉到HBF层，在成本几乎不变的情况下大幅扩展"有效内存容量"。对于动辄以TB计的模型权重和KV Cache而言，HBF有望成为HBM与eSSD之间缺失的中间层。

PIM：推理场景的近数据计算​

PIM（存内计算）的定位则是解决另一个痛点：数据搬运。在传统架构中，数据从内存搬运到计算单元的能耗与延迟开销，往往超过计算本身。PIM把计算能力直接嵌入存储介质，让"数据不动、计算过来"。

在推理场景中，PIM尤其适合权重固定的矩阵乘加等访存密集操作，能够在降低功耗的同时提升吞吐。随着每瓦token数成为数据中心的核心KPI，PIM的价值会持续放大。

行业同期动作：存储军备竞赛全面展开​

SK海力士的动作并非孤立。2026年9月中旬，存储与定制硬件领域密集出招：

三个信号值得注意：其一，美光的超密度内存模组直指单机内存容量天花板；其二，亚马逊与NVIDIA的NVHBM合作说明头部应用方已深入定制内存控制器层面；其三，SK hynix Ventures落地硅谷，表明存储巨头不再满足于卖部件，而是要通过投资生态锁定AI基础设施的平台位置。

2026年9月的半导体周报对此有明确判断：存储正与AI加速器协同设计，存储公司正从部件供应商转型为AI基础设施平台玩家。HBM4时代的定制化（如NVHBM）正是协同设计趋势的直接体现——内存不再是可以即插即用的标准件，而是与GPU、ASIC深度耦合的系统组件。

小结​

SK海力士的New Spectrum组合——HBF、PIM、eSSD、SALT-KV——勾勒出AI存储的完整路线图：HBF把闪存带宽提到内存量级、填补HBM之下的层级空白，PIM用近数据计算降低搬运开销，SALT-KV直击KV Cache经济性这一推理时代的核心命题。叠加美光超密度内存、亚马逊与NVIDIA的NVHBM定制HBM等同期动作，2026年的存储行业已经清晰地完成了角色转身：从跟随GPU节奏的部件供应商，变成与AI加速器协同设计、共同定义AI基础设施形态的平台玩家。存储，正在成为AI竞争的下一个主战场。

2nm不再只是制程路线图上的一个名词，它已经成为AI算力竞赛的物理基础。AMD MI455X的问世，宣告最先进制程正式进入AI加速器的主战场。

MI455X：首款N2制程AI GPU登场​

2026年7月23日，AMD在Advancing AI活动中正式发布基于CDNA 5架构的MI455X。而在Hot Chips 2026上，AMD首次公开了这款芯片的chiplet级细节，其中最重磅的信息是：8个加速复杂裸片（XCD）采用台积电N2（2nm）制程制造，这使MI455X成为业界首款采用N2的AI GPU。

N2是台积电首个量产的2nm节点，也是其首次在逻辑制程中采用GAA环绕栅极晶体管的第二代演进。把旗舰AI加速器的主力计算裸片押注在新节点上，AMD对2nm良率与产能的信心可见一斑。

Chiplet架构深度解析​

MI455X的架构设计体现了"异构集成极致化"的思路：

几个值得注意的设计选择：

• 3D混合键合：8个XCD不再仅靠2.5D互连并排摆放，而是通过3D混合键合垂直堆叠集成，大幅缩短裸片间信号路径、提升互连密度。
• 制程分工：计算裸片用最先进的N2追求性能与能效，而fabric/cache/IO裸片采用更成熟、成本更低的N3P——这是chiplet时代"好钢用在刀刃上"的典型做法。

内存与算力：对MI355X的代际跃升​

对比上一代MI355X，MI455X在内存和算力两个维度都实现了跨越：

低精度数据格式的全面支持是CDNA 5的重点：MXFP4算力达到MI355X的4倍，直接面向当前主流的大模型FP4推理与训练场景。

架构演进：Wave32、超越函数引擎与数据搬运器​

除了制程和规格，MI455X在微架构层面有三处关键改动：

1. 原生Wave32执行：从传统Wave64转向原生Wave32，降低指令延迟与寄存器压力，让SIMD单元利用率更高，尤其利于注意力机制等不规则计算负载。
2. 超越函数引擎：新增专用引擎加速attention中的数学运算（如指数、归一化等超越函数），直击Transformer推理的热点。
3. Tensor Data Mover：专门的数据搬运单元，减少计算单元在数据调度上的空转，提高实际有效算力占比。

这三项改动共同指向一个目标：让纸面PFLOPS尽可能转化为真实吞吐。

2nm量产竞速：台积电、三星与Intel的三角格局​

MI455X只是2nm竞赛的开局。2026年9月的报道显示，三星正联合台积电推进2nm AI芯片制程，目标2027年量产，能效比提升40%。两大代工厂不约而同地把2nm的市场切入点选在AI芯片上——因为只有AI客户能承受先进制程的晶圆成本，也只有AI负载能把每瓦性能的价值放大到极致。

另一边，Intel Foundry的High NA EUV已累计处理超过100万片晶圆（截至2026年9月21日当周的报道），在1.4nm及以下节点上，Intel试图用High NA EUV实现技术反超。代工三强的2nm/1.4nm竞速，本质上是在为2027年之后的AI芯片订单排兵布阵。

能效比：下一个主战场​

为什么整个行业都在押注2nm？答案不是峰值算力，而是能效比。当单个训练集群的功耗达到数百兆瓦时，制程每提升一代带来的每瓦性能改善，会直接折算成电力基建成本和运营费用的下降——这正是前文所述"算力竞赛变成电力竞赛"的技术呼应。三星与台积电宣传的"能效比提升40%"，对应的正是客户最痛的那根神经。

小结​

MI455X用8个N2制程XCD、3D混合键合、3200亿晶体管和432GB HBM4，把AI GPU的工程上限推到了新高度；而Wave32原生执行、超越函数引擎和Tensor Data Mover则展示了微架构层面让算力"落地"的努力。随着三星/台积电剑指2027年2nm量产、Intel以High NA EUV蓄力，先进制程与AI算力已经深度捆绑。2nm时代的开启意味着：未来AI芯片的竞争，将在原子尺度上决出胜负。

In 2026, AI compute growth has hit a hard constraint — electric power. With NVIDIA Rubin NVL576 single-rack power consumption at 1 MW, the xAI Colossus cluster at 200 MW, and OpenAI's planned Stargate campus at 5 GW, power supply is becoming the biggest bottleneck for AI development. This article provides an in-depth analysis of this "power crisis" and the solutions.

The bottleneck for AI compute has shifted from compute itself to memory bandwidth and capacity. HBM (High Bandwidth Memory) , as a core component of AI chips, has a 2026 market size of $80B+, but there are only 3 suppliers globally — SK Hynix, Samsung, Micron. This article provides an in-depth analysis of this "memory three kingdoms" battle.