跳到主要内容

26 篇博文 含有标签「AI Hardware」

AI hardware industry dynamics beyond chips (HBM, servers, systems)

查看所有标签

天数智芯天垓 150 深度解析:国产 GPGPU 的实干路线

· 阅读需 4 分钟
Industry Research Team

在国产 GPU 的宣传语境里,峰值算力常常被放大到失真。天数智芯是少数反着来的公司:2021 年发布的天垓 100 是国内首款完成规模量产的全自研通用 GPU 云端训练产品,2023 年的天垓 150 则在显存与生态适配上持续做深。不喊最强的口号,先交付能用的产品,这条"实干路线"值得单独解析。

规格:为大模型训练配平的板卡​

天垓 150(板卡型号 BI-V150)基于第二代自研通用 GPU 架构 ivcore11,采用台积电 7nm 工艺,规格综合官方与高校采购公示信息如下:

参数天垓 100(BI-V100)天垓 150(BI-V150)
发布时间2021 年 3 月2023 年
FP32 算力约 37 TFLOPS48 TFLOPS
FP16 算力约 147 TFLOPS192 TFLOPS
INT8 算力约 295 TOPS384 TOPS
显存32GB HBM264GB HBM2e
显存带宽未公开1.2 TB/s
功耗250W350W

显存从 32GB 翻倍到 64GB 是天垓 150 最关键的一步。大模型训练需要同时容纳参数、激活、梯度与优化器状态,64GB HBM2e 配合 1.2 TB/s 带宽,使其能承载主流开源大模型的训练与微调任务。

软件生态:把迁移成本当核心指标​

天数智芯官方强调系统架构、指令集、核心算子到软件栈全部自主研发,同时把"开发易迁移"作为产品卖点:工具链内置 CUDA 通用计算加速库,支持 PyTorch、TensorFlow 等框架与 ixrt 推理引擎;大模型侧已适配 LLaMA、Qwen 等体系,兼容 DeepSpeed、Megatron-LM、Colossal-AI 等训练框架,推理侧对接 vLLM、TGI;并对主流开源模型提供发布即适配的快速响应。公司还运营 DeepSpark 开源社区,围绕模型、算法与评测构建开发者生态。

产品矩阵与资本里程碑​

围绕天垓 150,天数智芯已形成三条产品线:天垓系列负责云端训练,智铠系列负责云端推理(智铠 100 于 2022 年 12 月发布,150W 功耗下提供 96 TFLOPS FP16 与 384 TOPS INT8),彤央系列则把算力延伸到边缘与终端,TY1200 平台可离线运行 35B 级模型。

天垓 150 在市场上强调"异构混训"能力——企业不必替换全部现有 GPU 资产,国产卡可以逐步加入既有集群,这种渐进式思路显著降低了客户决策阻力,高校、智算中心的采购公告中屡见其身影。资本层面,公司于 2026 年 1 月 8 日登陆港交所,发行价 144.60 港元,募资净额约 35 亿港元;2026 年 7 月又发布了新一代天垓 300,训练产品线继续向上延伸。

小结:慢就是快​

天垓 150 没有惊艳的参数,但每一项规格都指向真实可交付的训练负载。从天垓 100 的首次量产到天垓 150 的显存翻倍,再到天垓 300 的接棒,天数智芯用五年时间验证了一条朴素路线:先让客户用起来,再让产品强起来。对于看重长期供应稳定性、需要异构混训方案的用户,天垓 150 至今仍是一张值得认真评估的训练卡。

Lightmatter 与硅光互连:光进入 AI 集群的三种方式

· 阅读需 4 分钟
Industry Research Team

过去三年,模型参数增长了 240 倍,集群规模扩大了 10 倍,而互连带宽只提升了 2 倍——Lightmatter 创始人 Nick Harris 用这组数字解释为什么光必须进入 AI 集群。

为什么是现在:电互连的"海岸线"困境​

现代 AI 芯片的全部 I/O 都挤在裸片边缘,业内称之为"海岸线"(shoreline)限制:裸片面积在变大,边缘周长的增长却远跟不上 I/O 需求。同时,电信号的传输距离与带宽密度受物理规律约束,scale-up 域被锁死在单机架范围内,GPU 集群大量时间在等待数据。Lightmatter 的核心思路是:用光子取代铜线,并把光 I/O 从"边缘"搬到"整个裸片表面"——所谓的无边 I/O(edgeless)架构,让带宽随面积而非周长扩展。

三种进入方式:光源、共封装、光子中介层​

Lightmatter 的产品矩阵正好对应光进入集群的三条路径:

产品形态关键规格状态
Guide 光引擎大规模光子光源(VLSP)16 波长,单光纤 800G,波长精度正负 20GHz已发布
Passage L20共封装光学入门方案聚合带宽 12.8 Tbps,可插拔密度 4 倍2026 年上市
Passage L200 与 L200X3D 共封装光学(CPO)32 至 64 Tbps 双向带宽,320 个 SerDes,单光纤最高 1.6 Tbps2026 年上市
Passage M10003D 光子中介层超级芯片114 Tbps 总光带宽,4000 平方毫米,256 根光纤,1.5kW 供电2025 年夏季推出

三条路径解决的问题不同。Guide 光引擎为整个光子产业提供稳定光源,是生态层面的布局;L200 系列瞄准交换芯片与下一代 XPU 的共封装,用 UCIe 标准接口实现芯片粒集成,与 Alphawave 合作提供 SerDes IP;M1000 则最为激进——它是一块可重构波导网格的三维光子中介层,让数千颗 GPU 进入同一互连域,据称可将万卡级集群的 scale-up 域扩大 8 倍,万亿参数 MoE 模型的训练时间缩短约 2.7 倍。

资本与产业风向​

Lightmatter 2017 年从 MIT 分拆而来,2024 年 10 月完成 4 亿美元 D 轮融资,估值达 44 亿美元,累计融资 8.5 亿美元,是硅光赛道估值最高的公司之一。制造侧与 GlobalFoundries(Fotonix 硅光平台)、台积电、Tower、Amkor、ASE 等深度合作。

值得注意的行业信号是:2026 年,Marvell 宣布以约 55 亿美元收购硅光初创 Celestial AI(据公开报道),大厂开始用并购押注光互连——这与博通在 CPO 上的持续投入相呼应。光互连已从论文选题变成 AI 基础设施军备竞赛的一环。

小结与建议​

光子不会取代电子计算,但它正在接管计算之间的高速公路。对云厂商与 AI 数据中心规划者,建议关注三个节点:其一,Passage L200 的 2026 年量产进度,共封装光学是短期内最现实的落地形态;其二,M1000 级光子中介层能否真正进入 XPU 设计流程;其三,UCIe 等开放标准与光互连的融合程度。互连正在成为 AI 集群的第一性约束,光进群的速度,可能决定下一代超大规模训练的经济性。

美光的 HBM4 豪赌:产能、产地与市场格局

· 阅读需 4 分钟
Industry Research Team

在HBM三强中,美光长期是"最不可忽视的第三名"——体量最小,但增长姿态最凶。当韩系双雄比拼产能规模时,美光选择了一条更聪明的路径:不比总量,比爬坡速度、产品世代切换与长约锁定的能力。

产能翻倍:10 万片的年底目标​

据2026年9月多家媒体报道的行业消息,美光计划到2026年底将HBM月产能提升至约10万片晶圆,较2025年每月约4万至5万片的水平接近翻倍,新增设备正在其台湾铜锣与新加坡Woodlands封装基地安装,广岛厂的配套投资也在筹备之中。需要说明的是,这一具体数字目前来自供应链口径,美光官方尚未正式确认。

即便翻倍落地,美光与三星、SK海力士的差距依然明显——两家韩企的HBM月产能据行业估算均在15万至20万片之间,是美光当前规模的3到4倍。但市场份额的差距远小于产能差距:据Counterpoint Research估算,2026年第二季度全球HBM份额为SK海力士50%、三星32%、美光18%。产能翻倍的意义不在于追平,而在于把差距压缩至此前的约一半,从而在供货资格与长约谈判中获得更重的筹码。

美光HBM关键指标现状与目标
2025年HBM月产能约4万至5万片
2026年底目标约10万片
HBM4产出占比从年初20%至30%升至年底最高50%
HBM4累计收入已突破10亿美元(2026年6月口径)
2026年Q2市场份额18%(Counterpoint估算)
2027年产能大部分已被客户长约锁定

HBM4:绑定 Vera Rubin 的产品卡位​

美光的豪赌核心是12层HBM4。该产品于2026年第一季度量产,其中36GB 12层版本专为英伟达Vera Rubin平台设计,官方公布的带宽超过2.8TB/s,能效较上一代HBM3E提升逾20%。CEO Sanjay Mehrotra在2026年6月的财报电话会上表示,HBM4的产能爬坡速度约为12层HBM3E的两倍,累计HBM4出货收入已突破10亿美元。

更关键的财务背景是:美光最新一个财季(截至2026年5月28日)营收达414.6亿美元,而上年同期仅93亿美元——存储超级周期带来的现金流,正是这场产能豪赌的弹药库。公司同时确认,2026年全年HBM产能已售罄,2027年产能的相当部分已通过长期协议锁定,且价格显著高于2026年水平。

产地布局:日、台、新的三角​

与韩企集中本土不同,美光的HBM版图横跨三地:前端DRAM晶圆依托日本广岛(1-gamma节点为HBM4E做准备)、TSV与堆叠封装分布在台湾铜锣和新加坡,印第安纳州的美国本土存储基地则瞄准更远期的AI存储需求。这种产地多元化在出口管制时代具有独特的地缘价值,也是美光向美国大客户销售的隐性加分项。

研判:不对称竞争的天花板与地板​

美光的处境是典型的"不对称竞争":天花板由韩企的产能规模决定,地板则由长约与Vera Rubin绑定保住。展望2027年,HBM4E将开启定制化HBM时代,这对美光反而有利——定制化意味着客户关系与设计响应速度的权重上升,纯粹产能规模的权重下降。只要存储紧缺延续到2027年乃至2028年(多家机构如此预测),美光就有机会把18%的份额向20%以上推进。豪赌成色的最终裁判,是英伟达Rubin世代的实际出货节奏。

MIG 与算力切分:一张 A100/H100 如何服务多个租户

· 阅读需 3 分钟
Industry Research Team

GPU 共享有三档武器:时间片轮转最粗放,MPS 提升并发但不隔离,MIG 用硬件分区做到故障与安全双重隔离。多租户场景选错方案,轻则性能抖动,重则数据串租户。

三种切分方式的本质区别​

方式隔离级别显存保证故障隔离适用场景
时间片(Time-Slicing)仅时间维度无无开发测试、低风险负载
MPS进程级无硬保证弱同租户多进程提吞吐
MIG硬件分区有,独立显存带宽与 L2有生产多租户、合规场景

MIG(Multi-Instance GPU)把一张物理 GPU 切成多个独立实例,每个实例拥有专属的 SM、显存、显存带宽与 L2 缓存。租户之间互不干扰:一个实例上的进程崩溃不会波及其他实例,显存争抢与噪声邻居问题从硬件层面消除。A100、A30、H100 均支持,是当前数据中心级切分的唯一硬件方案。

MIG 档位规划​

以 A100 80GB 为例,官方 profile 如下:

Profile显存SM 占比每卡最多实例数
1g.10gb10GB7 分之 17
2g.20gb20GB7 分之 23
3g.40gb40GB7 分之 32
7g.80gb80GB全卡1

实践中的黄金档位是 1g.10gb 与 3g.40gb:前者把一张卡切成七份跑 7B 以下小模型的推理或开发环境,是 2025 年以来最常用配置;后者一份 40GB 足够中等模型微调。切分是静态的,改 profile 需要排空节点上的负载,规划节点池时最好按租户画像把"全跑 1g"与"全跑 3g"的机器分开。

在 Kubernetes 上落地​

NVIDIA GPU Operator 让 MIG 管理近乎自动化:给节点打上 nvidia.com/mig.config 标签(如 all-1g.10gb),MIG Manager 自动完成切分,device plugin 随后把实例以独立资源上报。租户侧的 Pod 只需在 resources.limits 里申请对应档位,例如请求一个 nvidia.com/mig-1g.10gb 资源单元。集群若要混合全卡与切分卡,用 mixed 策略即可让部分 GPU 保持完整模式。监控侧用 GPU Operator 自带的 DCGM Exporter 暴露利用率、显存与 XID 错误指标,接 Prometheus 做租户级报表。

实操建议​

  1. 先做租户画像:统计各业务的模型显存占用与时延要求,再定档位,避免切成 1g 后发现核心业务挤不进去。
  2. 时间片与 MIG 二选一为主:给稳定性敏感的生产负载用 MIG,给弹性开发环境用时间片,通过节点池隔离。
  3. 注意限制:切分后单实例算力上限固定,大模型推理放不进 40GB 就只能走全卡或多卡。
  4. 财务口径上把每个 MIG 实例当作独立计费单元,配额与报表都按实例粒度管理,才能真正把切分省下的成本落到账上。

NVIDIA H200 深度解析:141GB HBM3e 的长青主力与它在中国市场的曲折命运

· 阅读需 5 分钟
Industry Research Team

在 Blackwell 与 Rubin 接连发布的 2026 年,一颗 2024 年发布的 Hopper 芯片依然是全球推理集群里最常见的面孔。H200 的故事说明了一件事:在 LLM 时代,显存容量与带宽往往比峰值算力更能决定服务器的价值。

H200 到底改了什么:加显存,而不是加算力​

H200 是 H100 的"内存增强版",这是理解它的全部起点。两者的 Hopper 架构核心、算力规格几乎一致:BF16 Tensor Core 均为 1,979 TFLOPS(稀疏口径),FP8 Tensor Core 均为 3,958 TFLOPS(稀疏口径)。NVIDIA 没有动计算部分,而是把显存从 80GB HBM3 换成了 141GB HBM3e,带宽从 3.35TB/s 提升到 4.8TB/s——容量约为 1.8 倍,带宽约为 1.4 倍。

这个改动的逻辑直接来自 LLM 推理的物理特性:生成每一个 token 都要把模型权重和 KV Cache 从显存里读一遍,单流解码速度受限于显存带宽而非 TFLOPS;而能装下多大的模型、多大的上下文,则受限于显存容量。H200 在两个维度上同时抬高了上限,于是出现了官方 MLPerf 测试中 Llama 2 70B 推理吞吐接近 2 倍、GPT-3 175B 推理提升约 1.6 倍的成绩。

规格H100 SXMH200 SXMH200 NVL
显存80GB HBM3141GB HBM3e141GB HBM3e
显存带宽3.35TB/s4.8TB/s4.8TB/s
BF16 Tensor(稀疏)1,979 TFLOPS1,979 TFLOPS1,671 TFLOPS
FP8 Tensor(稀疏)3,958 TFLOPS3,958 TFLOPS3,341 TFLOPS
最大 TDP700W700W600W
NVLink900GB/s900GB/s900GB/s(2 路或 4 路桥接)
MIG 切分7 实例7 实例(每实例 18GB)7 实例(每实例 16.5GB)

值得注意的是 H200 NVL 版本:为了适配企业风冷机柜,其功耗上限降到 600W,算力也相应下调,但保留了 141GB 显存与四卡 NVLink 桥接能力,是"风冷机柜跑 70B 模型"的常见方案。

中国市场:从 H20 的遗憾到 H200 的回归​

H200 在 2026 年的最大新闻不来自参数表,而来自出口管制。此前中国市场的合规替代品 H20 为了满足出口阈值,保留了大量显存带宽(96GB HBM3、4TB/s 级别)却把算力削到约 148 TFLOPS BF16,"能推理不能训练",被广泛认为是糟糕的替代品。

2025 年 12 月,路透社报道 NVIDIA 计划在春节假期前向中国交付 H200;2026 年 3 月的 GTC 大会上,黄仁勋确认在获得美方出口许可与中方审批后恢复面向中国市场的生产;2026 年 5 月,美国商务部批准了包括阿里巴巴、腾讯、字节跳动、京东等约 10 家中国企业购买 H200,每家获批客户最多可采购 7.5 万颗,联想、富士康等分销及服务器企业也拿到了相关授权。

中国市场 SKU算力(BF16 稠密口径约值)显存定位
H20约 148 TFLOPS96GB HBM3推理合规替代,算力被大幅削减
H200约 990 TFLOPS141GB HBM3e训练推理兼顾,2026 年恢复供应
B30A(据公开报道)未确认传 Blackwell 系裁剪版观察中的下一代中国 SKU

需要强调的是:H200 返华是"有限放行"而非限制解除,监管框架仍在,政策方向此前已经反转过多次,采购预算不宜单边押注。## 2026 年视角:H200 还值不值得买

在 B300、Rubin 已经铺开的 2026 年,H200 的定位可以概括为"性价比推理底座"。它的优势场景非常明确:其一,单卡装下 70B 级稠密模型或量化后的百亿级模型,免去张量并行的通信开销;其二,对需要 FP64 或成熟 FP8 生态的 HPC 混合负载,Hopper 栈依然最稳;其三,风冷兼容性好,H200 NVL 可直接进入存量企业机柜。

它的劣势同样清楚:相比 B200/B300,FP4 时代的算力代差已经拉开;随着合规渠道打开,二手 H100 价格与亚洲区域租赁价格都在承压回落,采购者应以季度为单位重新询价。按每百万 token 的综合成本测算,H200 通常在"单卡顶替两卡 H100"的场景下胜出;而模型能装进 80GB 且 prefill 占比高的场景,H100 甚至更便宜。

小结​

H200 的价值公式是:H100 的算力,加上 1.8 倍显存与 1.4 倍带宽,再乘上一个高度成熟的 CUDA 生态。对以推理为主、追求 TCO 的团队,它在 2026 年仍是稳妥的默认答案;对训练前沿模型或押注 FP4 的 AI 工厂,Blackwell 与 Rubin 才是主线。在中国市场,它则承载了出口管制博弈中最微妙的一章——值得每季度复核一次供应与价格信号。

制程竞赛 2026:N2 量产、18A 蓄力、High-NA EUV 百万晶圆

· 阅读需 5 分钟
Industry Research Team

每一次制程换代都会重新洗牌 AI 算力格局。2026 年,2nm 从路线图走进量产车间:AMD 抢下 N2 AI GPU 首发权,EPYC Venice 成为全球首款 2nm 数据中心 CPU,Intel 的 High-NA EUV 则悄悄跨过百万晶圆门槛。制程竞赛的规则,也在这一年悄悄改变。

制程、能效与晶体管密度的链条​

制程的意义可以用一条链概括:更小的晶体管 → 更高的密度与更低的开关功耗 → 同样封装面积塞进更多计算单元与更大缓存 → 单位 token 的能耗与成本下降。对 AI 芯片而言,这条链的最后一段尤其重要——推理集群的电费和散热已经取代芯片采购价,成为 TCO 的最大头之一,制程每前进一代,同等机柜功率下能跑的 token 数就上一个台阶。

2026 年的 2nm 落地图谱如下:

厂商产品制程状态与要点
AMDInstinct MI455XTSMC N2 计算芯粒 + N3 I/O 与缓存芯粒首款 TSMC N2 AI GPU,3200 亿晶体管,432GB HBM4,2026-07-23 发布
AMDEPYC Venice(Zen 6)TSMC N2全球首款 2nm 数据中心 CPU,256 核,2026 年 5 月量产
GoogleTPU 8t(Trillium 2)TSMC 2nm训练专用 ASIC,双计算 Die,9600 芯片 Pod,121 EFLOPS FP4
IntelFoundry High-NA EUV 产线High-NA EUV已处理超 100 万片晶圆(2026-09-21 当周口径)
三星2nm AI 芯片制程SF2 路线联合台积电推进,目标 2027 年量产,宣称能效比提升 40%(2026-09 口径)

N2 AI GPU 首发为何是 AMD​

按过往节奏,新制程的首发大客户通常是谁?答案是 AMD——而且这不是偶然。MI455X 采用 8 个 N2 计算芯粒(XCD)加 2 个 I/O die 与 2 个缓存/fabric die(N3)的混合封装:把最吃密度的计算芯粒放最先进节点,把成本敏感的 I/O 与缓存留在成熟一档的 N3,用 CoWoS-L 先进封装拼合,既拿到 2nm 的能效红利,又控制了整片成本。

同一家公司连下两城:EPYC Venice 用 N2 做出 8 颗 Zen 6C CCD、每颗 32 核、总计 256 核、1GB L3 缓存的怪兽 CPU,单路内存带宽 1.6TB/s,与 MI455X 组成 Helios 机架(18 颗 Venice + 72 颗 MI455X,31TB HBM4,2.9 FP4 exaFLOPS)。CPU 与 GPU 同代同步上新制程,是 AMD chiplet 战略的复利——分芯粒设计天然适配"最先进节点给计算、次先进节点给 I/O"的分配策略。Google TPU 8t 也选择了同样的 N2 + Broadcom 协作路线,印证了"定制 ASIC 抢新制程"的趋势。

High-NA EUV 百万晶圆的意义​

Intel 在 2026 年 9 月 21 日当周披露,其 Foundry 的 High-NA EUV 产线累计处理晶圆已超过 100 万片。这个数字的意义在于:High-NA EUV——分辨率更高、专为 2nm 及以下节点准备的下一代光刻机——从"实验室样机"正式进入"规模化生产"阶段。百万晶圆意味着工艺窗口验证、良率爬坡和产能利用都跨过了商业化门槛,Intel 18A 与 14A 路线因此有了现实的制造底盘。

对照看三星的动作同样密集:HBM4 已于 2026 年 2 月量产(成为 Rubin 等旗舰 GPU 的 HBM 供应商之一),2nm AI 芯片制程则与台积电形成竞争态势,目标 2027 年量产。制程竞赛与 HBM 竞赛第一次同步开跑。

"十年之约":平台期被拉长​

台积电的投入力度佐证了这个节点的分量:2026 年 CAPEX 顶格到 560 亿美元上限,全年营收增速指引 30% 以上,3nm 产能同时在台湾、亚利桑那与熊本三地扩张。但硬币的另一面是 ASML 与 ZEISS 给出的"十年之约"——下一代光刻(High-NA 之后的技术)可能还需要十年才能成熟。这意味着 2nm/1.4nm 将成为一个超长平台期:没有新的光学分辨率红利可吃,各家的竞争焦点必须转移。

转移的方向已经很清晰。第一是先进封装:MI455X 的 12 颗 HBM4 堆栈、Rubin 的 MCM 多芯片设计,都说明系统级创新正在替代晶体管微缩。第二是 HBM 配套:N2 计算芯粒如果没有 22-23TB/s 的 HBM4 喂数据,算力就是摆设——制程与内存的协同定义能力,比制程数字本身更能决定产品成败。

小结​

2026 年的制程竞赛呈现出三个信号:2nm 实力量产,AMD 借 chiplet 架构连夺 AI GPU 与数据中心 CPU 双首发,Google 定制 ASIC 跟进;Intel 用 High-NA EUV 百万晶圆宣告制造能力回归牌桌;而 ASML 的十年之约意味着制程数字的边际收益递减,先进封装、HBM 协同与能效工程将成为新的竞争主轴。对 AI 算力买家来说,评估一颗芯片时,"几纳米"正在变成一个越来越不完整的答案——封装里装了什么、带宽喂了多少、每瓦能跑多少 token,才是更完整的提问方式。

三星的 HBM 追赶战:失位、反扑与 1c HBM3e 之后

· 阅读需 4 分钟
Industry Research Team

在AI存储这条赛道上,落后一年半的代价是什么?三星用亲身经历给出答案:丢失整个Blackwell世代的主供资格,市值与声誉双重承压,高管公开道歉。但反转来得也快——凭借率先出货HBM4,三星在2026年完成了一场教科书级的追赶。

失位:一个认证延误引发的连锁反应​

故事的开端是2024年的HBM3E认证折戟。由于良率与可靠性问题迟迟无法通过英伟达验证,三星错过了H100、H200乃至Blackwell系列最肥美的出货窗口,HBM市场份额在2025年第二季度一度跌至17%的低点(据行业研究机构估算)。期间公司更换了芯片业务负责人,管理层罕见地为AI存储业务的延误公开致歉。

这段时间里,三星只能转向AMD等对认证要求相对宽松的客户出货HBM3E,同时在后台持续打磨工艺。对一家DRAM市占率全球第一的公司而言,这种"二线身份"的刺痛感可想而知——HBM是AI加速器物料清单中占比接近一半的成本项,缺席一个产品世代意味着数百亿美元级别的收入让渡。

时间节点三星HBM关键事件
2024年5月芯片业务负责人更换,HBM3E认证持续受阻
2024年10月管理层就AI存储延误公开道歉
2025年9月12层HBM3E通过英伟达认证,成为第三家合格供应商
2025年10月与OpenAI签署星门计划战略存储合作意向
2026年2月业界率先批量出货HBM4,引脚速率达11.7Gbps
2026年第二季度HBM收入份额回升至33%(Counterpoint估算)

反扑:1c DRAM 加自研基底的技术豪赌​

三星的反扑建立在两步棋上。第一步是HBM3E的补票:2025年9月,其12层HBM3E历时约18个月终于通过英伟达测试,瞄准B300等加速器,第三季度开始出货。第二步才是真正的翻盘手——HBM4。三星采用第六代1c DRAM搭配自家4纳米逻辑基底die,成为三巨头中唯一能自产先进逻辑基底的厂商(SK海力士的基底需台积电代工),在集成度与成本结构上握有独特筹码。据报道,其HBM4在英伟达认证中以11.7Gbps的引脚速率超过10Gbps的要求,且无需重新设计即通过双档位认证。

产能层面同样激进:三星计划2026年底前将1c DRAM月产能提升至约15万片,并将全年HBM总产量提升至2025年的三倍以上,其中过半为HBM4。据行业报道,其HBM4良率已从约60%爬升至接近80%。市占率数据印证了反扑成效:Counterpoint估算显示,2026年第一季度三星份额21%,第二季度已升至33%,同期SK海力士为50%,美光18%。

下一步:Rubin 配额与星门赌注​

不过追赶战远未结束。据多家机构预测,在英伟达Vera Rubin平台的HBM4配额中,SK海力士预计拿下约七成,三星初始份额在两成到两成半之间——技术上限仍是约束,产能已不是瓶颈。三星更大的赌注押在生态位上:2025年10月与OpenAI签署星门计划战略存储合作意向,OpenAI的存储需求据估计最高可达每月90万片DRAM晶圆,接近全球DRAM产能的四成。

研判:追赶的终点是"跟随定价权"​

三星这场追赶战的最大启示在于:HBM竞争的本质不是产能竞赛,而是认证与良率的信任竞赛。三星已经证明自己能重新登上牌桌,但要从"跟随者"变成"定价者",还需在11Gbps档位的良率上追平SK海力士,并在HBM4E定制化世代拿到属于自己的旗舰客户。未来两年,HBM市场大概率维持SK海力士领先、三星紧咬、美光卡位的寡头格局——而对整个AI产业来说,三强咬得越紧,加速器厂商的议价空间就越大。

单卡功耗天花板:从 700W 到 1400W,散热路线到了十字路口

· 阅读需 3 分钟
Industry Research Team

六年时间,旗舰 AI 芯片的热设计功耗从 700W 翻倍到 1400W,机柜功率密度即将迈向 1 兆瓦。风冷、冷板、浸没式三条散热路线,正在功耗曲线的陡坡上迎来各自的十字路口。

功耗曲线:六年翻两番​

据公开资料整理,旗舰数据中心 GPU 的 TDP 走过了一条陡峭的上行线:

代际单卡 TDP参考机柜机柜功率
H100(Hopper)700WDGX H100约 10kW
B200(Blackwell)1000W 至 1200WGB200 NVL72约 120kW
B300(Blackwell Ultra)最高 1400WGB300 NVL72约 170kW
Rubin R2001800W 至 2300WNVL144约 300kW
Rubin Ultra约 3600W 每封装Kyber NVL576600kW 以上

值得注意的是 B300 的双档设计:风冷版本把功耗压在 1100W,要吃满 1400W 的性能上限,必须上液冷。换句话说,液冷已不是"省电选项",而是"解锁配置"——不做散热改造,等于花钱买了性能却用不出来。

散热技术的分水岭​

维谛技术等厂商的工程经验给出了大致分界:单机柜功率密度在 15kW 以内风冷可以满足,15 到 30kW 需要液冷辅助,超过 30kW 液冷成为刚需。GB200 及之后的机柜功率密度已远超这条红线,这也解释了为什么英伟达从 Blackwell Ultra 世代起全面转向液冷。

从能效看,据国信证券研报援引的英伟达与 Equinix 联合测试数据,冷板式液冷数据中心 PUE 可降至约 1.15,相比风冷的约 1.6,在相同负载下可节省约三成能耗;浸没式方案则能把 PUE 压到 1.05 以下。联想的温水水冷系统宣称全液冷覆盖后 PUE 低于 1.1,其相变浸没方案据称可低至 1.035。设备端,台达已推出 1.5MW 级集中式 CDU,单块 GPU 冷板冷却功率可达 6200W,用于支撑多个超 100kW 机柜连续运行。

十字路口的三重权衡​

对数据中心运营方而言,当前的散热决策实际上是三重权衡:

  • 资本开支:冷板式改造相对渐进、可分批实施;浸没式前期投入高,但对超密机柜的长期承载更从容;
  • 运维复杂度:冷板存在漏液风险与管路维护成本,浸没式则面临工作介质维护与器件兼容性验证;
  • 面向未来:Kyber 机柜 600kW 起步且没有风冷版本,现在锁定纯风冷架构的机房,可能面临下一代硬件的"兼容悬崖"——机房还没折旧,散热就先过时了。

这三重权衡没有标准答案,但有一个共同前提:新规划的 AI 机房必须把液冷容量写进设计规范,而不是留作二期改造。

结语:功耗墙不会自己停下​

Rubin Ultra 之后,Feynman 世代的功耗只会更高,散热路线的选择正在从技术问题升级为资产问题。可以预判:冷板式液冷将在 2026 到 2028 年成为 AI 数据中心的绝对主流,浸没式在高密度新建场景逐步渗透,风冷则退守推理小集群与边缘场景。规划新机房时,"能否承接 600kW 机柜"应当与电力容量、网络架构并列,成为设计评审的第三个先决问题。

Tenstorrent Blackhole 与 Jim Keller 的开源 RISC-V 路线

· 阅读需 3 分钟
Industry Research Team

当几乎所有 AI 芯片公司都在对标英伟达时,Jim Keller 的态度是:"英伟达做什么,我们就反着来。"Blackhole 就是这句话的产物。

架构:一颗"独立的 AI 计算机"​

Blackhole 是 Tenstorrent 第三代加速器,台积电 6nm 工艺,2024 年 8 月在 Hot Chips 上首次披露,2025 年 4 月的开发者大会上正式开卖。它最特别的地方在于片上集成了三种计算资源:

规格项Blackhole p100aBlackhole p150a 与 p150b
Tensix 核心数120(启用)140
大 RISC-V 核心16 个 SiFive X28016 个 SiFive X280
片上 SRAM180 MB210 MB
显存28 GB GDDR632 GB GDDR6
内存带宽448 GB/s512 GB/s
以太网扩展无4 个 800G QSFP-DD 接口
整卡功耗300W300W
定价999 美元1399 美元

每个 Tensix 核心内部又包含 5 个"小 RISC-V"核心、张量引擎、向量引擎与本地 SRAM;算上各处控制器,全片共有 752 个小 RISC-V 核。而那 16 个大核(SiFive X280)强大到可以直接在加速卡上启动 Linux,充当设备内主机——Blackhole 因此不需要独立 x86 主机即可工作。扩展方式同样不走寻常路:不用专有交换机,10 条 400G 以太网链路直接把多颗芯片连成网格。

开源:商业模式本身就是技术战略​

Tenstorrent 在开发者日当天把整个软件栈推上了 GitHub:底层运行时 TT-Metalium、神经网络库 TT-NN、编译器前端 TT-Forge 全部开源,电路原理图公开,甚至为提交内核代码的开发者设立了 500 至 5 万美元的悬赏。CI 日志与性能看板对所有人可见。

这套打法背后是清晰的商业算盘:其一,AI 集群物料成本已高达数亿美元,专有固件与非披露协议把研究者挡在门外,开源降低了最顶尖人才的试用门槛;其二,Tenstorrent 同时出售 RISC-V CPU IP(面向服务器级市场的 Ascalon 内核已向首批客户授权早期 RTL),硬件与 IP 两条腿走路;其三,据公开报道,公司已累计融资约 10 亿美元,支撑其每年迭代的目标。产品矩阵从 999 美元的开发卡、11999 美元的 QuietBox 工作站(4 颗 Blackhole)到集成 32 颗芯片的 Galaxy 服务器,覆盖了从研究生到主权 AI 的所有层级。

风险与观察​

Blackhole 用 GDDR6 替代 HBM 是成本与开放性的取舍,带宽密度明显低于同级 GPU;软件栈虽开源,成熟度与 CUDA 仍有差距;数千卡规模的公开演示也还在路线图上。Keller 自己也承认:"所有只押一件事的人都会失败"——所以 Tenstorrent 同时卖卡、卖 IP、卖服务器。

小结与建议​

对开发者与研究者而言,Blackhole 是目前门槛最低的"真 AI 芯片"实验平台:999 美元、无需云配额、代码全部可读可改。对行业而言,它验证了 RISC-V 在 AI 加速领域的可行性,也给"去 CUDA 化"提供了一个开源支点。它未必能撼动 GPU 的份额,但它正在培养一代熟悉开放架构的工程师——这或许是比卖芯片更长线的投资。

语音 AI 推理硬件:ASR 与 TTS 服务的算力配置

· 阅读需 4 分钟
Industry Research Team

语音是所有 AI 推理场景里"单路最便宜、体验最挑剔"的一类:模型小到一张入门卡就能跑,但用户对延迟的容忍度以百毫秒计。选型的核心不是买多大的卡,而是把延迟预算分配对。

一、ASR 侧:Whisper 家族的显存与速度账​

Whisper 各型号的显存需求很友好:large-v3(1.55B 参数)FP16 约 3GB、INT8 约 1.5GB;large-v3-turbo(809M)FP16 约 2GB;蒸馏版 distil-large-v3 约 1.5GB,速度约为原版 6 倍。实测数据(faster-whisper 加 CTranslate2、INT8、单流)显示:RTX 3060 12GB 跑 large-v3 实时率约 10 至 12 倍,4090 达 40 至 50 倍,5090 达 55 至 65 倍。实时率(RTF)越高,单卡能承载的并发转写路数越多。

选型要点:中文与多语种业务建议 large-v3 或 turbo(蒸馏版在小语种和噪音场景的错误率上升明显);电话客服场景 16kHz 采样即可,音频前处理加 VAD 静音裁剪能减少约一半的计算量。

二、TTS 侧:从"能听"到"克隆"的显存阶梯​

TTS 的显存跨度比 ASR 大得多:轻量方案(Kokoro 82M、Piper 类)不足 1GB,甚至可以纯 CPU 运行;中量级(Qwen3-TTS 1.7B 类)约 4GB;高表达力与音色克隆方案(Step-Audio 7B 级、Chatterbox、XTTS v2)约 3 至 8GB;旗舰级方案则要 12 至 17GB。完整语音对话管线(STT 加 LLM 加 TTS 三模型常驻)的典型显存账是 10 至 16GB——这意味着一张 16 至 24GB 的卡就能承载单机完整语音助手。

并发规模业务形态推荐配置预算区间关键指标
10 路以内门店助手、智能音箱 demoRTX 5060 Ti 16GB 或 4090 单卡0.6 万至 2 万元端到端低于 500 毫秒
30 至 100 路中小客服中心、会议转写 SaaS双卡 4090 或单卡 A100 40GB 服务器5 万至 20 万元转写排队低于 200 毫秒
300 至 1000 路大型外呼平台、实时字幕服务8 卡 A800 或 H100 集群加流式调度60 万至 240 万元按路数横向扩容,P95 延迟稳定
信创合规场景政企呼叫中心Atlas 300I Duo 推理卡集群单卡约 2 万至 4 万元满足国产化验收,低功耗高密度

三、延迟预算怎么分配​

实时语音对话的端到端目标通常是低于 500 至 800 毫秒,一个可参考的分配:VAD 判停约 200 毫秒、ASR 增量转写约 100 毫秒、LLM 首 token 约 150 毫秒、TTS 首音频约 100 毫秒。优化优先级最高的三件事:用 turbo 或蒸馏版 Whisper 替代 large-v3(速度差 6 倍,精度损失可控)、ASR 与 TTS 用 INT8 量化、LLM 输出流式喂给 TTS 而非等全句。这三条做完,多数管线能在消费级硬件上摸到实时门槛,不必上高端卡。

另一个常被忽略的点是语音流的话音活动率:典型对话中每人只占 40% 至 50% 的时间,100 路并发通话在任一瞬间活跃的转写任务只有四五十路。按"名义并发乘 0.45"估算算力,能省下接近一半的采购量——但外呼机器人是例外,它的静音模式更规律,活动率要单独实测。

四、结尾建议​

语音 AI 服务的硬件决策顺序:先定延迟指标(决定单卡承载路数),再按并发规模定卡的数量,最后才看要不要更好的单卡。中小规模场景的默认答案是单张 16 至 24GB 消费卡承载 10 路完整语音管线,随业务增长横向加卡,比一开始买大机灵活得多。两点最后提醒:一是 ASR 加 TTS 加 LLM 同卡混布时,务必给各模型设显存预留与常驻策略,避免运行中被逐出显存造成数秒级卡顿;二是语音业务对成本极其敏感,月利用率长期低于三成时,2 至 4 元/小时的消费卡租赁比自建更划算。