Skip to main content

CUDA 护城河攻防战:黄仁勋说 25 年功力挡不住,谷歌和 AWS 正用一行代码撬墙角

· 4 min read
Industry Research Team

「先造一颗芯片,再想办法让人用它」——黄仁勋在 GTC 柏林这样形容所有竞争者,并给 CUDA 的领先下了一个时间量纲:25 年,单一架构。但就在同一个 10 月,谷歌和 AWS 的开源工具把「换芯片」的成本从数月压到了几分钟。

防御方:CUDA 飞轮论​

黄仁勋的论证结构很清晰:

  • 飞轮效应:开发者加入 → 软件库更丰富 → 更多开发者加入,价值随时间复利
  • 深库优化 + 深硬件接口优化:这是长期投入的产物,无法靠一颗新芯片一次性复制
  • 先芯片后生态是死路:竞争者「先开发芯片,再找理由让人用它」,顺序反了

他同时承认了两个新变量:大语言模型写代码的速度已快于人类,理论上可以让对手跳过 CUDA 的漫长积累周期;地缘政治则推动华为(CANN)、寒武纪等在特定区域自建类 CUDA 生态。

进攻方:把迁移成本压到 model.to()​

PyTorch Conference 2026 上,谷歌与 AWS 同步出手:

工具厂商迁移成本验证覆盖
TorchTPU(开源)Google设备改为 model.to('tpu')近 5000 个 HuggingFace 高频模型中 4917 个端到端验证,Tier-1 无崩溃通过率 98%,迁移时间压缩至几分钟到数天
TorchNeuron(Apache 2.0)AWS指向 CUDA 的设定改为 AWS Neuron,少量配置修改直接运行于 Trainium2/Trainium3

技术路径也换代了:TorchTPU 通过 PyTorch 的 PrivateUse1 扩展点把 TPU 暴露为原生 PyTorch 设备,ATen 算子直接路由到 TPU 后端——不再是旧 TorchAX 那种「翻译成 JAX」的间接层。

性能佐证:TPU 不只是便宜​

光有易迁移不够,性能得站得住。一个第三方口径的对比:

  • 16 颗 Ironwood(TPU v7)运行 Kimi K3,开启推测解码,单用户生成 709 tokens/s
  • 同等规模 16 块 GB200 + vLLM:452 tokens/s——TPU 领先约 57%

加上此前 SemiAnalysis AgentX 基准中 TPUv7 对 GB300 NVL72 的 1.67 倍性价比,推理侧的「性价比叙事」正在从宣传口径变成第三方可复现的测试结果。

护城河的真实宽度​

冷静看,CUDA 的壁垒远不止模型迁移:

  1. 训练栈:TorchTPU/TorchNeuron 主要覆盖 eager 推理与前向,超大规模训练的稳定性、容错、checkpoint 生态仍在 CUDA 手里
  2. 算子长尾:98% 通过率意味着 2% 的长尾——恰恰是前沿模型的自定义算子最集中的区域
  3. 工具链纵深:NCCL 级通信库、调试器、性能分析器、算子自动调优,都需要数年沉淀
  4. 人力市场:会 CUDA 的工程师供给仍是 TPU/Neuron 的数倍

但方向已经变了:当迁移成本从「重写应用」降到「改一行设备名」,采购决策的权重就从生态锁定滑向每 Token 成本与供货确定性。这正是黄仁勋要亲自下场反复辩护的原因——护城河最深的部分(训练栈与长尾算子)还够深,但城墙外围(推理迁移)已经开始被渗透。

结论​

CUDA 25 年功力是真的,但「挡不住」的判词下得太早的也是黄仁勋自己——他说的是别人挡不住英伟达,而现实是英伟达也开始挡不住别人了。未来 12 个月值得盯两个数字:HuggingFace 模型在 TPU/Trainium 上的端到端验证覆盖率能否从 98% 推向 99%+,以及训练栈(而不只是推理)的第三方基准是否出现同等量级的反超。

数据来源与口径说明​

  • 黄仁勋 CUDA 表态:GTC 柏林 2026,PC Central 等转述
  • TorchTPU 98%/4917 模型/Tier-1 通过率:谷歌官方口径,电子工程专辑转述
  • Kimi K3 709 vs 452 tokens/s:公开报道口径,测试条件(推测解码 vs vLLM)不完全对等,仅作方向参考
  • TorchNeuron:AWS 官方(Apache 2.0),本站此前有专文分析