65 篇博文 含有标签「AI Infrastructure」

当业务里有大量重复系统提示词、多轮对话历史或 RAG 共享文档时，vLLM 的 PagedAttention 只能做页级缓存，而 SGLang 的 RadixAttention 能把前缀 KV Cache 的复用率推到极高。这正是它被 DeepSeek 官方推荐的原因。

RadixAttention 到底省在哪​

传统推理框架里，每个请求都要为相同的前缀重复计算 KV Cache。SGLang 把已计算的 KV Cache 存进一棵基数树，新请求到来时先做前缀匹配，命中部分直接复用，只计算增量部分。社区实测数据显示：

场景	SGLang 缓存命中率	传统无前缀缓存方案
Few-shot 学习	85% 至 95%	接近 0
多轮对话	75% 至 90%	接近 0
RAG 共享文档	显著命中	接近 0

命中率直接转化为首 token 时延下降与吞吐提升。在重前缀负载的独立评测中，SGLang 相比 vLLM 有 29% 至 50% 的吞吐优势；而在单轮、无前缀共享的自由文本场景，两者差距很小，选型时要先看清自己的流量画像。

另外两个性能引擎​

零开销 CPU 调度器：传统调度是 CPU 准备批次、GPU 计算、再准备下一批的串行流程，GPU 在调度期间空转。SGLang 用流水线方式让 CPU 准备批次与 GPU 计算重叠，持续负载下 GPU 利用率可逼近满载。

结构化输出：Agent 应用要求模型严格输出合法 JSON。SGLang 把格式约束编译成有限状态机，每生成一个 token 都限制下一个可选 token 范围，从源头保证格式合法，避免了"生成后校验失败再重试"的浪费，底层通过 xgrammar 实现高速约束。

生产环境关键配置​

1. PD 分离：Prefill 是计算密集型，Decode 是访存密集型，两者资源画像冲突。SGLang 支持 Prefill/Decode 分离部署，通过 RDMA 高速网络连接，能显著降低每 token 平均生成时间并提升整体吞吐。DeepSeek 部署实践曾基于 96 张 H100 的 PD 分离加大规模专家并行，跑出接近官方报告的吞吐水平。
2. 显存与调度参数：结合业务上下文长度设置 max-total-tokens，避免 KV Cache 池过小导致频繁淘汰；高并发短输出场景可调大并行批处理窗口。
3. 硬件覆盖：SGLang 原生支持 NVIDIA、AMD、Intel Xeon、Google TPU 与昇腾 NPU，截至发稿社区数据显示其已在超过 40 万张 GPU 上运行，每天生成数万亿 token。
4. 版本管理：项目于 2025 年 3 月加入 PyTorch 生态，由 LMSYS 托管，迭代速度快、API 变动频繁，建议镜像锁版本，升级前跑回归。

实操建议​

上线前先统计业务的系统提示词与文档前缀重复度，重复度越高，SGLang 的相对收益越大。开启结构化输出时要给出精简的 JSON Schema，约束越细生成越快。如果团队已经在用 vLLM，可以按模型灰度切换并用同一套压测脚本对比 P99 时延与吞吐，用数据说话而不是跟风选型。

2026 年，AI 数据中心的版图不再由网络枢纽和人口中心定义，而是由电力、主权意志和资本规模定义。从中东的 HUMAIN 到印度的 Helios，从马来西亚的 AI 云协议到东京郊外的离网电厂，一场围绕"算力主权"的全球圈地运动正在展开，而背后是超大规模厂商 6500 亿美元级别的资本开支洪流。

全球建设版图：一张不断刷新的清单​

仅最近一个月，全球 AI 基础设施的建设动态就足以拼出一张新地图：

项目	位置	规模/合作方	状态
HUMAIN 等	沙特	AMD MI355X 系统参与	推进中
Helios 架构输出	印度	AMD 与 TCS 合作	推进中
美国主权 AI 工厂超算	美国	AMD 助力	推进中
Bitdeer AI 云协议	马来西亚	67MW（Data Center Dynamics，2026-10）	已落地
离网 AI 数据中心	东京附近（日本）	戴尔 + Jera + Rhaelm，150 亿美元 / 400MW	预计 2028 运营
ThisWay Global 设施	德州 Bryan（美国）	73MW	选址确定
Anthropic 自建数据中心	德州 Cedar Creek（美国）	3.66 亿美元报建	报建阶段

这份清单覆盖了中东、南亚、东南亚、东亚、北美五个区域，参与者横跨芯片厂商（AMD）、云与服务器巨头（戴尔）、能源公司（Jera）、矿业转型算力公司（Bitdeer）和前沿实验室（Anthropic）——AI 基础设施已经没有"行业边界"可言。

三种主权 AI 模式​

把上面的项目归类，可以看到主权 AI 的三种典型模式：

模式一：美国盟友输出​

沙特 HUMAIN 项目采用 AMD MI355X 系统，印度由 AMD 与 TCS 将 Helios 架构本地化落地——这类项目的共同点是由美国芯片厂商输出算力架构，盟友国家提供资金、能源和市场。对美国而言，这既是出口收入，也是技术生态的扩张；对合作国而言，这是最快获得前沿算力的路径。

模式二：能源换算力​

沙特是"能源换算力"的教科书案例：用低成本能源吸引 AI 基础设施落地。日本东京郊外的项目把这一逻辑推到极致——戴尔、日本能源公司 Jera 与英国 Rhaelm 合作建设 150 亿美元、400MW 的离网 AI 数据中心，配套自建燃气发电厂，预计 2028 年运营。电力不再是电网提供的输入，而是项目自带的资产。

模式三：自研自强​

华为昇腾路线代表的是第三种模式：不受制于美国芯片供应，用自己的芯片、自己的框架构建全国算力底座。这条路门槛最高，但自主性最强。

资本开支洪流：6500 亿与 10 万亿​

主权 AI 圈地运动的燃料是超大规模厂商的资本开支。2026 年的口径已经清晰：

口径	金额	备注
四大超大规模厂商 2026 年 capex	约 6500 亿美元	Amazon 约 2200 亿美元领投
五家合计（另一口径）	超 6900 亿美元	口径差异源于统计范围
IEEE/行业长期建设需求	约 10 万亿美元	数据中心建设总盘子
Anthropic 单笔报建	3.66 亿美元	德州 Cedar Creek
东京离网项目	150 亿美元 / 400MW	预计 2028 运营

Amazon 一家 2026 年就计划投入约 2200 亿美元，超过很多国家一年的基建预算。而 IEEE 及行业口径给出的 10 万亿美元数据中心建设需求，说明这轮建设周期可能以十年计——这不是一个短周期投资潮，而是一场持久的基础设施重置。

离网自建电厂成为新常态​

东京 400MW 离网项目和 Oracle 用燃气卡车维持数据中心运转的新闻，指向同一个趋势：电网已经跟不上 AI 数据中心的用电增速。离网自建电厂从"备选项"变成"新常态"，原因有三：

1. 电网接入排队周期长：大型数据中心动辄数百兆瓦，接入电网的排队时间以年计；
2. 电力成本成为运营命门：Oracle 靠燃气卡车运电维持运转，说明即便是巨头也在为电力稳定性付出高昂代价；
3. 选址逻辑彻底改变：数据中心选址从"网络枢纽、靠近用户"变成"电力洼地、能源便宜"——德州 Bryan 的 ThisWay Global 73MW 设施、中东的能源换算力项目，都是这个逻辑的产物。

对芯片选型的影响也很直接：在电力受限的环境下，单位功耗的算力产出（性能/瓦）权重急剧上升，液冷、低精度推理（FP4/FP8）和 rack-scale 方案成为标配。

小结​

主权 AI 的全球圈地呈现三种模式并行：美国盟友输出（HUMAIN、印度 Helios）、能源换算力（沙特、东京离网项目）、自研自强（昇腾路线）。支撑这一切的是 6500 亿美元级的年度 capex 和 10 万亿美元级的长期建设需求。最深刻的结构性变化是选址逻辑：从网络枢纽转向电力洼地，离网自建电厂成为新常态，Anthropic 自建数据中心则说明前沿实验室也在绕开云厂商直接下场。对从业者而言，评估 AI 基础设施项目的第一问已经从"带宽够不够"变成了"电从哪来、多少一度"。

当超大规模客户纷纷自研芯片，英伟达的应对不是把门关得更紧，而是把门框卖给所有人。Spectrum-X 与 NVLink Fusion 组成了一套精巧的双层策略：计算可以不是我的，但你的芯片必须接在我的网络上。

Spectrum-X：把以太网改造成 AI 网络​

传统以太网为吞吐优化，AI 集群需要的是无损、低熵的集合通信。Spectrum-X 的组合拳包括自适应路由、基于遥测的拥塞控制、RDMA 与 SuperNIC 端侧包重排序，官方目标是达到至少 95% 的有效带宽——而传统以太网在大规模 AI 负载下往往只能用到一半出头。

Spectrum-X 家族组件	定位与关键能力
Spectrum-X 以太网交换机	Scale Out 主干，800G 端口，自适应路由
Spectrum-XGS	跨园区扩展：距离感知的拥塞控制与负载均衡
Spectrum-X Photonics	共封装光学（CPO）：激光器数量减少约 4 倍、光网络功耗降低约 5 倍
ConnectX-9 SuperNIC	端侧 800G 及以上，配合包重排序
BlueField-4 DPU	从网络卸载扩展到 KV Cache 上下文存储（CMX），官方称 token 吞吐最高提升 5 倍

采用信号很有说服力：Meta 正在扩展基于 Spectrum-X 的 AI 负载，Oracle 在 OCI 上为大规模 AI 网络标准化选择 Spectrum-X，Cisco 与英伟达共建安全 AI 工厂参考设计。共封装光学已进入量产，用光互联的功耗红利去换取更多可分配给计算的瓦数——在 AI 工厂的电费账本里，这是实打实的 token 收益。

NVLink Fusion：把 Scale Up 域开放给对手们​

NVLink Fusion 于 2025 年 5 月 COMPUTEX 发布，逻辑是：第三方芯片只要集成 NVLink Fusion chiplet 与 NVLink-C2C 接口，就能接入英伟达的纵向扩展域和 MGX 机柜架构，获得最高每 XPU 1.8TB/s（新一代架构达 3TB/s 以上）的全对全带宽，以及 72 加速器的扩展能力。

伙伴类型	代表厂商
定制 CPU/XPU	联发科、Marvell、富士通、高通、Intel、SiFive、三星
设计服务与 IP	Alchip、GUC、Cadence、Synopsys
互联与光子	Astera Labs、Ayar Labs、Lightmatter
云厂商自研芯片	AWS（Trainium4）、Meta
推理芯片新贵	d-Matrix（Raptor XPU，2026 年 9 月宣布接入）

这步棋的防御逻辑值得细读：即使超大规模客户的加速层走向异构——AWS 跑 Trainium4、Meta 跑自研推理芯片——英伟达依然通过 NVLink 交换芯片、机柜架构与网络栈捕获价值。反向看，UALink 阵营试图以开放标准做同样的事，NVLink Fusion 则用成熟度和生态深度先发截流。对定制芯片公司而言，好处是现实的：不必重造 scale-up 互联和机柜设计，就能拿到接近英伟达原生的系统级带宽。

两层策略合起来看​

Spectrum-X 管 Scale Out（机柜之间、数据中心之间），NVLink Fusion 管 Scale Up（机柜之内），BlueField 与 CMX 管存储与上下文，Mission Control 管运维——英伟达正在把"AI 工厂操作系统"的每一层都做成可出售的基座。计算层越开放，网络与软件层的护城河反而越深。

小结​

对采购者的启示有二：其一，评估英伟达方案时，网络栈（Spectrum-X、BlueField、光学）应当与 GPU 一起核算 TCO，它们已不是配件而是性能变量；其二，自研或采用第三方芯片的团队，NVLink Fusion 提供了一条免建互联的捷径，但要清醒地认识到，接入它的代价是深度绑定英伟达的系统生态。开放是真的，方向也是被设计好的。

报价单上的 GPU 单价，通常只占三年总拥有成本的一半左右。电费、机房、冷却、折现和一系列隐藏项，才是采购决策里真正拉开差距的部分。

一、TCO 的五大组件​

一台 AI 服务器的三年总拥有成本，可以拆成五个部分：

1. 采购成本：GPU 卡 + 服务器节点 + 网络设备，一次性支出，不参与折现。
2. 电费：设备电耗 × 使用小时数 × 电价，三年里最大的持续支出之一。
3. 机房托管/租金：机柜租金或自建机房折算成本，按卡或按柜计费。
4. 冷却：风冷机房里冷却电耗约为设备电耗的 30%，液冷机房可压到 10% 左右。
5. 折现：未来三年的运营支出按年化折现率折算回今天的价值，让"三年合计"有可比性。

二、本站 TCO 计算器的默认口径​

为了让测算可复现，TCO 计算器采用了一套公开的默认口径：

• 实际功耗：不按 TDP 满负荷计，而是按"实际功耗 = TDP ×（空闲比 +（1 − 空闲比）× 使用率）"计算，空闲功耗比例默认 15%。
• 年电费：实际功耗 × 8760 小时 × 电价，电价默认 $0.1/kWh。
• 冷却：冷却电费 = 设备电费 ×（PUE − 1）。PUE 默认 1.3（风冷），液冷可设 1.1，极致方案 1.05。注意冷却单独列示、不再重复乘 PUE，避免双重计算。
• 折现：年化折现率默认 8%，按年末现金流口径折现；采购是一次性支出，永不折现。
• 集群口径：默认每 8 卡配一台服务器节点（约 $30,000/台），网络设备按 GPU 采购价的 12% 估算，千卡级集群另计每年约 $15 万的人力 OPEX。
• 汇率：人民币定价统一按 7.2 换算为美元。

三、实例测算：8 卡 B200 集群的三年 TCO​

以 B200 为例做一次文字推演。取站内卡口径：TDP 1,000W，市场价约 $42,000/卡；使用率取默认 90%，三年期。

一次性支出：GPU 采购 8 × $42,000 = $336,000；服务器节点 $30,000；网络设备按 12% 约 $40,300。合计约 $40.6 万。

年度运营：实际功耗 = 1kW × 8 ×（0.15 + 0.85 × 0.9）≈ 7.3kW；年设备电费 ≈ 7.3 × 8760 × $0.1 ≈ $6,400；冷却按 PUE 1.3 再加 30%，约 $1,900；机柜租金按 $500/卡·年 约 $4,000。年运营合计约 $12,300。

折现：8% 折现率下三年折现因子约 2.58，运营支出折现后约 $3.2 万。三年 TCO 约 $43.8 万（按 7.2 汇率约合 ¥315 万）——比单纯的采购价高出约三成，这还没算人力。拆成明细表更直观：

成本项	口径	金额（3年口径）
GPU 采购	8 × $42,000（市场价）	$336,000（一次性，不折现）
服务器节点	8 卡 × 1 台	$30,000（一次性）
网络设备	GPU 采购价 × 12%	约 $40,300（一次性）
设备电费	7.3kW × 8760h × $0.1	约 $6,400/年，折现后约 $16,500
冷却	设备电 ×（PUE 1.3 − 1）	约 $1,900/年，折现后约 $4,900
机柜租金	$500/卡·年 × 8	$4,000/年，折现后约 $10,300
合计	—	约 $43.8 万（≈¥315 万）

换成 Rubin R200 级别的旗舰方案，差距更夸张：单卡 TDP 1,800–2,300W 且必须液冷，NVL72 机柜功耗约 180kW，机柜定价 350–400 万美元。机柜电费按液冷 PUE 1.1 测算依然可观，这就是为什么"AI 工厂"的选址决策首先是电力决策。AMD MI455X 的 TDP 与定价均未公开，评估时建议按 Helios 机柜 225–245kW 的功耗上限做保守测算。

四、被忽略的隐藏成本​

公式之外的五类成本，最容易让预算失控：

• HBM 涨价传导：2026 年 HBM 供应紧张直接推高卡价——昇腾 950DT 渠道价超 ¥25 万（两个月内涨 20%–50%）、950PR 突破 ¥8 万、寒武纪思元690 上调 20%–30%。今天入库的价格，明年可能就是另一回事；连二手 A100 市场价（约 $28,000）都已远超当年 $15,000 的指导价。
• 供货周期：Rubin R200 自建机房用户要到 2027 年一季度才能采购，MI455X 规模爬坡要到 2026 下半年之后。等卡的每一天，都是空转的机柜租金。
• 软件迁移：从 CUDA 迁到 ROCm 或 CANN，即便有兼容层（CANN Next 官方口径约 80% 的 PyTorch 代码仅需改配置），工程师时间和调优成本也要折算进 TCO。
• 液冷改造：B300 Ultra TDP 1,400W 起就必须液冷，8 卡 DGX B300 峰值功耗约 14kW，相当于两台 H100 服务器。风冷机房升级液冷是一次性资本开支，很多预算模型里根本没这一项。
• 电力增容：Helios 机柜 225–245kW、NVL72 约 180kW，数据中心级部署往往需要电力扩容审批，周期以月计。

五、云租 vs 自建：决策框架​

本站 TCO 计算器内置了 Build-vs-Rent 模型，核心结论可以用一个公式概括：自建的每 GPU·小时成本 = 固定成本 ÷ 利用率 + 变动电费。它意味着：

• 利用率是分母：跑满的自建集群单位成本可能显著低于云价；利用率 30% 以下，自建几乎必然亏。公式还能解出盈亏平衡利用率——云价低于你的变动成本底线时，租赁恒优。
• 云价参照系：默认云价 $2.5/GPU·小时；实际行情中 H100 约 $2.00，B300 约 $8.00。拿你的负载画像去对号入座。
• 决策规则：稳定高负载（利用率 70% 以上）倾向自建；波动或探索期负载先云租；介于两者之间的，用计算器输入真实电价、租金和利用率跑一遍敏感性分析（电价 +20%、使用率 +20%、PUE 1.5 等情景）再做决定。

小结​

TCO 测算的价值不在于算出一个精确数字，而在于把"采购价幻觉"拆掉：一次性支出只占三年成本的一半到三分之二，电费与冷却跟随功耗走，折现让远期支出显形，而 HBM 涨价、供货周期、液冷改造这些隐藏项往往才是超预算的元凶。建议打开站内 TCO 计算器，用自己的参数实测一遍；型号规格可查阅完整对比表与各芯片卡页面。

过去选芯片看 FLOPS，后来大家学会了看显存带宽，现在该学会看第三个数字了：每瓦 Token 数。当机柜功率从 10 千瓦涨到 120 千瓦，电力与散热成了绕不开的第一约束——算力不再稀缺，供电才稀缺。

为什么 FLOPS 不再够用​

FLOPS 衡量的是计算上限，但 AI 芯片的能耗大头往往不在计算：数据搬运——尤其是 HBM 访问——的能耗比同规模运算高出数量级，这是业界公认的"内存墙"另一面。同样标称 1000 TFLOPS 的两颗芯片，若访存效率与互连设计不同，实际每瓦产出的 token 可能差出数倍。此外，token 产出还依赖模型结构、精度档位、batch 大小与软件栈质量，"每瓦 token 数"因此不是一个硬件常数，而是一组条件下的实测结果。

这也解释了厂商能效宣传的口径问题。以公开资料为例：NVIDIA 宣称 GB200 NVL72 机柜在 FP4 推理口径下，相比 H100 空冷基础设施有 25 倍的能效提升——这是厂商在特定负载下的对比数据，选型时应视为上限参考而非承诺值。值得注意的是，这 25 倍里既有芯片架构进步（FP4、新一代矩阵引擎），也有系统级因素（72 卡 NVLink 大域、液冷让算力密度上台阶），拆开看才不至于被单一代际数字误导。

一张对照表：用代理指标先筛一遍​

token 级能效必须实测，但选型初筛可以用"显存带宽功耗比"做代理指标——解码阶段带宽即吞吐上限，功耗即成本下限：

芯片	TDP	显存带宽	带宽功耗比（TB/s 每 kW，按公开规格推算）
H100 SXM	700W	3.35TB/s	约 4.8
H200	700W	4.8TB/s	约 6.9
AMD MI300X	750W	5.3TB/s	约 7.1
NVIDIA B200	1000W	8TB/s	约 8.0

推算显示代际间的真实进步：新平台的每瓦带宽确实在提升，且液冷平台（B200）在功耗上涨四成的同时把带宽功耗比再推高一截。但要强调，这只是一个维度的代理指标，训练场景、大 batch 服务、通信密集负载的能效排序可能完全不同。

把能效算进 TCO​

能效的最终归宿是钱。AI 工厂模式下，收入等于 token 产出乘以单价，而成本里电费与散热是随时间线性累积的部分。完整的算法是：先在相同模型、精度、batch 条件下实测各平台的 tokens 每焦耳；再乘以机房 PUE 与液冷改造成本——GB200 级液冷机柜功率达 120 至 130 千瓦（据公开报道），风冷机房无法直接承载，改造摊销要计入；最后换算成每百万 token 的能源成本。在电力配额受限的地区，"每瓦产出"直接决定同样一笔电力指标能支撑多少业务收入，这比芯片单价重要得多。

小结与实操建议​

能效选型三步走：第一，拒绝跨口径对比，要求供应商用你的模型与负载出实测数据；第二，用带宽功耗比等代理指标快速缩小候选名单，再压测验证；第三，把 PUE、液冷改造、电力供给一起纳入 TCO，而不是只看 GPU 采购价。一句话记住这把新标尺：FLOPS 决定你跑多快，每瓦 Token 数决定你能跑多久、赚多少。

大家习惯把"扩容慢"归咎于抢不到 GPU，但很多项目卡住的地方其实更靠上游：为一排排机柜供电的大型电力变压器，交付周期已经拉长到两年以上。算力竞赛的下一道闸门，是电网设备。

短缺有多严重​

据 Wood Mackenzie 2025 年报告，美国电力变压器需求自 2019 年以来增长约 116%，发电机升压变压器（GSU）需求更是暴增约 274%，远超本土产能。2025 年美国电力变压器供应缺口约 30%，配电变压器缺口约 10%。价格同步起飞：自 2019 年以来，电力变压器均价上涨约 77%，部分配电变压器品类涨幅接近翻倍。

交期是最直观的指标。大型电力变压器（100MVA 级以上）的交付周期自 2023 年起持续超过两年，2025 年二季度约 128 周（约 2.5 年），GSU 更是达到约 144 周。短缺的根源是结构性的：取向硅钢供应集中、熟练绕线工人短缺、产能扩张周期长达数年——新建一座变压器工厂从动工到满产要 18 至 24 个月，而全球大型变压器制造商不足 20 家。

一张交期对照表​

设备类型	当前典型交期	疫情前参考
中小型干式变压器（5 至 25MVA）	约 12 至 18 个月	4 至 6 个月
中型电力变压器（25 至 100MVA）	约 18 至 24 个月	6 至 12 个月
大型电力变压器（100 至 300MVA）	约 24 至 36 个月	12 个月左右
GSU 及特高压等级（300MVA 以上）	约 36 至 48 个月，个别报价更长	12 至 18 个月
中高压开关柜、断路器	普遍超过 1 年	3 至 6 个月
大容量 UPS / HVDC 电源	据业界经验值，数月至一年以上	数周至数月

对照 AI 数据中心的需求尺度：一座 100MW 的园区通常需要 4 至 6 台大型电力变压器加专用变电站，而全球数据中心正以每年超过 10GW 的速度新增。变压器成了名副其实的"绑定性约束"——GPU 一个季度就能到货，变压器可能要等它两年半。

扩容方的应对策略​

变压器短缺无法绕过，只能提前布局。实践中的有效做法有四条：第一，把电力设备采购从"项目立项后"提前到"用地锁定时"，头部厂商已开始提前三四年锁定产能槽位，通常需要一笔不可退还的订金；第二，多供应商资格认证，北美之外的中、印、欧供应商交期相近但价差可达两到四成；第三，评估翻新与二手设备渠道，经完整测试与翻新的大型变压器可把部署时间压缩到 6 至 12 个月；第四，与电网公司同步启动接入流程，现实中接入排队与变压器制造经常互为前置，串行等待是最坏路径。

UPS 侧的思路类似：与其挤大容量工频机产能，不如评估 HVDC（高压直流）架构——新一代 AI 机柜普遍转向 800V 直流供电，供电链路更短、设备更少，反而降低了在紧缺设备上的暴露面。

写在最后​

给正在规划扩容的团队三条建议：第一，把"电力设备交期"列入项目关键路径，与 GPU 排货同等优先级管理，变压器晚到一天，整座机房就晚一天产生收入；第二，做财务测算时预留设备涨价缓冲，按近年趋势变压器单价每年仍有约一成的上行压力；第三，有条件的园区自建或长租变电站预留容量，把"电网接入"从一次性博弈变成持续资产。算力竞争的上半场是抢卡，下半场是抢电。

每一颗AI加速器都绕不开台积电的晶圆。当AI需求以指数级膨胀，"把所有先进制程放在一座岛上"的地缘脆弱性就成了全球供应链最敏感的神经。台积电的答案是把厂搬出去——但搬出去的产能，和留在岛内的产能，并不是同一种产能。

扩建速度翻倍：18座工厂的全球棋局​

在2026年技术论坛上，台积电运营与先进技术工程副总经理田博仁表示，面对AI与高性能运算的强劲需求，公司正以过去两倍的速度加速扩建，全球范围内将新建与改造共计18座半导体工厂，其中包含5座先进封装厂。2025至2026年间，台积电每年可新建约9座工厂，较2017至2024年每年约4座的节奏翻倍。台积电同时预计，2022年至2026年间AI加速器晶圆需求将增长11倍，2纳米及更先进制程产能在2026至2028年的年复合增长率达70%。

海外基地	制程定位	最新进展
亚利桑那一厂	4纳米	2024年量产，2026年产能提升1.8倍
亚利桑那二厂	3纳米	主体完工，2027年下半年投产
亚利桑那三厂	2纳米级	2026年5月封顶
熊本一厂	22与28纳米	已量产，良率追平台湾厂区
熊本二厂	升级至3纳米	2025年动工建设
德累斯顿ESMC	28与22、16与12纳米	主体完工，目标2027年底投产

亚利桑那：AI 芯片的美国制造心脏​

亚利桑那是这场海外扩张的绝对重心。2026年5月，台积电核准在不超过200亿美元的额度内增资美国子公司，作为去年公布的1650亿美元全球扩建计划的提速动作。英伟达、AMD、苹果等主要客户已预订其产能，台积电还计划在现有基础上继续扩容，考虑使亚利桑那的晶圆厂总数达到8座、封装厂达4座，形成"超级晶圆厂"集群。

关键的战略指标是：未来台积电在美国的产能将占其全球2纳米及更先进制程的约30%。这对AI芯片供给意味着什么？英伟达与AMD最尖端的加速器晶圆将有三分之一产自美国本土，出口管制、关税与地缘风险对这部分产能的扰动模式将完全不同。值得注意的是，亚利桑那厂区已从此前累计约12.5亿美元的爬坡亏损（2021至2024年，据公开报道）转为单季盈利——2026年第一季度盈利约188亿元新台币，超过2025年全年总和。

熊本与德累斯顿：两种完全不同的海外逻辑​

日本熊本与德国德累斯顿的角色定位截然不同。熊本一厂目前量产22与28纳米，台积电披露2026年该厂28与22纳米产出将达2025年的20倍；二厂原本规划6纳米与7纳米，因AI需求强劲已升级为3纳米制程——这是熊本首次触碰先进制程。不过2026年7月底熊本发生的强震一度迫使JASM停工，虽然厂体无损，但也直观展示了"多元化"本身也会遭遇多元化风险。

德累斯顿则压根不是为AI而生。由台积电与博世、英飞凌、恩智浦合资的ESMC聚焦28与22纳米及16与12纳米制程，面向汽车与工业客户，欧洲芯片法案承担了接近一半的资本开支。它解决的是欧洲"汽车芯片完全依赖亚洲"的焦虑，而非AI算力的供给问题。

研判：先进制程的"去中心化"才刚起步​

读懂台积电海外布局的关键，是认清一个事实：目前最尖端的AI芯片制造主力依然留在台湾——2纳米大规模量产由新竹与高雄厂承担，海外产能要到2027年后才逐步接棒先进节点。海外建厂买的是地缘保险与客户信任，付出的则是建厂成本数倍于台湾、工程师与文化磨合的代价。对AI产业而言，未来三到五年会形成一个分层供给结构：美国负责最尖端制程的三成产能，日本承接先进与成熟制程的过渡带，欧洲专注车规与工业。供应链韧性在提升，但供给的定价权，依然牢牢握在新竹的排产会议桌上。

vLLM 早已不只是"NVIDIA 专属"的推理引擎。随着硬件插件化 RFC 落地，AMD、昇腾、TPU 都有了官方或社区维护的后端，但各家成熟度差异悬殊。本文按硬件路线梳理适配矩阵与部署要点。

主流硬件后端适配矩阵​

硬件路线	接入方式	关键依赖	成熟度评估
NVIDIA CUDA	内置后端，开箱即用	CUDA 12.x + 主线 PyTorch	最高，特性首发地
AMD ROCm	内置支持（Docker 镜像分发）	ROCm 6.x + PyTorch ROCm 版	较高，主流模型覆盖
华为昇腾	vllm-ascend 硬件插件	CANN 8.0 以上 + torch-npu	快速追赶，2025 年完成 V1 引擎适配
Intel Xeon CPU	内置 CPU 后端	AVX-512 / AMX	稳定，适合中小模型与降本场景

需要提醒的是，vllm-ascend 从 2025 年 2 月立项后保持了约两周一个版本的节奏，v0.7.3 实现核心加速特性支持，v0.9.1 引入大规模专家并行（EP），v0.11.0 显著提升稳定性，社区反馈显示互联网、银行、运营商场景已有规模化生产落地。版本号与 vLLM 本体严格对齐，升级时必须成对更新。

NVIDIA 路线的调参要点​

在 H100/A100 上，vLLM 默认配置已经不错，但仍有几个高频调整项：

1. gpu-memory-utilization：默认 0.9，多进程共享一张卡或多卡跑多模型时建议压到 0.8 左右，避免 OOM 后进程被杀。
2. max-model-len 与 max-num-seqs：上下文长度直接决定 KV Cache 预留显存，生产环境不要盲目拉到模型上限，按业务 P99 输入长度加余量设置。
3. chunked prefill 与 prefix caching：新版默认开启，长输入场景收益明显；RAG 类应用务必确认前缀缓存生效。
4. 量化方案：FP8 适合 Hopper 及以上，AWQ/GPTQ 适合消费级卡与老卡，选型前先跑精度评测再上量。

昇腾与 AMD 路线的现实​

昇腾路线要求 CANN 8.0 以上、torch-npu 与 vLLM 版本严格匹配，官方推荐通过容器镜像部署以规避环境漂移。Atlas 800I A2 系列是当前插件的主战场，DeepSeek、Qwen、GLM 等主流开源模型均已覆盖，PD 分离（Prefill/Decode 分离）与专家并行也在持续增强。

AMD 路线则相对简单，官方 Docker 镜像内置 ROCm 支持，MI300X 凭借 192GB 显存在 70B 级稠密模型上可以单卡部署，省去张量并行带来的通信开销。但部分自定义算子和投机解码特性更新会比 CUDA 路线滞后一至两个版本，上线前要针对目标模型跑完整回归测试。

实操建议​

1. 用容器镜像锁定版本组合，不要在生产机器上直接 pip 安装三件套（vLLM、torch、底层驱动栈）。
2. 换硬件或升级版本时，先在预发环境跑官方精度评测脚本，再压测吞吐与时延曲线。
3. 关注 vllm-ascend 与 ROCm 后端的 Release Note，特性差距在缩小，但"最新特性"往往只在 CUDA 路线可用。
4. 混合集群建议统一 OpenAI 兼容 API 层，让业务侧对硬件无感，方便后续按成本迁移。

The Information 报道 NVIDIA 计划投资推理芯片对手 d-Matrix；同日，NVIDIA 参投的 Upscale AI 发布跨厂商互联平台 Token Fabric。从收购 Groq 到开放 NVLink Fusion，霸主的应对方式正在从对抗转向"收编"。

NVIDIA 计划投资 d-Matrix​

据 The Information 10 月 8 日报道，NVIDIA 计划投资 d-Matrix——一家 AI 推理芯片初创公司，同时也是 NVIDIA 产品线的直接竞争对手。交易条款和金额未披露。

值得注意的不是交易本身，而是报道给出的框架：d-Matrix 等"挑战者"正选择与 NVIDIA 合作，而非独立竞争。一家推理芯片公司拿到行业霸主的投资，这本身就是对"独立挑战"路线的一次重新定价——市场开始默认，与霸主同行可能比与其对抗更有前途。

Token Fabric：连接竞争对手的互联平台​

同日（10 月 8 日），NVIDIA 参投的 Upscale AI 发布 Token Fabric 平台。它的设计目标很特别：在同一个数据中心内连接多家竞争供应商的 AI 芯片，解决不同厂商芯片生态互不兼容所造成的网络孤岛问题。

在异构算力混布逐渐成为常态的背景下，多厂商芯片组网确实是真实痛点——数据中心里同时存在多家供应商的加速器时，网络层的不兼容会显著抬高部署成本。但一个由 NVIDIA 参投背书的多厂商互联标准，其"中立性"天然存疑：治理权在谁手里，标准就会向谁倾斜。

背景对照：从收购到开放的组合拳​

把近期动作放在一起看，NVIDIA 对推理层挑战者的策略是一条清晰的轨迹：

动作	内容	作用
收购 Groq	此前完成收购	直接消除一个推理挑战者并吸收其技术
开放 NVLink Fusion	允许伙伴集成自定义 CPU/加速器	把第三方设计拉进 NVIDIA 互联生态
投资 d-Matrix	推理芯片直接对手，条款和金额未披露	用资本绑定潜在对手
Token Fabric	参投 Upscale AI 发布，连接多家竞争供应商芯片	在互联标准层保持话语权

Inference 层是当前竞争最激烈的新战场：推理需求随应用爆发持续放量，而推理芯片的技术门槛与训练芯片不同，给了初创公司更多切入空间。NVIDIA 的回应是全套组合拳——能收购的收购，能投资的投资，能开放的开放，把每一个可能的威胁转化为生态的一部分。

市场涟漪：算力资产金融化​

同期两条市场消息进一步扩大了观察视野：

• 亚马逊拟向投资者转让约 80 亿美元的 NVIDIA 芯片，采用售后回租模式以缓解现金流压力；
• SpaceX 拟融资 400 亿美元采购英伟达芯片，由 Apollo 牵头，结构约为 100 亿美元银行贷款加 300 亿美元投资级债务。

AI 算力正在被金融工具深度改造：芯片从单纯的固定资产，变成可转让、可抵押、可回租的资产类别。售后回租和芯片抵押融资的出现，既反映了算力需求之热，也提示了部分买家的资金链已经绷得很紧。

分析：竞合逻辑的三层解读​

**对 NVIDIA：收编优于对抗。**面对推理挑战者，正面对抗意味着价格战和生态战，成本高且结果不确定；用资本和生态把挑战者拉进自己的轨道，既消解威胁又吸收创新。NVLink Fusion 开放、投资 d-Matrix、支持 Token Fabric，本质上是同一战略的不同侧面。

**对 Token Fabric：中立性是最大考题。**一个由 NVIDIA 参投的公司推出的"多厂商互联标准"，其他厂商接受它的前提是治理结构足够中立。如果标准最终被视作 NVIDIA 生态的延展工具，其多厂商价值将大打折扣，AMD、博通等厂商是否愿意接入将成为试金石。

**对推理芯片创业公司：独立生存空间收窄。**d-Matrix 选择与 NVIDIA 合作，说明独立路线的融资与商业化难度在上升。"借船出海"可以换来资本与生态的入场券，代价是战略自主性。对整个推理芯片赛道而言，站队正在加速，留给中立玩家的窗口期越来越短。

小结​

投资对手 d-Matrix、参投 Token Fabric、收购 Groq、开放 NVLink Fusion——NVIDIA 正在用资本与生态把推理层的挑战者逐个纳入轨道，"竞合"取代正面对抗成为新打法。与此同时，亚马逊 80 亿美元售后回租、SpaceX 400 亿美元债务融资采购芯片，显示算力资产金融化正在成为行业新变量。推理芯片这一新战场上的博弈，正从纯技术竞争转向资本与标准的综合较量。

2026年9月16日，Emerald AI、Google与NVIDIA联合发起成立AI能源管理联盟（AEMA, AI Energy Management Alliance），推动电网响应式（grid-responsive）AI数据中心。当电力取代芯片成为AI扩张的第一约束，数据中心正在学会"看电网的脸色"运行。

AEMA联盟：让AI数据中心与电网协同​

AEMA联盟的核心主张是"电网响应式AI数据中心"：数据中心不再是单向索取电力的负载，而是能够根据电网信号动态调整计算调度、参与需求响应的电网资产。这一理念由Emerald AI、Google与NVIDIA共同发起，标志着电网集成正式从学术议题走向产业联盟。

2026年9月半导体周报对此的行业判断是：电网集成成为半导体行业新前沿，AI工厂正从被动用电者转型为主动电网参与者，直接影响数据中心选址、并网时间表与监管框架。

验证数据：DSX MaxLPS的24%吞吐增益​

AEMA成立同期，多项实测数据验证了电网响应式运行的可行性：

验证项目	结果	说明
NVIDIA DSX MaxLPS × Lambda	集群级token吞吐提升24%	同一功率预算内实现
NVIDIA DSX MaxLPS × Lambda	每瓦性能提升23%	验证平台为NVIDIA HGX B200服务器
硅谷电力 × NVIDIA Eos AI工厂	200+次成功需求响应信号	已进入常态化运行

DSX MaxLPS的核心价值在于：不增加一瓦电力，却多产出24%的token吞吐。它通过智能调度计算负载，让数据中心在电网允许的功率包络内动态优化运行点。而NVIDIA Eos AI工厂与硅谷电力公司之间200多次成功的需求响应交互，则证明AI数据中心参与电网调节在技术上与运营上均已跑通。

电力：AI扩张的第一约束​

为什么电网集成在2026年变得如此紧迫？答案藏在头部AI公司的电力竞赛里：Anthropic规划5GW级算力，OpenAI更是奔向10GW——这些数字背后的含义是，单一AI公司的用电需求已接近一座大型城市的量级。

参与方	电力规划规模
Anthropic	5GW级
OpenAI	10GW级

在这样的规模下，瓶颈不再是能不能买到GPU，而是：

1. 并网排队：大型数据中心从申请并网到实际通电，等待周期以年计；
2. 区域电网容量：优质电力资源区域（如水电、核电周边）迅速饱和；
3. 监管框架：巨额用电需求引发电价分摊、容量责任等政策争议。

电力供给的刚性约束，直接决定了AI扩张的速度上限。

从"卡电"到"卡资源"：需求响应的价值重构​

传统数据中心被电网视为纯粹的负担——用电曲线陡峭、不容中断。而AI数据中心有一个此前未被充分利用的特性：部分推理负载具有时间弹性。批处理推理、模型评估、非实时训练任务，都可以在电网紧张的时段暂停或降载，在电网富余时满负荷运行。

这正是需求响应（Demand Response）的价值重构：当AI数据中心能够响应电网信号灵活调节用电，它就从"被卡电的负担"变成了"可调度的电网资源"。对数据中心运营方而言，这意味着：

• 参与电网调度的收益分成，把灵活性变成收入；
• 更快的并网审批——监管机构更欢迎对电网友好的负载；
• 更优的电价合约——可中断负载换取更低电价。

对电网而言，一个GW级的可调节负载，胜过一座调峰电厂的建设周期。这是双赢的结构性改变。

对TCO的影响：电价参数的模拟价值​

从TCO（总拥有成本）视角看，电网响应式运行改变了算力的成本模型。传统TCO计算中，电费是一个固定输入参数；而在电网响应模式下，电费变成了随时间波动、可优化、甚至可产生收益的变量。

对于正在评估自建或租用AI算力的团队，建议在成本测算中把电价作为可调参数进行模拟：把峰谷电价差、需求响应补偿、并网等待时间的机会成本纳入模型，观察单位token成本的变化。您可以使用本站的TCO计算器，输入不同电价参数模拟电网响应模式下的收益——当每瓦性能提升23%的数据可以被复制，电价假设的每一次优化都会直接放大投资回报。

小结​

AEMA联盟的成立、DSX MaxLPS在Lambda上24%的吞吐增益与23%的每瓦性能提升、NVIDIA Eos与硅谷电力200多次需求响应的成功交互，共同指向一个趋势：AI数据中心正在完成从"被动用电者"到"主动电网参与者"的身份转变。在Anthropic 5GW、OpenAI 10GW的电力竞赛背景下，电网集成已成为半导体行业新前沿，直接影响数据中心选址、并网时间表与监管框架。未来的AI工厂竞争，不仅是算力密度的竞争，更是与电网协同能力的竞争——能把电力用得更"聪明"的玩家，将在AI扩张的下半场掌握主动权。