AI Compute Cards Wiki Editorial

每一颗AI加速器都绕不开台积电的晶圆。当AI需求以指数级膨胀，"把所有先进制程放在一座岛上"的地缘脆弱性就成了全球供应链最敏感的神经。台积电的答案是把厂搬出去——但搬出去的产能，和留在岛内的产能，并不是同一种产能。

扩建速度翻倍：18座工厂的全球棋局​

在2026年技术论坛上，台积电运营与先进技术工程副总经理田博仁表示，面对AI与高性能运算的强劲需求，公司正以过去两倍的速度加速扩建，全球范围内将新建与改造共计18座半导体工厂，其中包含5座先进封装厂。2025至2026年间，台积电每年可新建约9座工厂，较2017至2024年每年约4座的节奏翻倍。台积电同时预计，2022年至2026年间AI加速器晶圆需求将增长11倍，2纳米及更先进制程产能在2026至2028年的年复合增长率达70%。

亚利桑那：AI 芯片的美国制造心脏​

亚利桑那是这场海外扩张的绝对重心。2026年5月，台积电核准在不超过200亿美元的额度内增资美国子公司，作为去年公布的1650亿美元全球扩建计划的提速动作。英伟达、AMD、苹果等主要客户已预订其产能，台积电还计划在现有基础上继续扩容，考虑使亚利桑那的晶圆厂总数达到8座、封装厂达4座，形成"超级晶圆厂"集群。

关键的战略指标是：未来台积电在美国的产能将占其全球2纳米及更先进制程的约30%。这对AI芯片供给意味着什么？英伟达与AMD最尖端的加速器晶圆将有三分之一产自美国本土，出口管制、关税与地缘风险对这部分产能的扰动模式将完全不同。值得注意的是，亚利桑那厂区已从此前累计约12.5亿美元的爬坡亏损（2021至2024年，据公开报道）转为单季盈利——2026年第一季度盈利约188亿元新台币，超过2025年全年总和。

熊本与德累斯顿：两种完全不同的海外逻辑​

日本熊本与德国德累斯顿的角色定位截然不同。熊本一厂目前量产22与28纳米，台积电披露2026年该厂28与22纳米产出将达2025年的20倍；二厂原本规划6纳米与7纳米，因AI需求强劲已升级为3纳米制程——这是熊本首次触碰先进制程。不过2026年7月底熊本发生的强震一度迫使JASM停工，虽然厂体无损，但也直观展示了"多元化"本身也会遭遇多元化风险。

德累斯顿则压根不是为AI而生。由台积电与博世、英飞凌、恩智浦合资的ESMC聚焦28与22纳米及16与12纳米制程，面向汽车与工业客户，欧洲芯片法案承担了接近一半的资本开支。它解决的是欧洲"汽车芯片完全依赖亚洲"的焦虑，而非AI算力的供给问题。

研判：先进制程的"去中心化"才刚起步​

读懂台积电海外布局的关键，是认清一个事实：目前最尖端的AI芯片制造主力依然留在台湾——2纳米大规模量产由新竹与高雄厂承担，海外产能要到2027年后才逐步接棒先进节点。海外建厂买的是地缘保险与客户信任，付出的则是建厂成本数倍于台湾、工程师与文化磨合的代价。对AI产业而言，未来三到五年会形成一个分层供给结构：美国负责最尖端制程的三成产能，日本承接先进与成熟制程的过渡带，欧洲专注车规与工业。供应链韧性在提升，但供给的定价权，依然牢牢握在新竹的排产会议桌上。

2026 年秋天，"统一内存"成了 AI 硬件圈最卷的词。AMD 和 NVIDIA 在 AI PC 上贴身肉搏，桌面端堆出 748GB 的"超算"，数据中心则用 HBM4 把带宽拉到 22TB/s。容量数字一路上涨，但真正决定体验的，是那个藏在参数表角落里的带宽。

统一内存要解决什么​

传统 PC 架构里，CPU 和 GPU 各管一摊内存：模型文件躺在系统内存里，推理前要先通过 PCIe"搬运"到显存，模型一大，加载时间以分钟计，显存不够还会溢出到磁盘。统一内存的思路是把这堵墙拆掉——CPU 和 GPU 共享同一块物理内存，模型加载变成一次指针映射，权重不用搬，KV Cache 也能被两个处理器同时访问。

AMD 用 VGM（可变显存滑块）实现这一点：Ryzen AI Max+ 395 的 128GB 内存里，最多 96GB 可划给 GPU 当显存；新的 Pro 495 则允许从 192GB 里划出 160GB。NVIDIA 的路线更彻底，RTX Spark 的 GB10 超级芯片通过 NVLink-C2C 让 Arm CPU 与 Blackwell GPU 直接共享 128GB LPDDR5X，地址空间完全一致。

四档产品对比表​

2026 年 10 月的市场上，统一内存产品已经拉开四个档次：

值得注意的是两家新品发布的贴身节奏：AMD 在 10 月 5 日公布 Pro 495，两天后 NVIDIA 就办了 RTX Spark 新品活动。AMD 还准备了后续牌——代号 Gorgon Halo 的 Ryzen AI Max 400 同样最高 192GB，Pro 495 加速到 5.2GHz，并宣称是首款能在本地跑 300B 级模型的 x86 客户端处理器。整机侧，联想 YOGA Pro 15 搭载 RTX Spark，统一内存规格为 9400MT/s、256-bit 位宽。

带宽才是隐藏变量​

把四档产品的带宽排成一列，差距比容量悬殊得多：256GB/s（395）、约 272GB/s（Pro 495）、273GB/s（DGX Spark 64GB）、300GB/s（RTX Spark 128GB），再到 7.1TB/s 与 22TB/s——AI PC 与数据中心之间差了整整两个数量级以上。

这解释了一个反直觉的现象：容量相同的两台机器，token 生成速度可能差出数倍。大模型推理的 decode 阶段是典型带宽受限负载，每生成一个 token 都要把权重和 KV Cache 扫一遍，带宽直接决定每秒吐出多少字。RTX Spark 靠 300GB/s 在四款 AI PC 里领先；而 DGX Station 的 748GB 之所以值钱，不只因为容量能装下万亿参数，更因为 252GB HBM3e 提供的 7.1TB/s 带宽让模型真的跑得动，而不是"装得下、跑得慢"。

还有一档容易被忽略：DGX Spark 双机通过内置 ConnectX-7 的 QSFP 直连，可把内存池化到 128GB，模型上限提升至 2000 亿参数级，Qwen3.8 27B 实测峰值较单台提升最高 70%——用网络扩展统一内存，是介于单机和工作站之间的第三条路。

VGM 与 CUDA 统一内存的分配策略差异​

同样叫统一内存，AMD 和 NVIDIA 的分配哲学并不相同。AMD 的 VGM 是显式的静态划分：用户拖滑块决定划多少 GB 给 GPU，划出去的部分 CPU 不能再用。优点是行为可预测、显存语义清晰，对 llama.cpp、Stable Diffusion 这类工具友好；代价是弹性差，划多了浪费、划少了要重划。

NVIDIA 的 CUDA 统一内存是动态的：CPU 与 GPU 共享统一地址空间，按需在两者间迁移页面。开发者不用预判"该分多少"，跑什么模型都是同一套逻辑；但页面迁移的粒度和时机由运行时控制，遇到突发访问模式时可能引入抖动。对追求开箱即用的消费用户，CUDA 路线体验更顺滑；对需要稳定显存预算的 Agentic 工作流，VGM 的确定性反而更吃香。

选型建议：按模型规模分档​

小结​

统一内存之战没有单一最优解：128GB 与 192GB 争夺 AI PC 入场券，748GB 的 DGX Station 把数据中心内存架构搬上桌面，288GB HBM4 则继续守卫机架级吞吐。选型的第一变量不是容量，而是带宽——256GB/s 与 22TB/s 之间隔着三个数量级的体验鸿沟；第二变量是分配策略——VGM 的确定性划分与 CUDA 的动态迁移各有适配场景。先想清楚要跑多大的模型、多少并发，再看参数表，才不会被大数字带偏。

高校实验室的算力采购和企业不同：预算一次性、使用人多为研究生、负载高度突发（开学季与论文季爆满、寒暑假空转）。30 万元怎么花，取决于实验室做什么方向。

一、先明确：你的算力需求画像​

实验室负载的典型分布：课程实验和小模型跑通（7B 以下微调、经典视觉模型训练）占请求量的大头；硕士论文实验（7B 至 34B 微调、目标检测、扩散模型）是中等需求；博士课题与预训练尝试（70B 级、多模态）是小概率但高算力的长尾。用这个画像对齐预算，30 万元大致有四个花法。

方案 C 需要说明：全新 8 卡 A800 或 HGX H100 整机在 60 万至 240 万元区间，超出 30 万预算；二手 4 卡 A100 80GB 服务器是唯一能挤进预算的 HBM 路线，约 25 万至 35 万元，但需接受无原厂保修的风险。

二、按研究方向的对号入座​

视觉与多模态方向：训练目标检测、分割、扩散模型，单卡 24GB 是舒适线，方案 A 或 B。扩散模型训练建议优先 5090（32GB），长分辨率训练的显存余量明显更好。

NLP 与大模型方向：以微调为主，方案 A 加云租赁的组合最务实——7B 至 13B 的 QLoRA 本地跑，70B 级实验用云上 A100 或 H100 按需租（单卡时租约 10 至 35 元），一次 70B QLoRA 实验的租赁成本通常仅数百元。

AI for Science（分子模拟、材料、生物）：这类负载常需要双精度或大内存，消费卡的双精度性能很弱，二手 A100 或 A800 是正确方向，预算不足时优先申请校级或国家级算力平台配额。

边缘智能与嵌入式方向：30 万可以配得很豪华——10 套 Jetson Orin 边缘套件（每套约 2,000 至 6,000 元）加一台 4 卡 4090 训练机，形成"云端训练、边缘部署"的完整教学科研闭环。

三、采购流程里的三个坑​

1. 招标参数被反向定制。 实验室设备常走政府采购流程，写参数时要写性能指标（显存容量、带宽、FP16 算力）而不是品牌型号，避免投标方用参数瑕疵废标重来，周期拖一学期。

2. 电费与机房没提前谈。 4 卡 4090 满载约 1.6kW，8 卡机超过 4kW，很多院系机房电路按老标准建设，装机前先和楼宇管处确认功率上限与空调能力，否则机器到了点不亮。

3. 忘了摊销管理成本。 实验室集群需要有人做管理员：账号分配、队列调度（Slurm）、硬盘清理。建议预留预算购置 NAS（约 2 万至 4 万元）并安排学生轮值制度，否则半年后就是"谁的实验占着卡不撒手"的罗生门。

四、结尾建议​

给大多数实验室的默认答案是方案 A 起步、租赁补峰：12 万至 18 万元落地 4 卡 4090 工作站，覆盖组内八成的日常实验；剩余预算一部分买 NAS 与 UPS，一部分作为年度云租赁经费。等负载曲线稳定跑满半年后，再决定是否升级到 80GB 专业卡。高校算力采购最怕一步到位的执念——硬件摩尔节奏下，分两次各买一半，永远比一次买满更划算。

按照IT行业的老经验，服务器硬件三年折旧归零。但H100正在改写这条铁律：机龄一年半到两年半的二手卡仍能保住原价的四分之三以上，2026年甚至出现了挂牌交易的机构化二手市场。AI芯片为何成了科技史上罕见的"硬通货"？

一条反常的价格曲线​

先看数据。多家渠道2026年的报价显示：二手H100 80GB单卡价格大致稳定在1.2万至2.2万美元区间，视成色与渠道而异；英国经销商Servnet报告称，2023年底卖约4万美元的H100如今二手市场成交在1.2万至2.2万美元。硬件金融公司Mercatus追踪的残值曲线显示，机龄18至30个月的H100仍保留75%至85%的价值，60个月后才降至25%至35%的底部区间。

对比之下，消费级显卡在下一代发布后12个月内通常贬值40%到50%。更反常的是租金与售价的背离：据Silicon Data等机构研究，H100按小时计的市场租赁价已从2023年峰值的7至10美元跌至2至4美元，但一年期合约租金却从2025年10月的1.70美元/小时涨到2026年3月的2.35美元/小时——零散供给在跌价，锁定型需求在涨价。

硬通货的三重支撑​

H100保值的第一重支撑是推理经济学。大模型推理对算力的要求低于训练，H100跑推理的单位token成本依然划算，二手买家买的是"每token成本"而非"峰值性能"，这为旧卡创造了长尾需求。第二重是供给端：Blackwell虽在放量，但HBM与先进封装持续受限，新旧交替被拉长，H100大规模退役的时点不断后移。第三重是稀缺的合规供给——据英国《金融时报》援引中国芯片贸易商的报道，一台美国零售约40万美元的DGX B300服务器在中国市场成交价一度超过800万元人民币，同款硬件因法律可及性不同而出现数倍价差，套利需求外溢抬高了全球二手价格。

从灰色交易到机构化市场​

2026年7月，一个面向企业级客户的二手、翻新与富余算力交易平台正式开放，挂牌覆盖H100、H200、B200、A100、L40S等多代产品，询价量从数百台到数万台不等。这标志着二手GPU从零散的电商与拍卖，走向有报价、有质保分层（翻新机较未测试机溢价15%到25%）的机构化市场。与此同时，超过200亿美元的算力抵押贷款依赖残值假设——二级市场给出的可观测价格，让贷款方第一次能用真实数据校准折旧模型。

研判：保值是周期现象，不是永恒规律​

必须清醒地看到，H100的保值建立在"下一代产能受限、推理需求爆发"两个暂时条件上。行业共识是：一旦Rubin世代在2026年底至2027年大规模铺开，H100二手价将再承压10%到20%，残值曲线终会走向传统IT设备的归宿。但这段插曲的产业意义深远：它证明了当算力成为生产资料，GPU就从"设备"变成了"资产类目"，拥有租金、残值、证券化与抵押融资的完整金融属性。对采购方而言，现在的关键是时机——在下一代广泛可用前，H100仍是最抗跌的算力资产。

快科技10月10日消息，AI 代码执行平台 Daytona 公布了最新一轮智能体 AI 基准测试结果：NVIDIA Vera 处理器在沙盒启动速度和任务吞吐量两项核心指标上，均明显优于采用 AMD EPYC "Zen 5" 架构的产品。对正处爆发期的 Agentic AI 行业而言，这是第一次有一组公开数据，把"多智能体场景下的 CPU 选型"这个新命题摆上了台面。

当所有人盯着 Rubin R200 的 50 PFLOPS FP4 时，真正决定这台机器推理经济性的，可能是一颗 CPU。Vera——NVIDIA 首次全面自研核心的数据中心 CPU，用 88 个 Olympus 核心、第二代 SCF 一致性结构和 1.5TB LPDDR5X，重新定义了"AI 工厂的主机处理器"。本文依据站内芯片数据库与智能体基准实测，拆解 NVIDIA 从外购 Arm 核到自研 SCF 的演进逻辑。

从 Grace 到 Vera：自研之路的三级跳​

NVIDIA 的 CPU 战略经历了三个阶段：GH200/GB200 时代的 Grace CPU 基于 72 核 Neoverse V2 公版 Arm 核心，本质是"外购核心 + 自研互联"；GB300 延续了这一代 Grace；而 2026 年 GTC 发布的 Vera 则完成质变——核心、片上互连、内存子系统全部自研。据站内芯片数据库，Vera 的核心规格如下：

SCF：88 核无延迟扩展的底座​

SCF（Scalable Coherency Fabric，可扩展一致性结构）是 Vera 最值得细看的技术。第二代 SCF 提供 3.4 TB/s 对分带宽，采用片上网格 + 统一缓存设计，可无延迟扩展 88 个核心。

对分带宽（bisection bandwidth）是衡量片上互连质量的关键指标：它表示把芯片切成两半时，两半之间的总通信带宽。88 核的大芯片如果对分带宽不足，核心越多内耗越大。第二代 SCF 用网格拓扑让任意核心间的通信路径趋于均匀，配合统一缓存避免一致性流量的长距离穿梭——这正是 Vera 敢于采用单体计算芯片设计（而非多小芯片拼接）的底气：避免跨小芯片通信延迟，在所有核心满载时保持稳定延迟和吞吐量，性能可预测性强。

1.5TB LPDDR5X：把内存子系统当主武器​

Vera 将 SCF 与高达 1.5TB 的 LPDDR5X 内存子系统结合。对比上一代 Grace 的规格变化一目了然：

更关键的是系统级设计：LPDDR5X 与 GPU 的 HBM4 可视为单一一致性内存池。这意味着数据不再需要在"CPU 内存"和"显存"之间显式搬运，两个物理上分离的内存子系统在软件视角下是一体的。对推理业务，这带来两个直接收益：KV 缓存卸载——不常用的注意力上下文可以下沉到 LPDDR5X 侧，把昂贵的 HBM4 带宽留给热点数据；多模型高效执行——多个模型实例共享同一内存池，切换与加载开销大幅降低。

Daytona 实测：智能体时代的 CPU 门槛​

2026 年 10 月 10 日公布的 Daytona 智能体基准测试，给 Vera 的实际能力提供了量化注脚。智能体负载的特点是海量并发沙盒的创建与销毁——恰恰考验 CPU 的内存容量、一致性与调度效率：

8 倍的沙盒上线速度差距说明：智能体负载对 CPU 的要求已与通用计算分道扬镳——容量大（1.5TB 装下海量沙盒状态）、带宽高（1.2TB/s 喂饱并发）、一致性结构强（88 核高效协作）。站内芯片数据库同时记录，Vera 的软件环境运行速度相比传统架构 CPU 提升最高 50%，满负载下强化学习评估周期可缩短 50%。

与 Groq 3 LPX 的异构分工​

Vera 所在的 Rubin 平台还有一位非常规队友：NVIDIA 收购 Groq 后推出的 Groq 3 LPX。据站内芯片数据库，LPX 机架集成 256 颗 LPU，聚合 128GB 片上 SRAM，聚合带宽高达 40 PB/s，官方口径的能效优势显著（35× perf/W vs H100 推理）。在 Rubin 平台的分工中，GPU 承担训练与 prefill，Groq 3 LPX 专攻智能体解码阶段的低延迟输出——而 Vera 则是这一切的调度中枢。prefill 吃算力、decode 吃带宽、调度吃一致性与容量，三种负载由三种架构分别消化，这正是"每 token 经济学"推导出的异构架构必然性。

Vera vs EPYC Venice：服务器 CPU 的新战场​

Vera 的出现让 NVIDIA 与 AMD 在服务器 CPU 领域正面相遇。据站内芯片数据库，AMD EPYC Venice（2026 CES 发布）是全球首款 2nm 数据中心 CPU：

两者的定位差异明显：EPYC Venice 是通用数据中心 CPU 的极致（256 核、x86 生态、Helios 机架中与 MI455X 组队），而 Vera 是 AI 专用 CPU——它不做通用服务器生意，只为 AI 工厂的主机负载优化。Vera 甚至支持硬件级 FP8 计算，是全球首款支持 FP8 精度的 CPU，并支持全机密计算的硬件级安全隔离。竞争的天平取决于一个问题：AI 工厂的 CPU 采购，会不会整体从通用服务器预算中剥离？如果会，Vera 绑定 Rubin GPU 的销售模式将是护城河；如果不会，EPYC 的生态广度仍难撼动。

小结​

Vera CPU 标志着 NVIDIA 完成了从"用别人的核心攒超级芯片"到"自研全套主机平台"的跃迁：SCF 的 3.4TB/s 对分带宽解决了 88 核扩展难题，1.5TB LPDDR5X 与 HBM4 构成的一致性内存池重构了推理数据流，Daytona 实测的 8 倍沙盒优势则证明智能体负载确实需要一颗不一样的 CPU。它的野心不在挑战 x86 的通用服务器王座，而是重新划定一条边界——AI 基础设施中，CPU 是 GPU 子系统的一部分，而不是独立采购的商品。这条边界能否成立，将决定未来五年服务器市场的版图。

文本生成的算力曲线尚未见顶，视频生成已经带着二次方的注意力复杂度闯入算力市场。当世界模型开始学习物理规律并支持实时交互，推理算力的需求边界将被重新定义——下一个算力黑洞，正在视野中成形。

单秒成本背后的算力真相​

2026 年，视频生成已形成清晰的商业化定价梯度。据公开资料整理：

低价表象之下是沉重的算力账单。按每秒 24 帧计算，一段 10 秒 1080p 视频意味着 240 帧高度关联的图像，时序注意力机制使显存需求随时长呈二次方增长——30 秒片段要处理的帧间关联对数以十万计。业界分析普遍估计，训练一个 Sora 2、Veo 3 级别的视频模型，仅算力投入就普遍在 5000 万美元以上，叠加数据授权、标注与安全评审，整体项目投入据估可达 1.5 亿至 4 亿美元。算一笔直观的账：一个每月生成百万秒级视频的消费级应用，即便采用较低价位档，月度 API 账单也能轻松超过 10 万美元。

自托管与开源的博弈​

开源模型正在改变成本结构。阿里的 Wan 系列与腾讯的 HunyuanVideo 已把"自己搭"变为可行选项：Wan 系列的 14B 生产级版本约需 48GB 到 80GB 显存才能流畅批量推理，HunyuanVideo 13B 版本官方推荐 H100 80GB 级别配置。对月产数十万条短视频的应用而言，API 计费与自建集群的成本平衡点，正成为技术路线的核心决策。而中国厂商在国产加速器与低电价环境下的成本优势，使国产视频模型在单位经济学上占据独特位置——可灵、海螺等产品的低价正是这一优势的直接体现。

世界模型：从生成到模拟​

比视频生成更重的，是世界模型。当模型不仅生成画面，还要内化物理规律、支持交互式探索时，算力需求呈台阶式跃迁：实时交互要求生成延迟低到毫秒级；世界一致性要求超长时序记忆与状态追踪；具身智能训练要求大规模仿真并行运行。视频生成考验的是"把序列算对"，世界模型考验的是"把世界算懂"——后者的状态空间与计算密度高出一个量级。业界普遍预期，一旦世界模型成为智能体与机器人训练的基础设施，其推理负载将远超今天的文本推理。

结语：为黑洞做好电力与芯片准备​

视频生成与世界模型对算力产业的意义，在于它们同时吃掉带宽、显存、互连这三样最贵的资源——这恰好解释了 HBM 扩产、超节点与液冷在 2026 年同步爆发的产业节奏。对芯片厂商而言，谁能把每瓦 tokens 产出做到极致、把视频推理流水线优化到物理极限，谁就能在下一个算力黑洞周围占据最有利的位置。而对整个行业，唯一确定的是：生成一秒钟的智能，永远比生成一个字贵得多，而且这个差距还会继续拉大。

vLLM 早已不只是"NVIDIA 专属"的推理引擎。随着硬件插件化 RFC 落地，AMD、昇腾、TPU 都有了官方或社区维护的后端，但各家成熟度差异悬殊。本文按硬件路线梳理适配矩阵与部署要点。

主流硬件后端适配矩阵​

需要提醒的是，vllm-ascend 从 2025 年 2 月立项后保持了约两周一个版本的节奏，v0.7.3 实现核心加速特性支持，v0.9.1 引入大规模专家并行（EP），v0.11.0 显著提升稳定性，社区反馈显示互联网、银行、运营商场景已有规模化生产落地。版本号与 vLLM 本体严格对齐，升级时必须成对更新。

NVIDIA 路线的调参要点​

在 H100/A100 上，vLLM 默认配置已经不错，但仍有几个高频调整项：

1. gpu-memory-utilization：默认 0.9，多进程共享一张卡或多卡跑多模型时建议压到 0.8 左右，避免 OOM 后进程被杀。
2. max-model-len 与 max-num-seqs：上下文长度直接决定 KV Cache 预留显存，生产环境不要盲目拉到模型上限，按业务 P99 输入长度加余量设置。
3. chunked prefill 与 prefix caching：新版默认开启，长输入场景收益明显；RAG 类应用务必确认前缀缓存生效。
4. 量化方案：FP8 适合 Hopper 及以上，AWQ/GPTQ 适合消费级卡与老卡，选型前先跑精度评测再上量。

昇腾与 AMD 路线的现实​

昇腾路线要求 CANN 8.0 以上、torch-npu 与 vLLM 版本严格匹配，官方推荐通过容器镜像部署以规避环境漂移。Atlas 800I A2 系列是当前插件的主战场，DeepSeek、Qwen、GLM 等主流开源模型均已覆盖，PD 分离（Prefill/Decode 分离）与专家并行也在持续增强。

AMD 路线则相对简单，官方 Docker 镜像内置 ROCm 支持，MI300X 凭借 192GB 显存在 70B 级稠密模型上可以单卡部署，省去张量并行带来的通信开销。但部分自定义算子和投机解码特性更新会比 CUDA 路线滞后一至两个版本，上线前要针对目标模型跑完整回归测试。

实操建议​

1. 用容器镜像锁定版本组合，不要在生产机器上直接 pip 安装三件套（vLLM、torch、底层驱动栈）。
2. 换硬件或升级版本时，先在预发环境跑官方精度评测脚本，再压测吞吐与时延曲线。
3. 关注 vllm-ascend 与 ROCm 后端的 Release Note，特性差距在缩小，但"最新特性"往往只在 CUDA 路线可用。
4. 混合集群建议统一 OpenAI 兼容 API 层，让业务侧对硬件无感，方便后续按成本迁移。

语音是所有 AI 推理场景里"单路最便宜、体验最挑剔"的一类：模型小到一张入门卡就能跑，但用户对延迟的容忍度以百毫秒计。选型的核心不是买多大的卡，而是把延迟预算分配对。

一、ASR 侧：Whisper 家族的显存与速度账​

Whisper 各型号的显存需求很友好：large-v3（1.55B 参数）FP16 约 3GB、INT8 约 1.5GB；large-v3-turbo（809M）FP16 约 2GB；蒸馏版 distil-large-v3 约 1.5GB，速度约为原版 6 倍。实测数据（faster-whisper 加 CTranslate2、INT8、单流）显示：RTX 3060 12GB 跑 large-v3 实时率约 10 至 12 倍，4090 达 40 至 50 倍，5090 达 55 至 65 倍。实时率（RTF）越高，单卡能承载的并发转写路数越多。

选型要点：中文与多语种业务建议 large-v3 或 turbo（蒸馏版在小语种和噪音场景的错误率上升明显）；电话客服场景 16kHz 采样即可，音频前处理加 VAD 静音裁剪能减少约一半的计算量。

二、TTS 侧：从"能听"到"克隆"的显存阶梯​

TTS 的显存跨度比 ASR 大得多：轻量方案（Kokoro 82M、Piper 类）不足 1GB，甚至可以纯 CPU 运行；中量级（Qwen3-TTS 1.7B 类）约 4GB；高表达力与音色克隆方案（Step-Audio 7B 级、Chatterbox、XTTS v2）约 3 至 8GB；旗舰级方案则要 12 至 17GB。完整语音对话管线（STT 加 LLM 加 TTS 三模型常驻）的典型显存账是 10 至 16GB——这意味着一张 16 至 24GB 的卡就能承载单机完整语音助手。

三、延迟预算怎么分配​

实时语音对话的端到端目标通常是低于 500 至 800 毫秒，一个可参考的分配：VAD 判停约 200 毫秒、ASR 增量转写约 100 毫秒、LLM 首 token 约 150 毫秒、TTS 首音频约 100 毫秒。优化优先级最高的三件事：用 turbo 或蒸馏版 Whisper 替代 large-v3（速度差 6 倍，精度损失可控）、ASR 与 TTS 用 INT8 量化、LLM 输出流式喂给 TTS 而非等全句。这三条做完，多数管线能在消费级硬件上摸到实时门槛，不必上高端卡。

另一个常被忽略的点是语音流的话音活动率：典型对话中每人只占 40% 至 50% 的时间，100 路并发通话在任一瞬间活跃的转写任务只有四五十路。按"名义并发乘 0.45"估算算力，能省下接近一半的采购量——但外呼机器人是例外，它的静音模式更规律，活动率要单独实测。

四、结尾建议​

语音 AI 服务的硬件决策顺序：先定延迟指标（决定单卡承载路数），再按并发规模定卡的数量，最后才看要不要更好的单卡。中小规模场景的默认答案是单张 16 至 24GB 消费卡承载 10 路完整语音管线，随业务增长横向加卡，比一开始买大机灵活得多。两点最后提醒：一是 ASR 加 TTS 加 LLM 同卡混布时，务必给各模型设显存预留与常驻策略，避免运行中被逐出显存造成数秒级卡顿；二是语音业务对成本极其敏感，月利用率长期低于三成时，2 至 4 元/小时的消费卡租赁比自建更划算。

当整个行业都在拥抱芯粒时，Cerebras 却坚持把一整片 12 英寸晶圆做成一颗芯片。2026 年，这条"离经叛道"的路线迎来了 CS-4 量产与纳斯达克上市的双重节点。晶圆级与芯粒，究竟谁代表极限算力的未来？

晶圆级：把晶圆当芯片用​

Cerebras 的 WSE-3 是迄今最大的商用芯片之一：整片 300mm 晶圆不切割，4 万亿晶体管、约 90 万个 AI 核心通过片上网络互联，片上 SRAM 达 44GB，片内带宽据厂商数据高达 21 PB/s——这是"消灭数据搬运"的极致设计，芯片面积达到约 4.6 万平方毫米。

2026 年 8 月，Cerebras 发布了基于三片 WSE-3T 晶圆的 CS-4 系统：AI 算力 750 PFLOPS，晶圆间带宽 129.6 PB/s，宣称在 GPT-OSS-120B 上实现单用户每秒超过 4400 个 tokens 的生成速度。Hot Chips 2026 上，公司进一步公布了 Nexus 背包式供电架构——直接从铜排背面给晶圆供电，省去 PCB 与基板的传输损耗，使同等硅片性能翻倍——以及 2027 年 WSE 新一代硅片与集成堆叠 DRAM 的 CS-6 规划。资本市场也给出认可：据公开报道，Cerebras 以每股 185 美元登陆纳斯达克，募资约 55 亿美元，并与 OpenAI 签订了至 2028 年最高 750 兆瓦的算力协议。

芯粒：良率与成本的最优解​

与晶圆级的"整片浇筑"相对，芯粒路线选择"化整为零"：把计算、缓存、I/O 拆成小芯粒分别流片，再用先进封装拼合。英伟达 Rubin R200 的 2 颗计算 die 加 2 颗 I/O die 加 8 堆栈 HBM4 组合、AMD MI400 系列、以及华为昇腾等国产主力芯片，走的都是这条路。芯粒的优势在于小 die 良率高、可混搭制程、封装组合灵活，是当前商业化的绝对主流。

两条路线的适用边界​

晶圆级的瓶颈同样明显：44GB SRAM 装不下千亿参数模型，需要外部流式供数或多晶圆互联扩展；单系统功耗高达 25 千瓦级，必须定制工业液冷；客户集中度极高，据招股材料，其阿联酋大客户曾占公司收入的 85% 以上。它注定是一条"特种尖刀"路线，专注低延迟推理、超长上下文与科研超算等小众高价值场景——毕竟 Agent 应用是"没有耐心的"，每秒数千 tokens 的单用户体验正是 GPU 集群最难优雅解决的痛点。

芯粒则是规模化基本盘：性能上限虽受封装互联约束，但良率、成本与生态兼容性全面占优，能覆盖从单卡到超节点的全部市场。这也是国产算力选择以芯粒为主攻方向的根本原因——成熟制程产能加自主先进封装，是当前产业禀赋下性价比最高的突围路径。

结语：碰撞之外，各守一极​

晶圆级与芯粒并非零和竞争，而是从两端同时凿穿"访存墙"的两种尝试：前者把存储距离压到零，后者用先进封装逼近光罩物理极限。2027 年之后，随着延迟敏感型推理负载占比上升，晶圆级路线的商业空间可能继续扩大；而在通用算力市场，芯粒的地位短期内无可撼动。真正的输家，也许是停留在单片巨 die 时代、两头都不沾的中间路线。