9 篇博文 含有标签「Selection Guide」

2026 年，"本地跑大模型"从极客玩具变成了正经生产力工具：128GB 统一内存进入万元级笔记本，192GB 桌面平台宣称能装下 300B 模型，748GB 的 DGX Station 把数据中心级算力搬上了办公桌。

一、按需求分档​

选型的第一步是诚实评估自己的需求档位：

• 轻量本地推理：跑 7B–35B 量化模型做日常问答、写作辅助，16–32GB 内存即可，任何 Copilot+ PC 都够用。
• 严肃 Agent 开发：本地跑 70B–120B 模型、多 Agent 并行调试、数据不出本机的隐私场景，需要 96GB 以上可分配显存。
• 创作者：Stable Diffusion 出图、视频剪辑 + AI 加速、本地语音转写，看重 GPU 性能与软件适配。
• 桌面训练超算：微调大模型、跑严肃的 Agent 集群实验，需要 TB 级统一内存与数据中心级带宽。

二、核心产品对比表​

三、统一内存容量 vs 带宽：真实体验的差异​

统一内存架构下，容量和带宽管的是两件完全不同的事：

• 容量决定"能不能跑"。70B 模型 4bit 量化约需 40GB+，这解释了为什么 96GB 可分配 VRAM 的 Ryzen AI Max+ 395 能完整装下 70B（Q4）而 48GB 的 M4 Pro 要靠 swap、实测只有约 2 tok/s；192GB 的 Gorgon Halo 平台宣称可本地运行 300B 模型，160GB VGM 单机离线跑 1000 亿参数级模型是 Pro 495 的核心卖点。
• 带宽决定"跑多快"。Decode 阶段每个 token 都要把权重读一遍，带宽几乎线性决定生成速度。同样是 128GB：M4 Max 的 546 GB/s 对比 Ryzen AI Max+ 395 的 256 GB/s，LLM 生成速度差距可以直接从带宽比例预估——395 跑 70B Q4 实测约 5 tok/s，属于"能用但不快"的水平。
• ** 两台 DGX Spark 可通过 ConnectX-7 直连把内存池化到 128GB，模型上限提升至 2000 亿参数级，双机跑 Qwen3.8 27B 较单台 128GB 系统峰值最高提升 70%**——这是"容量不够、机器来凑"的官方示范。

一句话经验：容量买"资格"，带宽买"体验"。预算有限先保容量门槛，再在同级里挑带宽。

四、x86 vs Arm：兼容性权衡​

RTX Spark 与 Gorgon Halo 的对决，本质是 Arm 与 x86 两条路线的对决：

• RTX Spark（Arm）：优势在 CUDA——6,144 个 Blackwell CUDA 核心原生兼容整个 NVIDIA 软件栈，本地跑 PyTorch、vLLM、Ollama 零适配成本；代价是 Windows 生态绕不开微软 Prism 模拟层运行部分 x86 应用，功耗损失与兼容性问题依然存在。
• Ryzen AI Max Pro 495（x86）：原生 Windows + Linux 直接运行、无模拟层，这是 AMD 对标 RTX Spark 时反复强调的卖点；GPU 侧走 ROCm / DirectML / ONNX Runtime 路线，AI 软件生态成熟度不及 CUDA，llama.cpp、Vulkan 后端等社区方案补位。
• Mac：原生生态最封闭也最省心，MLX 与 Core ML 体验完整，但 CUDA 专属工具链（多数研究代码、部分训练框架特性）无法使用。

选型建议：深度学习研究者和 CUDA 生态重度用户等 RTX Spark；Windows 企业环境、x86 软件依赖重的选 Gorgon Halo / Pro 495；全苹果生态的创作与轻推理用户留在 Mac。

五、价格与供货风险​

• 内存涨价正在挤压这一档位：DGX Spark 128GB 创始版价格上调至 $6,950（官方归因于 AI 内存紧缺），而 64GB 版维持 $4,999。DRAM 价格处于 15 年新高，大内存配额紧张可能让 192GB 级产品首发溢价，刚需建议早锁货。
• 首发参考价：微软 Surface Laptop Ultra $2,599 起（官方宣称 AI 任务速度达 Mac 的 2 倍、视频处理 6 倍）；联想 YOGA Pro 15（RTX Spark）80W 功耗、约 1.75kg，天禧 AI 支持 35B 本地模型，参照价 16,999 元档。
• DGX Station 等等再看：748GB 统一内存 + 20 PFLOPS FP4 的桌面超算 2026 Q4 上市，定价未公布——考虑到其 GB300 血统，预计不会便宜，但它可能是唯一能单机微调千亿级模型的桌面方案。

六、分人群推荐​

• 轻量本地推理 / 学生：Ryzen AI Max+ 395 笔记本（$1,499 起），96GB VRAM 的容量优势同价位无解。
• 严肃 Agent 开发：DGX Spark $4,999 入门，双机池化到 128GB 覆盖 2000 亿参数级实验；CUDA 生态原生。
• 创作者：Mac（M4 Max 带宽高、创作软件适配好）或等 RTX Spark（Adobe 全家桶 100% GPU 加速是 NVIDIA 官方合作项）。
• 桌面训练超算 / 企业工作站：预算充足等 DGX Station for Windows；预算敏感选 Ryzen AI Max Pro 495（192GB）+ Linux，先把 100B 级推理与 LoRA 微调跑起来。

小结​

2026 年的 AI PC 市场第一次出现了完整的四档产品线：万元级 128GB 笔记本、$4,999 的 DGX Spark、192GB 的 x86 旗舰平台和 748GB 的桌面超算。选购逻辑可以浓缩为一句话：先用模型规模定容量门槛，再用体验预期挑带宽，然后按软件生态选 x86 / Arm / Mac 路线，最后在 DRAM 涨价周期里尽早锁定配额。各芯片的完整规格请查阅站内对应芯片卡页面与完整对比表。

国产替代不是"把英伟达换成国产卡"一句话能概括的决策。合规压力、负载类型、迁移成本、供货确定性、预算五个维度都要过一遍，本文用站内芯片卡数据把每一步落到具体型号上。

一、替代决策五问​

动手选型前，先回答五个问题：

1. 合规要求：是政策强制的信创场景（政府、国企、金融），还是成本驱动的自愿替代？前者看《安全可靠测评》等资质，后者看性价比。
2. 负载类型：训练还是推理？Prefill 还是 Decode？不同负载的答案完全不同——昇腾 950PR 是推理 Prefill 卡，拿它做 FP16 密集训练就是选型错误（站内卡明确提示：FP16 训练应选 910C，其 800 TFLOPS 对 950 系列的 486–547 TFLOPS 保持领先）。
3. 生态迁移成本：现有 CUDA 代码库有多少算子依赖？团队有没有非 NVIDIA 平台经验？迁移成本有时比卡价更高。
4. 供货确定性：产能爬坡与 HBM 供应决定交付周期，头部型号已经在涨价排队。
5. 预算口径：国产卡价格已从"替代品折价"转向"供给稀缺溢价"，预算要按动态报价做。

二、国产主要选项对比​

以下数据全部取自本站芯片卡：

怎么读这张表：训练优先看昇腾 910C/950DT 与思元690（FP16 算力与显存容量领先，且都有千卡/超节点级方案——思元690 已落地 256 卡超节点，950DT 的 Atlas 950 SuperPoD 1024 卡版本已在 WAIC 2026 真机展示）；FP8 推理看 MTT S5000（FP8 稠密 1,000 TFLOPS 是国产卡中的亮点，且已通过《安全可靠测评》2026 年第 2 号）；视频与低功耗推理看昆仑芯 R200（150W、INT8 256 TOPS、108 路视频解码）；信创训练集群可评估云燧T21（OAM 标准模组，8000+ 卡集群已验证）。

三、软件栈迁移成本评估​

迁移成本是国产替代里最容易低估的一项，各家生态进展差距明显：

• CANN（华为）：进展最快。CANN Next 提供 CUDA 兼容层，约 80% 的标准 PyTorch 推理代码仅需配置修改；2026 年 10 月 DeepSeek 与华为联合发布面向昇腾 950 的开源编程工具与库。生态拐点已现——站内昇腾 960 卡口径显示，CANN 外部开发者占比升至 61%，首次超越内部团队，月活跃开发者突破 5,200 人；PyTorch 官网也已将昇腾收录为中国算力平台。
• NeuWare（寒武纪）：云边端统一一套代码是国内独一份，PyTorch/TensorFlow 适配版齐全，MagicMind 是全球首批商用 MLIR 图编译推理框架；短板在千卡以上分布式训练的工程成熟度，单机 8 卡与百卡小集群表现优异。
• MUSIFY（摩尔线程）：算子覆盖率约 70%–80%（CUDA 为 99%+），复杂 LLM 需手工优化，但 Day-0 适配能力快速进步——2026 年 6–7 月连续完成 MiniMax M3、智谱 GLM-5.2、Qwen3.5 和美团万亿参数 LongCat-2.0 的适配。
• IXUCA（天数智芯）：高度兼容 CUDA 生态，官方口径迁移时间下降 50% 以上，已适配 200+ 模型，覆盖 LLM、CV、NLP、语音等领域。

四、供货现实与价格走势​

供需关系是当前国产算力市场的第一现实：

• 需求侧：华为副董事长徐直军在 HC2026 访谈中的表态是"能产多少供多少"——需求远未见顶，第一约束已从市场转移到产能。
• 产能侧：站内 950DT 卡引用的行业口径显示，中芯国际产能可支撑年产超 100 万颗昇腾芯片，但国产 HBM 产能仅够约 25 万–30 万颗成品加速器，缺口约六成——瓶颈在 HBM 而非逻辑制程。
• 价格侧：HBM 成本攀升推高全线上调——950DT 渠道指示价超 ¥25 万（较两个月前 +20%–50%，Bloomberg 称三个月涨约 60%，已对标 B200）、950PR 突破 ¥8 万（+30%）、910C 超 ¥11 万（+22%）、寒武纪 690 等同期上调 20%–30%。预算必须按动态报价做，且注意以上均为渠道指示价，实际成交随采购规模与捆绑条件浮动。

五、混合部署策略与风险清单​

务实的企业路径是混合部署：NVIDIA 存量卡继续承担成熟训练负载与 CUDA 专有工作负载，国产卡承接增量需求——通常从推理切入（生态迁移成本最低），训练负载在 CANN/MUSA 成熟度验证后逐步迁移。昇腾 910C 集群已验证万亿参数大模型全参数后训练能力（站内卡记载的 DeepSeek V4 Pro 案例），训练迁移的技术可行性正在快速提高。

同时把风险清单贴在采购文档里：

1. 生态风险：算子覆盖不全导致的性能回退与排期延误，先做 POC 再批量采购。
2. 价格风险：涨价周期中锁价窗口短暂，长单尽量锁量锁价。
3. 供货风险：HBM 约束短期无解，关键项目准备备选型号。
4. 人才风险：非 CUDA 平台的工程师储备需要提前 6–12 个月建设。
5. 残值风险：国产卡二手市场流动性弱于 NVIDIA，折旧年限要单独评估。

小结​

国产替代选型的正确姿势是：用五问框架定位自己的真实约束，按负载类型从对比表里筛型号（训练看昇腾与思元690、FP8 推理看 MTT S5000、低功耗视频看昆仑芯），把软件迁移成本算进总预算，在涨价与供货的现实下混合部署、增量替换。更多型号的全字段对比见站内完整对比表，各卡详细规格请进入对应芯片卡页面。

国产 AI 芯片有两条路：一条是自建生态，长痛但自主；另一条是兼容现有生态，短痛但受制于人。海光选择了后者——DCU 系列"类 CUDA"的通用并行计算架构，加上底层兼容 ROCm 的 DTK 软件栈，让大量存量 CUDA 代码几乎不用改写就能跑起来。这在信创市场上是独一无二的卖点。

K100 AI：规格与定位​

海光 DCU 当前的主力出货型号是 K100 AI 加速卡，综合官方与公开采购资料，核心规格如下：

从规格看，K100 AI 不是算力最强的国产卡，但它的强项在于"友好"：整机环境仍是 x86 加 Linux，CentOS、Ubuntu、麒麟系统，GCC 编译器、MPI、Slurm 调度器全部原样保留，运维团队的学习成本接近于零。

DTK 软件栈：迁移成本低于一成的底气​

海光的 DTK（DCU Toolkit）基于 ROCm 异构计算架构深度定制，编程模型与 CUDA 高度相似。据公开报道，存量 CUDA 代码的迁移成本可低于 10%，PyTorch、TensorFlow、PaddlePaddle 等框架以及 vLLM、SGLang 等推理引擎均有适配，累计适配的大模型超过 365 款，包括 Qwen、Llama 系列等主流开源模型。实测层面，单卡可流畅支持 27B 级别模型的推理，配合 INT8 量化可覆盖更大参数规模。

这套体系的另一层价值在于 HPC：分子动力学、计算流体力学等传统科学计算代码同样基于 CUDA 或 ROCm 生态，海光是少数能同时承接 AI 与 HPC 混合负载的国产平台。

商业表现与下一代布局​

海光的独特性还在于它是国内少有的同时拥有 x86 CPU 与 GPGPU 双产品线的公司。2025 年公司营收 143.77 亿元，同比增长 57%，净利润 25.45 亿元，研发投入占营收近三成二。DCU 出货约 8.3 万颗，落地以金融、政务、制造等传统行业 AI 改造和运营商中小规模智算集群为主。

下一代 K200 据公开报道将于 2026 年第三季度批量交付，规格大幅跃升：FP16 算力 256 TFLOPS，配备 128GB HBM3e 显存、2.4 TB/s 带宽，最大支持 2048 卡集群。届时海光在显存和互联上的短板有望明显补齐。

小结：渐进式国产替代的最优解之一​

海光 DCU 的启示在于：国产替代未必需要一次革命。对于存量 CUDA 资产庞大、团队缺乏芯片适配经验、希望先跑通再扩容的企业，K100 AI 提供了迁移摩擦最小的路径。它的算力上限决定了不适合冲击千亿参数大训练，但在推理服务与混合计算负载中，它是稳妥且现货充足的选择。追求最小改动的团队，海光应当是选型清单上的第一个名字。

推理正在从"一张卡干所有活"走向"专用硬件干专项活"。Prefill 吃算力、Decode 吃带宽，这条基本规律正在重塑 2026 年的推理硬件市场——选型前先搞清楚你的负载属于哪一段。

一、推理负载画像：Prefill 与 Decode 是两件事​

一次大模型推理请求分两个阶段，瓶颈截然不同：

• Prefill（预填充）：把用户输入一次性算完，矩阵乘密集，是典型的 compute-bound 负载。算力（FP8/FP4）是瓶颈，显存带宽需求适中。
• Decode（解码）：逐 token 生成，每一步都要把全部权重和 KV Cache 从显存里读一遍，是典型的 memory-bound 负载。带宽决定吞吐，容量决定能塞下多长的上下文。

这条规律直接解释了 2026 年的两大产品趋势：昇腾把 950 拆成 950PR（Prefill 专用，1.4 TB/s 带宽）和 950DT（Decode + 训练，4 TB/s 带宽）两个版本；NVIDIA 收购 Groq 后，在 Vera Rubin 平台里给 LPU 留出正式位置——"GPU 管 Prefill，LPU 管 Decode"成为官方口径。

二、推理专用硬件成为趋势​

推理 ASIC 化是 2026 年最确定的产业方向：

• Google TPU 8i / 8t：按推理与训练分拆的第八代 TPU，站内卡口径显示 2027 年底量产，仅通过 Google Cloud 按小时计费。
• 昇腾 950PR / 950DT：同一 Da Vinci v5 计算核心配不同内存子系统。950PR 主攻 Prefill，FP4 算力 1.56 PFLOPS（Atlas 350 卡口径），112GB 自研 HiBL HBM；950DT 主攻 Decode，144GB HiZQ 2.0、带宽 4 TB/s。
• NVIDIA Groq 3 LPX：每 LPU 500MB 片上 SRAM、片上带宽 150 TB/s；256 颗组成机架后聚合带宽 640 TB/s、算力 315 PFLOPS。实测 Gemma 4 31B 单用户 3,431 token/s，首 Token 延迟低于 20ms——这是 GPU 很难摸到的延迟量级。
• OpenAI Jalapeño 等自研推理芯片：头部模型厂商自研推理 ASIC 的动作持续，推理负载的确定性让专用架构的性价比优势越来越难忽视。

结论：如果你的业务是千级并发的 Agent 调用，专用硬件已经从"可选项"变成"必选项"。

三、按场景推荐表​

场景之外还有两条通用原则：其一，Prefill 和 Decode 分离部署（P/D 分离）正在成为大厂标配，昇腾 950PR+950DT 的"异构推理流水线"就是为它设计的；其二，不要用训练卡凑合跑推理——训练卡的互联和精度配置是为反向传播优化的，推理场景下是花冤枉钱。

四、显存容量与 KV Cache：一笔必须先算的账​

模型权重之外，KV Cache 是推理显存的第二大占用，估算公式为：每 token 的 KV Cache = 2 × 层数 × KV 头数 × 每头维度 × 精度字节数。以主流 70B 级模型为例，FP16 权重约需 140GB，再叠加长上下文的 KV Cache 与激活值，就能解释选型表里的容量门槛：

• 141GB 的 H200：刚够单卡装 70B FP16 + 有限上下文，官方口径即"70B+ 单卡加载"。
• 288GB 的 B300：装完 70B FP16 后剩余 100GB+ 全部给 KV Cache，长上下文是它的主场。
• 432GB 的 MI455X / 22 TB/s 的 Rubin R200：为超长上下文与多模型并存准备，MLPerf Inference v6.1 中 Rubin 的 Qwen3-VL 吞吐较 GB300 NVL72 最高提升 3.7 倍。

容量决定"能不能跑"，带宽决定"跑多快"——Decode 阶段的吞吐几乎与显存带宽成正比，这就是为什么 4 TB/s 的昇腾 950DT 在长上下文生成场景能较 1.4 TB/s 的 950PR 提升约 2 倍。

五、成本视角：每 token 成本比每小时租金更重要​

比较推理硬件，正确指标是"每百万 token 的总成本"，它是吞吐、卡价与电费的合力。以站内 B300 卡引用的 Llama 70B 云端实测为参照：

结论很直白：B300 单价是 H100 的近两倍，但每 token 成本反而低四成以上。另一个常被忽略的变量是利用率——采购卡跑不满，单位成本会被空闲时间迅速摊薄。自建还是云租，取决于你的利用率曲线，这正是 TCO 测算要回答的问题。

不同方案的三年总成本差异，建议直接用站内 TCO 计算器 输入自己的利用率与电价实测；各卡的完整规格见完整对比表与对应芯片卡页面。

小结​

2026 年的推理选型可以压缩成三句话：先分清你的瓶颈在 Prefill 算力还是 Decode 带宽；延迟敏感的 Agent 场景认真评估 LPU 等专用硬件，吞吐敏感的批量场景看每 token 成本而不是卡价；显存先算 KV Cache 再谈容量，成本先算利用率再谈采购。Prefill/Decode 分离不是营销概念，而是每 token 经济学推导出的必然架构。

一张 H100 大部分时间利用率不到三成，是很多企业 GPU 平台的常态——整卡分发的模式对小任务极不友好。GPU 池化就是要把一张卡切成多份安全地分出去，核心矛盾在三个词：切分粒度、隔离强度、计费公平。

五条切分路线，三种隔离等级​

业界主流的切分技术可以按隔离强度分成三档：硬件级、软件级和无隔离。

MIG 是唯一提供真正硬件隔离的方案：每个实例有独立的显存控制器与计算引擎，一个实例内存溢出不可能波及邻居。但它的限制同样明确：只支持较新的数据中心卡、档位固定不可在线调整、NVLink 不跨实例，而且改档位需要整节点排空重启。时间分片最省事也最危险——显存是共享池，一个租户的显存泄漏可以砸掉同卡所有邻居，绝不能当作租户边界。HAMi（已进入 CNCF 孵化阶段）走中间路线：在调度层做细粒度虚拟化，通过拦截 CUDA 调用强制执行显存与算力上限，对业务代码透明，且是五条路线里唯一跨芯片厂商的。

信任边界决定技术选型​

选型的第一问不是"哪个性能好"，而是"租户之间信不信任"。同一公司内部团队共享一张卡，软件级限流足够；面向外部客户的推理平台，租户与租户之间只有整卡或 MIG 才够格——因为共享的不只是 GPU，还有内核驱动、宿主机内核与控制平面，软件拦截层挡不住恶意工作负载。CNCF 相关指南的表述很直白：同一信任域内才共享硅片，跨信任域只共享整卡。

还有一个常见误区值得点名：部署了 HAMi 但资源申请只写整卡数、不写显存与算力限额，结果每张卡还是被一个任务独占，池化等于没做。此外，混合策略往往是最优解：生产推理用 MIG 保隔离，内部开发测试走 HAMi 提灵活性，老卡开时间分片充分利旧。调度协议层面，Kubernetes 的 DRA（动态资源分配）已在 1.34 版本转正，用结构化的 ResourceClaim 取代整数计数，是各家方案正在迁移的统一底座。

计费：按分配开票，按用量审计​

池化之后最麻烦的是"钱怎么算"。成熟的做法是双轨制：计费以分配量为准（租户占了多少 GB 显存、多少比例算力、占了多长时间），与队列和配额联动，这是账单的依据；同时用 DCGM 之类工具采集实际利用率，做成本审计与容量规划，识别"占着不用"的僵尸配额。OpenCost 等开源方案可以把这笔账对齐到团队与项目维度。没有这层计量，池化平台最终会退化成"先到先得的公共冰箱"。

写在最后​

三条建议：第一，先画信任边界再选技术，外部租户只用 MIG 或整卡，内部混部才上软件切分；第二，上池化的同时上计量，分配量开票、用量对账，缺一边都会引发结算纠纷；第三，关注 DRA 的落地进度，把自有平台的资源申请结构化，为跨厂商调度留好接口。GPU 太贵，贵到不该让任何一张卡闲着——但切分的前提，是切得安全、算得清楚。

采购英伟达服务器时，报价单上经常同时出现 HGX 与 MGX 两个词。它们不是新旧两代，而是两类完全不同的东西：一个是一块固定的基板，一套模块化的规则。分清这一点，能避免大部分选型返工。

HGX：一块不可修改的 8 卡基板​

HGX 的本质是英伟达设计、制造的 GPU 基板：4 卡或 8 卡 SXM 形态，NVLink 布线与 NVSwitch 芯片全部由英伟达固定，OEM 拿到后不能改动基板本身。戴尔、HPE、超微、联想等厂商围绕这块基板构建整机——机箱、散热、CPU（Intel Xeon 或 AMD EPYC）、内存、网卡、存储、BMC 都由 OEM 自主选择。

关键约束：PCIe 服务器用不了 HGX 基板——SXM 与 PCIe 是两条互斥的路线。据公开报道，8 卡 HGX H100 整机约 20 万至 30 万美元，B200/B300 级别约 25 万至 40 万美元，价差主要来自 OEM 的散热、存储与服务配置。

MGX：模块化参考架构​

MGX（2023 年推出）不是一块板，而是一套模块化规范：OEM 从英伟达给出的组件清单里独立选择机箱、CPU（x86、Grace、Vera 或其他 Arm）、GPU（SXM 或 PCIe，覆盖 Blackwell、Rubin 及老架构）、网络（NVLink、Spectrum-X 以太网、Quantum InfiniBand、BlueField DPU），英伟达称已有超过 100 种组合，覆盖从单卡边缘服务器到 GB200/GB300 NVL72 机柜。

两个常见误解需要澄清。第一，MGX 不是 HGX 的替代品：HGX 面向需要极致互联带宽的 8 卡训练节点，MGX 覆盖推理服务器、CPU 与 GPU 混合节点等固定基板服务不好的长尾，许多机构最终两样都买。第二，2026 年的 Blackwell 旗舰（B200/B300）几乎只以 SXM 形态出现，PCIe 阵营由独立的 RTX PRO Server 产品线（基于 MGX）承接——两条线是被产品策略刻意分开的。

决策树与采购陷阱​

按四步走。第一步问互联：多节点训练、张量并行、大型 MoE，必须 SXM/HGX；单卡或双卡可解的推理与微调，PCIe 加 MGX 更省钱。第二步问机房：没有液冷且无法改造，NVL72 直接出局，风冷 PCIe 推理服务器往往是暖气候地区最便宜的可用算力。第三步问集成能力：有资深基础设施团队选 HGX 让 OEM 组机，性价比更高；团队薄弱或要快速上线选 DGX 整机（同一块 HGX 基板加英伟达认证的固件、软件栈与单一责任支持），为省心多付约两到三成溢价。第四步问规模：跨多机柜的组网交给 BasePOD/SuperPOD 参考架构，它们是集群蓝图而非服务器选项。

两个高频陷阱：其一，把 RTX PRO 6000 Server Edition 当成"B200 平替"对比互联性能——前者无 NVLink，走 PCIe，分布式训练会掉一个数量级；其二，忽略 MGX 系统的配置自由度带来的测试责任——OEM 组合自由度高，具体配置的验证矩阵要自己确认。

小结​

一句话记住三者关系：HGX 是英伟达焊死的 8 卡基板，DGX 是英伟达自己在 HGX 上装好的整机，MGX 是让 OEM 自由组装的模块化规则。训练要带宽选 HGX，推理要灵活选 MGX，要省心买 DGX——三条路对应三种团队，没有哪条天然更高级。

训练选型的本质不是"买最强的"，而是在预算、负载规模、软件生态和供货确定性之间找到平衡点。本文数据均取自本站芯片卡与定价库，帮你按预算分档做出决策。

一、先分级：你的训练负载属于哪一档​

训练负载大致分为三档，档位不同，选型逻辑完全不同：

• 微调 / LoRA：单卡或 8 卡即可完成，7B–70B 模型为主。瓶颈在显存容量与单卡带宽，互联要求低，PCIe 机型甚至二手卡都能胜任。
• 继续预训练 / 领域适配：数百卡规模，需要稳定的多卡互联与成熟的软件栈，容错与断点续训能力开始重要。
• 从零预训练：千卡乃至万卡集群，互联带宽、机架方案（NVL72、Helios、CloudMatrix）和集群软件效率决定成败，预算通常以千万美元计。

二、按预算分档推荐​

几个要点值得展开：

• 入门档首选 H100/H200 并不落伍。H100 的 BF16 稀疏算力 1,979 TFLOPS、700W TDP 风冷友好，生态最成熟；H200 显存加到 141GB、带宽 4.8 TB/s，微调 70B 级模型更从容。
• 中等规模档 B200 与 MI355X 各有侧重。MI355X 用 288GB HBM3E 和 3nm 制程在显存容量上压过 B200，官方口径 FP8 dense 5 PFLOPS 也略胜，价格还便宜约四成；但 B200 的 NVLink 1.8 TB/s 是 UALink 600 GB/s 的三倍，千卡扩展时差距会显现。
• 旗舰档看机架而不是单卡。B300 Ultra 必须液冷（TDP 1,400W），Rubin R200 的 Vera Rubin NVL72 机柜 FP4 算力约 3.6 EFLOPS、总显存 20.7TB；MI455X 的 Helios 机架 72 卡 31TB HBM4、机柜功耗 225–245kW。这一档的采购单位是"机柜"，还要配套液冷与供电改造。

三、关键参数怎么读​

• FP16/BF16 算力：注意 dense 与 sparse 口径差一倍。H100 的 1,979 TFLOPS 是稀疏值，dense 约 989 TFLOPS；比较时务必统一口径。
• 显存容量：从 H100 的 80GB 到 B300 的 288GB 再到 MI455X 的 432GB，容量决定了能训多大模型、能开多大 batch。训练 70B 模型 FP16 权重本身就要约 140GB，加上优化器状态后通常需要多卡切分。
• 互联带宽：NVLink 4.0（900 GB/s）→ NVLink 5（1.8 TB/s）→ NVLink 6（3.6 TB/s）；AMD 走开放路线的 UALink 600 GB/s；昇腾为 HCCS 784 GB/s 与灵衢 2 TB/s。张量并行通信密集，互联带宽直接决定扩展效率。
• 机架方案：GB200/GB300 NVL72、Helios、CloudMatrix 384 是三家给出的系统级答案。单卡强不等于集群强，采购前要确认整机柜方案、网络与液冷的完整交付能力。

四、软件生态权重：CUDA vs ROCm vs CANN​

• CUDA：十八年积累，算子覆盖最全，从 H100 到 Rubin 全线兼容，迁移成本最低。
• ROCm：AMD 官方口径承认成熟度仍落后 CUDA 约 2–3 年，但开放生态对云厂商和主权 AI 项目有吸引力，MI355X/MI455X 的客户名单里已有 Microsoft Azure、Meta、Oracle 等。
• CANN：昇腾 950 系列配套 CANN Next 提供 CUDA 兼容层，约 80% 的标准 PyTorch 代码仅需配置修改即可迁移；2026 年 10 月 DeepSeek 与华为还联合发布了面向昇腾 950 的开源编程工具与库。

经验法则是：微调档闭眼选 CUDA；中等规模档如果显存需求突出、团队有 ROCm 经验，MI355X 值得评估；合规档则要在选型时就把迁移人力写进预算。

五、供货与价格现实​

2026 年的选型绕不开 HBM：

• 涨价传导：HBM 成本攀升直接推高国产卡报价——昇腾 950DT 渠道指示价已超 ¥25 万（较两个月前上涨 20%–50%），昇腾 950PR 突破 ¥8 万，寒武纪等同期上调 20%–30%。
• 云租是一条现实路径：H100 云租约 $2.00/GPU·小时，B200 约 $5.87/GPU·小时，B300 的 AWS 8 卡实例约 $11.70/GPU·小时（Nebius 口径约 $9.50/GPU·小时）。训练周期短的项目，租往往比买划算。
• 旗舰卡要排队：Rubin R200 已于 2026 年 6 月全面量产，但自建机房用户要到 2027 年一季度才能采购；MI455X 也需到 2026 年下半年至 2027 年上半年才规模爬坡。急用算力，H100/H200/B200 的现货市场仍是主力。

想逐项对比更多型号（包括 Google TPU、Intel Gaudi 4、百度昆仑芯等），请查看站内完整对比表；每张卡的详细规格可进入对应芯片卡页面查看。

小结​

2026 年的训练 GPU 市场第一次出现了"四条路线"：CUDA 旗舰（Rubin/B300）、开放生态（MI355X/MI455X）、推理专用硬件和国产合规方案。选型的顺序应该是：先定负载档位，再按预算筛卡，然后核算互联与机架方案，最后把软件迁移和供货周期计入总成本。单卡峰值参数只讲了一半的故事，剩下的另一半在集群和生态里。

2026 年 AI 算力进入"机柜级"时代。单芯片对标已退潮，整机柜方案成为主战场。本文将深度对比 NVIDIA Rubin NVL72/NVL576、AMD Helios、Groq 3 LPX、AWS Trn3 UltraServer、Google TPU 8t pod 五大机柜级方案。

Apple Silicon 在 AI 时代正在经历逆袭。M3 Ultra 单台 Mac Studio 配备 192GB 统一内存（UMA） 和 80 核 GPU，可以本地运行 70B-200B 参数 LLM 而无需量化。这是消费级 / 工作站级 AI 推理的革命。本文深入分析 Apple Silicon 的 AI 优势、当前生态和未来。