16 篇博文 含有标签「Training」

训练和推理抢卡、分布式作业因部分调度而死锁、GPU 利用率常年趴在低位——这些问题的根源往往是调度层设计。Ray 与 Kubernetes 生态各自给出了一套答案，关键是怎么组合。

两条路线的心智模型​

路线一：Ray 为中心。 把 Ray 当作计算编排层，Kubernetes 只负责运行 Ray Pod。KubeRay Operator 管理 RayCluster、RayJob、RayService 三类资源，Ray 自动伸缩器根据任务与 actor 的资源需求增删 worker 组。优点是 Python 世界的体验极好，任务级弹性、异构资源混用（不同代次 GPU 混部）都是内置能力；代价是调度决策发生在集群之外，Kubernetes 只看到结果。

路线二：Kubernetes 为中心。 用批调度器直接管理 GPU 作业，代表性组件是 Volcano 与 Kueue。Volcano 提供 Gang 调度、队列公平共享、抢占与网络拓扑感知调度；Kueue 做作业准入控制，排队等资源到位再放行。Ray 作业同样能被纳管：KubeRay 从早期版本就集成 Volcano 解决分布式训练的资源死锁，2025 年发布的 Volcano v1.13 进一步支持直接用原生 Volcano Job 创建和管理 Ray 集群。

能力对比​

能力	Ray 自动伸缩	Volcano	Kueue	NVIDIA KAI Scheduler
Gang 调度	弱（依赖 minReplicas）	原生支持	原生支持	原生支持
任务级弹性伸缩	强，秒级感知任务需求	作业级	队列准入级	支持工作负载伸缩
抢占与优先级	部分支持	支持	配合优先级类	高优推理可抢占低优训练
网络拓扑感知	无	v1.12 起 IB 拓扑，v1.13 支持 Label 自动发现	无	无
异构 GPU 混部	强	强	强	强

实践中的组合形态​

最常见的生产形态是"KubeRay 加批调度器"：RayCluster 的 Pod 标注调度器与队列，Gang 调度保证多机训练作业要么全起要么不起；启用了自动伸缩的集群按 minReplicas 做 Gang 约束，兼顾弹性与死锁防护。大型团队还会叠 NVIDIA KAI Scheduler，让在线推理在算力紧张时抢占离线训练。工程细节上，KubeRay 在大规模集群下要调大 reconcile 并发与客户端 QPS，社区压测显示默认并发配置扩容上万个 Pod 会明显变慢。Volcano 的基于节点标签的 HyperNode 自动发现功能则把"机架到交换机到节点"的拓扑维护简化为打标签，对要求亲和性调度的 IB 集群很实用。

实操建议​

纯 Python 研发团队、任务粒度碎、需要异构混部的场景，以 Ray 为中心最省心；作业规模大、需要队列治理与多团队配额的平台团队，以 Volcano 或 Kueue 为骨架、Ray 作为负载接入。两条路线不冲突，先想清楚"谁拥有资源审批权"这个组织问题，技术选型自然清晰。

训练选型的本质不是"买最强的"，而是在预算、负载规模、软件生态和供货确定性之间找到平衡点。本文数据均取自本站芯片卡与定价库，帮你按预算分档做出决策。

一、先分级：你的训练负载属于哪一档​

训练负载大致分为三档，档位不同，选型逻辑完全不同：

• 微调 / LoRA：单卡或 8 卡即可完成，7B–70B 模型为主。瓶颈在显存容量与单卡带宽，互联要求低，PCIe 机型甚至二手卡都能胜任。
• 继续预训练 / 领域适配：数百卡规模，需要稳定的多卡互联与成熟的软件栈，容错与断点续训能力开始重要。
• 从零预训练：千卡乃至万卡集群，互联带宽、机架方案（NVL72、Helios、CloudMatrix）和集群软件效率决定成败，预算通常以千万美元计。

二、按预算分档推荐​

预算档位	推荐方案	关键规格	参考单价（站内定价库）
入门微调（数十万元级）	H100 SXM / H200	BF16 1,979 TFLOPS（稀疏）、80GB / 141GB HBM3e、NVLink 900 GB/s、700W 风冷	H100 市场价约 $28,000；H200 约 $38,000
中等规模（数百万元级）	B200 / AMD MI355X	B200：192GB HBM3e、FP8 10 PFLOPS（稀疏）、NVLink 1.8 TB/s；MI355X：288GB HBM3E、FP8 dense 5 PFLOPS、UALink 600 GB/s	B200 约 $42,000；MI355X 官方指导价 $22,000
旗舰预训练（千万到亿级）	B300 Ultra / Rubin R200 / MI455X	B300：288GB HBM3e、FP8 dense 7 PFLOPS；Rubin：288GB HBM4、22 TB/s、NVLink 6 3.6 TB/s；MI455X：432GB HBM4、23.3 TB/s、MXFP4 40.3 PFLOPS	B300 约 $52,000；Rubin NVL72 机柜 350–400 万美元；MI455X 定价未公开（Helios 机柜约 500–550 万美元）
国产合规档	昇腾 910C / 昇腾 950DT / 寒武纪思元690	910C：BF16 800 TFLOPS、128GB HBM2e；950DT：FP8 约 1 PFLOPS、144GB 自研 HiZQ 4 TB/s；思元690：FP16 700+ TFLOPS、196GB HBM3	910C 渠道价超 ¥11 万；950DT 超 ¥25 万；思元690 约 ¥17.5 万

几个要点值得展开：

• 入门档首选 H100/H200 并不落伍。H100 的 BF16 稀疏算力 1,979 TFLOPS、700W TDP 风冷友好，生态最成熟；H200 显存加到 141GB、带宽 4.8 TB/s，微调 70B 级模型更从容。
• 中等规模档 B200 与 MI355X 各有侧重。MI355X 用 288GB HBM3E 和 3nm 制程在显存容量上压过 B200，官方口径 FP8 dense 5 PFLOPS 也略胜，价格还便宜约四成；但 B200 的 NVLink 1.8 TB/s 是 UALink 600 GB/s 的三倍，千卡扩展时差距会显现。
• 旗舰档看机架而不是单卡。B300 Ultra 必须液冷（TDP 1,400W），Rubin R200 的 Vera Rubin NVL72 机柜 FP4 算力约 3.6 EFLOPS、总显存 20.7TB；MI455X 的 Helios 机架 72 卡 31TB HBM4、机柜功耗 225–245kW。这一档的采购单位是"机柜"，还要配套液冷与供电改造。

三、关键参数怎么读​

• FP16/BF16 算力：注意 dense 与 sparse 口径差一倍。H100 的 1,979 TFLOPS 是稀疏值，dense 约 989 TFLOPS；比较时务必统一口径。
• 显存容量：从 H100 的 80GB 到 B300 的 288GB 再到 MI455X 的 432GB，容量决定了能训多大模型、能开多大 batch。训练 70B 模型 FP16 权重本身就要约 140GB，加上优化器状态后通常需要多卡切分。
• 互联带宽：NVLink 4.0（900 GB/s）→ NVLink 5（1.8 TB/s）→ NVLink 6（3.6 TB/s）；AMD 走开放路线的 UALink 600 GB/s；昇腾为 HCCS 784 GB/s 与灵衢 2 TB/s。张量并行通信密集，互联带宽直接决定扩展效率。
• 机架方案：GB200/GB300 NVL72、Helios、CloudMatrix 384 是三家给出的系统级答案。单卡强不等于集群强，采购前要确认整机柜方案、网络与液冷的完整交付能力。

四、软件生态权重：CUDA vs ROCm vs CANN​

• CUDA：十八年积累，算子覆盖最全，从 H100 到 Rubin 全线兼容，迁移成本最低。
• ROCm：AMD 官方口径承认成熟度仍落后 CUDA 约 2–3 年，但开放生态对云厂商和主权 AI 项目有吸引力，MI355X/MI455X 的客户名单里已有 Microsoft Azure、Meta、Oracle 等。
• CANN：昇腾 950 系列配套 CANN Next 提供 CUDA 兼容层，约 80% 的标准 PyTorch 代码仅需配置修改即可迁移；2026 年 10 月 DeepSeek 与华为还联合发布了面向昇腾 950 的开源编程工具与库。

经验法则是：微调档闭眼选 CUDA；中等规模档如果显存需求突出、团队有 ROCm 经验，MI355X 值得评估；合规档则要在选型时就把迁移人力写进预算。

五、供货与价格现实​

2026 年的选型绕不开 HBM：

• 涨价传导：HBM 成本攀升直接推高国产卡报价——昇腾 950DT 渠道指示价已超 ¥25 万（较两个月前上涨 20%–50%），昇腾 950PR 突破 ¥8 万，寒武纪等同期上调 20%–30%。
• 云租是一条现实路径：H100 云租约 $2.00/GPU·小时，B200 约 $5.87/GPU·小时，B300 的 AWS 8 卡实例约 $11.70/GPU·小时（Nebius 口径约 $9.50/GPU·小时）。训练周期短的项目，租往往比买划算。
• 旗舰卡要排队：Rubin R200 已于 2026 年 6 月全面量产，但自建机房用户要到 2027 年一季度才能采购；MI455X 也需到 2026 年下半年至 2027 年上半年才规模爬坡。急用算力，H100/H200/B200 的现货市场仍是主力。

想逐项对比更多型号（包括 Google TPU、Intel Gaudi 4、百度昆仑芯等），请查看站内完整对比表；每张卡的详细规格可进入对应芯片卡页面查看。

小结​

2026 年的训练 GPU 市场第一次出现了"四条路线"：CUDA 旗舰（Rubin/B300）、开放生态（MI355X/MI455X）、推理专用硬件和国产合规方案。选型的顺序应该是：先定负载档位，再按预算筛卡，然后核算互联与机架方案，最后把软件迁移和供货周期计入总成本。单卡峰值参数只讲了一半的故事，剩下的另一半在集群和生态里。

"推理占比什么时候超过训练"曾是个经典预测题，如今它已经有了答案：2026 年，推理算力占比正式过半。真正的悬念变成了——推理时代的算力基建，准备好了吗。

占比反转：数据给出的答案​

多家机构对训练与推理的算力结构给出了趋于一致的判断：

口径	关键数据	来源
全球 AI 负载占比	2024 年训练约六成、推理约四成；2025 年五五开；2026 年训练四成、推理六成	Epoch AI、AMD 公开材料
推理负载占比	从 2023 年约三分之一升至 2025 年约一半，2026 年预计达到三分之二	德勤估算
中国智能算力	2027 年推理占比预计突破七成；2028 年全球推理负载占比约七成三	IDC 预测
AI 云服务支出	2026 年全球 AI 优化型 IaaS 支出约 375 亿美元，推理占比 55%，首次超过训练	Gartner 预测

鼎帷咨询等机构进一步预计，训练与推理负载比将从早期的 7 比 3 演进到 2027 至 2030 年的 3 比 7 甚至 2 比 8。无论采用哪个口径，方向完全一致：算力的重心正在从"炼模型"迁移到"用模型"。

三股力量：服役、深思、智能体​

推理占比跃升由三重动力叠加驱动。第一，模型进入服役期：训练是一次性资本开支，推理是每天持续产生的运营账单——据业界估算，头部对话类产品的推理开销以每天数十万美元计，进入规模化生产后，推理可占模型全生命周期算力成本的八到九成。第二，推理时 Scaling：思维链模型用"内部深思"换取智能，用户看不见的推演 token 同样按价计费，单次请求的算力需求成倍膨胀——模型越会深思熟虑，推理阶段的需求通胀就越厉害。第三，智能体乘数：一次 Agent 任务消耗的 token 从数百跃升到数万，多轮链式思考叠加工具调用，使推理流量呈现碎片化与高波动特征。

中国市场的信号同样鲜明：据公开数据，全国日均 token 消耗从 2024 年初的千亿级跃升至 2026 年 3 月的约 140 万亿，一年半增长约三百倍——需求的斜率比任何预测模型都陡峭。

硬件逻辑的重新洗牌​

占比反转直接改写芯片设计与采购逻辑。训练硬件追求极致性能与集群可靠性，一次训练动辄连续运行数周，故障率必须压到极低；推理硬件的 KPI 则是每瓦 token 数与每百万 token 成本：FP4 与 INT8 级别的低精度成为默认态，显存容量与带宽决定长上下文的经济性，时延与吞吐的权衡成为核心竞争力。这解释了 2026 年推理专用芯片赛道的集体爆发——从英伟达面向推理优化的产品线，到云厂商自研 ASIC 与推理芯片创业公司的融资潮，都在响应同一个结构性信号。

结语：推理时代的真正考题​

推理时代不是某个季度财报里的占比数字，而是一整套产业逻辑的更替：计费从"卡时"转向"token 成本"，采购从"峰值算力"转向"单位经济学"，评测从训练基准转向真实业务负载的端到端表现。可以判断：2026 年是推理占比过半的符号性年份，而 2027 到 2028 年，推理将稳固占据七成以上份额。届时，所有今天围绕训练设计的集群、网络与商业模式，都要回答同一个问题——为推理做好准备了吗。

当算力的计量单位从"多少张卡"变成"多少吉瓦"，AI竞争的本质已经改变：大模型公司正在变成"能源公司+基建公司+模型公司"的三位一体。

5GW与10GW：新计量单位的诞生​

2026年9月的行业报道显示，AI算力竞赛进入了一个全新的量级：Anthropic的目标是在今年年底拥有约5GW的可用算力，而OpenAI明年的规划则是约10GW。

这两个数字意味着什么？5GW大致相当于数百万张高性能GPU同时满负荷运转所需的电力，而10GW已经接近一座大型核电站的装机容量。就在一年前，行业讨论的还是"十万卡集群"；如今，头部玩家谈论的是吉瓦级园区。算力竞赛的计量单位，已经从GPU的数量彻底转向了电力的功率。

从"买卡"到"买电厂"​

这种变迁背后，是AI产业价值链的整体上移：

• 能源成为第一约束。先进AI芯片供应在改善，但变电站、输电线路和发电容量的建设周期以年计。谁拿到电力指标，谁就拿到训练下一代模型的入场券。
• 基建能力成为核心竞争力。数据中心不再是租用IDC机房那么简单，而是涉及选址、并网、冷却系统乃至自有发电能力的系统工程。
• 模型公司与芯片公司深度绑定。OpenAI与博通合作开发Jalapeño自研芯片，并规划多吉瓦级部署，这已经不是"采购算力"，而是"定制算力供应链"。

20-30MW小数据中心为何成为抢手货​

一个耐人寻味的细节是：Anthropic和OpenAI两家还在争抢20-30MW级别的小型数据中心，Anthropic甚至向SpaceX租用算力。

原因很直接——大容量数据中心从规划到投运周期太长，而模型训练和推理需求等不起。20-30MW的小站点虽然容量有限，但胜在可快速拿容量：现有楼宇改造、电力接口现成、数月内即可上线。对于急需算力缺口的大模型公司，这批"小快灵"资源成了战略物资，甚至在二级市场上被反复转租、溢价争夺。向SpaceX租算力则更为激进——当地面电力不够快时，头部玩家已经开始评估包括星载算力在内的非常规选项。

算力军备竞赛的经济账​

这场竞赛的规模有多大？根据Bain 2026技术报告的口径，AI硬件市场2025年约为312.1亿美元，2026年预计达到384.9亿美元。而吉瓦级算力园区背后，是单笔动辄数十亿美元级别的芯片采购与多年期电力合约。

算力的本质正在从"IT设备"变成"重资产基础设施"——它的融资方式（项目融资、长期租约）、回报模型（算力利用率、每token成本）都越来越像电厂和通信网络，而不是服务器机房。

对AI芯片厂商意味着什么​

吉瓦级竞赛重塑了芯片厂商的客户结构，谁绑定大客户谁受益的格局愈发清晰：

厂商	核心绑定关系	算力绑定规模
NVIDIA	微软 / OpenAI	深度绑定OpenAI，吉瓦级部署主力供应商
AMD	OpenAI / Meta / Anthropic	OpenAI 6GW、Meta 6GW、Anthropic（多年期协议）
OpenAI（自研）	博通合作Jalapeño	多吉瓦级部署规划
云厂商自研	AWS Trainium、Google TPU等	服务自有平台负载

对芯片厂商而言，这带来两个深远影响：其一，订单变得极度集中，一张吉瓦级订单足以改变一家芯片公司的营收曲线，NVIDIA与AMD过去一年股价的分化某种程度上就是绑定关系的映射；其二，芯片设计开始围绕客户的电力预算优化，每瓦性能取代峰值算力成为核心指标——因为客户的稀缺资源不是芯片，而是那几吉瓦的电。

小结​

5GW和10GW不只是两个数字，它们标志着AI竞争进入了"基建时代"：电力取代芯片成为第一约束，20-30MW小数据中心成为快速补位的战略资源，大模型公司集能源、基建、模型三重身份于一身。对AI芯片产业来说，这意味着订单向深度绑定大客户的产品集中、设计向每瓦性能倾斜。算力军备竞赛的下半场，比的不是谁的芯片跑分更高，而是谁能先把电厂建起来、把电接进来。

2026 年 9 月 22 日，多家媒体报道：DeepSeek CEO 明确表示公司正大力押注华为芯片，预计将收到新一批华为芯片用于大模型训练，并强调"这一选择必须成功"。这是继此前"DeepSeek 拟采购 16 万颗昇腾 950DT 跑推理"报道之后，国产算力生态迄今最重要的站队信号——从推理采购升级为训练押注。

---

1. 信号链：四步走到"训练押注"​

把过去半年的公开信息串起来，DeepSeek 与昇腾的合作有一条清晰的升级路径：

时间	信号	性质
2026 年中	DeepSeek V4 完成从 CUDA 到 CANN 的生态迁移	软件适配
2026 年 8 月	报道：DeepSeek 拟采购 16 万颗昇腾 950DT 部署推理	推理采购意向
2026-09-17	HC2026：960DT 提前三个季度就绪，950DT Q4 放量	供给兑现
2026-09-22	DeepSeek CEO：押注华为芯片训练大模型，"必须成功"	训练押注

关键变化是负载等级：推理部署是"用现成算力降本"，训练押注则是"把下一代模型的存在性押在国产芯片上"——训练集群对稳定性、互联效率、软件栈成熟度的要求高一个量级。

2. 华为侧的兑现能力​

DeepSeek 敢于站队，背后是华为供给侧一系列可核验的进展（均为官方口径）：

• 一年一代兑现：950PR 已量产、950DT 2026 Q4 放量、960DT 从原计划 2027 Q4 提前三个季度至 2027 Q1 就绪 / Q2 上市——路线图可信度连续两次验证；
• 部署规模：昇腾超节点已规模商用超 1000 套，覆盖互联网、金融、医疗、制造；
• 生态成熟：CANN 进入常态化开源运营，外部开发者占比首次超过 61%，月活开发者 5200 人；基于昇腾的原生训练模型超过 40 个，是国内唯一支持预训练的技术路线；
• 训练证据链：中国电信 9 月开源的星（Xing）4.0-29B-A4B agentic MoE 模型宣布在昇腾上端到端训练（公司口径）——昇腾"能训大模型"不再只有华为自证。

规格详见昇腾 950DT 与昇腾 960 规格页；超节点分析见昇腾 960 官宣发布。

3. 为什么是 DeepSeek？​

DeepSeek 的选择有强结构性动因：

1. 供给确定性：在出口管制约束下，NVIDIA 旗舰对华供给持续收紧；国产算力是唯一可规划的大规模训练供给；
2. 成本结构：DeepSeek 一贯以极致工程效率著称（V3 训练成本即为业内标杆），国产算力叠加超节点系统效率符合其路线；
3. 对赌生态红利：CANN 开源 + 头部模型厂商深度绑定，模型厂商可以参与定义工具链走向——这在 CUDA 封闭体系内不可能发生；
4. 示范效应自我实现：头部实验室公开站队会反向拉动华为产能排期、上游 HBM 与整机的投入，"必须成功"因此是理性承诺而非口号。

4. 风险与待验证项​

冷静看，这条路线仍有三处需要时间验证：

• 实际训练规模：新一批芯片的数量、型号（950DT 还是 960DT）、交付节奏均未披露；
• MFU 口径：华为给出的 MFU / 时延收益均出自马尔科夫实验室仿真，尚无独立第三方实测；训练集群的真实有效算力要看大规模生产环境的长期数据；
• 单卡代差：960DT FP4 4 PFLOPS 对比 Rubin R200 的 50 PFLOPS（FP4），单卡代差客观存在——训练效率取决于超节点规模与软件优化能否补足，这正是"系统级竞争"的胜负手。

5. 小结​

• DeepSeek 确认押注华为芯片训练大模型——国产算力首个头部实验室训练级站队；
• 信号链：CUDA→CANN 迁移 → 16 万颗 950DT 推理采购传闻 → 960 提前就绪 → 训练押注；
• 支撑面：一年一代兑现、超节点 1000+ 套、CANN 开源生态外部开发者 61%；
• 看什么：新一批芯片的实际到货与训练集群规模、第三方 MFU 数据、下一次 DeepSeek 发版的训练算力披露。

---

相关阅读​

• 昇腾 960 规格页 / 昇腾 950DT 规格页（本站）
• 昇腾 960 官宣发布：FP4 算力翻倍、全球首个 NPO 超节点
• 国产三强 2026 H2：国产化率突破 40% 向 60% 迈进
• 阿里真武 V900 云栖大会发布

参考资料​

• 今日头条·今日科技早报：DeepSeek 确认押注华为芯片用于大模型训练（2026-09-22）
• 华为全联接大会 2026 官方发布（2026-09-17）
• 此前报道：DeepSeek 拟采购 16 万颗昇腾 950DT（2026-08）

本文基于公开报道与厂商官方口径整理。芯片数量、训练集群规模等细节以 DeepSeek 与华为后续披露为准。

2026年6月5日，深圳发布官宣重磅消息：深圳河套学院联合哈工大（深圳）、华为等团队，用1000颗华为昇腾910C芯片，成功完成1.6万亿参数DeepSeek-V4-Pro大模型全参数后训练。

这不是一次试探性的尝试，而是一次里程碑式的技术突破。它用无可辩驳的工程结果证明：国产AI芯片足以支撑世界级超大参数模型训练。

为什么这很重要？​

AI芯片的两道坎："推理"与"训练"​

• 推理（Inference）：用现成模型聊天、写文案。此前国产芯片已经能做
• 训练（Training）：调整模型参数让它学习新能力。全参数训练要同时调整1.6万亿个参数，难度拉满

此前，万亿级参数模型的全参数训练一直被英伟达H100/H200垄断。国产芯片只能做推理，无法做大规模训练。

这次突破的意义：国产算力从"能用"跨越到"好用"，从"推理"跨越到"训练"。

技术细节​

训练配置​

项目	参数
芯片	华为昇腾910C × 1,000颗
模型	DeepSeek-V4-Pro
参数量	1.6万亿（1600B）
训练类型	全参数后训练（Full Parameter Post-Training）
训练框架	昇思（MindSpore）+ torch_npu
完成时间	2026年6月5日官宣

性能指标​

指标	数值	评价
算力利用率	>30%	工业级水平（海外顶级芯片~40%）
关键训练算子效率提升	14%	相比上一代910B
通信带宽利用率	>60%（推测）	MoE模型的All-to-All通信
稳定性	1000颗卡连续训练无故障	集群稳定性达标

💡 关于30%算力利用率：很多人觉得30%不高，但在大模型训练领域，这已经是非常不错的工业级水平。就算用最顶级的海外芯片，很多团队的实际利用率也就在40%左右。

昇腾910C详细规格​

昇腾910C是华为在2024年4月24日（华为分析师大会）公布的AI训练/推理芯片，理论算力峰值达到800 TFLOPS（BF16精度），与英伟达H100处于同等量级。

参数	昇腾910C	昇腾910B	NVIDIA H100
架构	Ascend 910C	Ascend 910B	Hopper
制程	TSMC 7nm（推测）	TSMC 7nm	TSMC 4NP
BF16算力	800 TFLOPS	256 TFLOPS	989 TFLOPS（稀疏）
显存	64GB HBM（推测）	64GB HBM2e（B1/B2）	80GB HBM3
显存带宽	~2TB/s（推测）	600 GB/s（B1/B2）	3.35 TB/s
TDP	~400W（推测）	300-400W	700W
量产时间	2026年4月（正式量产）	2022年11月	2022年3月

关键升级：

• ✅ 算力提升3×：从910B的256 TFLOPS提升到800 TFLOPS
• ✅ 软件生态完善：torch_npu适配PyTorch，昇思框架成熟
• ✅ 集群稳定性：1000颗卡连续训练无故障（这是最大的突破）

技术挑战与解决方案​

挑战1：万亿级模型的显存需求​

1.6万亿参数模型，仅模型参数就需要：

• FP16精度：1.6T × 2 bytes = 3.2 TB
• 加上梯度、优化器状态：至少10 TB显存

华为的解决方案：

• 模型并行（Model Parallel）：将模型分布到1000颗910C上
• ZeRO优化器：优化显存占用
• 梯度累积：分阶段更新参数

挑战2：万卡集群的通信效率​

1000颗芯片训练时，卡间通信成为瓶颈。MoE模型需要All-to-All通信（每个专家可能需要与其他所有专家通信）。

华为的解决方案：

• HCCS（Huawei Collective Communication Scheduler）：自研高速互联协议
• 分层通信：节点内NVLink + 节点间HCCS
• 通信-计算重叠：在计算的同时进行数据传输

挑战3：训练稳定性​

万亿级模型训练需要数周甚至数月，任何一颗卡故障都可能导致整个训练中断。

华为的解决方案：

• 故障检测与自动恢复：实时监测卡的状态，故障时自动重启并恢复训练状态
• 检查点（Checkpoint）优化：高频保存训练状态（每N步保存一次）
• 昇腾集群管理软件：专门为企业级训练设计

与竞品对比​

厂商	芯片	1.6万亿参数训练	生态成熟度	可用性
华为	昇腾910C	✅ 已完成	⭐⭐⭐（进步中）	中国本土
NVIDIA	H100/H200	✅ 工业标准	⭐⭐⭐⭐⭐	全球（受出口管制）
AMD	MI300X	✅ 可行	⭐⭐⭐⭐	全球
Google	TPU v5p/8t	✅ JAX原生	⭐⭐⭐⭐	Google Cloud

结论：昇腾910C在硬件性能上已经追上H100，软件生态仍有差距，但这次训练成功证明了工程可行性。

行业影响​

1. 国产算力的"遵义会议"​

这次突破被业内称为国产算力的"遵义会议"——从此从被动防守转向战略反攻。

具体影响：

• ✅ 打破"国产芯片只能推理"的偏见
• ✅ 证明国产芯片可以做frontier模型训练
• ✅ 为国产大模型（如DeepSeek-V4、文心5.0）提供算力底座

2. 对英伟达的冲击​

华为昇腾910C完成万亿级训练，意味着中国AI产业对英伟达的依赖度降低。

场景	此前	现在
推理	国产芯片可用	国产芯片好用
训练	必须用H100/H200	可以用910C
大规模训练	必须用H100集群	可以用910C集群

3. 对国产芯片产业的提振​

这次突破将带动整个国产AI芯片产业链：

• 芯片设计：寒武纪、沐曦、摩尔线程等加速迭代
• 晶圆制造：中芯国际、华虹等获得更多订单
• 封装测试：长电科技、通富微电等受益

华为昇腾芯片路线图（2025-2028）​

时间	芯片	定位
2025年Q1	昇腾910C	旗舰训练/推理（已量产）
2026年Q1	昇腾950PR	推理优化（~500 TFLOPS BF16）
2026年Q4	昇腾950DT	数据中心训练
2027年Q4	昇腾960	下一代旗舰
2028年Q4	昇腾970	再下一代

训练实战经验分享​

深圳河套学院团队在训练中积累了宝贵经验：

✅ 成功经验​

1. 渐进式训练：从小模型（7B）开始，逐步扩大到1.6T
2. 混合精度训练：BF16主训练 + FP32梯度累积
3. 通信优化：All-to-All通信与计算重叠
4. 故障恢复：每1000步保存一次检查点

⚠️ 遇到的挑战​

1. 显存碎片：长训练过程中显存碎片化严重，需要定期整理
2. 通信瓶颈：MoE模型的All-to-All通信占训练时间的30%+
3. 软件Bug：torch_npu偶有内存泄漏，需要重启训练进程

相关芯片​

• 华为昇腾910C - 本次训练使用的芯片
• 华为昇腾910B - 上一代芯片
• 华为昇腾950PR - 下一代推理芯片
• NVIDIA H100 - 对标产品
• NVIDIA H200 - 对标产品（HBM3e升级版）

参考资料​

• 新浪财经：华为昇腾910C完成DS-V4-Pro训练
• 腾讯新闻：里程碑！昇腾910C完成1.6万亿大模型训练
• 21IC：华为芯片完成1.6万亿AI大模型全参数后训练

---

本文基于公开报道整理。向深圳河套学院、哈工大（深圳）、华为等团队表示敬意——你们用工程实践证明了中国AI算力的可行性。