8 篇博文 含有标签「Deep Learning」

千亿参数模型的训练没有银弹。显存不够、通信爆炸、扩展效率衰减，每个瓶颈都有对应的框架答案。看清 DeepSpeed、FSDP、Megatron 各自解决的核心矛盾，比背参数更重要。

三种哲学，三个框架​

三者的架构本质可以概括为一句话：DeepSpeed 是显存扩展优先，Megatron 是计算性能优先，FSDP 是易用性优先。

维度	DeepSpeed	Megatron-LM	PyTorch FSDP
出品方	Microsoft	NVIDIA	PyTorch 官方
核心技术	ZeRO 分片 1/2/3、Offload、Infinity	3D 并行（张量、流水线、数据）	参数全分片、Bucket 化、通信重叠
显存思路	优化器状态、梯度、参数逐级切分，可卸载到 CPU/NVMe	把模型按层切到多卡，换吞吐省显存	类似 ZeRO-3 的原生实现
硬件耦合	广泛，含 CPU、NPU、NVMe	强依赖 NVIDIA GPU 与 NVLink	跟随 PyTorch 后端
接入成本	JSON 配置，代码侵入低	需按规范重构模型	零侵入，包装即用

DeepSpeed 的 ZeRO-1/2/3 把优化器状态、梯度和参数逐级切分到各卡，ZeRO-Offload 与 ZeRO-Infinity 进一步把状态卸载到 CPU 内存甚至 NVMe，用带宽换显存，让有限硬件也能起步大模型训练。Megatron-LM 则是张量并行与交错式流水线调度的标杆实现，在 NVLink 互联的 NVIDIA 集群上能榨出最高的 MFU。FSDP 是 PyTorch 对 ZeRO-3 思想的原生化，2.x 时代又引入 DeviceMesh 与 DTensor，把多维并行表达成一等公民概念。

怎么选：按规模与硬件定​

经验路径大致如下：几十亿参数微调、PyTorch 技术栈、不想改代码，直接 FSDP；显存吃紧、硬件预算有限、或需要在异构环境（含昇腾插件）里跑超大模型，选 DeepSpeed；自建 NVIDIA 大集群、追求 GPT-4 级别吞吐、愿意承担改造成本，上 Megatron。三者并非互斥：Megatron-DeepSpeed 混合方案在 BLOOM、GLM 等经典大模型训练中已被反复验证，用 Megatron 的并行结构叠加 ZeRO 的显存优化；也有团队训练侧用 FSDP、推理侧接 DeepSpeed-Inference 的组合。

工程上的常见坑​

1. ZeRO-3 与某些自定义算子、参数共享结构不兼容，接入前先跑小规模试训验证收敛。
2. 流水线并行对 micro-batch 数量敏感，batch 太小会让流水线气泡吞掉理论收益。
3. FSDP 在千亿级规模的扩展效率弱于 Megatron，别用它的短板打别人的长板。
4. Offload 到 CPU 会拖慢步速，确定显存确实不够再开，并用 profiling 对比开关前后的单步耗时。

实操建议​

上线前用目标模型跑一个 48 小时短程实验，记录单步时间、显存水位与 MFU 三项指标，三个框架横向对比再定。配置上先保守后激进：先用 ZeRO-2 或 FSDP 全分片拿基线，确实不够再切 ZeRO-3 加 Offload。国产硬件团队重点关注 DeepSpeed 生态与昇腾插件的兼容进展，它是对非 NVIDIA 硬件最友好的训练框架，没有之一。

微调和预训练是两种完全不同的算力需求：梯度状态和优化器显存占了全参训练的大头，而 LoRA 把这部分几乎清零。理解这张显存账，你就能明白为什么很多人用一张 4090 就能微调 70B 模型。

一、先算显存账：三种方法的差异有多大​

全参 SFT 时，显存占用约等于参数量乘以 16 至 20 字节：权重（FP16 两字节）加梯度（两字节）加 AdamW 优化器状态（八字节）加激活值。一个 70B 模型全参微调需要约 1,120 至 1,400GB 显存，也就是至少 14 至 18 张 80GB 卡，这是标准 8 卡机的两倍多。

LoRA 冻结主干权重、只训练低秩适配器，可训练参数通常只占总量的千分之一量级，省掉梯度与优化器状态后，显存接近推理水平：70B 模型 FP16 权重约 140GB，8 卡 80GB 机即可全精度 LoRA。QLoRA 再把主干权重量化到 4-bit，70B 模型的权重压到约 35 至 40GB，理论上单张 48GB 卡就能跑，24GB 卡可以处理 13B 级模型。

模型规模	LoRA（FP16 主干）	QLoRA（4-bit 主干）	全参 SFT
7B 至 8B	约 16GB，单卡 24GB	约 6GB，单卡 12GB	约 140GB，双卡 80GB
13B 至 34B	约 28 至 70GB，单卡 80GB 或双卡 48GB	约 9 至 20GB，单卡 24GB	约 280 至 680GB，8 至 10 卡 80GB
70B 至 72B	约 150GB，双卡 80GB 或 8 卡 A800	约 40GB，单卡 48GB 或 80GB	约 1.2TB 起，16 卡以上集群
100B+ MoE	8 卡 141GB H200 起步	8 卡 80GB 逼近极限	不推荐，考虑改用 LoRA

二、五档推荐配置​

第一档：个人开发者与课程实验（0.8 万至 2 万元）。 单张 RTX 4090 24GB 或二手 3090。4090 时租低至 2 至 4 元，先租后买更稳。这档能完成 7B/8B 的 QLoRA 微调和 13B 的 Q4 QLoRA，足够做 RAG 场景的领域适配。

第二档：小型团队微调站（8 万至 15 万元）。 双卡 4090 或单卡至双卡 5090（32GB）。5090 带宽约 1,792GB/s，比 4090 高约七成，同模型生成速度明显更快，适合 13B 至 34B 的 QLoRA 与 7B 级 LoRA。

第三档：企业微调平台（60 万至 120 万元）。 8 卡 A800 二手机或 4 卡 A100 80GB。80GB HBM 显存的价值在于可以把 34B 模型的 FP16 LoRA 放进单卡、70B 的 QLoRA 稳定单卡，省去多卡并行带来的通信与工程复杂度。

第四档：严肃领域模型研发（180 万至 240 万元）。 8 卡 H100 或 H200。H200 的 141GB 大显存让 70B 模型在单机内完成全精度 LoRA 与大批量 SFT，配合 NVSwitch 的机内带宽，训练吞吐优势明显。

第五档：拿不到进口卡的团队（100 万至 200 万元）。 Atlas 800T A2（8 卡昇腾 910B，单卡 64GB），7B 至 70B 的 LoRA 均有成熟案例，配套文档与社区踩坑记录最多，是国产侧微调的默认起点。

三、结尾建议​

三条实用结论：第一，能 QLoRA 就不要全参 SFT——绝大多数领域适配任务，QLoRA 的效果与全参 SFT 差距有限，而成本差一个数量级；第二，显存买到"模型加两成余量"即可，微调对带宽不敏感，没必要为带宽溢价买单；第三，微调任务天然是短周期、突发型的，如果月均利用率低于三成，租赁比自建划算得多——4090 租一张跑一个月不过千余元，先把实验矩阵跑完，再决定要不要买卡。

数值格式（FP8、FP4）解决的是"硬件支持什么精度"，而量化算法解决的是"训练好的模型怎么安全地住进低精度"。后者才是工程落地的日常：手里一个 70B 模型、一张 80GB 的卡，怎么让它跑起来还尽量不掉点。

GPTQ：用二阶信息做误差补偿​

GPTQ 的思路源于经典的二阶最优剪枝方法。它逐层处理权重：用少量校准数据（几百条即可）估计该层输入的二阶统计量，然后按列量化权重，每量化一列，就利用 Hessian 信息调整其余未量化列，把引入的误差"摊"到还没量化的地方去补偿。整个过程不需要反向传播，在单张卡上几个小时内就能压完一个百亿级参数模型。

代价是它本质上在做"整体最优的近似"：逐层的贪心决策叠加起来，对校准数据分布有一定敏感性，校准集与真实业务分布偏差大时，掉点风险随之上升。

AWQ：抓住关键的 1% 通道​

AWQ 从另一个观察出发：权重中真正对精度敏感的通道，是那些对应激活值特别大的少数通道——通常只占 1% 上下。与其逐列做全局误差补偿，不如识别出这些显著通道，用一个按通道缩放的变换保护它们，让它们落在量化网格的"好位置"上。

这个方法同样不需要反向传播，校准成本与 GPTQ 相当，但对校准数据规模和分布的依赖更弱，跨领域、跨任务的鲁棒性通常更好，这也是它在开源社区部署中被广泛采用的原因。它只解决权重侧的压缩（常见的 W4A16 形态：权重 4bit、激活保持 16bit），计算时需要把权重反量化回高精度再做矩阵乘。

W8A8 与激活离群值​

想同时压缩激活（W8A8）会撞上大模型的经典难题：激活分布中存在系统性的离群通道，个别通道的数值比其余大几个数量级，直接按统一 scale 量化会把这些通道全压废。SmoothQuant 的解法很巧：用一个等效数学变换，把激活里的离群难度迁移到权重侧，让两边都变得"平缓"，从而实现全整数推理。W8A8 的算子效率高、适合大 batch 高并发服务，但精度风险高于 W4A16，需要更仔细的评估。

方法对照与取舍​

方法	典型形态	是否需要反传	主要优势	适用场景
GPTQ	W4A16	否	压缩比高，工具链成熟	单卡/双卡装下大模型
AWQ	W4A16	否	鲁棒性好，跨域稳定	通用生产部署
SmoothQuant	W8A8	否	激活也压缩，算子高效	高并发吞吐服务
QAT（量化感知训练）	任意	是	精度上限最高	有训练资源且对精度极敏感

实操建议​

单卡或双卡要装下大模型、追求低延迟，选 W4A16 的 AWQ 或 GPTQ，两者精度差异通常不大，优先看框架支持度；高并发吞吐场景考虑 W8A8。评估时不要只看困惑度，困惑度的小幅变化可能对应下游任务的大幅波动，务必跑自己的业务评测集。另外，KV Cache 量化是独立的压缩维度，长上下文场景可与权重量化叠加使用。最后，任何量化方案上线前都先在影子流量上对照全精度基线跑一段时间，这是最便宜也最可靠的保险。

之前我们讲过投机解码的概念：小模型起草稿、大模型来验证。但概念到生产之间隔着几个关键问题——接受率怎么算、草稿从哪来、为什么大 batch 场景收益会缩水。这篇往下挖一层。

草稿-验证框架：一次前向，验 K 个 token​

标准流程是：草稿模型根据当前上下文连续猜 K 个 token，目标模型把"原文加 K 个草稿 token"拼成一次前向——注意自回归模型天然支持一次并行计算多个位置的输出，所以验证 K 个 token 的耗时约等于生成一个 token。逐位比对：草稿猜对的保留，遇到第一个分歧位丢弃其后全部草稿，并采用目标模型在该位的输出。

对随机采样场景，接受与否用拒绝采样规则决定，可以严格证明最终输出分布与目标模型直接解码完全一致——这是投机解码最漂亮的性质：加速不以任何质量损失为代价。

收益取决于接受率 α：若每个草稿位被接受的概率都是 α，则每步目标模型前向平均产出约 1 加 α 加 α 的平方一直加到 α 的 K 次方个 token，随 K 增长趋于 1 除以 1 减 α。α 等于 0.7、K 等于 4 时约两倍加速；α 跌到 0.3，收益就趋近于零，草稿计算反而白费。

草稿从哪来：三条路线​

方案	草稿来源	公开接受率	典型加速	额外开销
独立草稿模型	同词表的小模型	六至八成	约 1.5 至 2.5 倍	需维护小模型
Medusa	目标模型上加多个预测头	六至七成	约 1.8 至 2.5 倍	需训练预测头
EAGLE-3	复用目标模型深层特征	七至八成	约两至四倍，部分报告更高	训练轻量草稿头
MTP	训练期原生多 token 预测	八成以上	据公开技术报告约 1.8 倍解码加速	需重训模型

独立草稿模型最直观，但要求草稿与目标共享分词器且风格对齐，体积以小为宜——太大则草稿自身耗时吃掉收益。Medusa 不引入独立模型，在目标模型上挂若干预测头并行猜测未来多个位置，部署简单。EAGLE 系列更进一步：直接把目标模型的中间层特征喂给一个轻量草稿头，配合树形注意力（每步验证多条候选分支）把接受率推高，2025 年发布的 EAGLE-3 据公开评测已成为通用模型上的标杆方案。

MTP 则把投机解码内化进训练目标：DeepSeek-V3 在预训练时就加入多 token 预测模块，推理时该模块天然充当草稿头。据其公开技术报告，MTP 带来约 1.8 倍的解码加速，接受率达八成以上——原生对齐是接受率最高的路线，代价是必须从训练侧介入。

什么场景反而变慢​

三类场景要谨慎：一是高温采样等高随机性输出，草稿与目标分歧大，接受率暴跌；二是超大 batch 服务，此时解码已接近算力受限，验证的并行红利被摊薄，甚至挤占正常请求的算力；三是草稿模型选得太大，草稿成本占比过高。经验法则是草稿比目标小一到两个数量级，且务必用自家流量实测接受率——公开基准的七成接受率在你的领域数据上可能只有三成多，收益随之天差地别。

小结​

投机解码是"用访存冗余换时延"的典型架构：单流解码卡在权重搬运上，验证多 token 几乎不额外耗时，这正是它能免费加速的物理原因。落地时先明确业务是延迟敏感还是吞吐敏感——前者优先开，后者要先压测 batch 干扰，再选对草稿路线，最后盯住接受率这个唯一的核心指标。

高校实验室的算力采购和企业不同：预算一次性、使用人多为研究生、负载高度突发（开学季与论文季爆满、寒暑假空转）。30 万元怎么花，取决于实验室做什么方向。

一、先明确：你的算力需求画像​

实验室负载的典型分布：课程实验和小模型跑通（7B 以下微调、经典视觉模型训练）占请求量的大头；硕士论文实验（7B 至 34B 微调、目标检测、扩散模型）是中等需求；博士课题与预训练尝试（70B 级、多模态）是小概率但高算力的长尾。用这个画像对齐预算，30 万元大致有四个花法。

方案	配置明细	总价区间	可支撑规模
A. 经典多卡工作站	4 卡 RTX 4090 24GB 工作站	12 万至 18 万元	8 至 12 名学生的日常实验，7B QLoRA 与 CV 训练流畅
B. 消费旗舰小集群	2 台双卡 5090 主机（4 卡 32GB）	14 万至 22 万元	显存翻倍，可跑 34B QLoRA、多模态实验
C. 专业卡单机	二手 8 卡 A800 80GB 或 4 卡 A100	60 万以上（超出）/二手 4 卡约 25 万至 35 万元	70B QLoRA 单卡可行，大模型方向博士课题
D. 自建加租赁组合	2 至 3 卡 4090 自建，其余向云租赁	自建 8 万至 12 万元，租赁按用量	峰值弹性大，适合人数多、方向分散的大组

方案 C 需要说明：全新 8 卡 A800 或 HGX H100 整机在 60 万至 240 万元区间，超出 30 万预算；二手 4 卡 A100 80GB 服务器是唯一能挤进预算的 HBM 路线，约 25 万至 35 万元，但需接受无原厂保修的风险。

二、按研究方向的对号入座​

视觉与多模态方向：训练目标检测、分割、扩散模型，单卡 24GB 是舒适线，方案 A 或 B。扩散模型训练建议优先 5090（32GB），长分辨率训练的显存余量明显更好。

NLP 与大模型方向：以微调为主，方案 A 加云租赁的组合最务实——7B 至 13B 的 QLoRA 本地跑，70B 级实验用云上 A100 或 H100 按需租（单卡时租约 10 至 35 元），一次 70B QLoRA 实验的租赁成本通常仅数百元。

AI for Science（分子模拟、材料、生物）：这类负载常需要双精度或大内存，消费卡的双精度性能很弱，二手 A100 或 A800 是正确方向，预算不足时优先申请校级或国家级算力平台配额。

边缘智能与嵌入式方向：30 万可以配得很豪华——10 套 Jetson Orin 边缘套件（每套约 2,000 至 6,000 元）加一台 4 卡 4090 训练机，形成"云端训练、边缘部署"的完整教学科研闭环。

三、采购流程里的三个坑​

1. 招标参数被反向定制。 实验室设备常走政府采购流程，写参数时要写性能指标（显存容量、带宽、FP16 算力）而不是品牌型号，避免投标方用参数瑕疵废标重来，周期拖一学期。

2. 电费与机房没提前谈。 4 卡 4090 满载约 1.6kW，8 卡机超过 4kW，很多院系机房电路按老标准建设，装机前先和楼宇管处确认功率上限与空调能力，否则机器到了点不亮。

3. 忘了摊销管理成本。 实验室集群需要有人做管理员：账号分配、队列调度（Slurm）、硬盘清理。建议预留预算购置 NAS（约 2 万至 4 万元）并安排学生轮值制度，否则半年后就是"谁的实验占着卡不撒手"的罗生门。

四、结尾建议​

给大多数实验室的默认答案是方案 A 起步、租赁补峰：12 万至 18 万元落地 4 卡 4090 工作站，覆盖组内八成的日常实验；剩余预算一部分买 NAS 与 UPS，一部分作为年度云租赁经费。等负载曲线稳定跑满半年后，再决定是否升级到 80GB 专业卡。高校算力采购最怕一步到位的执念——硬件摩尔节奏下，分两次各买一半，永远比一次买满更划算。

文本生成的算力曲线尚未见顶，视频生成已经带着二次方的注意力复杂度闯入算力市场。当世界模型开始学习物理规律并支持实时交互，推理算力的需求边界将被重新定义——下一个算力黑洞，正在视野中成形。

单秒成本背后的算力真相​

2026 年，视频生成已形成清晰的商业化定价梯度。据公开资料整理：

模型	定价（每秒生成视频）	主要特性
Sora 2	约 0.10 至 0.15 美元	1080p、原生音频
Sora 2 Pro	0.30 至 0.50 美元	更长时长、更高分辨率
Veo 3.1	约 0.40 美元	原生音频、4K 上采样
可灵 3.0	0.10 至 0.75 美元	国产梯队代表，长时长可扩展
开源自托管（Wan 2.6 等）	硬件摊销后显著更低	需自行承担 GPU 与运维成本

低价表象之下是沉重的算力账单。按每秒 24 帧计算，一段 10 秒 1080p 视频意味着 240 帧高度关联的图像，时序注意力机制使显存需求随时长呈二次方增长——30 秒片段要处理的帧间关联对数以十万计。业界分析普遍估计，训练一个 Sora 2、Veo 3 级别的视频模型，仅算力投入就普遍在 5000 万美元以上，叠加数据授权、标注与安全评审，整体项目投入据估可达 1.5 亿至 4 亿美元。算一笔直观的账：一个每月生成百万秒级视频的消费级应用，即便采用较低价位档，月度 API 账单也能轻松超过 10 万美元。

自托管与开源的博弈​

开源模型正在改变成本结构。阿里的 Wan 系列与腾讯的 HunyuanVideo 已把"自己搭"变为可行选项：Wan 系列的 14B 生产级版本约需 48GB 到 80GB 显存才能流畅批量推理，HunyuanVideo 13B 版本官方推荐 H100 80GB 级别配置。对月产数十万条短视频的应用而言，API 计费与自建集群的成本平衡点，正成为技术路线的核心决策。而中国厂商在国产加速器与低电价环境下的成本优势，使国产视频模型在单位经济学上占据独特位置——可灵、海螺等产品的低价正是这一优势的直接体现。

世界模型：从生成到模拟​

比视频生成更重的，是世界模型。当模型不仅生成画面，还要内化物理规律、支持交互式探索时，算力需求呈台阶式跃迁：实时交互要求生成延迟低到毫秒级；世界一致性要求超长时序记忆与状态追踪；具身智能训练要求大规模仿真并行运行。视频生成考验的是"把序列算对"，世界模型考验的是"把世界算懂"——后者的状态空间与计算密度高出一个量级。业界普遍预期，一旦世界模型成为智能体与机器人训练的基础设施，其推理负载将远超今天的文本推理。

结语：为黑洞做好电力与芯片准备​

视频生成与世界模型对算力产业的意义，在于它们同时吃掉带宽、显存、互连这三样最贵的资源——这恰好解释了 HBM 扩产、超节点与液冷在 2026 年同步爆发的产业节奏。对芯片厂商而言，谁能把每瓦 tokens 产出做到极致、把视频推理流水线优化到物理极限，谁就能在下一个算力黑洞周围占据最有利的位置。而对整个行业，唯一确定的是：生成一秒钟的智能，永远比生成一个字贵得多，而且这个差距还会继续拉大。

AI 加速芯片领域有三大主流架构：GPU、NPU 和 TPU。再加上近年出现的 LPU（语言处理器），很多开发者搞不清它们之间的区别。

本文从架构设计理念、生态成熟度、实际性能表现、部署成本四个维度进行对比。

AI 加速卡市场在 2025 年已经变得前所未有的丰富。从 NVIDIA 的 Blackwell 到华为的昇腾 910B，从 Google 的 TPU v6 到 Groq 的 LPU，开发者面对的选择比以往任何时候都多。

但这既是好事，也是难题——选错了卡，要么多花冤枉钱，要么性能不达标。

本文从实际工作负载出发，帮你梳理选型逻辑。