8 posts tagged with "Deep Learning"

千亿参数模型的训练没有银弹。显存不够、通信爆炸、扩展效率衰减，每个瓶颈都有对应的框架答案。看清 DeepSpeed、FSDP、Megatron 各自解决的核心矛盾，比背参数更重要。

三种哲学，三个框架​

三者的架构本质可以概括为一句话：DeepSpeed 是显存扩展优先，Megatron 是计算性能优先，FSDP 是易用性优先。

维度	DeepSpeed	Megatron-LM	PyTorch FSDP
出品方	Microsoft	NVIDIA	PyTorch 官方
核心技术	ZeRO 分片 1/2/3、Offload、Infinity	3D 并行（张量、流水线、数据）	参数全分片、Bucket 化、通信重叠
显存思路	优化器状态、梯度、参数逐级切分，可卸载到 CPU/NVMe	把模型按层切到多卡，换吞吐省显存	类似 ZeRO-3 的原生实现
硬件耦合	广泛，含 CPU、NPU、NVMe	强依赖 NVIDIA GPU 与 NVLink	跟随 PyTorch 后端
接入成本	JSON 配置，代码侵入低	需按规范重构模型	零侵入，包装即用

DeepSpeed 的 ZeRO-1/2/3 把优化器状态、梯度和参数逐级切分到各卡，ZeRO-Offload 与 ZeRO-Infinity 进一步把状态卸载到 CPU 内存甚至 NVMe，用带宽换显存，让有限硬件也能起步大模型训练。Megatron-LM 则是张量并行与交错式流水线调度的标杆实现，在 NVLink 互联的 NVIDIA 集群上能榨出最高的 MFU。FSDP 是 PyTorch 对 ZeRO-3 思想的原生化，2.x 时代又引入 DeviceMesh 与 DTensor，把多维并行表达成一等公民概念。

怎么选：按规模与硬件定​

经验路径大致如下：几十亿参数微调、PyTorch 技术栈、不想改代码，直接 FSDP；显存吃紧、硬件预算有限、或需要在异构环境（含昇腾插件）里跑超大模型，选 DeepSpeed；自建 NVIDIA 大集群、追求 GPT-4 级别吞吐、愿意承担改造成本，上 Megatron。三者并非互斥：Megatron-DeepSpeed 混合方案在 BLOOM、GLM 等经典大模型训练中已被反复验证，用 Megatron 的并行结构叠加 ZeRO 的显存优化；也有团队训练侧用 FSDP、推理侧接 DeepSpeed-Inference 的组合。

工程上的常见坑​

1. ZeRO-3 与某些自定义算子、参数共享结构不兼容，接入前先跑小规模试训验证收敛。
2. 流水线并行对 micro-batch 数量敏感，batch 太小会让流水线气泡吞掉理论收益。
3. FSDP 在千亿级规模的扩展效率弱于 Megatron，别用它的短板打别人的长板。
4. Offload 到 CPU 会拖慢步速，确定显存确实不够再开，并用 profiling 对比开关前后的单步耗时。

实操建议​

上线前用目标模型跑一个 48 小时短程实验，记录单步时间、显存水位与 MFU 三项指标，三个框架横向对比再定。配置上先保守后激进：先用 ZeRO-2 或 FSDP 全分片拿基线，确实不够再切 ZeRO-3 加 Offload。国产硬件团队重点关注 DeepSpeed 生态与昇腾插件的兼容进展，它是对非 NVIDIA 硬件最友好的训练框架，没有之一。

微调和预训练是两种完全不同的算力需求：梯度状态和优化器显存占了全参训练的大头，而 LoRA 把这部分几乎清零。理解这张显存账，你就能明白为什么很多人用一张 4090 就能微调 70B 模型。

一、先算显存账：三种方法的差异有多大​

全参 SFT 时，显存占用约等于参数量乘以 16 至 20 字节：权重（FP16 两字节）加梯度（两字节）加 AdamW 优化器状态（八字节）加激活值。一个 70B 模型全参微调需要约 1,120 至 1,400GB 显存，也就是至少 14 至 18 张 80GB 卡，这是标准 8 卡机的两倍多。

LoRA 冻结主干权重、只训练低秩适配器，可训练参数通常只占总量的千分之一量级，省掉梯度与优化器状态后，显存接近推理水平：70B 模型 FP16 权重约 140GB，8 卡 80GB 机即可全精度 LoRA。QLoRA 再把主干权重量化到 4-bit，70B 模型的权重压到约 35 至 40GB，理论上单张 48GB 卡就能跑，24GB 卡可以处理 13B 级模型。

模型规模	LoRA（FP16 主干）	QLoRA（4-bit 主干）	全参 SFT
7B 至 8B	约 16GB，单卡 24GB	约 6GB，单卡 12GB	约 140GB，双卡 80GB
13B 至 34B	约 28 至 70GB，单卡 80GB 或双卡 48GB	约 9 至 20GB，单卡 24GB	约 280 至 680GB，8 至 10 卡 80GB
70B 至 72B	约 150GB，双卡 80GB 或 8 卡 A800	约 40GB，单卡 48GB 或 80GB	约 1.2TB 起，16 卡以上集群
100B+ MoE	8 卡 141GB H200 起步	8 卡 80GB 逼近极限	不推荐，考虑改用 LoRA

二、五档推荐配置​

第一档：个人开发者与课程实验（0.8 万至 2 万元）。 单张 RTX 4090 24GB 或二手 3090。4090 时租低至 2 至 4 元，先租后买更稳。这档能完成 7B/8B 的 QLoRA 微调和 13B 的 Q4 QLoRA，足够做 RAG 场景的领域适配。

第二档：小型团队微调站（8 万至 15 万元）。 双卡 4090 或单卡至双卡 5090（32GB）。5090 带宽约 1,792GB/s，比 4090 高约七成，同模型生成速度明显更快，适合 13B 至 34B 的 QLoRA 与 7B 级 LoRA。

第三档：企业微调平台（60 万至 120 万元）。 8 卡 A800 二手机或 4 卡 A100 80GB。80GB HBM 显存的价值在于可以把 34B 模型的 FP16 LoRA 放进单卡、70B 的 QLoRA 稳定单卡，省去多卡并行带来的通信与工程复杂度。

第四档：严肃领域模型研发（180 万至 240 万元）。 8 卡 H100 或 H200。H200 的 141GB 大显存让 70B 模型在单机内完成全精度 LoRA 与大批量 SFT，配合 NVSwitch 的机内带宽，训练吞吐优势明显。

第五档：拿不到进口卡的团队（100 万至 200 万元）。 Atlas 800T A2（8 卡昇腾 910B，单卡 64GB），7B 至 70B 的 LoRA 均有成熟案例，配套文档与社区踩坑记录最多，是国产侧微调的默认起点。

三、结尾建议​

三条实用结论：第一，能 QLoRA 就不要全参 SFT——绝大多数领域适配任务，QLoRA 的效果与全参 SFT 差距有限，而成本差一个数量级；第二，显存买到"模型加两成余量"即可，微调对带宽不敏感，没必要为带宽溢价买单；第三，微调任务天然是短周期、突发型的，如果月均利用率低于三成，租赁比自建划算得多——4090 租一张跑一个月不过千余元，先把实验矩阵跑完，再决定要不要买卡。

数值格式（FP8、FP4）解决的是"硬件支持什么精度"，而量化算法解决的是"训练好的模型怎么安全地住进低精度"。后者才是工程落地的日常：手里一个 70B 模型、一张 80GB 的卡，怎么让它跑起来还尽量不掉点。

GPTQ：用二阶信息做误差补偿​

GPTQ 的思路源于经典的二阶最优剪枝方法。它逐层处理权重：用少量校准数据（几百条即可）估计该层输入的二阶统计量，然后按列量化权重，每量化一列，就利用 Hessian 信息调整其余未量化列，把引入的误差"摊"到还没量化的地方去补偿。整个过程不需要反向传播，在单张卡上几个小时内就能压完一个百亿级参数模型。

代价是它本质上在做"整体最优的近似"：逐层的贪心决策叠加起来，对校准数据分布有一定敏感性，校准集与真实业务分布偏差大时，掉点风险随之上升。

AWQ：抓住关键的 1% 通道​

AWQ 从另一个观察出发：权重中真正对精度敏感的通道，是那些对应激活值特别大的少数通道——通常只占 1% 上下。与其逐列做全局误差补偿，不如识别出这些显著通道，用一个按通道缩放的变换保护它们，让它们落在量化网格的"好位置"上。

这个方法同样不需要反向传播，校准成本与 GPTQ 相当，但对校准数据规模和分布的依赖更弱，跨领域、跨任务的鲁棒性通常更好，这也是它在开源社区部署中被广泛采用的原因。它只解决权重侧的压缩（常见的 W4A16 形态：权重 4bit、激活保持 16bit），计算时需要把权重反量化回高精度再做矩阵乘。

W8A8 与激活离群值​

想同时压缩激活（W8A8）会撞上大模型的经典难题：激活分布中存在系统性的离群通道，个别通道的数值比其余大几个数量级，直接按统一 scale 量化会把这些通道全压废。SmoothQuant 的解法很巧：用一个等效数学变换，把激活里的离群难度迁移到权重侧，让两边都变得"平缓"，从而实现全整数推理。W8A8 的算子效率高、适合大 batch 高并发服务，但精度风险高于 W4A16，需要更仔细的评估。

方法对照与取舍​

方法	典型形态	是否需要反传	主要优势	适用场景
GPTQ	W4A16	否	压缩比高，工具链成熟	单卡/双卡装下大模型
AWQ	W4A16	否	鲁棒性好，跨域稳定	通用生产部署
SmoothQuant	W8A8	否	激活也压缩，算子高效	高并发吞吐服务
QAT（量化感知训练）	任意	是	精度上限最高	有训练资源且对精度极敏感

实操建议​

单卡或双卡要装下大模型、追求低延迟，选 W4A16 的 AWQ 或 GPTQ，两者精度差异通常不大，优先看框架支持度；高并发吞吐场景考虑 W8A8。评估时不要只看困惑度，困惑度的小幅变化可能对应下游任务的大幅波动，务必跑自己的业务评测集。另外，KV Cache 量化是独立的压缩维度，长上下文场景可与权重量化叠加使用。最后，任何量化方案上线前都先在影子流量上对照全精度基线跑一段时间，这是最便宜也最可靠的保险。

之前我们讲过投机解码的概念：小模型起草稿、大模型来验证。但概念到生产之间隔着几个关键问题——接受率怎么算、草稿从哪来、为什么大 batch 场景收益会缩水。这篇往下挖一层。

草稿-验证框架：一次前向，验 K 个 token​

标准流程是：草稿模型根据当前上下文连续猜 K 个 token，目标模型把"原文加 K 个草稿 token"拼成一次前向——注意自回归模型天然支持一次并行计算多个位置的输出，所以验证 K 个 token 的耗时约等于生成一个 token。逐位比对：草稿猜对的保留，遇到第一个分歧位丢弃其后全部草稿，并采用目标模型在该位的输出。

对随机采样场景，接受与否用拒绝采样规则决定，可以严格证明最终输出分布与目标模型直接解码完全一致——这是投机解码最漂亮的性质：加速不以任何质量损失为代价。

收益取决于接受率 α：若每个草稿位被接受的概率都是 α，则每步目标模型前向平均产出约 1 加 α 加 α 的平方一直加到 α 的 K 次方个 token，随 K 增长趋于 1 除以 1 减 α。α 等于 0.7、K 等于 4 时约两倍加速；α 跌到 0.3，收益就趋近于零，草稿计算反而白费。

草稿从哪来：三条路线​

方案	草稿来源	公开接受率	典型加速	额外开销
独立草稿模型	同词表的小模型	六至八成	约 1.5 至 2.5 倍	需维护小模型
Medusa	目标模型上加多个预测头	六至七成	约 1.8 至 2.5 倍	需训练预测头
EAGLE-3	复用目标模型深层特征	七至八成	约两至四倍，部分报告更高	训练轻量草稿头
MTP	训练期原生多 token 预测	八成以上	据公开技术报告约 1.8 倍解码加速	需重训模型

独立草稿模型最直观，但要求草稿与目标共享分词器且风格对齐，体积以小为宜——太大则草稿自身耗时吃掉收益。Medusa 不引入独立模型，在目标模型上挂若干预测头并行猜测未来多个位置，部署简单。EAGLE 系列更进一步：直接把目标模型的中间层特征喂给一个轻量草稿头，配合树形注意力（每步验证多条候选分支）把接受率推高，2025 年发布的 EAGLE-3 据公开评测已成为通用模型上的标杆方案。

MTP 则把投机解码内化进训练目标：DeepSeek-V3 在预训练时就加入多 token 预测模块，推理时该模块天然充当草稿头。据其公开技术报告，MTP 带来约 1.8 倍的解码加速，接受率达八成以上——原生对齐是接受率最高的路线，代价是必须从训练侧介入。

什么场景反而变慢​

三类场景要谨慎：一是高温采样等高随机性输出，草稿与目标分歧大，接受率暴跌；二是超大 batch 服务，此时解码已接近算力受限，验证的并行红利被摊薄，甚至挤占正常请求的算力；三是草稿模型选得太大，草稿成本占比过高。经验法则是草稿比目标小一到两个数量级，且务必用自家流量实测接受率——公开基准的七成接受率在你的领域数据上可能只有三成多，收益随之天差地别。

小结​

投机解码是"用访存冗余换时延"的典型架构：单流解码卡在权重搬运上，验证多 token 几乎不额外耗时，这正是它能免费加速的物理原因。落地时先明确业务是延迟敏感还是吞吐敏感——前者优先开，后者要先压测 batch 干扰，再选对草稿路线，最后盯住接受率这个唯一的核心指标。

高校实验室的算力采购和企业不同：预算一次性、使用人多为研究生、负载高度突发（开学季与论文季爆满、寒暑假空转）。30 万元怎么花，取决于实验室做什么方向。

一、先明确：你的算力需求画像​

实验室负载的典型分布：课程实验和小模型跑通（7B 以下微调、经典视觉模型训练）占请求量的大头；硕士论文实验（7B 至 34B 微调、目标检测、扩散模型）是中等需求；博士课题与预训练尝试（70B 级、多模态）是小概率但高算力的长尾。用这个画像对齐预算，30 万元大致有四个花法。

方案	配置明细	总价区间	可支撑规模
A. 经典多卡工作站	4 卡 RTX 4090 24GB 工作站	12 万至 18 万元	8 至 12 名学生的日常实验，7B QLoRA 与 CV 训练流畅
B. 消费旗舰小集群	2 台双卡 5090 主机（4 卡 32GB）	14 万至 22 万元	显存翻倍，可跑 34B QLoRA、多模态实验
C. 专业卡单机	二手 8 卡 A800 80GB 或 4 卡 A100	60 万以上（超出）/二手 4 卡约 25 万至 35 万元	70B QLoRA 单卡可行，大模型方向博士课题
D. 自建加租赁组合	2 至 3 卡 4090 自建，其余向云租赁	自建 8 万至 12 万元，租赁按用量	峰值弹性大，适合人数多、方向分散的大组

方案 C 需要说明：全新 8 卡 A800 或 HGX H100 整机在 60 万至 240 万元区间，超出 30 万预算；二手 4 卡 A100 80GB 服务器是唯一能挤进预算的 HBM 路线，约 25 万至 35 万元，但需接受无原厂保修的风险。

二、按研究方向的对号入座​

视觉与多模态方向：训练目标检测、分割、扩散模型，单卡 24GB 是舒适线，方案 A 或 B。扩散模型训练建议优先 5090（32GB），长分辨率训练的显存余量明显更好。

NLP 与大模型方向：以微调为主，方案 A 加云租赁的组合最务实——7B 至 13B 的 QLoRA 本地跑，70B 级实验用云上 A100 或 H100 按需租（单卡时租约 10 至 35 元），一次 70B QLoRA 实验的租赁成本通常仅数百元。

AI for Science（分子模拟、材料、生物）：这类负载常需要双精度或大内存，消费卡的双精度性能很弱，二手 A100 或 A800 是正确方向，预算不足时优先申请校级或国家级算力平台配额。

边缘智能与嵌入式方向：30 万可以配得很豪华——10 套 Jetson Orin 边缘套件（每套约 2,000 至 6,000 元）加一台 4 卡 4090 训练机，形成"云端训练、边缘部署"的完整教学科研闭环。

三、采购流程里的三个坑​

1. 招标参数被反向定制。 实验室设备常走政府采购流程，写参数时要写性能指标（显存容量、带宽、FP16 算力）而不是品牌型号，避免投标方用参数瑕疵废标重来，周期拖一学期。

2. 电费与机房没提前谈。 4 卡 4090 满载约 1.6kW，8 卡机超过 4kW，很多院系机房电路按老标准建设，装机前先和楼宇管处确认功率上限与空调能力，否则机器到了点不亮。

3. 忘了摊销管理成本。 实验室集群需要有人做管理员：账号分配、队列调度（Slurm）、硬盘清理。建议预留预算购置 NAS（约 2 万至 4 万元）并安排学生轮值制度，否则半年后就是"谁的实验占着卡不撒手"的罗生门。

四、结尾建议​

给大多数实验室的默认答案是方案 A 起步、租赁补峰：12 万至 18 万元落地 4 卡 4090 工作站，覆盖组内八成的日常实验；剩余预算一部分买 NAS 与 UPS，一部分作为年度云租赁经费。等负载曲线稳定跑满半年后，再决定是否升级到 80GB 专业卡。高校算力采购最怕一步到位的执念——硬件摩尔节奏下，分两次各买一半，永远比一次买满更划算。

文本生成的算力曲线尚未见顶，视频生成已经带着二次方的注意力复杂度闯入算力市场。当世界模型开始学习物理规律并支持实时交互，推理算力的需求边界将被重新定义——下一个算力黑洞，正在视野中成形。

单秒成本背后的算力真相​

2026 年，视频生成已形成清晰的商业化定价梯度。据公开资料整理：

模型	定价（每秒生成视频）	主要特性
Sora 2	约 0.10 至 0.15 美元	1080p、原生音频
Sora 2 Pro	0.30 至 0.50 美元	更长时长、更高分辨率
Veo 3.1	约 0.40 美元	原生音频、4K 上采样
可灵 3.0	0.10 至 0.75 美元	国产梯队代表，长时长可扩展
开源自托管（Wan 2.6 等）	硬件摊销后显著更低	需自行承担 GPU 与运维成本

低价表象之下是沉重的算力账单。按每秒 24 帧计算，一段 10 秒 1080p 视频意味着 240 帧高度关联的图像，时序注意力机制使显存需求随时长呈二次方增长——30 秒片段要处理的帧间关联对数以十万计。业界分析普遍估计，训练一个 Sora 2、Veo 3 级别的视频模型，仅算力投入就普遍在 5000 万美元以上，叠加数据授权、标注与安全评审，整体项目投入据估可达 1.5 亿至 4 亿美元。算一笔直观的账：一个每月生成百万秒级视频的消费级应用，即便采用较低价位档，月度 API 账单也能轻松超过 10 万美元。

自托管与开源的博弈​

开源模型正在改变成本结构。阿里的 Wan 系列与腾讯的 HunyuanVideo 已把"自己搭"变为可行选项：Wan 系列的 14B 生产级版本约需 48GB 到 80GB 显存才能流畅批量推理，HunyuanVideo 13B 版本官方推荐 H100 80GB 级别配置。对月产数十万条短视频的应用而言，API 计费与自建集群的成本平衡点，正成为技术路线的核心决策。而中国厂商在国产加速器与低电价环境下的成本优势，使国产视频模型在单位经济学上占据独特位置——可灵、海螺等产品的低价正是这一优势的直接体现。

世界模型：从生成到模拟​

比视频生成更重的，是世界模型。当模型不仅生成画面，还要内化物理规律、支持交互式探索时，算力需求呈台阶式跃迁：实时交互要求生成延迟低到毫秒级；世界一致性要求超长时序记忆与状态追踪；具身智能训练要求大规模仿真并行运行。视频生成考验的是"把序列算对"，世界模型考验的是"把世界算懂"——后者的状态空间与计算密度高出一个量级。业界普遍预期，一旦世界模型成为智能体与机器人训练的基础设施，其推理负载将远超今天的文本推理。

结语：为黑洞做好电力与芯片准备​

视频生成与世界模型对算力产业的意义，在于它们同时吃掉带宽、显存、互连这三样最贵的资源——这恰好解释了 HBM 扩产、超节点与液冷在 2026 年同步爆发的产业节奏。对芯片厂商而言，谁能把每瓦 tokens 产出做到极致、把视频推理流水线优化到物理极限，谁就能在下一个算力黑洞周围占据最有利的位置。而对整个行业，唯一确定的是：生成一秒钟的智能，永远比生成一个字贵得多，而且这个差距还会继续拉大。

The AI accelerator chip space has three major mainstream architectures: GPU, NPU, and TPU. Add the recently emerging LPU (Language Processing Unit), and many developers find it hard to tell them apart.

This article compares them across four dimensions: architectural design philosophy, ecosystem maturity, real-world performance, and deployment cost.

In 2025, the AI accelerator market has become unprecedentedly rich. From NVIDIA's Blackwell to Huawei Ascend 910B, from Google TPU v6 to Groq LPU, developers face more choices than ever before.

But this is both a blessing and a challenge — picking the wrong card means either wasting money or falling short on performance.

This article helps you sort out the selection logic starting from actual workloads.