LoRA 与 SFT 微调用什么卡：24GB 到 141GB 的梯度选择

微调和预训练是两种完全不同的算力需求：梯度状态和优化器显存占了全参训练的大头，而 LoRA 把这部分几乎清零。理解这张显存账，你就能明白为什么很多人用一张 4090 就能微调 70B 模型。

一、先算显存账：三种方法的差异有多大

全参 SFT 时，显存占用约等于参数量乘以 16 至 20 字节：权重（FP16 两字节）加梯度（两字节）加 AdamW 优化器状态（八字节）加激活值。一个 70B 模型全参微调需要约 1,120 至 1,400GB 显存，也就是至少 14 至 18 张 80GB 卡，这是标准 8 卡机的两倍多。

LoRA 冻结主干权重、只训练低秩适配器，可训练参数通常只占总量的千分之一量级，省掉梯度与优化器状态后，显存接近推理水平：70B 模型 FP16 权重约 140GB，8 卡 80GB 机即可全精度 LoRA。QLoRA 再把主干权重量化到 4-bit，70B 模型的权重压到约 35 至 40GB，理论上单张 48GB 卡就能跑，24GB 卡可以处理 13B 级模型。

模型规模	LoRA（FP16 主干）	QLoRA（4-bit 主干）	全参 SFT
7B 至 8B	约 16GB，单卡 24GB	约 6GB，单卡 12GB	约 140GB，双卡 80GB
13B 至 34B	约 28 至 70GB，单卡 80GB 或双卡 48GB	约 9 至 20GB，单卡 24GB	约 280 至 680GB，8 至 10 卡 80GB
70B 至 72B	约 150GB，双卡 80GB 或 8 卡 A800	约 40GB，单卡 48GB 或 80GB	约 1.2TB 起，16 卡以上集群
100B+ MoE	8 卡 141GB H200 起步	8 卡 80GB 逼近极限	不推荐，考虑改用 LoRA

二、五档推荐配置

第一档：个人开发者与课程实验（0.8 万至 2 万元）。 单张 RTX 4090 24GB 或二手 3090。4090 时租低至 2 至 4 元，先租后买更稳。这档能完成 7B/8B 的 QLoRA 微调和 13B 的 Q4 QLoRA，足够做 RAG 场景的领域适配。

第二档：小型团队微调站（8 万至 15 万元）。 双卡 4090 或单卡至双卡 5090（32GB）。5090 带宽约 1,792GB/s，比 4090 高约七成，同模型生成速度明显更快，适合 13B 至 34B 的 QLoRA 与 7B 级 LoRA。

第三档：企业微调平台（60 万至 120 万元）。 8 卡 A800 二手机或 4 卡 A100 80GB。80GB HBM 显存的价值在于可以把 34B 模型的 FP16 LoRA 放进单卡、70B 的 QLoRA 稳定单卡，省去多卡并行带来的通信与工程复杂度。

第四档：严肃领域模型研发（180 万至 240 万元）。 8 卡 H100 或 H200。H200 的 141GB 大显存让 70B 模型在单机内完成全精度 LoRA 与大批量 SFT，配合 NVSwitch 的机内带宽，训练吞吐优势明显。

第五档：拿不到进口卡的团队（100 万至 200 万元）。 Atlas 800T A2（8 卡昇腾 910B，单卡 64GB），7B 至 70B 的 LoRA 均有成熟案例，配套文档与社区踩坑记录最多，是国产侧微调的默认起点。

三、结尾建议

三条实用结论：第一，能 QLoRA 就不要全参 SFT——绝大多数领域适配任务，QLoRA 的效果与全参 SFT 差距有限，而成本差一个数量级；第二，显存买到"模型加两成余量"即可，微调对带宽不敏感，没必要为带宽溢价买单；第三，微调任务天然是短周期、突发型的，如果月均利用率低于三成，租赁比自建划算得多——4090 租一张跑一个月不过千余元，先把实验矩阵跑完，再决定要不要买卡。