大模型 API 还是自建推理：一份可以套用的成本对比框架
"月处理 10 亿 token，该买卡还是调 API？"这个问题的答案取决于四个变量：token 量、模型档位、利用率、以及隐性工程成本。本文给出一套可以直接代入自己数据的计算框架。
一、第一步：把 API 账单算清楚
以 2026 年公开价格为基准。国产旗舰档：DeepSeek V3.1 输入约 2 元、输出约 8 元每百万 token；GPT-4o 级别约 2.5 美元输入、10 美元输出；轻量档模型（GLM-4 Flash、Qwen-Turbo 类）低至几毛钱每百万 token。由于输出单价比输入高 2 至 5 倍，估算时按"输出 token 为主"计费更接近真实账单。
一个实用换算：典型对话场景每次请求约 800 输入加 400 输出 token，用 DeepSeek 级旗舰模型，10 万次请求约 45 至 50 元人民币；用 GPT-4o 级模型约 300 元上下；用轻量档模型不到 10 元。先把你业务的月请求量和每次 token 数估出来，API 月账单基本就落定了。
二、第二步：把自建成本拆开
自建的总成本由四块组成：
- 硬件摊销：按三年直线摊销。参考价：8 卡 4090 服务器约 25 万至 35 万元，折合每月约 0.7 万至 1 万元；单卡 4090 整机约 2 万至 2.5 万元，每月约 600 至 700 元。
- 电力与机房：8 卡 4090 满载约 2.5kW，按工业电价加制冷 24 小时运行，每月电费约 2,000 至 4,000 元；托管机房则按机柜计费，每月 3,000 至 8,000 元。
- 人力：这是最容易被漏掉的项。一人兼职维护按每月 0.5 至 1 个人力成本计，全职 MLOps 每月 2 万至 4 万元。小规模自建的账常常"算得过来，养不过来"。
- 闲置风险：利用率不足时，固定成本照付。
三、第三步：算平衡点
一个可以直接套用的算例。假设业务每月处理 50 亿输出 token，用 DeepSeek 级旗舰 API，月账单约 4 万元（输出 8 元每百万乘 50 亿，加输入部分合计约 4 万至 6 万元）。若自建：部署开源同档模型需要 8 卡 H100（整机约 180 万至 240 万元，月摊销 5 万至 7 万元），加上电费与人力，月固定成本约 7 万至 10 万元——API 明显更便宜。
换成轻量档模型（输出约 1 元每百万 token）：同样 50 亿 token 月账单仅约 5,000 至 8,000 元，自建 8 卡 4090（月综合成本约 1.2 万至 1.5 万元）反而更贵——此时 API 依然是赢的，除非你的模型是精调过的私有模型，API 侧没有对等选项。
什么时候自建赢？三个条件叠加时：月 token 量达到百亿级以上、有私有微调模型必须自托管、利用率能稳定超过六成。以 8 卡 4090 承载 7B 至 14B 级量化模型为例，满负荷月吞吐可达数百亿 token，摊薄后每百万 token 成本可低至 0.1 元以内，远低于任何 API。
| 月 token 规模（输出口径） | API 月成本（旗舰档） | 推荐路线 | 理由 |
|---|---|---|---|
| 低于 10 亿 | 低于 1 万元 | 纯 API | 自建固定成本无法摊薄 |
| 10 亿至 50 亿 | 1 万至 6 万元 | API 加缓存优化 | 用前缀缓存与轻量模型路由降本 |
| 50 亿至 200 亿 | 6 万至 25 万元 | 测算后混合 | 平衡区间，取决于模型档位与利用率 |
| 超过 200 亿 | 25 万元以上 | 自建为主 API 兜底 | 固定成本充分摊薄，且峰值弹性仍有价值 |
四、第四步：别忘了五个非价格变量
价格之外的决策项：数据合规（金融、医疗数据出境与第三方处理限制可能一票否决 API）；延迟与可用性（自建可定制调度，API 受制于厂商限流）；模型锁定（重度依赖某家 API 的私有能力，迁移成本会随时间上涨）；技术迭代（API 免费享受模型升级，自建硬件三年后性能落后两代）；缓存红利（API 的前缀缓存折扣普遍在七成以上，系统提示词设计得当能大幅压账单）。
五、结尾建议
给一个默认决策路径：月账单低于 5 万元一律用 API，把工程人力省下来做产品；账单进入 5 万至 25 万元区间时，先做两件事——用前缀缓存和模型路由（简单请求走轻量模型）把账单压三成，再评估是否有必须自托管的私有模型；超过 25 万元且负载稳定，启动自建评估，但建议自建规模按 P50 负载规划、峰值仍走 API。算力决策的本质是风险定价：API 买的是灵活性，自建买的是规模化单价，看清自己的负载曲线，答案就在曲线里。