这一篇要把所有技术决策翻译成同一个语言钱。为什么这个话题这么重要✓ CFO 看的是 TCO不是 FLOPS ✓ 老板批不批预算看 ROI ✓ 选自部署还是 API 看月度账单临界点 ✓ 团队规划看 18 个月预算 ✓ 投资人估值看单位成本下降曲线读完本文你将能算清训练一个 70B 模型要多少钱算清推理 1M token 的真实成本决策自部署 vs API什么时候反超优化任何业务的 TCO 30-50%我们开始。一、TCO 的定义与误区1.1 什么是 TCOTCOTotal Cost of Ownership总拥有成本 一项资产从获得到淘汰整个生命周期的所有成本之和。对大模型来说TCO 硬件采购 折旧 电力 网络 运维 软件 人力 机会成本很多团队只算前两项严重低估真实 TCO——这就是为什么看起来便宜的方案上线后处处花钱。1.2 大模型 TCO 三大误区误区 1只算 GPU 单价错误8 张 H100 × 25 万 200 万 真实服务器整机 350 万电费 机房 100 万/年运维 80 万/年实际 TCO 是单价的3-5 倍。误区 2忽视利用率A 方案买 16 卡利用率 50% → 等效 8 卡 B 方案买 8 卡利用率 90% → 等效 7.2 卡 B 方案 TCO 远低于 A但效果差不多。误区 3忽视时间成本方案 A自建训练集群6 个月跑出模型 方案 B用云租赁2 个月跑出模型 B 多花 50% 硬件费但提前 4 个月上线 → 业务收益 硬件多花的钱时间也是钱——尤其在大模型快速演进的当下。二、训练 TCO从一个真实案例开始2.1 DeepSeek V3 训练成本拆解DeepSeek V3 公开的557 万美元是怎么算的训练规模14.8T tokens 模型规模671B 总参数 / 37B 激活 GPU 资源2.79M H800·小时 成本明细 H800 租赁单价$2/小时 总成本2.79M × $2 $5.58M ✓但这是狭义训练成本。完整 TCO 还包括项目金额估算算力GPU·小时$5.58M数据采集与清洗$1-2M实验与失败成本$2-5M多次失败重训工程师团队200 人 × 18 月$30-50M基础设施机房、网络$5M完整 TCO$50-100M核心认知媒体报道的几百万美元训练成本是冰山一角。2.2 训练成本公式对工程师来说简化估算公式训练成本 ≈ 6 × N × D / GPU_FLOPS × 利用率 × 时薪 N模型参数量 D训练数据 tokens GPU_FLOPS硬件 FP16 算力 利用率实际 MFUModel FLOPS Utilization通常 40-50% 时薪GPU 小时单价实操训练 70B 模型多少钱设定N 70BD 14T tokensChinchilla 200×H100 SXM989 TFLOPSMFU 45%自购成本 ¥1/小时按 3 年折旧 电费总 FLOPS 6 × 70 × 10⁹ × 14 × 10¹² 5.88 × 10²⁴ 5.88 ZFLOPS 有效算力 989 × 10¹² × 0.45 445 × 10¹² FLOPS/秒 需要 GPU·秒 5.88 × 10²⁴ / 445 × 10¹² 1.32 × 10¹⁰ 秒 转换 GPU·小时 3.67M GPU·小时 成本自购 3.67M × ¥1/小时 ¥3.67M 成本云租 3.67M × ¥14/小时 ¥51M真实参考Llama 3-70B 官方 ≈ 6.4M H100·小时数据多了一倍所以略高DeepSeek V3 671B / 37B 激活 ≈ 2.79M因为只算激活参数2.3 训练 TCO 优化策略策略 1用 MoE 降算力DeepSeek V3 671B 总参数 / 37B 激活——训练算力按 37B 算节省 90%。策略 2用 FP8 训练DeepSeek V3 用 FP8 训练比 BF16 节省 30-50% 算力。策略 3合成数据 精炼Phi 系列用 GPT-4 合成教科书数据3.8B 干掉 70B——用算法智慧替代算力。策略 4Continued Pretraining 而非 from scratch不要从零训在开源底座上继续训从零训 70B~¥3.7M Continued pretrain 70B5% tokens~¥185K成本降20×。三、推理 TCO业务的持续支出3.1 推理成本拆解推理 TCO 硬件折旧 电力 网络 运维 软件 人力以8 卡 H100 服务器自购3 年 TCO 为例项金额月均服务器采购¥2.5M¥69K3 年折旧电费5.6 kW × 24 × 30 × ¥1.0¥4K机房机架、网络¥3K/月¥3K运维 SRE 摊销¥10K软件 / License¥2K月度 TCO~¥88K3 年 TCO 总计~¥3.16M。3.2 每 1M token 真实成本假设这台服务器跑 Llama-3-70BFP8单卡吞吐~400 tokens/s含 prefill decode 混合8 卡集群吞吐~3000 tokens/s考虑通信开销月可处理 tokens 3000 × 86400 × 30 × 0.7利用率 5.4 × 10⁹每 1M token 成本 ¥88K / 5400 ¥16.3对照主流 API2026 中服务输出价格每 1M tokenClaude Opus 4.7¥538$75 → 含税 ¥538GPT-5¥287$40Claude Sonnet 4.6¥108$15Gemini 2.5 Pro¥72$10Qwen3 API¥8¥1.1 输入 输出加价自部署 Llama-3-70B¥16.3DeepSeek-V3 API¥8¥0.27 输入 ¥1.1 输出关键洞察自部署比 Claude / GPT 便宜 10-30×但比 DeepSeek / Qwen 国产 API 贵 2×这是当下 2026 年最重要的成本认知。3.3 推理 TCO 优化策略策略 1量化压缩FP16 → INT8吞吐 50%、显存减半FP16 → INT4吞吐 120%、显存减 75%直接效果单 token 成本降 50-70%。策略 2高 batch 利用率单序列单卡 ~50 tokens/s batch64单卡 ~2000 tokens/s单 token 成本降 40×——这就是为什么 Continuous Batching 这么重要。策略 3模型分级简单查询 → 7B 模型成本 1/10复杂任务 → 70B 模型极难任务 → Claude / GPT API混合后整体成本下降 60-80%。策略 4Prefix Caching对 RAG / Multi-turn 场景重复 prefix 不算钱OpenAI 的 prompt caching50% 折扣Anthropic 的 prompt caching90% 折扣自部署免费且彻底策略 5Off-peak 调度非高峰跑批量任务如离线总结错峰利用闲置 GPU高峰50% 容量在线服务 低峰剩余 50% 跑离线任务 利用率从 50% → 90%四、自部署 vs API临界点分析4.1 决策模型月度 API 账单 调用量 × 单价 月度自部署 TCO 固定GPU 折旧 运维 临界点月 API 账单 月 TCO 调用量 TCO / API 单价4.2 实操案例场景要做一个客服助手需要 Claude Sonnet 级别能力。方案 A用 Claude Sonnet API单价¥108 / 1M output token假设月均生成 1B token月费¥108K方案 B自部署 Llama-3-70B FP8同级能力8 卡 H100 服务器月度 TCO¥88K容量5.4B token/月结论月调用 800M tokenAPI 划算月调用 800M-5B token自部署划算月调用 5B token自部署 扩容不同 API 的临界点服务反超月 tokenClaude Opus~160MGPT-5~300MClaude Sonnet~800MGemini Flash永远不反超太便宜了DeepSeek V3 API永远不反超更便宜4.3 决策矩阵业务规模数据合规要求推荐月费 ¥30K无用 Claude / GPT API月费 ¥30K严格用国产 API月费 ¥30K-¥100K无用 DeepSeek / Qwen API最划算月费 ¥30K-¥100K严格单 H100 自部署月费 ¥100K无混合闭源 API 自部署月费 ¥100K严格全自部署 国产卡合规4.4 不要忽视隐藏成本自部署除了 TCO 还有运维责任服务挂了你修不是云厂商升级成本模型版本迭代你要跟冷启动慢从订机柜到上线 1-3 个月机会成本现金占用大笔预算API 模式则有不可控延迟API 厂商抽风没办法数据出域合规风险政策变化定价可能上涨4.5 实战混合策略最实用业界做得好的团队都用分层混合↑ 高复杂 / 重要请求 → Claude Opus / GPT-5贵但好 │ 中等任务 → 自部署 Llama-3-70B │ 大量普通任务 → 自部署 Qwen3-32B ↓ 简单分类 → Qwen3-1.7B端侧 成本高复杂 5% × 贵 中等 30% × 中 普通 65% × 廉实测能把总成本压到纯 API 方案的 20-30%。五、训练 推理生命周期 TCO5.1 一个完整的大模型业务 18 个月成本设定团队 30 人 AI 工程师自研垂直模型基于 Llama-3-70B 持续微调业务量3 亿 MAU / 日均 2 亿次调用阶段时间成本筹备招人、买设备1-3 月¥10M设备 ¥7M 人力 ¥3M数据准备 训练含 5 次失败4-9 月¥8MGPU 租赁 ¥3M 人力 ¥5M微调与对齐10-12 月¥3M推理上线12 月¥3M/月4 套 8 卡 H100 运维持续迭代13-18 月¥18M持续微调 推理扩容完整 18 月 TCO~¥42M5.2 ROI 视角月收入来自 AI 业务¥3M 月运营成本推理 团队¥4M 回本周期约 24 个月需要持续优化这就是为什么大模型业务前 1-2 年都很难赚钱——基础设施投入太重。5.3 成本下降曲线行业趋势2023-2026 推理成本下降速度2023GPT-3.5 ¥21 / 1M output token 2024GPT-4o ¥36 / 1M output token (能力升级) 2025DeepSeek V3 ¥8 / 1M output token 2026Qwen3 / DeepSeek 维持 ¥8 / 1M单位智能价格每年下降 50%。规划时一定要考虑这条曲线。六、成本优化 Playbook6.1 训练阶段优化收益用开源底座 Continued Pretraining节省 95%用 MoE 而不是 Dense节省 60-80%FP8 训练节省 30-50%数据精炼Phi 路线节省 50-90%用国产卡训练节省 30-40%训练后蒸馏 → 小模型推理推理成本节省 80%6.2 推理阶段优化收益FP8 / INT4 量化节省 40-70%高 batchContinuous Batching节省 60-90%Prefix Caching节省 30-50%RAG 场景分级模型路由节省 60-80%投机解码节省 30-50%单序列场景Off-peak 调度节省 30-50%国产 API 替代节省 80-90%vs Claude/GPT6.3 整体架构↑ 闭源 API关键 / 复杂场景5-10% 流量 │ │ 自部署大模型重要场景20-30% 流量 │ │ 自部署中模型主力40-50% 流量 │ ↓ 自部署小模型简单任务20-30% 流量这是 2026 年最实用的成本架构。6.4 监控与归因工业团队需要成本看板按业务线哪个业务花得最多 按模型哪个模型用得最多 按时间高峰 vs 低峰 按用户哪个 API key 最贵LiteLLM Admin UI第 19 篇讲过直接支持。也可以自研接 BI 看板。七、扩展 系列预告7.1 长期成本的判断未来 2-3 年的成本变化预判训练成本年降 30-50%架构 硬件推理成本年降 50-70%量化 优化 硬件GPU 价格H100 → B200 → B300 → ... 性能 / 价比每代提升 2-3×小模型崛起3-7B 模型能力快速接近 70B → 推理成本骤降对工程团队的启示不要现在就锁死多年硬件 —— 灵活租赁 渐进自购始终关注国产 开源进展 —— 替换闭源的窗口期来得快长期投资在数据 工程化 —— 这两个不会被硬件迭代抹除7.2 系列预告工程实践篇第 21-25 篇正式收官回顾这 5 篇篇号主题21GPU 选型指南22集群运维23模型权重管理24显存优化实战25TCO 成本测算至此前 25 篇覆盖了从认知 → 训练 → 推理 → 部署 → 工程实践的完整链路——你已经具备做一家大模型公司的全部技术能力。接下来进入应用生态篇第 26-30 篇——把模型变成产品第 26 篇RAG 实战 - 从向量数据库到 GraphRAG第 27 篇Function Calling / Tool Use第 28 篇Agent 框架对比第 29 篇多模态部署第 30 篇Prompt 工程方法论之后是前沿与思考篇第 31-35 篇——MoE / 推理模型 / 端侧 / 开源 vs 闭源 / 安全。八、结语技术决策最终都是钱的决策读完本文你应该明白TCO 不只是 GPU 单价——人力、机房、运维、机会成本都要算训练成本远高于算力那一项——失败、迭代、数据是大头推理成本随业务量持续累积——很快超过训练自部署反超 API 的临界点月费 ¥30K-100K混合架构成本最优闭源 API 自部署多档模型单位 token 价格年降 50%——规划要预留下降空间参考文献TCO 成本测算训练与推理的完整成本模型
