写给产品经理的“AI 成本账“：Token、算力、RAG，到底在花什么钱？

为什么产品经理必须懂 AI 成本？

在传统互联网产品时代，成本相对容易理解：服务器、带宽、存储，这些都是相对固定的。

但 AI 产品完全不同。

1. AI 成本是"活"的

2023 年 Q2，我们的 AI 客服产品日均成本是 1,200 元。到了 Q3，突然飙升到 4,500 元。

发生了什么？

不是用户量暴增（实际只增长了 30%），而是用户开始问更复杂的问题，导致单次对话的 Token 消耗从平均 800 增加到 2,300。

这件事让我意识到：AI 成本不是一个固定值，而是随着用户行为、产品策略、模型选择动态变化的。

如果你不懂成本结构，就无法预测、无法控制、更无法优化。

2. 没人会主动告诉你真相

开发同学说："这个功能技术上没问题。"

运营同学说："用户反馈很好，继续推。"

老板说："ROI 怎么样？"

只有你，产品经理，需要把这三个问题串起来，给出答案。

而这个答案的核心，就是成本。

3. 不懂成本 = 没有话语权

去年我们在评审一个"AI 生成周报"的需求时，技术 Leader 直接否决了：

"这个功能太贵了，每次生成要调用 3 次大模型，成本受不了。"

当时的我，只能无奈接受。

但现在，我会反问：

• • "具体贵多少？单次成本 0.5 元还是 5 元？"

• • "如果我们用 Prompt 优化，把 3 次调用减少到 1 次呢？"

• • "能否用缓存策略，对相似内容复用结果？"

懂成本，你才能从"需求提出者"变成"方案设计者"。

---

AI 成本的四大黑盒，一次掰开

经过 3 个月的学习和实践，我把 AI 成本拆解成了 4 个核心部分。

用我踩过的坑和真实数据，给你讲清楚。

黑盒 1：Token 费用 —— 最容易被低估的成本

Token 是什么？

简单说，就是 AI 模型处理文本的最小单位。

• • 中文：1 个汉字 ≈ 2-3 个 Token

• • 英文：1 个单词 ≈ 1.3 个 Token

为什么容易被低估？

因为很多产品经理（包括我）会犯一个错误：只计算"输出"成本，忘记"输入"也要钱。

举个真实的例子：

我们的智能客服，每次对话：

• • 用户输入：平均 50 字（约 120 Token）

• • 系统检索历史：带入上下文 500 字（约 1,200 Token）

• • AI 回复：平均 200 字（约 480 Token）

单次对话总消耗：1,800 Token。

按 GPT-4 的价格（输入 ，输出0.06/1K Token）：

• • 输入成本：(120 + 1,200) × 0.03 / 1000 = $0.0396

• • 输出成本：480 × 0.06 / 1000 = $0.0288

• • 单次对话：$0.0684（约 ¥0.5）

如果日均对话 10,000 次，一个月就是 15 万元。

我的踩坑经验：

上线初期，我为了"提升用户体验"，把系统 Prompt 写得很详细（800 字），还要求每次都带入完整的用户档案信息（300 字）。

结果，每次对话的"固定输入成本"就高达 2,400 Token（¥0.35）。

后来优化了 Prompt 结构，精简到 200 字，成本直接降低 60%。

给产品经理的建议：

• • 画出你的 Token 流转图：哪些是必需的？哪些可以优化？

• • 建立"Token 预算意识"：像管理用户流量一样管理 Token 消耗。

• • 警惕"上下文膨胀"：多轮对话很爽，但每一轮都在叠加成本。

---

黑盒 2：算力费用 —— 自建模型的隐形杀手

如果你用的是 OpenAI、百度文心这些 API，可以跳过这部分。

但如果你在考虑"自建模型"或"私有化部署"，请一定认真看。

算力成本到底有多贵？

去年我们尝试部署一个基于 LLaMA-2 7B 的私有模型，用于内部文档问答。

硬件成本：

• • 1 张 A100 GPU（80GB）：约 1.5 万元/月（租赁）

• • 推理服务器配置：8 核 CPU + 64GB 内存：约 3,000 元/月

人力成本：

• • 算法工程师调优：2 人 × 4 万/月 = 8 万

• • 运维支持：1 人 × 2 万/月 = 2 万

第一个月总成本：11.8 万。

而当时，如果我们直接用 API：

• • 日均调用 5,000 次

• • 单次成本 ¥0.3

• • 月成本：4.5 万

结论：除非月调用量超过 10 万次，自建完全不划算。

更痛苦的是，自建模型的效果往往不如商业 API。我们花了 3 个月调优，准确率才勉强达到 70%，而 GPT-3.5 开箱即用就能到 85%。

我的血泪教训：

不要被"私有化"的概念诱惑。

大多数中小公司，根本不具备"养一个模型"的能力。你以为省了 API 费用,实际上在算力、人力、时间上付出了 10 倍代价。

什么情况下才考虑自建？

• • 调用量真的很大（日均 50 万次以上）

• • 对数据安全有极致要求（金融、政务）

• • 有专业的算法团队和运维团队

否则，老老实实用 API，把精力放在产品上。

---

黑盒 3：RAG 成本 —— 被忽视的"隐形开销"

RAG（Retrieval-Augmented Generation，检索增强生成）是 AI 产品的标配技术。

简单说，就是：

1. 1. 把你的知识库切成小块（文档切片）

2. 2. 存到向量数据库

3. 3. 用户提问时，先检索相关内容

4. 4. 把检索结果 + 用户问题，一起喂给大模型

听起来很美好，但成本呢？

我们的智能文档助手用了 RAG，日均服务 3,000 名员工。

成本拆解：

1. 向量化成本（数据入库）

• • 公司内部文档：5 万份

• • 平均每份 2,000 字 → 切分成 10 个 Chunk

• • 总 Chunk 数：50 万

• • 向量化（Embedding）成本：

  • • 使用 OpenAI text-embedding-ada-002：$0.0001/1K Token

  • • 平均每个 Chunk 300 Token

  • • 总成本：500,000 × 300 / 1000 × 0.0001 = $15（一次性）

2. 向量数据库存储成本

• • 使用 Pinecone（托管向量数据库）

• • 存储 50 万条向量，维度 1536

• • 月费用：约 $70

3. 检索成本

• • 每次查询检索 Top-10

• • Pinecone 查询费用：$0.00004/次

• • 日均 10,000 次查询

• • 月成本：10,000 × 30 × 0.00004 = $12

4. 重新嵌入成本（数据更新）

• • 每周新增/更新 500 份文档

• • 月向量化成本：约 $6

RAG 总成本：$88/月（约 ¥630）

看起来不多？

但如果你的知识库有 100 万份文档，成本直接翻倍。更可怕的是，这还没算大模型的调用成本（每次检索后还要喂给 GPT）。

我的优化方案：

1. 不是所有内容都需要向量化

我们发现，80% 的查询集中在 20% 的热门文档。

后来改成"冷热分离"策略：

• • 热门文档：实时 RAG

• • 冷门文档：用传统搜索 + 按需向量化

成本降低 40%，体验几乎无影响。

2. 向量维度不是越高越好

从 OpenAI 的 1536 维降到开源模型的 768 维，存储成本直接减半，检索速度还更快。

3. 合理设置 TTL（过期时间）

对于时效性文档（新闻、公告），设置 30 天自动删除，避免无效数据占用资源。

---

黑盒 4：隐性成本 —— 那些账单上看不到的钱

前面说的都是"明面成本"，但真正可怕的是你没预料到的成本。

1. 失败重试成本

AI 模型不是 100% 稳定的。

我们的数据标注助手，会因为 Prompt 不够清晰、输入格式错误，导致输出不符合预期，需要重新调用。

失败率 15%，意味着成本额外增加 15%。

2. 冗余调用成本

为了保证可用性，我们配置了"双模型热备"（GPT-4 + Claude）。

理论上 Claude 是备用，但因为健康检查、AB 测试等原因，实际承担了 30% 的流量。

相当于凭空多了 30% 的成本。

3. 人工兜底成本

再智能的 AI 也有搞不定的时候。

我们的客服系统，有 12% 的问题需要转人工。

人工客服时薪 50 元，月投入 6 万。

很多产品经理在算 ROI 时，只算了 AI 的成本，却忘了人工兜底仍然是刚性支出。

4. 监控和调优成本

为了优化成本，我们需要：

• • 实时监控 Token 消耗（数据分析工具：¥2,000/月）

• • 定期分析慢查询（算法工程师：¥40,000/月的 20% 时间）

• • Prompt 迭代实验（测试成本：¥5,000/月）

这些"为了省钱而花的钱"，也是成本。

---

从"成本黑盒"到"成本仪表盘"：我的实战方法

搞清楚成本构成只是第一步，真正有用的是建立一套可持续的成本管理机制。

方法 1：建立"成本测算表"，在 PRD 阶段就算清楚

我现在每次写 PRD，都会附上一张《AI 成本测算表》：

成本项	单位成本	预估调用量	月成本	备注
GPT-4 输入 Token	¥0.21/1K	500M Token	¥105,000	平均每次对话 1,500 Token
GPT-4 输出 Token	¥0.42/1K	200M Token	¥84,000	平均每次回复 600 Token
向量检索	¥0.0003/次	1M 次	¥300	Pinecone 查询
向量存储	¥500/月	-	¥500	100 万条向量
总计	-	-	¥189,800	-

然后倒推单用户成本：

• • 月活用户：10,000

• • 单用户月成本：¥18.98

再对比收入：

• • 订阅价格：¥99/月

• • 边际利润：¥80.02

这样一算，是赚是亏，一目了然。

方法 2：设置"成本预警线"，别等账单来了才慌

我在成本监控系统里设置了三条预警线：

• • 黄色预警（日成本超预算 20%）：发钉钉通知

• • 橙色预警（日成本超预算 50%）：电话通知 + 自动限流

• • 红色预警（日成本超预算 100%）：紧急熔断

去年 12 月，因为一个 Bug 导致系统陷入"循环调用"，5 分钟烧掉了 2 万块。

幸好橙色预警及时触发，自动限流，避免了更大损失。

方法 3：用"ROI 矩阵"，决定哪些功能该砍

不是所有功能都值得做。

我把功能分成四个象限：

	高频使用	低频使用
低成本	✅ 优先做	⚠️ 可以做
高成本	🤔 谨慎评估	❌ 直接砍

去年我们砍掉了"AI 生成 PPT"功能：

• • 使用频率：月均 200 次

• • 单次成本：¥3.5

• • 月成本：¥700

• • 用户反馈："生成的太粗糙，还不如自己做。"

700 块不多，但投入 2 个开发 1 周的时间（成本 4 万），ROI 是负的。

砍掉它,反而让团队更聚焦。

---

写在最后：成本不是敌人，无知才是

写这篇文章的初衷,是因为我见过太多产品经理，在 AI 成本面前感到无力。

"这个不是技术的事吗？"

"我不懂算法，怎么算成本？"

但我想说：

成本管理，从来不是技术问题，而是产品问题。

你不需要懂 Transformer 的数学原理，但你必须知道：

• • 一次对话消耗多少 Token

• • 一个功能的边际成本是多少

• • 如何在体验和成本之间找到平衡

这些，才是 AI 产品经理的核心竞争力。

去年那次被财务总监质问后，我花了 3 个月，把我们所有 AI 产品的成本结构吃透了。

现在，每次产品评审，我都能精确回答：

• • "这个功能月成本 3.2 万，预计带来 8 万收入，ROI 2.5。"

• • "如果我们把模型从 GPT-4 换成 Claude，成本降低 30%，效果损失小于 5%。"