月初对账的时候,一个做知识库问答的朋友发来一张截图:模型没换,供应商上个月刚降过一次价,账单却比上个月翻了将近一倍。他把请求量拉出来核对,条数几乎没涨,用户看到的回答长度也没什么变化。
那多出来的钱花在哪了?藏在一条绝大多数人不会去看的字段里——思考 Token。
看不见的输出 Token,正在成为价目表上最贵的一行
现在的主流模型几乎都带“思考”能力。9 月 3 日的 GPT-6 Astra 把自主执行当卖点,9 月 12 日发布的 Grok 4.7 参数冲到 2.1 万亿,9 月 16 日凌晨 Google 又推出 Gemini 3.8 Live Extended Thinking。推理档位从旗舰下放到对话模型,“先想一下再回答”正变成默认配置。
问题在于,思考消耗的 Token 是按输出价计费的,而输出价通常是输入价的数倍,是价目表上最贵的一档。腾讯云模型路由(CMR)的处理费文档写得很直白:输出 Token 明确包含“推理/思考 Token(reasoning_tokens)”。阿里云 Qwen3.8-Max 的接入手册更直接——深度思考生成的思维链全部计入输出 Token,其输入 12 元/百万、输出 36 元/百万,倍数一眼可见。
换句话说,用户只看到 300 个字,账单可能按 3000 个字结算。单价这个指标,从这一刻起开始失真。
同样的问题问两遍,成本可能差好几倍
如果思考 Token 是个固定值,那倒好办,按三到五倍乘一下做预算就行。麻烦的是它不固定。
斯坦福、UC 伯克利、CMU 和微软研究院今年 3 月联合做过一组测试:8 个前沿推理模型、11872 条查询。其中一个结论值得每个做预算的人记住——同一个提示词、同一个模型、同样的参数,反复跑,思考 Token 的波动最大能到 9.7 倍。这次花 1000 个思考 Token 想清楚的问题,下次可能花 9700 个。最终答案质量可能差不多,账单差得可不小。
更反直觉的是第二个数字:在他们对比的模型组合中,有 21.8% 的情况是“单 Token 更便宜”的那个模型,实际跑下来总成本反而更高——因为它想得更多。
换成账单会更直观:一个只输出 800 个可见 Token 的 Agent 任务,算上思考,实际计费可能落在 1 万到 5 万个 Token;同样的任务,非推理模型跑是 0.02 美元,推理模型可能是 0.27 到 1.27 美元。一天 10 万次调用,这就是每天 2000 美元和 12.7 万美元的区别——而监控面板上,你可能只看到响应长了一点点。
Agent 会继续放大差距:多步任务里每次调用都累积思考开销,同类任务的 Token 消耗通常是单轮问答的 5 到 30 倍。
想把这类对照实验跑起来,最省事的方式是让调用走同一个端点、切模型只改配置。我用 EasyAPI 就是图这一点:同一套代码里换模型跑 A/B,不用给每个供应商各写一遍适配层。
把“可预测性”当成一个指标去管
我自己的做法很简单:先别急着怀疑供应商涨价,先去用量明细里把思考 Token 这一项单独拆出来看趋势。
这里有个坑。思考 Token 不在响应体里,而是躺在 usage 字段中,而且各家命名都不一样——OpenAI 和 DeepSeek 在 completion_tokens_details.reasoning_tokens,Google 在 usageMetadata.thoughtsTokenCount。如果你的日志只记录了响应长度,这个变量就是隐形的。
其次是按模型、按请求把用量归集起来。我把调用统一走 EasyAPI 这类聚合入口,图的就是账单能按模型、按请求拆开——哪些钱花在思考上、哪些是因为把简单任务丢给了旗舰模型,一眼能看出来。再配合配置级的模型切换,就能做个很实际的实验:同一类抽取任务换成非推理模型,质量掉多少、成本降多少,跑一周就有答案。
推理能力普及本身是好事,但它把“成本”从一道单价的算术题,变成了一个需要观测和调优的系统问题。模型越来越会思考,账单只会越来越难看懂——与其月底对着数字发愁,不如早点把观测的粒度调细一点。
391



被折叠的 条评论
为什么被折叠?



