让模型判断，和让模型写，现在是两种价

原创于 2026-10-23 11:12:52 发布 · 503 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

EasyAPI

本文分析OpenAI Decisions API与传统Responses API在成本、时延和适用场景上的本质差异，指出将AI调用按‘判定’（分类/打分/选择）和‘生成’（自由文本输出）分离是结构性降本关键。Decisions API通过限制输出自由度实现p95快40倍、输出零计费；Baseten开源决策模型进一步验证该范式。核心优化路径包括请求分类、按‘每次判定’计价、优先迁移延迟敏感场景。

Datadog的工程师碰到一个很具体的问题：他们的Agent自动生成修复命令，但执行前得先判断这条命令有多危险。以前是让前沿模型“分析一下”，模型写几百字推理，工程师再从里面抠结论。

10月22日，OpenAI把这类需求单独拎出来做成了产品——Decisions API结束公测正式开放。同样是GPT-6 Luna，问法从“请分析”改成“风险是几分”，返回一个数。Datadog实测：p95快40倍，准确率没掉。

价格表上的变化更直接。Decisions API输入每百万token收0.10美元，命中缓存0.01美元，输出token完全不收费。同一个GPT-6 Luna走Responses API是0.10输入加0.50输出。输入那一栏分文未动，输出那一栏归零。

免掉输出的钱，是因为它不让你自由生成

敢免掉输出的钱，是因为这个API只允许“限定答案”：开发者先定义问题，并指定三种返回形态之一——一个0到1的概率、从你给的选项里挑一个、或按你定的量表打分。

模型不能再写五百字铺垫，输出长度被压到可预测的几个token。OpenAI拿“输出的自由度”换了时延，官方口径是最快可比Responses API快10倍。单次请求最多400个问题，是公测时的两倍，另加了原生JSON输入、问题里带图、美欧数据驻留。

客户数字里最值得看的那句

Ramp的说法是：把AI成本归因到具体工作，比用GPT-6 Luna快4倍、便宜30%。对比对象是同一个模型——这不是“换个便宜模型”，是“同一个模型，别买你用不上的那部分”。

你本来只想要一个分类结果，却付了让模型写一篇说明文的钱。

Sierra报的是p95低于280毫秒、每次调用成本降90%；Box在30份保险凭证的路由选择上快约5倍、准确率持平；Speak接进GPT-Live后，语音场景“到下一个动作”从1.4秒降到0.13秒。

同一周，开源那边做了同一件事

Baseten放出两款决策模型mammoth-1和elephant-1，270亿和90亿参数，权重公开，输出不是文本而是各候选答案的概率、总和为一，只做选择、量表打分和是否判断三件事，称比推理模型快至十倍。

一个闭源巨头和一个开源玩家在七天内做了同一件事，说明这不是产品创意，是成本结构逼出来的分岔：把模型当作写手和当作裁判，本来就是两种成本。

这件事实质上比“又多了个API”大

过去两年优化账单的思路几乎全在单价上——比价、挑峰谷、蹭促销、等降价。但现在同一款模型、同一份输入，走生成端点还是判定端点，账单差三成以上，时延差一个数量级。

这个差值不受任何价格战影响，因为它不是让利，是你少买了东西。

三条能马上用上的

第一，先把调用分个类。 工单分类、请求路由、风险打分、内容审核、大小模型之间的调度——本质都是判定，答案空间有限，不该走生成端点。很多人账单里最大的一块，是让模型写了一段没人读的分析。

第二，比价单位换成“每次判定多少钱”。 每百万token的单价在判定场景会骗人：输出栏已是零，真正决定成本的是塞了多少输入、多少能命中缓存。Decisions API缓存价0.01美元，只有输入价的十分之一，加上单次400个问题的上限，共享前缀摊薄空间比生成端点大得多。

第三，延迟敏感的地方优先改。 判定端点最大的价值往往不是省钱而是够快——Datadog能用它，是因为40倍的p95让它敢把判定放进修复动作的“热路径”。离线批处理本来就没人等，先不动。

本周另外两个数字可以放在一起看：MiniMax 10月23日开源M3.1 Flash（428B总参数、23B激活），上线72小时真实用户跑了超过100万亿token；同一天国内六家厂商的token套餐第一次上了双十一货架，但基本不打折——智谱GLM Coding Plan Lite月卡京东从118元降到115元。

开源那边还在拼“谁跑得更便宜”，零售那边已经没多少让利空间了。三条省钱路径里，只有一条是结构性的：别买你用不上的能力。