
无法带走的会话
2026 年 7 月 30 日,周四,Earendil 工程团队发邮件称,推理 API 最初承诺简单,发送输入接收输出,保留好输入输出就拥有对话,可进行检查、存档等操作。然而,这种理想化抽象未完全实现,如提示缓存存于他人 GPU 上,不同模型分词方式有差异,采样过程不可复现。不过,会话“语义记录”仍应归用户所有,包含指令、消息等内容,强大模型应能理解并继续交流。但推理 API 正背离这一特性,返回文本和与供应商绑定的不可移植状态信息,包括推理令牌、网络搜索、压缩上下文等。这些特性虽有供应商的理由,但改变了 AI 会话所有权现状,对话记录只是部分视图,实际运行状态归推理供应商。
会话所有权的实用测试
可移植会话并非指切换模型时生成相同下一个令牌,因为不同模型能力等不同且过程有不确定性。可移植性要求更实际,导出存档应包含清晰信息,不依赖原供应商解析等。基于此有五项实用测试:可检查性、可导出性、可重放性、可审计性、可删除性。响应 ID、密文、引用列表等都不能等同于完整对话记录或用户可控状态。
为谁加密?
“encrypted_content”听起来像用户控制的隐私保护功能,实际是供应商密封状态,供应商控制加密密钥等。虽有一定隐私保护,但不能对推理供应商隐藏数据,反而对用户隐藏了数据。
存储的对话将记录变成指针
OpenAI 的响应 API 默认存储响应内容至少 30 天,可使用“store: false”选项。新的 Gemini 交互 API 也类似,付费套餐交互记录保留 55 天,免费套餐保留 1 天。服务器存储状态有吸引力,但本地应用程序记录可能使响应 ID 成为指向无法控制数据库的外键。
你看不到推理过程
所有大型实验室都有理由不公开原始思维链,非开源权重模型通常看不到令牌。通过 API 无法查看原始推理过程,存储响应可恢复,使用“store: false”返回“encrypted_content”。Anthropic 返回加密思考过程,可读思考文本是摘要,推理痕迹在其内部不具备可移植性。闭源权重模型都有类似问题,加密机制无法生成可移植对话记录。
隐藏的搜索
服务器端网络搜索是对话记录漏洞的典型例子。客户端搜索工具用户可检查结果等,而托管搜索供应商不提供完整文本上下文,URL 不能保证稳定重放。新模型无法获取准确证据,托管搜索应具备全保真导出模式。
不透明的压缩
长时间代理会话需压缩,客户端控制的摘要可检查和转移,而 OpenAI 的服务器端压缩生成加密压缩项,不适合人类解读,其他供应商无法读取。Anthropic 的服务器端压缩返回可读内容,客户端压缩可行。OpenAI 的密封工件虽有优化,但应提供可读交接摘要,否则会让用户更依赖生态系统。
子代理带有隐藏指令
多代理系统使问题复杂,OpenAI 的托管响应多代理测试版返回新的项目类型,包含加密信息,启用多代理会隐式启用自动服务器端压缩,不支持推理摘要,API 还注入开发者无法编辑或删除的指令。开源的 Codex 客户端也有相关更改,响应 API 加密工具参数,Codex 转发,API 内部解密,确切任务信息缺失。用户可能无法了解代理被要求做什么,应保留可读审计副本,明文代理间消息应是常态。
“大多数人不会在会话中途切换模型”
虽然大多数人可能不常切换模型,但这种自由很重要,它改变了用户与供应商的关系。用户可能因多种原因需要转移会话,离开的选择权能促使供应商竞争,否则会产生不利激励机制。
可移植推理 API 应有的承诺
推理供应商和代理构建者应遵循以下规则:本地事件日志是权威记录;存储设置应明确;不透明项不能是唯一含义载体;托管工具应有全保真日志;子代理通信应可审计;压缩内容应可检查;工件应可导出。
蒸馏其实很棒
美国一些大型闭源权重实验室对外部蒸馏态度不友好,Anthropic 将一些行为称为“蒸馏攻击”,禁止客户用其服务训练竞争 AI 模型,但自己也承认蒸馏是合法训练方法,且自己也使用公共网络数据训练模型。OpenAI 也类似,认为在公开互联网材料上训练属合理使用,还提供第一方 API 蒸馏工作流程。这种道德上的不对称性明显,应支持蒸馏,它可转化能力,增加竞争等。
最低限度的自由
用户应能关闭账户,保留会话并交给其他模型,新模型不应面对密文情况。不反对供应商构建有状态 API,但反对将性能与用户控制绑定,有状态存储、托管工具、压缩内容、代理通信等都应满足一定条件,蒸馏应是让能力更广泛可用的途径。
402



被折叠的 条评论
为什么被折叠?



