推理 API 会话所有权现状堪忧,可移植性规则亟待遵循!

AI Agent Runtime:会话即事件日志的工程革命 AI Agent 不再是临时对话脚本,而是需7×24小时稳定运行的生产级服务。其核心挑战在于状态管理——传统依赖模型上下文窗口导致记忆衰减、调试困难、审计缺失。'会话即事件日志'(Session-as-Event-Log)范式将状态从易失的上下文解耦为持久、不可变、可查询的结构化事件流,实现故障可逆、权限隔离与跨模型兼容。该设计直击AI工程化卡点:长时任务可靠性、企业级可观测性与安全合规性。Anthropic Managed Agents 与 AWS AgentCore 等方案正推动 runtime 层标准 阅读详情

无法带走的会话

2026 年 7 月 30 日,周四,Earendil 工程团队发邮件称,推理 API 最初承诺简单,发送输入接收输出,保留好输入输出就拥有对话,可进行检查、存档等操作。然而,这种理想化抽象未完全实现,如提示缓存存于他人 GPU 上,不同模型分词方式有差异,采样过程不可复现。不过,会话“语义记录”仍应归用户所有,包含指令、消息等内容,强大模型应能理解并继续交流。但推理 API 正背离这一特性,返回文本和与供应商绑定的不可移植状态信息,包括推理令牌、网络搜索、压缩上下文等。这些特性虽有供应商的理由,但改变了 AI 会话所有权现状,对话记录只是部分视图,实际运行状态归推理供应商。

会话所有权的实用测试

可移植会话并非指切换模型时生成相同下一个令牌,因为不同模型能力等不同且过程有不确定性。可移植性要求更实际,导出存档应包含清晰信息,不依赖原供应商解析等。基于此有五项实用测试:可检查性、可导出性、可重放性、可审计性、可删除性。响应 ID、密文、引用列表等都不能等同于完整对话记录或用户可控状态。

为谁加密?

“encrypted_content”听起来像用户控制的隐私保护功能,实际是供应商密封状态,供应商控制加密密钥等。虽有一定隐私保护,但不能对推理供应商隐藏数据,反而对用户隐藏了数据。

存储的对话将记录变成指针

OpenAI 的响应 API 默认存储响应内容至少 30 天,可使用“store: false”选项。新的 Gemini 交互 API 也类似,付费套餐交互记录保留 55 天,免费套餐保留 1 天。服务器存储状态有吸引力,但本地应用程序记录可能使响应 ID 成为指向无法控制数据库的外键。

你看不到推理过程

所有大型实验室都有理由不公开原始思维链,非开源权重模型通常看不到令牌。通过 API 无法查看原始推理过程,存储响应可恢复,使用“store: false”返回“encrypted_content”。Anthropic 返回加密思考过程,可读思考文本是摘要,推理痕迹在其内部不具备可移植性。闭源权重模型都有类似问题,加密机制无法生成可移植对话记录。

隐藏的搜索

服务器端网络搜索是对话记录漏洞的典型例子。客户端搜索工具用户可检查结果等,而托管搜索供应商不提供完整文本上下文,URL 不能保证稳定重放。新模型无法获取准确证据,托管搜索应具备全保真导出模式。

不透明的压缩

长时间代理会话需压缩,客户端控制的摘要可检查和转移,而 OpenAI 的服务器端压缩生成加密压缩项,不适合人类解读,其他供应商无法读取。Anthropic 的服务器端压缩返回可读内容,客户端压缩可行。OpenAI 的密封工件虽有优化,但应提供可读交接摘要,否则会让用户更依赖生态系统。

子代理带有隐藏指令

多代理系统使问题复杂,OpenAI 的托管响应多代理测试版返回新的项目类型,包含加密信息,启用多代理会隐式启用自动服务器端压缩,不支持推理摘要,API 还注入开发者无法编辑或删除的指令。开源的 Codex 客户端也有相关更改,响应 API 加密工具参数,Codex 转发,API 内部解密,确切任务信息缺失。用户可能无法了解代理被要求做什么,应保留可读审计副本,明文代理间消息应是常态。

“大多数人不会在会话中途切换模型”

虽然大多数人可能不常切换模型,但这种自由很重要,它改变了用户与供应商的关系。用户可能因多种原因需要转移会话,离开的选择权能促使供应商竞争,否则会产生不利激励机制。

可移植推理 API 应有的承诺

推理供应商和代理构建者应遵循以下规则:本地事件日志是权威记录;存储设置应明确;不透明项不能是唯一含义载体;托管工具应有全保真日志;子代理通信应可审计;压缩内容应可检查;工件应可导出。

蒸馏其实很棒

美国一些大型闭源权重实验室对外部蒸馏态度不友好,Anthropic 将一些行为称为“蒸馏攻击”,禁止客户用其服务训练竞争 AI 模型,但自己也承认蒸馏是合法训练方法,且自己也使用公共网络数据训练模型。OpenAI 也类似,认为在公开互联网材料上训练属合理使用,还提供第一方 API 蒸馏工作流程。这种道德上的不对称性明显,应支持蒸馏,它可转化能力,增加竞争等。

最低限度的自由

用户应能关闭账户,保留会话并交给其他模型,新模型不应面对密文情况。不反对供应商构建有状态 API,但反对将性能与用户控制绑定,有状态存储、托管工具、压缩内容、代理通信等都应满足一定条件,蒸馏应是让能力更广泛可用的途径。

K8S Gateway API:下一代云原生流量管理的架构革命 Kubernetes Gateway API代表了云原生流量管理从“能用”到“好用”、“可控”的深刻演进。它通过清晰的角色分离、强大的原生表达能力和优秀的可扩展性,不仅解决了Ingress的遗留问题,更将治理范畴从集群入口延伸至服务网格内部,甚至拥抱了AI等新兴工作负载。目前,从Istio到各大云厂商(如GKE、EKS、AKS)均已提供了对Gateway API的成熟或预览版支持,生态日益繁荣。 阅读详情

相关推荐

Claude Managed Agents 架构解析:会话日志与沙箱隔离如何重塑企业级 Agent 可信度

Agent 运行时是大模型落地企业核心业务的关键中间层,其本质是解决状态管理、执行可控与环境安全三大基础问题。传统方案将对话历史寄生在模型上下文中,导致状态不可靠、回溯不可行、审计不可信;而 Anthropic 提出的会话事件溯源(Session-as-Event-Log)与凭证隔离沙箱设计,标志着从‘胶水式集成’迈向‘操作系统级抽象’的技术跃迁。该架构通过解耦会话层、执行器层与沙箱层,实现无限回溯、无状态调度与一次性安全执行,显著提升 agent 在金融、法律、医疗等高合规场景下的工程可信度。本文深入剖析

weixin_30512089的博客 402

JSR94-API安装完全图解

基于规则的专家系统(RBES)专家系统是人工智能的一个分支,它模仿人类的推理方式,使用试探性的方法进行推理,并使用人类能理解的术语解释和证明它的推理结论。专家系统有很多分类:神经网络、基于案例推理和基于规则系统等。规则引擎简介和人类的思维相对应,规则引擎存在两者推理方式:演绎法(Forward-Chaining)和归纳法(Backward-Chaining)。演绎法从一个初始的事实出发,不断地应用

joeyshi的专栏 3514

OpenClaw-NVIDIA-NIM-API:构建企业级AI推理网关的实践指南

在AI模型部署领域,API网关作为核心中间件,承担着协议转换、流量调度与安全管控的关键职责。其工作原理是通过路由引擎解析请求,配合可插拔的中间件链,实现对后端服务的统一治理。这一技术架构的价值在于解耦业务逻辑与基础设施,为生产环境提供稳定、可观测的推理服务层。典型的应用场景包括统一管理多模型实例、实现负载均衡与A/B测试,以及集成认证授权等企业级功能。本文以OpenClaw-NVIDIA-NIM-API项目为例,深入探讨如何基于NVIDIA NIM构建高性能API网关,其中涉及负载均衡、中间件扩展等热词,并

weixin_27059669的博客 538

J2EE技术实现基于Web的智能推理引擎

面向对象、组件化的软件开发方法成为当今软件开发的趋势,为了开发一个通用的、具有良好的"即插即用"性的推理引擎,就必须采用这种软件开发思想及开发流程。本文所设计的基于Web的智能推理引擎提供了完备的接口和规范,在实际应用中,遵照规范可以通过嵌入的方式使用这个基于Web的智能推理引擎,在其上增加其它的用来处理专业事务的Servlets和一些处理用户界面JSP页面,便可以快速的建立起基于Web的智能应用软件,也可以将这个推理引擎与其它的推理引擎混合使用,建构起更加复杂、功能更加完备的推理引擎。

键盘爱好者 685

构建跨平台AI Agent:多API集成与工具调用设计模式

在正式进入主题之前,我们必须先明确本文讨论的AI Agent范畴——因为现在业界对AI Agent的定义太广了:从简单的「基于规则的聊天机器人」,到「能自主规划任务、调用工具、学习反馈的通用人工智能雏形」,都是AI Agent的候选。为了避免讨论泛化,本文采用LangChain(业界最主流的开源Agent框架)官方文档202X年更新版实用派AI Agent(Practical AI Agent)感知(Perception):能接收用户输入的文本/图像/音频/结构化数据;

AI大模型应用之禅 283

Agent Runtime 架构核心:会话日志化与凭证隔离设计

Agent 运行时(Runtime)是大模型应用落地的关键基础设施,其本质是解决长周期任务中的状态管理与安全执行问题。传统做法依赖模型上下文承载会话历史,但受限于Transformer注意力机制的物理边界,必然导致上下文失忆与推理漂移;而将API密钥等凭证注入沙箱,则构成高危攻击面。现代Agent Runtime通过‘会话即事件日志’实现状态外置、持久化与可追溯,结合‘凭证即隔离资产’机制,在microVM沙箱中动态派发短期令牌,从架构层面消除状态污染与凭证泄露风险。这一范式已成金融、医疗等强监管场景的工程

anheku1562的博客 478

推理引擎移植太难?资深架构师亲授C++跨平台适配的7个关键步骤

解决推理引擎跨平台适配难题,资深架构师分享C++高效移植方案。结合2025全球C++及系统软件技术大会最新实践,涵盖异构硬件兼容、编译优化与接口抽象等7个关键步骤,提升性能与可维护性,值得收藏。

VarPerch的博客 712

Agent Runtime 本质是会话日志与凭证隔离的基础设施

Agent runtime 并非新型智能体框架,而是支撑 LLM 自动化流程稳定、安全、可审计运行的底层基础设施。其核心原理在于将‘会话’抽象为持久化事件日志,使模型推理与状态存储解耦;同时通过沙箱级凭证隔离,切断密钥泄露路径。这一设计解决了上下文溢出静默失效、工具调用不可追溯、敏感信息明文暴露等工程顽疾,显著提升系统可靠性与合规性。典型应用场景包括金融审计、医疗理赔、销售线索分发等强监管、高确定性业务流程。当前主流云厂商(AWS AgentCore、Google Vertex AI、Azure AI Fo

weixin_30388677的博客 438

WebAssembly 在 AI:WASI 和边缘推理会改变部署形态吗

WebAssembly + AI 的组合,不是要让 Wasm "取代" Docker 做推理部署,而是在容器太重、边缘资源太受限、多租户隔离需求太强的缝隙中,找到自己的位置。WASI-NN 规范的持续演进(WASI-NN v0.3 预计 2026 年底发布)会让推理引擎集成更加标准化,但真正推动 Wasm + AI 从实验走向生产,需要的是 SpinKube、WasmCloud 等部署平台在生产环境中的规模化验证。对云原生工程师,两个可立即探索的方向。

m0_50889382的博客 8285

NLP基础之专家系统介绍

1.专家系统 即基于大量规则形式做的AI系统 专家系统:目前在金融风控领域应用仍然十分广泛,因为其有自身的一些优点。 金融风控知识图谱搭建流程如下: step1:需要金融专家将金融领域的一些经验整理出来 step2: 知识图谱工程师将专家的经验构造成知识图谱(计算机可识别),生成图数据库。 step3:NLP工程师构建推理层 step4:业务人员通过API接口调用程序进行应用。 2. 专家系统优缺点: 优点: 1. 可解释性强。 2.不需要很多数据。 缺点: 1. 需要设计大量的

weixin_45599022的博客 2088

Agent运行时层重构:会话即事件日志的架构革命

Agent运行时(Runtime)正从模型上下文依赖的脆弱范式,演进为具备持久化、可追溯、可审计的稳定基础设施层。其核心原理是解耦Session(事件日志)、Harness(无状态执行器)与Sandbox(一次性安全沙箱),通过只追加日志、凭据动态分发和声明式工具定义,实现状态可靠性、调试可观测性与跨云可移植性。这一转变不仅解决LLM长程任务中的上下文溢出与状态丢失问题,更支撑金融、医疗等强合规场景下的司法级审计与SOX/21 CFR Part 11合规落地。本文深入解析Anthropic Managed

weixin_34082789的博客 287

Agent Runtime正走向 commoditization:会话事件化与沙箱隔离的工程实践

Agent Runtime 是大模型应用落地的核心执行层,其本质是管理LLM调用生命周期的确定性框架。原理上,它需解决两大基础问题:会话状态的可追溯性(避免context window崩溃导致的静默错误)与工具调用的安全隔离(防止凭证泄露和越权执行)。技术价值在于将非确定性推理过程锚定在ACID数据库与内核级沙箱之上,从而支撑金融、医疗等强合规场景。典型应用场景包括智能报销审核、投研报告生成、临床试验数据处理等长流程Agent系统。本文聚焦Anthropic Managed Agents的‘会话即事件日志’

dechen6073的博客 379

推理即新训练:AI工程重心从模型训练转向高效部署

推理(Inference)已不再是训练的附属环节,而是决定AI系统可用性、成本与用户体验的核心阶段。其本质是将静态模型转化为动态决策能力,涉及延迟敏感性、跨硬件适配、实时数据处理与全栈协同优化等关键技术挑战。随着大模型轻量化、边缘AI普及和OPEX主导的云成本结构成型,推理性能直接制约业务SLA达成——例如电商搜索P99延迟超300ms将显著提升用户流失率,工业质检模型在Jetson设备上每帧耗时超标则导致产线告警失效。本文聚焦推理落地中的模型瘦身、运行时引擎选型、实时特征服务、异构部署架构与深度可观测性五

cuikuangru5755的博客 458

借助RTX4090的DeepSeek推理框架提升物流调度案例解析

本文探讨了基于RTX 4090和DeepSeek推理框架的物流调度优化方案,涵盖深度学习模型部署、硬件加速机制与系统级性能调优,实现了毫秒级响应与显著成本降低。

weixin_31776191的博客 1083

Silvaco 学习笔记——物理模型:载流子产生复合模型

对载流子的复合机制进行总结

reactortiger的博客 1万+

【Unity】YooAsset + HybridCLR热更

本文介绍了Unity游戏开发中的热更新技术方案,重点对比了资源热更和代码热更的主流工具。资源热更方面分析了Asset Bundle、Addressable和YooAsset的优缺点;代码热更部分比较了xLua、ILRuntime、InjectFix和HybridCLR的性能特点。文章详细演示了HybridCLR+YooAsset的实践方案,包括加载热更新程序集、反射调用热更代码、资源打包部署等完整流程。该方案通过原生运行时实现程序集级热更,具有极低性能损耗和全生命周期适用性,配合YooAsset简化了资源管

欢迎指错||纠正||建议||水评+点赞&&评论&&关注&&转发 2922

AI代理运行时重构:事件日志驱动的会话管理与沙箱化执行

AI代理(Agent)正从‘模型即一切’走向‘运行时即基础设施’,其核心挑战在于状态管理混乱、故障不可追溯与安全边界模糊。事件日志(event log)作为会话的唯一真相源,将状态持久化、可审计、可重放,替代传统上下文窗口的脆弱内存式存储;沙箱化执行则通过微虚拟机或强化容器实现‘Cattle, not Pets’的生产级隔离,保障凭证安全与资源确定性。这一范式升级使AI工程重心上移至Trace Store、治理策略与垂直领域智能体——当runtime趋于免费,真正的技术价值正生长在可观察、可管控、可落地的上

weixin_34355559的博客 446

统信UOS专业版服务器无人值守安装

(2)、专业版:主要针对整机厂商、政府单位、事业单位和企业用户使用,cpu目前支持x86、arm、mips、sw64和LoogngArch架构,试用期免费获得90天的使用,随后需要单位采购授权,获得正式激活码后才可以正常使用。其中企业版代号为d,行业版为a/c,欧拉版则为e,在最近的更新中,c版已经停止更新迭代,后续行业版本将都为a版,版本代号体现在镜像名字中以及版本号上,例如1050d则表示企业版1050版本。UOS系统服务器版本分为:专业版(d版)、行业版(a版)、欧拉版(e版)

靠谱运维 2259

【Open-AutoGLM搭建终极指南】:手把手教你从零部署高效AI推理系统

掌握高效AI推理系统部署方法,本文深入解析Open-AutoGLM搭建全流程。涵盖环境配置、模型优化与本地化推理加速,适用于私有化部署与边缘计算场景,实现低延迟、高并发的AI服务。手把手教学,零基础也能快速上手,值得收藏。

DeepLens的博客 634

如何导入su_利用GIS快速生成SU场地模型

01|前言:进入2021年了,希望大家也是一个新的开始。告诫自己多写文章多更新,多读点书多旅行。然而元旦由于出去玩了4天,积累了一些事情要处理,一直没有时间好好写点东西。今天给大家带来的分享主题叫“利用GIS快速生成SU场地模型”。相关的视频方法其实B站上也有,但我相信视频很多人都不会看,我自己也是。直接给大家上操作流程。主要的操作步骤是【获取场地的矢量shp文件】—【导入ArcScen...

weixin_33806859的博客 9816

支持找回微信删除好友!一款人人可用的全能微信数据分析工具

找回删除好友、查看删除记录、恢复聊天信息....

1731

Agent Skills开源引爆AI标准化浪潮!收藏这篇,让你抢占技能制高点!

Anthropic发布Agent Skills开放标准,推动AI工具连接标准化 摘要: Anthropic于12月18日发布Agent Skills开放标准,旨在解决AI连接外部工具的标准化问题。该标准定义了AI在感知、决策、执行、协作等多维度的能力集合,涵盖自然语言理解、任务拆解、工具调用等核心技能。通过开源规范和SDK,Anthropic希望建立行业标准而非专有壁垒,提升AI能力的可移植性与复用性。这一战略延续了其通过MCP协议构建基础设施的思路,将竞争焦点转向模型执行能力而非生态锁定。此举有望加速AI

ytt0523_com的博客 684

【QT开发教程】如何在Qt中使用Protobuf进行高效数据序列化

Protocol Buffers(Protobuf)是Google开发的一种语言中立、平台中立、可扩展的序列化机制,常用于数据交换和存储。Qt作为一个跨平台的C++图形用户界面应用框架,可以与Protobuf结合使用,实现高效的数据序列化和反序列化。本文将介绍如何在Qt中集成和使用Protobuf,包括基本概念、安装步骤、使用示例以及实际应用。

科技改变人类,技术成就未来 1445

Rust打造的可独立部署的决策规则引擎微服务

摘要 cmx-rulesengine是一个基于Rust构建的独立规则引擎微服务,采用"一芯多壳"架构设计,支持决策表、决策图、FEEL表达式和Rhai脚本等多种规则表达方式。该系统实现了多租户隔离、完整的求值追踪和可视化规则编排能力,通过PostgreSQL存储五张核心表结构,并提供REST API与前端工作台交互。作为CMX平台第五大元数据分类(RULE),它在保持微秒级性能的同时,提供了比GoRules ZEN更强的规则编排能力和解释性输出。

638

黑猫带你学UFS协议第23篇:UFS固件升级操作详解(FFU)

摘要:本文介绍了UFS固件更新(FFU)的实现方法与注意事项。根据UFS3.1 JEDEC协议,FFU通过write buffer命令(MODE=0Eh)下载FW固件,随后必须进行power cycle或硬件复位生效。文章详细阐述了FFU操作的10条规则,包括数据分片传输要求、寄存器访问限制等,同时指出协议未明确的厂商实现差异。关键寄存器包括bFFUTimeout、bDeviceFFUStatus和fPermanentlyDisableFwUpdate。

黑猫奥利奥的博客 1万+

BME688传感器原理图设计,已量产(环境传感器)

在便携式空气质量监测、可穿戴健康设备这类低功耗场景中,BME688 这类集成了 VOC、温湿度、气压的四合一 MEMS 传感器越来越受欢迎 —— 它体积小、功耗低,刚好匹配便携设备的需求。但这类小信号传感器对电源噪声、电平匹配的要求很细,今天结合实际项目里的一款 BME688 接口电路,聊聊硬件设计的关键细节。

不脱发的程序猿 518
上一篇: 字节AI重大调整:豆包联手火山引擎整合飞书,能否突围AI办公竞争?
下一篇: 索尼售出 160 万台 PS5,销量同比降约三分之一,2026 财年内存充足但仍有提价可能
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值