- 博客(304)
- 收藏
- 关注
RSS订阅原创 生产级的分层压缩机制
成熟的Agent系统采用分层压缩机制，匹配信息生命周期：1）工具结果预算控制，存于磁盘仅留摘要；2）直接删除噪声，避免无效摘要；3）API层微压缩，服务端移除冗余，代价为缓存重建；4）归档式摘要，保留每轮独立记录；5）全量压缩，由LLM驱动并设熔断器防循环失败。前三层成本低、扰动小，优先使用；后两层效果强，作为兜底，确保高效与稳定。
2026-11-06 09:56:08
164
原创 压缩与 KV Cache：看似矛盾，实则互补
本文探讨了在保持KVCache有效性前提下的上下文压缩策略。关键在于压缩发生在两次API调用之间，仅修改对话历史中的toolresults，不影响静态前缀。实验对比六种策略发现：无压缩易溢出；非任务感知压缩导致信息碎片化；而上下文感知压缩（结合查询意图与已有上下文）和自适应窗口化（阈值触发、批量压缩、防重复）能有效平衡信息保留与长度控制，显著提升任务成功率与效率，尤其在多步推理中实现动态优化。
2026-11-06 09:55:06
228
原创 上下文学习的内部机制：检索而非推理
模型注意力擅长检索而非推理，难以在单次前向传播中完成统计归纳。面对长上下文，其“大海捞针”式检索易受信息密度影响，导致上下文腐化——关键信息难被捕捉。压缩通过将冗长记录提炼为结构化结论（如“黑猫90只”），使模型可直接检索，避免重复思考，提升效率与精度。这并非被动学习，而是主动知识提炼，使上下文从“海量细节”变为“高密度认知”。
2026-11-05 08:38:55
364
原创 上下文为什么需要压缩：不只是长度问题
压缩上下文的动机分为两层：一是应对长度与成本约束，避免窗口溢出和高昂开销；二是提升模型思考质量。即使上下文充足，原始信息分散仍导致注意力浪费，关键信息易遗漏。通过结构化总结，将多轮信息提炼为精炼知识，可显著优化注意力分配，使模型更高效地“检索”与“推理”。这揭示了上下文学习本质是检索驱动，压缩正是对这一机制的优化。
2026-11-05 08:37:12
180
原创 从读数到策略：Agent 的物理时间感知
本文提出“时间感”（timesense）概念，指出当前Agent缺乏感知物理时间并调节节奏的能力。通过三轴框架——紧迫度、坚持度、警觉度，揭示时间戳与工具调用计数器需结合操作策略才能有效引导行为。实验表明，仅提供读数无法提升表现，必须搭配明确的决策规则（如“时间紧则交付”），方能显著提升任务通过率。这一能力可借由“状态栏+操作手册”在推理时注入，或通过稠密信号蒸馏进模型权重，补足当前大模型普遍缺失的时间控制短板。
2026-11-04 08:16:16
256
原创 几种好用的 Agent 状态栏技术
通过时间戳跟踪、工具调用计数器、TODO列表管理、详细错误信息与系统状态感知等技术的协同，Agent实现自适应决策与自我意识。组合使用使其实现时序理解、成本感知、外部记忆与环境适配，显著提升任务完成率（15次迭代达成）与错误处理成功率（95%），从机械执行跃升为具备反思与策略调整能力的智能助手。
2026-11-04 08:13:09
202
原创 状态更新的两种实现与缓存代价
“追加不破坏缓存”仅在单次注入时成立。状态随时间变化，更新策略有二：其一为每轮替换，移除旧状态并追加新状态，保证最新但导致后续缓存失效；其二为持久追加，状态永久保留，缓存友好但累积陈旧信息。选择依据：长轨迹且状态频繁更新时选持久追加，以避免反复缓存失效；短轨迹或单条大状态时选替换，换取上下文简洁与无歧义。
2026-11-03 14:22:01
203
原创 Agent 状态栏在上下文中的具体位置
Agent状态栏以user角色消息形式追加至上下文末尾，而非修改system消息，避免破坏KVCache。此举仅为API技术实现，内容由框架自动生成，非真实用户输入，通过<agent_status>标签标识，确保模型获取最新状态且不影响缓存。该设计遵循“动态信息追加、静态信息固定”原则，实现高效、低延迟的状态传递。
2026-11-03 14:21:11
63
原创 Agent 状态栏的构成
Agent状态栏包含四类信息：任务规划（通过TODO列表保持目标一致）、侧信道信息（时间、位置等辅助上下文）、环境当前状态（系统时间、异常提醒等）及可用能力清单（插件元数据）。前两者静态，利于KVCache优化；后两者动态，需追加至上下文末尾并持续更新，以确保决策情境准确。
2026-11-02 20:08:11
746
原创 Agent 状态栏的理论基础
Agent状态栏有效源于注意力机制的局限：模型擅长检索而非归纳。上下文窗口如半截检索引擎，缺乏“提炼层”，关键状态需反复扫描计算，效率低且易错。状态栏通过将隐式状态（如呼叫次数）显式化，以极低成本提供可直接使用的结构化信息，避免重复计算。同时，其置于上下文末尾，形成“注意力引导”，缓解长序列中的注意力衰减，确保关键约束始终被关注，显著提升决策准确率与系统稳定性。
2026-11-02 20:05:57
574
原创 Skills 的实现方式与权衡
在技能（Skill）上下文部署中，存在三种方案：一将技能注入system prompt，虽指令遵循好但破坏KVCache；二将其作为普通文件置于上下文中间，缓存友好却依赖模型对中间指令的准确理解，效果不稳定；三为生产级方案——将技能元数据（name/description）以user角色meta消息形式置于上下文末尾，仅首次发送，保持KVCache高效；完整内容则通过专用工具按需加载。该设计分离路由与执行，兼顾缓存效率与指令遵循，是权衡之下的最优解。
2026-11-01 09:21:51
199
原创 Skills：领域能力的可组合单元
AgentSkills通过模块化设计，将Agent能力拆分为可独立加载的“技能包”（Skill），每个Skill以SKILL.md形式封装元数据、核心流程与细则。其核心是渐进式披露：仅在上下文注入精简的元数据（含name和description），描述采用“用/不用时”的路由条件并包含反例，显著提升路由准确率。需时再加载完整内容，支持代码工具与模板联动，实现从知识传递到能力赋予的跃迁。该模式构建了类似npm的分布式生态，推动领域知识可持续积累，强调开发者应遵循模型厂商训练方法论，对齐其交互范式以获最优表现。
2026-11-01 09:20:16
325
原创 动态提示词与 Agent Skills
随着业务场景扩展，静态提示词日益膨胀，导致token浪费与注意力稀释。为应对这一挑战，动态提示词应运而生——不再一次性注入全部知识，而是按需加载。AgentSkills系统正是该理念的工程化实践，通过精准调用相关技能，提升效率与专注度，有效缓解“上下文腐化”问题。
2026-10-31 09:57:04
139
原创 提示注入：上下文安全的核心威胁
提示注入是Agent系统的核心安全威胁，攻击者可通过外部内容（如网页、文档、图片元数据）嵌入伪装指令，劫持Agent行为。由于Agent具备工具调用能力，后果远比普通聊天机器人严重，可能引发数据泄露或恶意操作。防御关键在于区分“指令”与“数据”：通过来源标记、结构化角色（system/user/tool）和输入清洗，强化模型对可信度的判断。同时需警惕技能（Skill）和状态栏等机制本身带来的注入风险——它们若加载不可信内容，将直接放大攻击面。因此，对第三方组件必须严格审查，如同审查代码。
2026-10-31 09:55:57
169
原创 工具定义的设计
工具定义是API请求中关键的静态组成部分，其质量直接影响Agent使用工具的准确性。类比于新员工的操作手册，优质工具定义应明确使用边界、提供具体示例、包含性能优化提示，并阐明工具间协作逻辑，如“先读再编辑”“批量调用”等，确保使用者高效、准确地操作，避免常见错误。
2026-10-30 14:30:51
126
原创 Few-shot 示例：何时给模型看例子
示例是系统提示词中提升输出质量的关键，尤其在规则难以精确描述时，两三个高质量的输入-输出示例可激发模型的上下文学习能力，效果优于冗长规则。示例应固定放置于提示词或首轮对话中，保持字节级稳定以保障KVCache效率，避免动态检索导致缓存失效。示例数量宜精不宜多，聚焦边界情况，避免稀释模型注意力。
2026-10-30 14:29:46
原创 提示工程：优化系统提示词
提示工程的核心是系统提示词（System Prompt），它如同Agent的“员工手册”，定义其身份、规则与流程。优质提示词应让一位聪明但陌生的新员工也能明确行动方向——若连新员工都难以理解，Agent同样无法正确执行任务。
2026-10-30 14:27:23
1
原创 流程驱动 vs 规则堆砌：系统提示词的“组织方式”
大语言模型可借鉴人类降低认知负担的方法，通过流程驱动的提示词设计实现高效决策。相比零散规则，结构化SOP（如文件处理标准流程）明确各阶段目标与转移逻辑，使模型清晰定位当前状态，快速响应异常，避免规则遍历，显著提升推理效率与准确性。
2026-10-29 08:57:44
136
原创 结构化提示：系统提示词的“格式”
现代大语言模型对结构化输入敏感，源于训练数据中的丰富结构化内容。XML通过语义标签（如<working_directory>）实现精准解析，而Markdown则以轻量结构提升可读性与组织性。二者协同构建双层架构：XML保障机器理解的准确性，Markdown优化人机共读的逻辑清晰度，兼顾精确性与易读性。
2026-10-29 08:56:54
42
原创 语气与风格：系统提示词的“人格”
语气与风格设计在提示工程中至关重要却常被忽视。明确的指令如“NEVER do X”比温和表述更有效，大写强化关键约束；但过度使用会削弱效果。简洁要求如“keep response to 1-2 sentences”并禁止解释原因，可避免冗长辩护，提升响应效率。合理运用语气与格式，能显著优化AI交互体验。
2026-10-28 10:48:56
111
原创 提示工程：优化系统提示词
提示工程的核心是系统提示词（System Prompt），它如同Agent的“员工手册”，定义其身份、规则与流程。设计时可假设大模型为聪明但陌生新员工：若其读完提示仍不知如何行动，说明提示需优化。优质系统提示能激发模型潜能，使其在任务中高效发挥通用能力。
2026-10-28 10:47:49
46
原创 KV Cache 未必是一次性的：可编辑、可组合的“笔记”
本文挑战了“前缀改一字则缓存全废”的铁律，提出模型在prefill阶段实则在“做笔记”——将信息的推论而非原始内容写入KV缓存。由此催生两大突破：编辑（通过显式思考链仅用1%算力更新结论）与组合（用RoPE重定位复用预计算缓存块），实现上下文修改的高效低延迟。实验显示首token延迟降几十至百倍，缓存命中率98.5%，输出与重算一致。这为Agent实现“可变上下文仍保缓存收益”提供可能，推动上下文处理从O(L²)重算转向O(L)“笔记拼接”。后续章节将探讨提示工程、状态栏设计与压缩策略，构建高效上下文体系。
2026-10-27 10:23:08
117
原创 缓存作为架构约束
生产级Agent架构中，缓存不仅是性能优化，更是核心约束。ClaudeCode实践表明，提示词结构由缓存边界决定：静态部分可全局缓存，动态元素须置于边界后以控制缓存键爆炸；子Agent需与父Agent字节级对齐，确保API缓存命中；工具输出的替换字符串一旦生成即冻结，保障会话恢复时缓存一致性。这些设计均源于缓存经济性前置约束——越早纳入架构考量，工程代价越低。
2026-10-27 10:21:44
438
原创 KV Cache 与 Prompt Cache：两个层级的缓存
KVCache与PromptCache均利用前缀不变性优化推理效率，但层级不同：前者加速单次请求内token生成，后者跨请求复用计算结果。PromptCache通过缓存相同前缀的KVCache，显著降低重复计算成本（如Anthropic为1/10，OpenAI约5折）。差异在于启用方式：Anthropic需显式设置cache_control，有最小长度与TTL限制；OpenAI则自动缓存。设计上下文时需保持前缀稳定，尤其PromptCache对计费影响更大。
2026-10-26 13:05:34
680
原创 KV Cache 的原理与约束
无KVCache时，每生成新token需重算全部历史token的K、V向量，计算量随上下文长度平方增长，导致延迟与成本急剧上升。KVCache通过缓存历史token的K、V，实现前缀复用，仅需计算新token的K、V，显著降低重复计算。然而，若修改前缀（如系统提示词变动），因Transformer层间依赖，所有层缓存失效，需重算，代价高昂。因此，稳定提示词对推理效率至关重要。
2026-10-26 13:04:34
918
原创 从 API 消息到模型 Token：Chat Template
ChatTemplate是模型处理对话的“信封格式”，将API的结构化消息转化为模型可理解的线性token流，通过特殊标记（如<|im_start|>）界定角色与边界。它影响KVCache复用、多轮思考链保留与工具调用连贯性。若开发者绕过标准API，错误传递工具结果（如误标为user消息），会触发模型重置思维链，破坏多步推理。同时，因system和工具定义被固定编码于前缀，任何微小变化都会导致KVCache失效，故需严格遵循API格式。
2026-10-24 09:08:31
167
原创 KV Cache 友好的上下文设计
某客服Agent因在提示词中动态插入时间戳，导致每次请求前缀变化，KVCache失效，模型被迫从头计算，首token延迟飙升、成本翻倍。问题根源在于：系统提示词一旦变动，缓存即作废。核心对策：提示词与工具定义应固定不变；动态信息追加至末尾；使用标准API格式，避免拼接导致前缀不一致。牢记三原则：固定前缀、末尾追加、结构化输入，方能避开缓存失效的“无形成本”。
2026-10-24 09:06:59
174
原创 从 API 视角看上下文的构成
本文通过本地LLM部署实验，揭示了Agent上下文的“静态前缀+动态轨迹”结构：系统提示词与工具定义保持不变，对话历史持续增长。实验表明，0.6B小模型在合理提示工程下即可实现可靠工具调用，支持ReAct循环、思维链思考、流式输出与并行调用。观察到修改系统提示词会显著增加首token延迟，直观展示了KVCache机制的作用——前缀不变则缓存可复用，为后续优化提供基础。
2026-10-23 15:40:59
111
原创 带工具调用的多轮交互：Agent 的核心循环
当用户询问“温哥华当前时间和天气”时，模型因缺乏实时信息无法直接回答，需通过Agent框架调用外部工具。首先，模型生成两个并行的工具调用请求（获取时间与天气），随后Agent框架执行这些调用，并将结果连同完整对话历史回传给模型。模型基于工具返回的数据生成最终自然语言回复。整个过程体现了ReAct循环：模型决策调用，框架执行，再反馈结果，形成闭环。核心在于维护一个不断累积的messages列表，实现多轮无状态交互中的上下文传递，是构建复杂Agent系统的基石。
2026-10-23 15:39:17
375
原创 单轮对话：最简单的 API 调用
本文以Qwen3-0.6B模型为例，展示单轮API调用的最简交互模式：请求包含system（开发者规则）和user（用户输入）两条消息，模型返回一条assistant回复。强调大模型API每次调用均为无状态，所有信息需在请求中完整提供，体现其基础交互逻辑。
2026-10-22 10:33:11
139
原创 消息的四种角色
大模型API的核心是消息列表，每条消息含角色标识：system定义模型身份与规则，置于首位；user为用户输入；assistant记录模型历史回复，支持多轮对话；tool传递工具执行结果，并通过tool_call_id关联调用。工具定义（tools）独立于消息，说明可用工具及参数。
2026-10-22 10:31:59
76
原创 上下文：决定 Agent 能力上限的关键
大语言模型在实际业务中表现不佳，根源在于缺乏任务所需的上下文：代码架构、流程规范与环境信息。这些隐性知识若未系统化沉淀，再强大的模型也难有效工作。上下文工程正是解决此问题的关键——通过结构化组织代码、流程、环境等背景信息，提升Agent执行效率。真正的挑战不仅是技术，更是组织文化：透明、文档化、可检索的协作环境才能赋能AI。正如翁家翌所言：“人和模型一样，最重要的是Context。” 因此，构建AI原生团队，本质是一场全员参与的文档化运动。
2026-10-21 07:48:38
548
原创 理解和构建 AI Agent 的基础框架
Agent由大脑（LLM）、眼睛（上下文）和手脚（工具）构成，其中上下文决定其认知边界，是系统成败关键。ReAct循环通过动态轨迹持续推进任务。真正的竞争力在于Harness——通过约束、验证与纠正机制保障Agent可靠执行。从提示优化到工作流，最终迈向自主Agent，应循序渐进以控风险。安全须贯穿架构全链路，覆盖模型、上下文、工具等多层面，而非事后补丁。
2026-10-21 07:46:31
416
原创 护栏与安全性
护栏是Harness中保障Agent安全可控的核心机制，构成“约束、验证与纠正”的分层防线。按防护位置分为输入侧、执行侧和输出侧：输入侧通过分类器、内容审核与规则过滤防范越狱、提示注入与有害内容；执行侧以工具风险评级控制高危操作；输出侧则通过PII过滤与品牌一致性验证确保安全合规。多层护栏协同提升系统韧性。人工干预在失败阈值或高风险操作时触发，实现人机协作，提升可靠性与用户体验。
2026-10-20 08:00:23
200
原创 编排模式：工作流与自主
在构建LLM应用时，应遵循“从简单到复杂”的原则：优先使用单次调用或优化提示词，仅在需要多步骤处理时考虑工作流或自主Agent。工作流适用于流程确定、需严格控制的场景，具备安全性和可预测性；自主Agent则适合开放式任务，支持动态决策与灵活路径，但成本更高且风险可控性要求更强。实践中常混合使用两者，结合工作流的可靠性与自主性的灵活性。主流框架如n8n、LangChain、Claude Agent SDK等提供不同编排模式支持，选择关键在于是否能以最小抽象聚焦业务逻辑。最终，系统不仅要“能做事”，更要“做对事
2026-10-20 07:58:56
314
原创 如何选择模型
选择Agent模型需综合考量任务需求：优先评估“御三家”（GPT、Claude、Gemini）在推理、编程与多模态上的表现；国内场景可选豆包、Kimi或开源模型如Qwen、DeepSeek，兼顾延迟与成本；闭源模型能力强但贵，开源模型适合私有化与定制。核心是选用支持多步思考的模型，确保复杂决策能力；同时关注输出速度与多模态支持，直接影响响应效率与功能边界。
2026-10-19 19:05:31
190
原创 构建有效 Agent 的核心原则
Anthropic总结成功Agent系统三大原则：保持简单，避免过度抽象；保持透明，清晰展示决策过程以增强信任；设计好工具接口（ACI），从Agent视角出发，通过直观命名、防呆设计减少错误。良好的接口能防止模型误用，实现“用设计消除错误”。此外，模型选型、编排模式与安全护栏虽非Harness五要素，却是工程落地的关键考量。
2026-10-19 19:04:00
800
原创 从提示工程到 Harness 工程：工程范式的演进
AI应用工程历经软件工程、提示工程、上下文工程，迈向以Harness为核心的系统化构建阶段。当模型能力趋同，竞争优势转向模型外的工程实践。Harness通过上下文、工具、约束、验证、纠正五大功能形成闭环，实现安全、可靠、自洽的智能体系统。其核心在于：信息充分、接口清晰、故障安全、输入隔离与静默纠错。这一演进揭示：未来AI系统的成败，不取决于模型本身，而在于如何构建一个稳健的工程体系。
2026-10-18 17:22:00
110
原创 Harness 工程：模型之外的竞争力
本文阐述了Agent从可运行Demo到生产级系统的关键跃迁——Harness工程。核心公式由“LLM+上下文+工具”扩展为“Model+Harness”，其中约束、验证、纠正三重保障机制确保Agent在真实场景中可靠执行。上下文与工具赋予Agent能力，而Harness则构建安全边界、错误检测与自动恢复机制，使模型不越界、不出错、能纠错。案例对比显示，有无Harness结果天壤之别。随着行业从“能做事”转向“可靠地做事”，Harness工程已成为Agent系统的核心竞争力。
2026-10-18 17:19:26
99
原创 ReAct 循环
ReAct循环是Agent执行任务的核心机制，通过“思考→行动→观察”的迭代模式，结合上下文与工具完成多步骤任务。以多币种收入汇总为例，Agent在三次迭代中依次进行货币转换、计算求和，并生成最终答案。其上下文由静态前缀（系统提示与工具定义）和动态轨迹（用户输入、模型思考、工具调用与结果）构成，实现全局认知与可解释性。轨迹的累积性支持任务回溯与优化，为智能体学习与系统改进提供基础。
2026-10-17 15:32:53
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人