- 博客(22)
- 收藏
- 关注
原创 D04 性能优化:QPS 上不去?延迟太
本文针对AI Agent性能优化提出三步策略:1) 异步处理(流式返回与并发工具调用可降延迟50%+);2) 多级缓存(内存→磁盘→Redis三级缓存减少重复计算);3) 批处理(合并相似请求节省Token成本)。核心优化点在于LLM调用环节(占耗时60-80%),通过递进式技术组合(异步→缓存→批处理→连接池)实现QPS提升与成本控制。代码示例演示了流式响应、并行工具执行及缓存层级设计,强调独立工具应并发执行以缩短端到端延迟。
2026-07-16 09:42:05
308
原创 D03 灰度发布:怎么平滑上线新版本?
Agent灰度发布比普通服务更复杂,需监控回答质量、幻觉率等指标。核心流程包括:流量路由(按用户ID哈希分配)、实时对比(新老版本结果比对)、自动决策(异常时回滚)。通过分阶段放量(5%→20%→50%→100%)降低风险,每阶段观察指标,支持会话粘性确保用户体验一致。代码示例展示了流量路由器和灰度策略的实现,以及影子流量对比机制,确保新版本异常时可快速回滚。灰度发布的关键在于"逐步放量+实时监控+自动回滚"三位一体。
2026-07-15 13:44:42
511
原创 D02 日志:出了问题怎么排查?
本文探讨了构建高效日志系统的关键策略。核心观点包括:1)采用三层日志模型(请求日志、执行日志、LLM日志)分别记录用户交互、内部执行和模型调用细节;2)强调结构化日志的重要性,推荐使用每行一条JSON格式,便于机器处理;3)通过request_id实现日志链路追踪,快速定位问题。目标是实现"5分钟问题定位"的能力,避免日志过多或过少导致的运维困境。文中提供了Python实现示例,展示了如何记录关键信息如请求内容、工具调用、推理过程和错误上下文。
2026-07-13 14:11:43
402
原创 D01 监控:怎么知道你的 Agent 在线上好不好用
本文探讨了Agent上线后的监控问题,强调业务指标(如延迟、错误率、评分、Token消耗)比系统指标更重要。文章提出了监控的核心指标,包括调用量、延迟、错误率等,并展示了实现监控的代码示例,如基础监控类、延迟监控和错误率监控。通过实时监控,开发者能快速发现并解决问题,避免用户反馈滞后。同时,文章对比了系统指标与业务指标,指出两者需同时关注以确保Agent性能与用户体验。
2026-07-10 21:56:19
510
原创 RAG 实战 05:RAG 优化:缓存、增量更新、知识图谱、实时搜索
本文针对RAG系统在生产环境中面临的四大工程挑战(重复查询成本高、索引更新慢、结构化数据处理难、实时数据需求),提出四个解决方案:1)语义缓存通过向量相似度避免重复计算;2)增量更新提升索引效率;3)知识图谱处理结构化数据;4)实时搜索保障数据新鲜度。核心代码展示了基于LRU的语义缓存实现,可节省90%重复查询的Token成本,并提供了缓存命中率评估方法。这些优化手段从工程角度解决RAG系统的规模化问题,而非算法层面改进。
2026-07-09 11:57:48
873
原创 RAG 实战 04:RAG 评估:怎么知道检索效果好不好
RAG系统评测:三层评估确保质量 本文强调RAG(检索增强生成)系统中评测的重要性,提出三层评估框架: 检索层:衡量搜索结果准确性,核心指标包括命中率、精确率、召回率等,需通过自动化工具(如代码示例中的RetrievalEvaluator)和人工抽样双重验证; 生成层:检测回答正确性,关注幻觉问题; 端到端层:综合评估任务完成率和用户满意度。 关键问题:缺乏评测会导致系统性能隐性下降(如检索准确率从70%降至50%未被发现),最终影响用户体验。解决方案建议定期自动化测试结合人工审核,确保检索质量稳定。
2026-07-08 18:00:57
196
原创 RAG 实战 03:检索增强:多路检索、混合检索、重排序
本文探讨了解决检索结果质量参差不齐的方法,提出三阶段解决方案:多路检索(结合向量、关键词和标题检索)、混合排序和重排序。向量检索擅长语义匹配但不精于精确查询,关键词检索则相反。通过Python代码示例展示了三种检索方式的实现(向量检索、BM25关键词检索和标题检索),形成"多路召回→混合排序→重排序"的优化流程,最终提升Top-K结果的相关性。核心思路是利用不同检索方法的互补性,综合优化排序效果。
2026-07-08 10:23:25
421
原创 RAG 实战 02:分块策略:怎么切、切多大、切多碎
本文详细探讨了RAG(检索增强生成)中的关键环节——文档分块策略。针对不同文档类型(技术文档、合同、论文等),推荐了差异化的分块大小(如技术文档500-800字,论文800-1200字),并强调需平衡语义完整性、信息密度和检索效率。文章对比了静态分块(固定大小)与动态分块(按语义边界切分),推荐采用递归分块作为默认策略,按段落层级逐层分割。核心观点是:分块策略需根据文档特性定制,信息密度高则小块,依赖上下文则大块,并配合10-20%的重叠率优化检索效果。
2026-07-07 14:38:59
311
原创 RAG 实战 01:向量检索:为什么搜不准?
本文探讨RAG系统中向量检索的核心挑战与优化策略。主要问题表现为检索不准,原因在于Embedding模型选择、分块策略和相似度度量的不当组合。解决方案包括:1) 根据场景选择适配的Embedding模型(中文推荐BGE系列,成本敏感选OpenAI);2) 分块需平衡长度(中文建议300-800字符)与重叠(10-20%),保持语义完整;3) 综合评估需结合业务数据测试。核心公式"向量检索效果=Embedding模型×分块策略×相似度度量"揭示了优化方向,建议通过MTEB基准和实际查询验证模型表现。(1
2026-07-06 14:23:19
704
原创 并发与扩展:请求队列、限流、多实例部署
传统 API 并发:请求进来 → 查数据库 → 返回结果。简单直接。维度传统 APIAgent延迟分布稳定(p99 ≈ p50 × 2)长尾(p99 可能是 p50 的 10 倍)资源消耗固定(CPU + 内存)动态(上下文窗口大小不一)并发控制线程池 / 信号量LLM 并发数 + 上下文 + 工具限流一个 Agent 运行可能需要:3 次 LLM 调用、2 次工具调用、1 次向量检索。每次调用都是异步阻塞的。100 个用户同时发起请求,等于 500 个并发操作。📌本章核心。
2026-07-05 20:02:51
765
原创 灰度上线:A/B 测试、逐步放量、回滚策略
Agent上线面临测试覆盖低、行为偏移风险、多维指标验证及复杂回滚等挑战,需采用分阶段策略:1)影子模式并行运行新旧版本但不暴露结果,记录对比数据;2)灰度发布按1%→5%→10%→50%→100%逐步放量,每阶段验证指标24小时;3)全程A/B测试监控成功率、延迟、成本等维度。通过代码示例展示影子模式实现逻辑,强调异常时秒级回滚能力,确保发布风险可控。
2026-07-04 20:54:35
461
原创 安全与权限:Agent 能干什么、不能干什么
本文探讨AI Agent的安全防护策略,提出三层防御体系:输入过滤、工具权限控制和输出审查。输入过滤层通过正则表达式拦截已知攻击模式(如指令注入、角色篡改)、意图分类器识别危险指令,以及通道分离技术隔离用户输入与系统指令。工具权限层实施最小权限原则,对敏感操作分级管控(如读写权限分离)。输出审查层则进行敏感信息检测和操作审计。文章强调传统API安全方案不适用于Agent系统,因其决策过程具有不可预测性,需采用综合防护措施。
2026-07-03 10:20:41
786
原创 监控与可观测:从“不知道发生了什么“到“全链路追踪“
Agent可观测性需从调用层、质量层和业务层构建三层监控体系。调用层记录完整Trace链路,包括LLM调用、工具调用等细节;质量层评估任务成功率、答案准确性和用户满意度;业务层分析成本效益与合规性。与传统微服务不同,Agent监控需关注动态决策路径和潜在幻觉问题,确保快速定位和修复错误。关键挑战在于:即使返回200状态码且成本正常,Agent仍可能输出错误答案,因此需结合结构化日志与用户反馈实现全面可观测性。
2026-07-02 11:09:57
529
原创 成本优化:Agent 每次运行烧多少钱?怎么省
本文探讨了如何优化AI Agent的运行成本,重点分析了固定开销(System Prompt、工具描述)、上下文管理和工具调用等关键环节的优化策略。通过按需加载工具描述,System Prompt可从2000 Token降至500 Token;上下文压缩技术(滑动窗口+摘要)能将长对话Token减少60-80%;工具调用缓存可避免重复请求。综合这些方法,Agent的日运行成本可从40元降至8元,降幅达80%,同时保持服务质量。核心思路是:减少不必要开销,优化可变成本,实现高效低成本运行。
2026-07-01 20:06:09
677
原创 从单 Agent 到 Agent 工作流:LangGraph / CrewAI / AutoGen 实战
本文探讨了Agent框架在复杂项目中的必要性,指出工作流引擎主要解决工程化问题而非智能问题。通过对比LangGraph、CrewAI、AutoGen三大框架的特点,强调框架选择应基于场景需求。最后以技术竞品分析Agent为例,演示如何整合决策循环、工具调用、上下文管理等知识点构建端到端工作流。核心结论:简单Agent无需框架,但复杂项目需工作流引擎实现状态持久化、调试追踪等生产级能力。
2026-07-01 11:07:54
461
原创 评测:怎么判断你的 Agent 好不好用
本文提出了一套针对Agent系统的三层评估模型(推理层、行动层、执行层)和六类核心指标(任务成功率、工具调用准确率、进度率、规划质量、步骤效率、稳定性),旨在解决Agent评估中的非确定性问题。关键观点包括:1)40%的Agent失败源于行动层(工具调用错误)而非推理层;2)需要明确定义验收条件而非依赖Agent自述;3)建议采用LLM自动化评估结合人工校准。文章强调精确诊断失败层级(如L2行动层问题需优化工具定义)比单纯关注成功率更重要,并提供了具体代码示例说明各指标的量化方法。
2026-06-30 09:28:14
700
原创 Multi-Agent:什么时候该用、什么时候不该用
Multi-Agent与单Agent架构的选择需基于具体场景。单Agent在80%的场景下更优,因其共享上下文完整、调试简单且延迟可控。Multi-Agent适用于三种情况:避免上下文污染(如分析竞争公司数据)、需并行执行(如同时调多个API)或工具过多导致混淆。混合模式(主Agent+按需子Agent)是实用折中方案,而顺序任务或简单查询则无需拆分。关键设计包括独立上下文、职责边界和结构化通信,指挥链模式足以满足多数需求。Multi-Agent是工具而非默认选项,需权衡收益与协调成本。
2026-06-29 12:31:34
753
原创 Memory 系统:从会话记忆到长期记忆
本文探讨了如何为AI Agent构建高效记忆系统,提出三层记忆架构: L1工作记忆(当前对话上下文):采用滑动窗口+摘要策略管理,仅保留关键任务信息; L2情景记忆(近期事件摘要):异步存储结构化对话摘要和关键事件,支持时间+语义检索; L3语义记忆(长期事实):永久存储用户偏好等结构化数据。作者强调向量数据库并非万能,需针对不同记忆类型设计分层存储策略,并提供了代码示例说明实现逻辑。核心观点是:记忆系统的质量比模型差异更能决定Agent的智能水平。
2026-06-29 11:35:14
529
原创 重试策略:工具层 vs Agent 层,怎么分
本文探讨了Agent工具调用失败时的分层处理策略。作者将错误分为三类:短暂性错误(如网络超时)由工具层自动重试,参数/逻辑错误(如权限不足)需Agent决策调整,危险操作(如写超时)则暂停等待人工确认。工具层通过指数退避+抖动机制处理可重试错误,而Agent层需结构化错误信息以指导模型决策。关键原则是区分错误语义:工具层处理技术性故障,Agent层处理业务逻辑问题,避免盲目重试导致重复操作或无效请求。
2026-06-28 10:33:36
465
原创 上下文工程:不是堆 token,是精准投喂
本文探讨了LLM上下文工程的核心挑战——有限窗口与信息膨胀的矛盾,并提出了5种管理技术:1) 压缩重启用摘要替代冗余历史;2) 外化记忆将关键数据持久化存储;3) 即时加载按需读取数据片段;4) 上下文隔离为子任务分配独立空间;5) 工具设计优化精简工具集。这些方法通过动态管理模型的工作记忆,解决长对话中的注意力分散问题,确保模型在有限上下文窗口内高效处理关键信息。适用于需长期交互或多轮工具调用的Agent场景。
2026-06-27 09:54:46
338
原创 Tool Use 实战:让 LLM 调用外部工具的 3 种模式
本文深入解析了LLM工具调用(Function Calling)的底层原理,强调其本质是Token预测的模式切换,而非新能力。通过监督微调和强化学习,模型学会在特定场景输出结构化JSON。文章指出工具描述质量直接影响调用准确率,并演示了三种实现方式:手动拼装(理解原理)、OpenAI的Responses API(快速上手)及通用模式(兼容国内模型)。每种模式均附代码示例,涵盖工具定义、模型调用到结果解析全流程,适合不同开发需求。关键结论:Function Calling性能取决于工具
2026-06-26 17:13:41
580
原创 写了 10 个 Agent 后,我才搞懂“什么不是 Agent“
本文探讨了AI Agent开发的三个常见误区:1)认为能调用工具就是Agent(实则需感知-决策-执行闭环);2)高估模型能力边界(需区分模型能力与工程兜底);3)盲目采用多Agent架构(可能增加复杂度)。通过决策循环图解析Agent各层级的工程边界,强调模型是引擎而系统设计(Harness)才是核心竞争力。文章指出,真正的Agent需要实现自主闭环,而非简单叠加功能,并建议开发者先做好单Agent再考虑扩展。最后预告了下篇将展示50行代码实现基础Agent的实战案例。
2026-06-25 22:15:43
426
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅