- 博客(214)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Agent测评-优化落地-我们的评估试点（二十二）
本文以中文记账Agent复现环境为试点对象，构建了一份可核对、可重算的试点报告。报告通过八档配置、二十二位判据、一百零七格涨跌的台账化呈现，明确列出收益、代价、副作用与待补测项，强调每一数字均可由脚本重算，杜绝不可验证的综合分误导。采用“六问六产”结构，严格区分数据层、决策层与代价层边界，确保结论仅在可外推范围内成立。最终通过三遍逐字节一致与独立复核，验证了报告的自洽性与可追溯性，为后续投入提供可信依据。
2026-10-28 13:54:24
598
原创 Agent测评-优化落地-低分速查与踩坑复盘（二十一）
本文针对AI Agent评估中常用的速查表，指出其三大结构性缺陷：无法定位具体题目、改进方向混杂多层动作、缺乏验证机制。作者基于实测数据，逐行分析十四项低分指标，建立维度与判据的精准映射，揭示“落不到题、落不到层、无验证”的问题根源，并通过双向对账、成分拆解与可自检清单，构建可执行、可追溯的改进流程，最终形成一张能落地的改动记录单，实现从“方向”到“动作”的闭环。
2026-10-28 12:36:21
172
原创 Agent测评-优化落地-三个杠杆一次拉（二十）
本文通过四套题70道、285个格子的逐格差分实验，系统验证了prompt优化中三大杠杆——system prompt措辞、工具说明完整度、模型能力档——的收益与代价。结果表明：完善工具说明可净增89命中（无倒退），而强行强化system prompt反而因自相冲突导致净损失76；文字增益存在边际效应，同一句话在prompt与工具说明中效果不同；不换模型亦可通过优化前两者提升“只能靠换模型”的部分表现。最终输出可直接用于变更决策的实证对照表。
2026-10-27 15:35:48
439
原创 Agent测评-优化落地-分数是方向盘（十九）
本文以一张低分项成绩单为起点，提出“评估驱动优化”四步法：定位（反解得分）、归因（判断责任层）、改动（仅动对应层）、复核（同一把尺重测）。强调分数应作“方向盘”而非“成绩单”，避免凭感觉修改。通过实测验证，指出常见错误如改后不复核、误判归因、盲目换模型等，并强调可复现的机制演示与变更记录的重要性，最终构建可追溯、可验证的优化闭环。
2026-10-27 13:54:10
405
原创 Agent测评-生产实战-多轮安全与抗扰（十八）
本文深入解析记账Agent评估中多轮、安全、稳定三套题的深层挑战。指出其判据不依赖账本终态，仅看工具名或文本关键词，导致“分数与现实脱节”。三套题各自存在“假满分”通道：多轮集可失忆得分，安全集能以守护词糊弄，抗扰集可随意记账。分母动态变化更使分数不可横向比较。核心问题在于判据与测试意图间存在“缝隙”，需重构评估逻辑以真实反映Agent能力。
2026-10-26 15:01:32
193
原创 Agent测评-生产实战-核心集跑分与解读（十七）
本文深入解析跑分过程中的“读表”难题，揭示成绩单上每个数字背后的生成逻辑。通过复现完整跑分链路，剖析指标分母、弃权规则、轨迹筛选与汇总机制，指出常见误读陷阱（如误将0.69当稳定通过率、空白即失败等）。强调分数本质是“题库×判据×轨迹”三重交集结果，不可直接比较。提出可复现的探测框架，明确边界：仅基于确定性剧本与本机验证，不复刻平台侧复杂逻辑。最终目标是让跑分从“执行”变为“可解释、可复现、可归因”的科学行为。
2026-10-26 13:23:30
300
原创 Agent测评-生产实战-多维评估器拆解（十六）
本文通过逐个拆解22个评估器，揭示了仅看总分的严重盲区：多个指标对错误行为无响应、部分指标返回值含义模糊、大量真实错误未被覆盖。作者以实测验证，发现满分背后隐藏着评估失效、判据缺失与盲区泛滥等问题。文章从契约、判据、盲区三层面重构评估体系，提出可复现、可解释的评估方法，强调必须“拆开看”，才能真正理解评估结果的可信度。
2026-10-23 19:52:07
612
原创 Agent测评-生产实战-评估数据集设计（十五）
本文强调题库是Agent评估中最昂贵且不可回收的资产，指出评估器成本低而题库设计缺陷会导致“假分数”——看似合理实则误导。文章提出题库需履行输入、期望、判分、环境四重契约，并通过可复现的本地脚手架（钉死时钟、独立账本、输出掩码）对70道题进行14项探测，验证列结构、期望值可重算性、判分逻辑一致性等，揭示负金额与指代题中的评分漏洞。结论强调：题库应在接入模型前完成工程化校验，否则后续所有评估皆不可信。
2026-10-23 16:14:05
677
原创 Agent测评-生产实战-可复现三件套（十四）
本文聚焦“跑得起来”不等于“复现得了”的核心问题，揭示评估不可复现的三大根源：环境漂移、数据污染与并发干扰。通过构建可重跑的本地骨架，提出“固定时间、每例重置、串行执行”三件套方案，并以15个探测脚本实证验证时钟读取、重置机制、并发竞争等关键环节。强调可复现性非工程洁癖，而是成绩单可信的前提——唯有将环境噪声归零，模型自身抖动才可被真实观测与比较。
2026-10-22 19:24:33
267
原创 Agent测评-生产实战-记账Agent全景（十三）
本文通过实测一个包含14个工具的真实记账Agent项目，揭示其复杂性远超单一工具的计算器。重点分析了请求成本、错误面与副作用编排三大结构性挑战，验证了工具调用链路、账本状态变化及评估指标落点的可测性。基于本机复现与假模型服务，明确可验范围与不可验项，构建了“回答-轨迹-库状态”三线评估全景图，为后续能力评估提供可解释的结构基础。
2026-10-22 17:57:36
97
原创 Agent测评-平台实操-三种裁判与人工校准（十二）
本文通过实测验证裁判系统准确性，揭示规则裁判与模型裁判的典型误判：前者因关键词覆盖不足误杀合规回答，后者因提示词隐含判据导致漏判。作者构建确定性靶子，串联“立靶子—规则裁判—模型裁判—人工标注—对齐评估”六步流程，以人工标准校准机器裁判，最终实现裁判可用。强调需区分“判定式缺陷”与“提示词盲区”，并提出可复现的校准路径，为评估体系可靠性提供实践框架。
2026-10-22 15:12:39
635
原创 Agent测评-平台实操-并排对比防回归（十一）
本文探讨了在模型评估中仅依赖均分的局限性，提出“比”需分层次：一是分数对照（逐题对比），二是成对判定（引入裁判机制）。通过实测对比两版 prompt（心算 vs. 工具调用），揭示均分可能掩盖“修复 A 却引发 B 回归”的风险。文章详解 evaluate_comparative 接口使用与数据生成逻辑，并强调仅靠成对分不足以防回归——必须结合逐题分类（修复/回归/都错）才能做出安全上线决策。最终指出：真正的防错依赖于不写入平台的逐题对齐分析，而非仅看系统生成的对比结果。
2026-10-22 11:35:39
311
原创 Agent测评-平台实操-评估器与第一份成绩单（十）
本文系统阐述了评估Agent的两大核心组件：评估器与成绩单，强调“分数是评估器的产物而非Agent属性”，揭示了评估体系中角色分工与契约的重要性。通过实测脚本验证接口签名、参数合法性、多评估器并行、错误处理等关键细节，构建可复现、可追溯的自动化评估流程，为大规模模型迭代提供可靠量化依据。
2026-10-21 13:29:59
252
原创 Agent测评-平台实操-把用例变成题库（九）
本文聚焦于构建可复用、可溯源的题库体系，强调“轨迹”与“题库”是两种不同数据结构：前者为单次运行记录，后者为批量评估的输入单元。通过厘清Dataset（题库）、Example（题目）的核心字段与必填项，明确题库需具备名字、可重跑、可审计等特性。文章指出，题库能解决提示词迭代、团队协作与判断标准变更中的三大痛点，最终实现从散乱用例到结构化题目的转化，为后续批量评估奠定基础。
2026-10-21 11:04:27
336
原创 Agent测评-平台实操-接入与轨迹回放（八）
本文解决靶子阶段Agent在轨迹记录上的三大短板，聚焦于完整轨迹上报与可读性提升。通过四步接入：配置四大环境变量、安装langsmith包、导入traceable装饰器并加在业务入口函数上，实现“零侵入”观测。实验验证：接入前后行为完全一致，上报失败不影响业务，且无需修改核心逻辑。强调数据合规性——上报包含用户输入与模型输出，需提前规划脱敏与权限管理。最终目标：让一次运行的完整轨迹自动上报，为后续批量评估、对比与人工校准打下可解释基础。
2026-10-20 19:55:20
292
原创 Agent测评-平台实操-从零搭一个最小Agent（七）
本文阐述了构建最小Agent作为评估靶子的必要性：先亲手搭建一个可复现、可判分、可观测、可归因的极简乘法计算Agent，以确保后续评估有清晰参照。通过固定温度、使用唯一正确答案、记录工具调用日志，实现行为可追踪。采用假模型模拟决策过程，无需API Key即可观察循环逻辑与错误归因。最终目标是建立一个“能跑、看得清、改得动”的可对比底座，为后续评估提供可靠基础。
2026-10-20 19:09:41
227
原创 Agent测评-评估认知-评估平台选型（六）
评估规模化后，手工清单无法承载复杂度，需平台承接完整评估闭环。核心痛点在于：运行轨迹难留存、用例管理混乱、版本对比缺失、机器判分无校准。平台应具备采集、资产、打分、对比、线上五层能力，实现从用例到分数的可追溯、可复现、可迭代。选型需结合团队阶段，聚焦“当前最痛断点”，按采集→对比→资产→打分→线上顺序验证能力，避免被花哨功能误导。最终目标是让失败样本自动回流，形成质量闭环。
2026-10-16 14:04:59
249
原创 Agent测评-评估认知-特殊角度与清单拼装（五）
本文提出评估Agent需分两层：通用七类评估其“可靠性”，13个特殊角度则聚焦“专业性”。通过三族分类——内容与信息链路、执行与环境、协作与过程控制，深入解析检索引用、文档解析、数据分析等关键维度，并提供可机判的评估方法与用例设计，助力构建可查、可复审的完整评估清单。
2026-10-16 10:46:17
335
原创 Agent测评-评估认知-多轮安全与稳定性（四）
本文指出，仅评估单轮表现不足以确保Agent在真实场景中的可靠性，需重点关注三类“上线才炸”的问题：多轮交互中的上下文记忆、规则与权限的边界守卫、以及抗扰与版本变更下的稳定性。尤其在多轮对话中，指代解析错误、关键槽位丢失等隐蔽缺陷常导致动作偏差却对话表面正常，必须通过成对用例、对象命中校验与状态延续检测进行专项评估，才能真正保障系统鲁棒性。
2026-10-15 16:25:41
623
原创 Agent测评-评估认知-过程轨迹与依据一致性（三）
本文聚焦Agent评估中的过程轨迹与依据一致性，强调仅看结果易误判。通过完整轨迹（trace）分析，识别五类“坏轨迹”：漏步、绕路、重复、死循环、顺序颠倒，并提出基于调用树的检查机制。指出过程评估可区分“蒙对”与“真会做”，保障系统稳定性。结合代码实现，提出死循环粗筛策略，核心在于检测重复调用与步数失控，辅以参数变化判断进展，确保路径合理、结论可信。
2026-10-15 10:39:15
107
原创 Agent测评-评估认知-任务结果与工具动作（二）
评估Agent需从“任务结果”与“工具动作”双维度入手。前者关注是否达成目标，包括正确性、完整性和格式合规；后者审视执行过程是否合理，如工具调用是否准确、参数是否恰当。二者缺一不可：仅看结果易被“歪打正着”误导，仅看动作则可能忽略最终失败。实际应用中，可通过标准答案比对、状态核查、JSON Schema校验及大模型评分等方法落地评估，形成可量化的指标体系，实现对Agent能力的精准诊断与优化。
2026-10-14 17:49:41
159
原创 Agent测评-评估认知-评估为什么难（一）
本文剖析了Agent系统测试的六大难点，指出传统测试在面对多解性、多步链式执行、模型随机性等挑战时失效。核心问题在于：标准答案不唯一、过程不可见、结果不可复现。作者强调，评估必须从“等值匹配”转向“条件断言”，记录完整执行轨迹，并通过多次运行统计稳定性，才能真正验证Agent能力，避免“蒙对即通过”的隐患。
2026-10-14 17:09:51
330
原创 Jev模型完整解析：原理、示例、优缺点与适用场景
Jev 是专注判定、分类与打分的轻量化决策模型，无文本生成能力，采用 RLCD 训练，可输出具备统计意义的置信概率。它解决传统大模型结构化输出不稳定、成本高、延迟高的痛点，支持零样本快速落地，适合风控、工单分流、意图识别等高频判断场景。该模型不擅长复杂推理与内容创作，场景边界清晰。工程上常采用 Jev 与通用大模型的快慢分层架构，简单判定由 Jev 承担，低置信案例交由大模型兜底，实现系统降本提速。本文介绍 Jev 核心原理、能力、Prompt 规范、调用代码及落地避坑方案，供开发者选型与实践参考。
2026-09-23 15:01:48
864
原创 MCP封装完整指南
这篇文章介绍了MCP（Model Context Protocol）协议及其Python实现。MCP是Anthropic推出的标准化协议，用于AI模型与外部工具的交互，类似USB接口连接设备。文章分为六个部分：首先定义MCP及其核心价值（标准化、解耦、复用、安全）；然后详细讲解MCP三大核心概念：工具（可调用功能）、资源（可读数据）和提示词（交互模板）；接着说明MCP的客户端-服务器架构和工作流程；最后提供Python实现示例，包括环境准备和天气查询服务的代码演示，展示如何创建MCP服务器、定义工具函数和处
2026-05-06 15:47:01
763
原创 Claude Code SDK for Python（旧版本） 完全指南
本文介绍了Claude Code SDK的安装与使用方法。主要内容包括： 环境准备： 要求Python 3.10+和Node.js环境 通过npm安装Claude Code CLI工具 使用pip安装Python SDK 核心功能与基础用法： 支持异步查询和流式响应 提供配置对话参数的能力（系统提示、工作目录等） 集成常用工具（文件读写、Bash命令等） 包含快速入门示例和响应内容解析方法 高级功能： ClaudeSDKClient客户端支持双向交互式对话 可实现自定义工具（In-Process MCP服务
2026-03-24 11:05:46
797
原创 Claude Code 安装指南
Claude Code 安装与使用指南 Claude Code 是 Anthropic 推出的 AI 编程助手命令行工具，可将 Claude 的强大能力集成到开发环境中。本文档提供了完整的安装和使用说明： 系统要求：需 macOS 10.15+/Linux/Windows(WSL2)，Node.js 18+，有效的 Anthropic API Key 安装步骤： 注册 Anthropic 账号获取 API Key 安装 Node.js 18+（提供多平台安装方法） 通过 npm 全局安装 Claude Co
2026-03-19 17:36:30
942
原创 Claude Code 技能包（Skills）+ MCP + CLAUDE.md 实战详解
Claude Code 是 Anthropic 推出的 AI 开发辅助工具，通过四大核心功能提升开发效率：Skills（预封装工作流）、MCP Servers（外部连接）、CLAUDE.md（项目记忆）和 Plan 模式（规划执行）。本文重点解析 Skills 功能，它包含指令文档、代码脚本和参考资料三大模块，具有零代码创建、灵活应对、多技能联用等优势。Skills 采用渐进式加载机制，按需加载不同层级内容，避免占用过多上下文资源。文章详细介绍了官方 Skills 列表、两种安装方法（命令行和手动安装）以及
2026-03-19 16:30:32
6993
原创 LangChain + DeepSeek 智能体开发（一）
本文档为AI应用开发新手提供基于LangChain生态的全流程实战指南，从基础认知到完整实现一个天气查询智能体。内容涵盖三大核心组件（LangGraph底层框架、LangChain开发框架、DeepAgents套件）的定位与关系，详细讲解环境搭建、代码实现、报错排查等关键步骤。文档包含Python环境配置说明、API密钥申请指南、代码逐行注释及多场景测试案例，并针对常见问题提供解决方案。通过本教程，零基础开发者可快速掌握智能体开发的核心技能，最终实现可自动调用工具的天气查询应用，所有代码均可直接运行调试。文
2026-03-17 23:12:43
867
原创 详解Docling与Docling-MCP：文档解析工具与MCP服务全指南
摘要：Docling是一款开源全能型文档解析工具，支持PDF、Office、音频等多元格式，提供高级PDF解析、统一文档表示与多格式导出功能。其衍生工具Docling-MCP基于MCP协议封装标准化服务，支持本地缓存与多协议调用。本文详细介绍了二者的核心功能、本地搭建步骤（Python 3.10+环境配置）及基础使用方法，包括单文档/批量转换、CLI操作等，帮助开发者快速实现非结构化文档的高效解析与AI集成。
2026-03-17 20:40:44
1137
原创 Claude Agent SDK 开发指南
Claude Agent SDK 开发指南摘要 本文档详细介绍了Anthropic官方Python SDK的使用方法，涵盖从基础到高级的开发实践。主要内容包括： SDK概述：提供与Claude交互的Python工具包，支持查询模式和客户端模式，内置文件操作、命令执行等系统工具。 安装配置：支持标准pip安装和开发环境安装，需Python 3.10+，提供环境变量配置说明。 核心架构：三层架构设计（Transport层、Query引擎、Message Parser），实现高效通信和消息处理。 基础使用：包含简
2026-03-17 18:07:56
1555
原创 Prompt、Agent、Skill、MCP、Claude Code 到底啥区别？
【AI系统架构解析：用"开公司"类比理解核心概念】 本文通过"开公司"的类比方式，清晰解析了AI系统的层级架构和核心概念差异。底层LLM是公司的"核心人才"；Prompt如同临时口头指令；Agent则是自主执行任务的"员工"；Skill相当于标准化SOP手册；MCP是连接外部资源的"门禁卡"；Cursor等IDE工具是通用办公场地，而ClaudeCode则是专攻代码的"特种兵"。
2026-03-11 14:15:17
672
原创 一文搞懂什么是 Skills？
Claude推出Skills功能模块，通过预置脚本和模板实现任务自动化执行，相比传统方式效率提升40%。Skills与MCP形成互补关系，前者专注任务执行，后者负责系统连接。目前提供12个开源Skills案例，支持自定义开发。这一创新标志着AI应用正从提示词工程转向模块化能力复用，未来企业竞争力将取决于Skill库的丰富度和适用性。
2026-02-09 21:52:59
1402
原创 LangGraph：状态管理与条件路由（二）
本文深入解析LangGraph中的状态管理与复杂流程控制技术。核心内容包括：1）State设计模式，通过不可变状态和增量更新实现可预测的数据流转；2）条件边机制实现基于状态的动态跳转；3）利用异步节点和聚合节点处理并行任务；4）错误处理与重试机制增强系统鲁棒性。最后通过多轮对话订单助手案例，综合展示了槽位填充、状态记忆等功能的实现方法。这些技术共同构成了构建高效、可靠AI工作流的基础框架。
2025-11-18 10:12:09
1549
2
原创 LangGraph：核心概念与简单对话流程（一）
摘要： LangGraph是一个基于大语言模型（LLM）的工作流编排框架，通过图结构组织任务节点和状态流转，支持复杂控制逻辑（如条件分支、循环）。核心组件包括State（共享状态对象）、Nodes（处理单元）和Edges（转移规则），适用于智能客服、数据分析等场景。本文详细介绍了安装步骤、核心概念，并演示了一个对话系统示例：用户输入经意图识别节点（调用DeepSeek模型）路由至对应处理节点，生成响应。LangGraph的图结构设计使其特别适合多轮交互和动态决策应用。
2025-11-18 10:07:53
1832
原创 Pydantic AI：多智能体应用开发（六）
本文介绍了基于PydanticAI的多智能体应用开发指南，主要内容包括： 多智能体应用分类：从单智能体到基于图的控制流四个复杂度级别 智能体委托开发：通过joke生成示例展示主智能体将任务委托给专业智能体的实现方式 程序化智能体交接：以航班预订系统为例，展示应用程序代码控制多个智能体执行顺序的方法 复杂系统实现：构建完整的机票预订系统，包含航班搜索、座位选择和订单确认流程 最佳实践：强调单一职责、接口清晰、错误处理和资源管理等设计原则 文中通过具体代码示例演示了依赖传递、使用量统计、消息历史维护等关键技术点
2025-11-17 16:35:39
1680
原创 Pydantic AI：模型上下文协议 (MCP)（五）
模型上下文协议(MCP)是一种标准化接口协议，支持AI应用程序与外部工具服务的无缝集成。MCP定义了客户端(如PydanticAI代理)与服务器端的标准通信方式，支持stdio、HTTPSSE和可流式HTTP等多种传输协议。PydanticAI既可作为客户端连接各类MCP服务器(如计算服务、天气服务等)，又能作为服务器提供AI能力。协议支持工具调用自定义、命名空间隔离、TLS/SSL安全配置等高级功能，并创新性地实现了采样机制(服务器使用客户端LLM)和信息诱导(结构化输入请求)。MCP显著提升了AI系统的
2025-11-17 16:26:03
1494
原创 Pydantic AI：工具集详解（四）
PydanticAI中的工具集(Toolset)是一种强大的工具管理机制，允许开发者批量管理、组合和动态配置AI代理(Agent)的工具。工具集支持四种注册方式（构建时、运行时、装饰器和上下文覆盖），并提供三种工具添加方法（构造函数、装饰器、动态添加）。通过组合、过滤和重命名工具集，可以实现复杂的功能组合。高级功能包括动态工具定义、执行包装器（如日志记录和缓存）以及多模态支持（如图像处理）。本文以电商客服系统为例，展示了工具集在实际应用中的价值，包括产品查询、订单管理和客户服务等功能的集成。工具集机制使AI
2025-11-17 16:19:14
828
原创 Pydantic AI：函数工具详解（三）
PydanticAI函数工具详解 PydanticAI的函数工具系统为LLM模型提供了强大的现实交互能力，核心价值包括： 能力扩展：突破纯文本限制，支持执行具体操作 实时数据：获取训练时未知的最新信息 确定性操作：结合AI推理与程序逻辑 系统集成：连接数据库、API等基础设施 工具注册机制： 装饰器方式：@agent.tool（需上下文）和@agent.tool_plain（纯函数） 构造函数注册：通过Agent的tools参数批量注册 支持Pydantic模型定义复杂参数结构 高级特性： 多模态输出：支持
2025-11-17 15:23:46
1335
原创 Pydantic AI：依赖项系统详解（二）
本文介绍了PydanticAI中的依赖注入系统，该系统采用类型安全的方式为AI代理提供所需的外部服务和数据。主要内容包括：1）依赖项的定义与注入机制，推荐使用数据类组织复杂依赖；2）通过RunContext在系统提示、工具和验证器中访问依赖项；3）同步/异步依赖项的使用场景与实现方式；4）测试时依赖项覆盖的方法；5）SQL生成和多模态应用等实际案例。该系统遵循Python最佳实践，支持类型提示，使应用易于测试、维护和扩展。文章通过丰富代码示例展示了如何构建类型安全、模块化的AI应用，特别适用于使用qwen系
2025-11-17 14:30:36
1090
原创 Pydantic AI ：从安装到智能体开发（一）
PydanticAI是一个由Pydantic团队开发的Python框架，用于快速构建生产级生成式AI应用。该框架支持主流模型（如阿里云Qwen系列），提供类型安全、无缝监控和可靠执行等特性。文章详细介绍了安装配置、基础使用（同步/异步运行）、工具集成、流式输出、多模态处理（图像理解）、配置优化和实际应用案例（如数据分析助手）。PydanticAI通过依赖注入、结构化输出和错误处理等机制，使开发者能够轻松构建复杂AI工作流，特别强调生产环境的可靠性和开发者体验。
2025-11-17 13:55:19
2092
Redis Desktop Manager For Mac 2021.10.236（支持M2芯片）
2024-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人