给命令行 Agent 做测试集,我先写清工具边界

AI 评测系列(05):Agent 评测——工具调用准确率与轨迹质量 对一个客服 Agent(3 个工具,15 个测试用例)进行系统性评测。结果:工具名准确率 73%、参数准确率 100%、步骤效率 0.73x。4 个失败案例全是'应该调工具却没调'而不是'调错了工具',说明 Agent 的工具触发逻辑是瓶颈,不是工具执行逻辑。轨迹质量 LLM-as-Judge 均分 3.73/5,多步骤任务和边界情况表现略差。 阅读详情

给命令行 Agent 做测试集,我先写清工具边界

我给命令行助手做练习时,不会先凑题量,而是先把边界写清楚。每条样本只留任务描述、允许调用的工具、预期结果和是否应该拒绝;真实路径、账号和命令历史都不用。涉及文件时,临时目录加虚构文件名就够了。

先分三类输入

第一类是正常请求,例如“列出当前目录的 Rust 文件”。第二类是含糊或格式不完整的请求,用来观察工具会不会擅自猜测。第三类是越权或破坏性请求,预期输出应是拒绝并解释原因,而不是生成可执行命令。三类样本分别记录,复查时比较方便。

指标只回答具体问题

我会记录:工具是否选对、参数能否解析、该拒绝时是否拒绝,以及人工复核后是否接受输出。延迟和调用次数可以记,但不把它们单独当成质量结论。样本少时直接看失败案例,比报一个漂亮百分比更有用。

一次可复现实验

固定模型版本、提示词、工具清单和样本文件,运行后保存脱敏后的输入、输出与判定。若输出要执行,先让人工确认,再放进隔离环境。这样即使结果变了,也能定位是样本、提示词还是工具约束发生了变化。

Agent、RAG、Skill、MCP四者边界与协作机制详解 AI工程中,Agent是决策调度核心,RAG提供可验证的知识增强能力,Skill封装具备输入/输出/语义三重契约的原子能力,MCP则定义跨系统互操作的标准化通信协议。理解这四者的分层职责——Agent管‘怎么做’、RAG管‘知道什么’、Skill管‘能做什么’、MCP管‘怎么说话’——是构建稳定AI应用的基础。尤其在金融、电商、工业等强规则场景,RAG的chunking策略偏差或Skill的参数契约缺失,极易引发线上静默故障。本文聚焦生产级落地,结合LangChain、LlamaIndex与MCP协议的真实 阅读详情

相关推荐

告别命令行:用ADK的Web UI给你的AI Agent做个可视化调试面板

本文介绍了如何利用ADK的Web UI为AI Agent创建可视化调试面板,告别繁琐的命令行操作。通过详细的配置教程和高级调试技巧,开发者可以直观地监控对话流程、分析思维过程并优化性能,显著提升开发效率。ADK的Web UI功能特别适合需要频繁测试和调试的AI Agent开发场景。

weixin_29214199的博客 187

命令行工具实验失败后该学到什么

我让 Agent 给公开 Markdown 自动分组,结果它把“安装”和“卸载”合成一类。失败不说明模型完全不能用,只说明规则没有被写清。那次输出看着很整齐,类别名称也像模像样;问题是我只抽查了几个相近词,没有把反义操作放进样本。等到准备接到脚本里,才发现卸载说明被推荐到安装分组,读者照着找会直接走错方向。我把这条 fixture 加进测试,并要求模型返回理由和置信度;低置信度直接保留原文。实验输入不含内部文档,输出须人工确认。下一步不是扩大调用,而是补足这类反例。

no1coder的博客 4993

继电保护整定值计算软件_「全套69份」整定值计算与设计方案

【全套69份】整定值计算与设计方案,输电线路、变压器、发电机、电容器、母线保护等下载方式见文末内容预览:10kV高压电机保护原理及整定计算35kV环网运行线路继电保护整定计算方案分析35KV以下继电保护及三段式电流保护整定计算110 kv电网计算机整定计算新方案220kV两相式电铁牵引站供电线路的短路故障计算及其保护整定原则分析220kV周潮线接地距离保护整定计算特殊方案750 kV变压器保护配置...

weixin_30825953的博客 5022

Adversarial LLM Reversal:用逆向思维给Agent做边界体检

大模型应用的最大风险不是答错,而是自信地答错。传统评测依赖标准问法和结果匹配,难以暴露模型在条件变化下的推理缺陷。Adversarial LLM Reversal 借鉴红队思路,通过反转假设、角色、时序等策略生成对抗样本,系统性地检验模型在逻辑邻居上的稳定性。这种方法特别适合Agent场景:工具调用前必须确认前置条件,否则一个错误意图会被下游动作放大成事故。本文以 hermes-agent 为例,讲解如何利用OpenAI兼容接口设计最小可用的对抗逆转评测器,包括变体生成、逻辑审查和批量统计,并将其作为Rev

weixin_34007886的博客 393

交换机基本介绍(分类、性能指标、硬件构成及工作方式)

一、交换机的分类与性能指标 1.1交换机的分类 按照网络构成方式来分的话,交换机分为三类:接入层交换机、汇聚层交换机和核心层交换机。 按照OSI模型来划分的话,分为:二层交换机、三层交换机和四层交换机 还有一种按照硬件形态来划分,可以分成两类:盒式交换机和机框式交换机。 盒式交换机是一种有固定端口数,有时也会带有少量扩展槽的交换机。机架式交换机是一种插槽式的交换机,这种交换机扩展性较好,可支持不同的网络类型,可支持更大端口密度的网络。一般在数据中心的接入层都会采用盒式交换机,盒式...

monologuezjp的博客 4万+

【RTD】AD7793两线式铂电阻PT100/PT1000应用

两线式RTD是低成本的检测方案,适用于检测精度不高、导线长度较短的场合。

只要思想不滑坡,想法总比问题多。 4261

对抗性输入测试:用hermes-agent评估LLM Agent鲁棒性

在大语言模型应用落地中,Agent 的鲁棒性直接决定其能否在真实环境中稳定运行。当输入被刻意扭曲、注入冲突指令或污染上下文时,模型是否仍能遵循预设规则完成任务?这是对抗性测试要解决的核心问题。本文从对抗性输入的基本原理出发,解释如何通过反向用例验证模型行为稳定性,并结合 hermes-agent 框架介绍一套可批量回放的评测流程。内容覆盖测试集设计、批量执行、稳定性评分与典型失败排查,适合正在开发 LLM Agent 或进行安全回归的工程师参考。通过结构化对抗样本与基线对比,团队可以将模型指令遵循能力转化为

weixin_30740295的博客 383

18 中望CAD二次开发-DWG参照(ZRX C++)

本文介绍了CAD参考外部dwg文件的原理和代码实现及如何卸载参考文件的全过程,是中望CAD二次开发中重要的功能。

cilvsuanna的博客 208

用评测驱动迭代:为 Agent 构建回归测试与对抗测试集

在传统软件工程中,回归测试是指在软件发生变更(如修复bug、添加新功能、性能优化)后,重新运行已有的测试用例,以确保这些变更没有引入新的错误或破坏现有功能。防止能力退化:当我们对代理进行更新、微调或添加新功能时,确保它在已有任务上的表现不会下降验证行为一致性:确保代理在相同或相似输入下产生一致、可预测的输出监控性能指标:持续跟踪关键性能指标,确保它们保持在可接受的范围内对抗测试是一种主动、有目的地寻找系统弱点的测试方法。

AI大模型应用之禅 427

基于STM32XX的LCD液晶显示屏(HS280S010B、驱动芯片:ST7789V)驱动C程序设计

/ 16位/pixel (RGB565)#define LCD_WIDTH 240 // 屏幕宽度。#define LCD_HEIGHT 280 // 屏幕高度。LCD_ROTATION_180, // 180度旋转。LCD_ROTATION_270 // 270度旋转。LCD_ROTATION_90, // 90度旋转。LCD_ROTATION_0 = 0, // 0度旋转。

myron6688的博客 370

大模型知识边界探索:LLM设计的极限测试

最优化理论是数学中的一个分支,主要研究如何从给定的一组约束条件下找到最优解。目标函数:定义了需要优化的指标,可以是最大化或最小化。约束条件:定义了在优化过程中需要满足的限制条件。无约束优化:目标函数和约束条件都不存在。有约束优化:目标函数存在,但存在约束条件。多目标优化:同时需要优化多个目标函数。极限测试(Ultimate Test)是一种系统性的方法,用于评估大型模型(如LLM)在极端条件下的性能和稳定性。极端数据分布:与模型训练数据分布显著不同的数据集。极端计算资源。

AI天才研究院 436

企业 AI Agent 上线前,为什么必须先做评估体系?

企业AIAgent上线前必须建立评估体系的核心原因在于:评估不仅是质量检测手段,更是定义产品规格、确保可控迭代的基础设施。评估体系需要明确Agent的任务边界、成功标准和风险红线,建立覆盖功能、安全、成本的量化指标,记录完整执行过程以定位问题。这能有效避免"凭感觉优化",确保每次改动可验证,并为生产环境监控建立基准。亚马逊云科技建议采用代码规则、模型评判和人工审核相结合的评估方式,将评估嵌入全生命周期,形成"定义-开发-验证-监控"的闭环。

zxlsdmn123的博客 342

YOLO26涨点改进 | 独家创新,细节涨点改进篇 | CVPR 2025顶会 | YOLO26引入Mona即插即用模块, 含MoCAA和DyTMona二次创新改进,含多种创新改进高效发论文

本文给大家介绍Mona即插即用模块, 含MoCAA和DyTMona二次创新模块优化YOLO26模型。YOLO26引入 Mona通过引入多尺度视觉友好型卷积滤波器(如3x3、5x5、7x7深度卷积)和可伸缩归一化层来优化适配器设计,以更好地处理视觉信号并调节输入特征分布。YOLO26引入Mona即插即用模块, 含MoCAA和DyTMona二次创新改进,含多种创新改进高效发论文。适合目标检测、图像分割、图像分类等所有CV任务通用即插即用模块。

Ai缝合怪、助力小伙伴高效发论文 244

LangChain Agent 定制开发:从工具绑定到推理链路的深度调优

"查询业务数据库。\n""适用:获取用户/订单/商品数据\n""禁用:数据修改/实时性要求高的场景\n""输入:标准 SELECT 语句\n""输出:JSON 结果列表(最多 1000 行)"# 安全校验return json.dumps({"error": "仅支持 SELECT 查询"})# 业务逻辑try:})"hint": "检查表名是否在 [users, orders, products] 中"})关键改进用换行符分隔描述模块(比长段落更易解析)

2401_87746054的博客 3051

24、水下传感器网络中混合LEACH协议与遗传算法获取路由节点

本文提出了一种结合遗传算法与LEACH协议的混合路由方案,用于提升水下无线传感器网络(UWSN)的能量利用效率和数据传输稳定性。通过遗传算法优化簇头选择与路径规划,有效避免节点过早死亡,减少能量消耗,在200个节点场景下显著提升网络寿命。相比传统LEACH协议,该方案具有更高的能量利用率、更强的环境适应性,并支持传输历史记录与并行传输序列。实验结果显示,该方案在总能量为2000焦耳时剩余能量达75.6%,远优于LEACH的34.8%能耗表现。适用于海洋监测、石油平台监控及水下灾害预警等复杂环境应用。

i8j9k0l1的博客 112

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

GLM-5.3 AI编程Agent安全实践:从循环工程到安全边界构建

AI编程助手正从代码补全工具向能自主执行任务的智能体(Agent)演进,其核心在于理解复杂工程上下文并进行多轮迭代的“循环工程”能力。这一转变将开发者的角色从编码者重塑为AI团队的管理者与规则制定者,其技术价值在于通过“规划-执行-评审-修正”的闭环,显著提升复杂任务的自动化解决能力。随之而来的关键挑战是如何确保AI Agent行为的安全、可控与可预测,即划定其“安全边界”。应用场景广泛,例如在代码重构、测试套件生成、性能分析等开发环节中,AI Agent可调用外部工具协同工作。本文以GLM-5.3模型为例

weixin_34124651的博客 322

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

云原生 Agent 怎么测:先把任务集和运行指标对齐

Agent 跑在 Kubernetes 里,CPU 和内存只是底盘数据。一次任务还会经过模型、工具、解析与受限重试,P99 抖动可能来自其中任意一段。只拿静态 Prompt 压测,测不出上下文增长、工具超时和畸形 JSON 这些长尾。测试集要覆盖任务类型和失败方式;观测则把模型延迟、工具调用、上下文长度与 Pod 资源放到同一条 Trace 上。先把节拍对齐,再谈扩容。

2609_95049439的博客 5105

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

26款国产Agent工具分类清单:办公型Agent 、桌面Agent、Agent搭建平台、开源Agent

本文精选国内26款主流Agent工具,按产品形态分为五大类:桌面办公型、搭建平台型、企业级垂直型、开源框架和终端系统级。桌面办公型以阶跃AI、豆包、Kimi等为代表,主打零配置开箱即用;搭建平台如Coze扣子、腾讯元器等支持低代码创建定制化Bot;企业级产品如影刀RPA、蚂蚁Agentar聚焦行业深度需求;开源框架Dify、RAGFlow满足私有化部署需求;终端级Agent如鸿蒙小艺实现跨设备调度。文章强调选择应优先匹配具体场景(如文档处理选Kimi、钉钉生态选千问办公),并提供每类产品的核心优势、适用场景

AIproducthub的博客 1131

AI Agent自然语言查询的测试集构建:从“拍脑袋“到工程化

去年冬天,我参与了一个零售企业的AI问数项目。上线前团队信心满满,觉得自然语言查数这件事"差不多成了"。结果第一周就翻车:财务总监问"上个月的毛利率",系统返回了采购成本率;运营经理问"华东区的退货率",系统把"华东"理解成了"华东北区"——一个根本不存在的区域划分。问题出在哪?不是模型不够聪明,而是我们根本没有一套像样的测试集。就像盖房子不打地基,楼盖得越高,塌得越快。这篇文章想聊的,就是怎么从零开始搭建一套AI Agent自然语言查询的测试集。

sghtgjfhv的博客 239

SWE-agent评估工具:基准测试集成

你是否还在为AI代码助手的实际效能评估而烦恼?在软件工程领域,语言模型的能力评估长期面临三大痛点:测试场景碎片化、评估指标不统一、复现成本高企。SWE-agent的评估工具链通过深度集成SWE-bench基准测试,为这一困境提供了系统化解决方案。本文将详解SWE-agent的基准测试框架,展示如何通过配置驱动的评估流程、自动化结果提交与多维度指标分析,构建可信赖的AI代码助手评估体系。 读完本文...

gitblog_01093的博客 1087

AI Agent 验证实战:Evals、工具调用与持续回归工程化

大语言模型应用正从简单的对话交互走向自主决策与工具调用,AI Agent 因此在复杂业务场景中承担起越来越关键的角色。然而,模型输出的概率性使得传统软件测试方法难以覆盖其行为边界,工程团队迫切需要一套面向大模型评测的验证体系。Evals 作为系统化评测方法,通过构建测试集、运行器与判定器,能够对 Agent 的工具选择、参数合法性、决策路径与最终结果进行持续检验。从规则断言到 LLM-as-Judge,从最小用例集到 CI/CD 回归流程,这种方法让团队在每次 Prompt 修改、模型升级或工具变更时都能获

weixin_34192816的博客 475

AI Agent Harness Engineering 产品经理必修课:如何绘制 Agent 的能力边界与失败场景地图

术语产品经理友好版定义专门针对AI Agent的管控工程体系,核心目标是明确Agent的能力边界、管控失败场景的风险,让Agent的输出符合业务预期、合规要求、用户体验标准Agent 能力边界Agent能够安全、准确、高效完成的任务的集合,边界之外的任务Agent要么做不好,要么做了会给业务带来不可承受的损失失败场景地图Agent所有可能出现的失败场景的结构化记录,包含每个场景的触发条件、发生概率、损失程度、应对措施,相当于Agent的“风险应急预案库”

AI开发架构师 229

AI Agent运行时护栏:从ModelFuzz看安全边界设计

大模型应用正从单轮问答走向多步任务执行,AI Agent的自主性与外部工具调用能力日益增强,随之而来的越权操作、误删数据、提示词注入等安全风险成为工程化落地的核心挑战。运行时护栏(Runtime Guardrails)作为一种不干预模型训练、而是在推理与执行链路中实时校验输入输出和工具调用的基础设施,为Agent与外部世界之间建立了可配置的安全边界。其核心原理是策略驱动(Policy-driven)的拦截机制,通过白名单/黑名单、条件匹配和审计日志,实现最小权限原则与可观测性。该思路已应用于文件管理、数据库

weixin_26642481的博客 266

非科班如何使唤46个AI虚拟员工?从Agent拆解到落地

大模型正在加速走进真实工作场景,其真正价值不在于聊天,而在于将通用对话能力转化为可重复执行的任务。AI Agent作为大模型之上的行动层,通过知识库和工作流协同,让机器从回答一个问题变成完成一整条业务流程。对于非科班用户而言,掌握Agent的任务拆解、工具选型与效果验收,远比写代码更重要。从会议纪要整理到竞品分析,再到批量内容处理,虚拟员工能把零散重复劳动固化成可监控的API服务。围绕智能体底层逻辑,结合低代码平台、RAG检索增强生成与流程编排等实用技术,这套方法论能够支持将1个Agent扩展成46个虚拟员

weixin_30691871的博客 431

从零搭建AI Agent应用:模型、编排与工具调用的工程链路

AI应用开发中,大模型API的单次调用看似简单,但真正落地到业务场景时,常面临提示词不稳定、上下文丢失、Agent流程失控等工程问题。这类问题并非源于模型能力不足,而是缺少一套围绕模型构建的可编排、可观测、可评估的工程体系。本文以“Beetles AI”为例,系统拆解AI Agent应用从需求拆解到部署上线的完整流程:模型选型需权衡延迟、成本与能力,工具设计要遵循可序列化原则,提示词需明确边界而非堆砌知识,同时评测集与日志追踪是保障长期稳定的关键。通过Python实现最小可运行的Agent循环,展示意图识别

chubaisheng8627的博客 295

agent-skills 代码覆盖率实战:让测试先兜住关键功能

agent-skills 是给 AI 编码代理用的生产级工程技能包。这篇讲清代码覆盖率在其中的真实用法:覆盖率命令挂在哪几条链路上、报告里三个指标各盯什么、发布前盲区怎么挖。5 分钟读完,你能在自己项目里复刻同一套动作。 ## 单测全绿也会出事:漏测是怎么溜进生产的 这节先讲一个失败场景,说清为什么用例数量不等于安全感。 某项目所有单测通过,合进主干后用户报崩溃,触发条件是一段空输入加超时重

gitblog_00646的博客 1020
上一篇: Rust 错误处理别只会 unwrap:上下文和错误边界怎么留
下一篇: 非科班学 Rust,我先做一个能跑的小命令
第一程序员
博客等级 码龄1年 1万+粉丝 1822原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值