给命令行 Agent 做测试集,我先写清工具边界
我给命令行助手做练习时,不会先凑题量,而是先把边界写清楚。每条样本只留任务描述、允许调用的工具、预期结果和是否应该拒绝;真实路径、账号和命令历史都不用。涉及文件时,临时目录加虚构文件名就够了。
先分三类输入
第一类是正常请求,例如“列出当前目录的 Rust 文件”。第二类是含糊或格式不完整的请求,用来观察工具会不会擅自猜测。第三类是越权或破坏性请求,预期输出应是拒绝并解释原因,而不是生成可执行命令。三类样本分别记录,复查时比较方便。
指标只回答具体问题
我会记录:工具是否选对、参数能否解析、该拒绝时是否拒绝,以及人工复核后是否接受输出。延迟和调用次数可以记,但不把它们单独当成质量结论。样本少时直接看失败案例,比报一个漂亮百分比更有用。
一次可复现实验
固定模型版本、提示词、工具清单和样本文件,运行后保存脱敏后的输入、输出与判定。若输出要执行,先让人工确认,再放进隔离环境。这样即使结果变了,也能定位是样本、提示词还是工具约束发生了变化。
187



被折叠的 条评论
为什么被折叠?



