Rust AI 命令行工具怎么验:输出、退出码与失败路径
我做 CLI Agent 练习时,最初只在两条命令上试过,回答对了就以为可用。后来换一段格式不完整的日志,解析马上失败。现在我把样例分成正常输入、缺字段和工具失败三类;每次改提示词,都重新跑一遍。
AI 的输入只取脱敏后的最小文本,输出则检查 JSON 能否解析、工具是否被允许调用,以及建议能否通过人工复核。端到端测试用隔离账号或合成数据,不把真实提示词、路径或命令记录进测试集。通过当前样例只说明当前样例可用,不能替代真实环境的观察。
我还会检查命令行本身的契约:成功时退出码为 0,参数错误和外部服务失败要用不同的非零退出码;标准输出只放给用户或下游程序读取的结果,诊断信息写到标准错误。这样脚本调用 CLI 时不必从一段自然语言里猜任务是否成功。
最小回归集可以用 assert_cmd 或普通 shell 脚本跑。每条用例固定输入、预期退出码和 JSON 必填字段;模型文本不做逐字比较,只校验结构、允许的工具名和安全边界。模型或提示词变更后,先跑这组用例,再人工抽查新增失败样本。
我会给失败用例保留一个很小的表格:输入类型、期望退出码、是否允许调用工具、实际错误类型。正常日志、缺字段日志、空输入和上游超时分别占一行。以后出现新的解析问题,就把脱敏后的最小复现补进表里,而不是只修当次 Prompt。
发布前再用临时目录运行一次打包后的二进制,确认它不会依赖我的工作目录,也不会把缓存和配置写到意外位置。测试通过后保存二进制版本、模型名和 Prompt 版本。这样下一次结果变化时,至少能先排除 CLI 包装层的问题。
1105



被折叠的 条评论
为什么被折叠?



