收藏必看！Google《智能体的质量》白皮书深度解析，大模型智能体评估全攻略

原创于 2025-12-09 10:57:44 发布 · 611 阅读

CC 4.0 BY-SA版权

文章标签：

Google在2025年11月一共发布了五份技术白皮书，分别是《introduction to agents》、《agent tools interoperability》、《context engineering》、《agent quality》、《prototype to production》，我目前已完成第4份白皮书即《智能体的质量》的翻译工作，今天继续分享，如下：

在这里插入图片描述

一、核心问题：为何传统 QA 无法应对 AI 智能体？

白皮书开篇即指出一个根本范式转移：

传统软件

是确定性、指令式的，其质量可通过单元测试、集成测试、断言等验证是否“正确构建”。
AI 智能体

是非确定性、目标导向、自主决策的系统，其行为受模型权重、环境反馈、记忆状态、工具交互等多重因素影响，表现为“涌现式”行为。

因此，智能体的失效不再是“崩溃”（如 NullPointerException），而是隐性退化：

幻觉

（Hallucination）：输出看似合理但事实错误；
算法偏见

放大训练数据中的不公平；
概念漂移

现实世界变化导致性能下降；
涌现行为

为达成目标采取未预料策略（如规则漏洞利用）。

智能体质量评估不再只是“验证”（Verification），而是“确认”（Validation）——即“我们是否构建了正确的产品？”

二、评估框架：Outside-In + 四大支柱

白皮书提出“由外向内（Outside-In）”的评估战略，强调从用户价值出发，反向拆解技术实现。

1. 四大质量支柱（Four Pillars of Agent Quality）

支柱	核心问题	关键指标示例
有效性（Effectiveness）	是否达成用户真实意图？	任务成功率、PR合并率、转化率
效率（Efficiency）	是否以合理成本完成？	Token 消耗、推理步数、API 调用次数、延迟
健壮性（Robustness）	能否应对现实世界的混乱？	异常重试能力、模糊提示处理、API 故障容错
安全与对齐（Safety & Alignment）	是否在伦理与合规边界内运行？	偏见检测、有害内容过滤、隐私泄露防护、GDPR 合规

重要前提：四大支柱的评估必须依赖完整轨迹（Trajectory），而不仅是最终输出。否则无法诊断效率低、健壮性差或安全违规的根源。

2. 评估层级：黑盒 → 玻璃盒

端到端评估（黑盒）

聚焦最终结果（如用户是否满意、任务是否完成）。
轨迹评估（玻璃盒）

拆解智能体的完整决策链（Thought → Action → Observation → …），分析规划、工具调用、RAG 检索、记忆使用等环节。

三、评估方法：人机协同的混合评判体系

白皮书构建了一个多层级、多主体的评估机制：

评估方式	适用场景	优势	局限
自动化指标（BLEU, BERTScore）	回归测试、快速初筛	高效、可规模化	仅捕捉表层相似性
LLM-as-a-Judge	语义质量、逻辑合理性	可处理复杂判断、成本低	可能自身产生幻觉
Agent-as-a-Judge	多步推理、工具使用评估	可评估过程而不仅是结果	需精心设计裁判规则
人机协同（HITL）	高风险领域（医疗、金融）、黄金集构建	捕捉人类价值观、领域知识	成本高、难规模化
用户反馈界面	实时产品体验优化	真实场景信号、驱动迭代	需结构化采集与清洗

实践建议：采用成对比较（A/B）而非绝对打分，可显著降低 LLM 评估的噪声与偏差。

四、可观测性架构：看见智能体的“思维”

白皮书提出，可观测性（Observability）是评估的基础，并类比“美食评论家 vs 流水线厨师”，强调：

不能只尝菜，还要看厨师如何思考、应变、选料。

可观测性三大支柱：

支柱	角色	关键实践
日志（Logs）	智能体的“日记”	结构化 JSON 记录提示、推理链、工具调用、状态变化
追踪（Traces）	决策的“叙事线”	基于 OpenTelemetry，用 trace_id 串联 span（如 LLM 调用、工具执行）
指标（Metrics）	健康“成绩单”	分两类： • 系统指标（延迟、错误率、Token 成本） • 质量指标（正确性、安全性、有用性）