JaydenAI的博客

本系列之前的文章都提供了在各种场景下执行评估的例子，我们无一例外都是在控制台中呈现评估的结果，实际上MEAI不仅可以将评估结果持久化存储，还能将其转换网页的形式以极具可读性的方式呈现出来。本篇文章就来介绍一下关于评估报告的生成问题。

[Agent的评估-09:利用FoundryEvals调用Foundry评估服务]对FoundryEvals如何根据指定的评估器名称调用Foundry评估服务进行了详细的介绍。文中说到：除了预定义的原生评估器（Built-in Evaluator），`FoundryEvals`还支持用户自定义评估器（Rubric Evaluator）。本文将介绍如何利用`FoundryEvals`基于自定义规

`FoundryEvals`采用基于`LLM-as-judge`的评估模式，通过连接到[Azure AI Foundry evaluation service]来对Agent实施评估。Foundry评估服务提供了很多基于不同指标类型的评估器，我们在使用`FoundryEvals`时可以对这些评估器进行任意自由组合，从而实现对Agen

在NuGet包`Microsoft.Extensions.AI.Evaluation.Safety`中定义了一个名为`ContentSafetyEvaluator`的抽象类，这是一个实现了`IEvaluator`接口的评估器。它主要应用于内容审核、合规过滤、企业内部安全管控，旨在检测模型输出是否包含敏感或违规内容。

[Agent的评估-05：MEAI用来评估LLM响应质量的9种评估器]介绍了定义在NuGet包`Microsoft.Extensions.AI.Evaluation.Quality`中与质量相关指标（包括完整性、一致性、相关性和等效性等）的各种评估器。除此之外，在NuGet包`Microsoft.Extensions.AI.Evaluation.NLP`还包含两个与自然语言处理（NLP）相关的评估器，这篇文章就来聊聊它们都用来评估怎样的指标，以及如何利用[Agent的评估-06：如何改进MAF针对MEAI评

在[Agent的评估-04：利用MeaiEvaluatorAdapter适配MEAI评估系统]中，我们对MAF的Agent评估系统利用MeaiEvaluatorAdapter适配MEAI评估系统的实现原理进行了详细介绍，但是在[Agent的评估-05:MEAI用来评估LLM响应质量的9种评估器]我们却说这种适配方案是完全错误的。那么究竟错在哪里？又该如何解决呢？

NuGet包`Microsoft.Extensions.AI.Evaluation.Quality`中定义一系列与推理质量相关的评估器。这些自定义的`IEvaluator`实现都是通过调用LLM的方式完成对应的评估工作，所以在调用`AIAgent`的`EvaluateAsync`扩展方法利用指定的`IEvaluator`进行评估时，通过另一个`chatConfiguration`参数指定的`ChatConfiguration`对象必须提供一个可用的`IChatClient`对象

MAF（Microsoft Agent Framework）建立在MEAI（`Microsoft.Extensions.AI`）这个AI基础框架之上。MEAI是更加基础和通用的基础框架，以`LLM`/`IChatClient`为核心，MAF建立在MEAI之上，并在此基础上构建Agent。MEAI自身也需要一套评估系统用来评估`LLM`/`IChatClient`的产出。`MeaiEvaluatorAdapter`在这两个评估系统之间提供了适配。

MAF的Agent评估体系以`IAgentEvaluator`为核心，作为该接口的三个原生实现之一，`LocalEvaluator`运行我们在本地定义符合签名的委托来对AIAgent实施评估。原则上我们可利用这种方式实现任意评估逻辑。我们就来看看`LocalEvaluator`背后是如何驱动我们自定义的委托来评估指定的Agent。

“Agent的评估-01：针对MAF的三种Agent评估方式”针对三种IAgentEvaluator的不同实现，介绍了三种评估MAF Agent的方式。在介绍IAgentEvaluator接口的时候，我们提到MAF以此为核心的评估系统。这个系统由IAgentEvaluator、EvalItem和AgentEvaluationResults三个核心类型组成。

Agent评估（Evaluation）就是对一个Agent进行系统化的质量、安全、行为、流程检查，用**评估器 Evaluators**对 Agent 的对话、工具调用、任务完成度进行自动评分。 它本质上是 Agent的**Unit Test + Benchmark**。