LlamaIndex --- Evaluating

Evaluating

概念解释

Evaluating（评估）：在LLM（大型语言模型）开发中，评估和基准测试是至关重要的概念。为了提高LLM应用（如RAG、代理）的性能，必须有一种方法来衡量其表现。

Response Evaluation（响应评估）：评估生成的响应是否与检索到的上下文匹配，是否与查询匹配，是否与参考答案或指南匹配。

Retrieval Evaluation（检索评估）：评估检索到的来源是否与查询相关。

响应评估

响应评估的一个简单示例是评估单个响应的忠实度（Faithfulness），即响应是否与上下文一致，是否没有幻觉（hallucinations）。

示例代码：

from llama_index.core import VectorStoreIndex
from llama_index.llms.openai import OpenAI
from llama_index.core