79 LlamaIndex 中的评估与基准测试：提升 LLM 应用性能的关键

LlamaIndex 中的评估与基准测试：提升 LLM 应用性能的关键

在大型语言模型（LLM）的开发过程中，评估和基准测试是至关重要的概念。为了提升 LLM 应用（如检索增强生成 RAG 和代理）的性能，你必须有一种方法来衡量其表现。LlamaIndex 提供了关键模块来衡量生成结果的质量，同时也提供了关键模块来衡量检索质量。

评估的概念

响应评估

• 响应是否匹配检索到的上下文？
• 响应是否匹配查询？
• 响应是否匹配参考答案或指南？

检索评估

• 检索到的来源是否与查询相关？

响应评估

评估生成结果的质量可能很困难，因为与传统的机器学习不同，预测结果不是一个单一的数字，而且很难为此问题定义定量指标。LlamaIndex 提供了基于 LLM 的评估模块来衡量结果的质量。这种方法使用一个“黄金”LLM（例如 GPT-4）来判断预测的答案是否在多种方式下是正确的。

需要注意的是，许多当前的评估模块不需要真实标签。评估可以通过查询、上下文、响应的组合以及 LLM 调用来完成。

这些评估模块的形式包括：

• 正确性：生成的答案是否与给定查询的参考答案匹配（需要标签）。
• 语义相似性：预测的答案是否与参考答案语义相似（需要标签）。
• 忠实度：评估答案是否忠实于检索到的上下文（即是否存在幻觉）。
• 上下文相关性：检索到的上下文是否与查询相关。
• 答案相关性：生成的答案是否与查询相关。
• 指南遵守：预测的答案是否遵守特定指南。

问题生成

除了评估查询，LlamaIndex 还可以使用你的数据生成问题来进行评估。这意味着你可以自动生成问题，然后运行评估流程来测试 LLM 是否能准确地使用你的数据回答问题。

检索评估

我们还提供了模块来独立评估检索。检索评估的概念并不新鲜；给定一组问题和真实排名的数据集，我们可以使用排名指标（如平均倒数排名 MRR、命中率、精确度等）来评估检索器。

核心的检索评估步骤围绕以下内容：

• 数据集生成：给定一个非结构化文本语料库，合成生成（问题，上下文）对。
• 检索评估：给定一个检索器和一组问题，使用排名指标评估检索结果。

集成

我们还与社区评估工具集成，例如：

• UpTrain
• Tonic Validate（包括用于可视化结果的 Web UI）
• DeepEval
• Ragas
• RAGChecker

使用模式

有关完整的使用细节，请参见以下使用模式：

• 查询评估使用模式
• 检索评估使用模式

模块

这些组件的使用笔记本可以在模块指南中找到。

使用 LabelledRagDataset 进行评估

有关如何使用各种评估数据集（称为 LabelledRagDataset）执行 RAG 系统评估的详细信息，请参见以下内容：

• 评估

贡献

我们欢迎社区的贡献，以进一步完善和扩展 LlamaIndex 的评估功能。

通过 LlamaIndex 的评估和基准测试模块，你可以有效地衡量和提升 LLM 应用的性能，确保生成的内容既准确又相关。希望这篇博客文章能帮助你更好地理解和应用这些关键工具。如果你有任何问题或需要进一步的帮助，请随时联系我们。祝你在 LLM 开发的道路上取得成功！