揭开RAG评估的神秘面纱，让 RAG 评估不再困难（含代码）

检索增强生成（Retrieval-Augmented Generation，RAG）技术近年来备受瞩目。RAG系统结合了信息检索和语言生成的优势，通过从大量文本中检索相关信息来辅助生成高质量的文本内容，广泛应用于问答系统、文档生成等场景。然而，对RAG系统进行准确评估却面临诸多挑战，传统评估方法存在局限性，使得RAG评估犹如一个“黑箱”，难以清晰洞察系统内部的运行机制和性能表现。如何打破这个黑箱，成为当前RAG技术发展中的关键问题。

RAG评估的现状与困境

RAG系统组件的复杂关联性

RAG系统包含多个关键组件，如嵌入模型、分块策略、相似度阈值等，这些组件之间存在着紧密且脆弱的相互依赖关系。以嵌入模型为例，当更换为经过微调的嵌入模型时，原本设定的相似度阈值可能不再适用。若采用新的分块策略，检索到的文本块数量和内容也会发生变化。不同类型的文档，其最佳分块策略也各不相同。这种复杂的关联性使得为RAG系统选择“最优”配置变得极为困难，任何一个组件的变动都可能对整个系统的性能产生难以预测的影响。

当前评估方法的局限性

目前，RAG系统的评估方法主要有人工评估和基于大语言模型（LLM）的评估两种主流方式。人工评估虽然直观，但主观性强、成本高昂、效率低下且难以大规模扩展。不同的评估人员可能对同一答案的评价存在差异，而且随着数据规模的增大，人工评估的工作量会急剧增加。基于LLM的评估方式，如RAGAS和DeepEval等工具所采用的方法，通过生成合成或人工策划的评估数据集，让LLM对问题、检索到的上下文和答案进行评分，评估正确性、相关性、忠实性等方面。然而，这种方法也并非完美无缺。一方面，需要耗费大量资源来构建高质量的评估数据集；另一方面，LLM本身也存在一定的局限性，其评分结果可能受到自身训练数据和模型偏差的影响。

此外，还有一些工具专注于检