【第37课】一文读懂！RAG 评估中忠实性与答案相关性的本质差异

在RAG（检索增强生成）评估中，忠实性和答案相关性是两个不同但又相互关联的重要指标，它们的区别如下：

• 定义
  • 忠实性：主要衡量的是生成的答案与检索到的相关知识源（如文档、语料等）之间的一致性和准确性。它关注的是模型是否能够准确地依据所检索到的信息来生成答案，是否如实反映了知识源中的内容，有没有歪曲、错误解读或编造信息。例如，若知识源中明确指出某事件发生在特定年份，模型生成的答案也应准确提及该年份，否则就可能存在忠实性问题。
  • 答案相关性：侧重于评估生成的答案与用户提问的主题及意图之间的紧密程度。即答案是否切题，是否针对用户所问的内容进行了有效回应。比如用户询问某产品的功能，答案就应围绕该产品的具体功能展开，而不是谈论其生产过程或其他不相关的方面。
• 评估角度
  • 忠实性：更多地是从知识传递的准确性角度出发，检查模型对检索到的知识的运用和呈现是否正确。它要求模型生成的内容在事实层面与知识源保持高度一致，强调的是答案的“真实性”和“可靠性”。即使答案与用户问题相关，但如果在忠实性上表现不佳，如出现事实性错误，那么这个答案也是不可靠的。
  • 答案相关性：则是从用户需求的角度来考量，关注的是答案能否满足用户的信息需求，是否与问题的核心内容紧密相连。一个答案可能忠实于某些知识源，但如果与用户的提问无关，就无法解决用户的问题，也就不具备良好的答案相关性。
• 影响因素
  • 忠实性：受模型对知识源的理解和整合能力、知识源本身的质量和准确性等因素影响。如果模型不能正确理解知识源中的复杂语义关系，或者知识源本身存在错误，就容易导致忠实性问题。
  • 答案相关性：受到模型对问题的理解能力、检索策略的有效性以及生成答案的针对性等因素的制约。若模型误解了用户问题的意图，或者检索到的信息本身与问题不相关，都会影响答案相关性。