【GPT入门】第38课 RAG评估指标概述

一、RAG评估指标

二、ragas 评估

2.1 ragas介绍

开源地址：https://github.com/explodinggradients/ragas
官方文档：https://docs.ragas.io/en/stable/

从文本生成和文本召回两个维度，进行分析:

准确性
生成内容的准确性：评估生成的文本是否准确回答了问题，是否与相关知识源的信息一致。例如，在回答历史事件问题时，生成的内容应准确反映事件的时间、地点、人物等关键信息。
检索结果的准确性：考查检索模块能否准确地从知识源中找到与问题相关的信息。比如，当用户询问某一科学理论时，检索系统应能精准定位到包含该理论详细解释的相关文献。
相关性
生成内容与问题的相关性：判断生成的文本与用户提问的主题和意图是否紧密相关。生成的回答不应偏离问题的核心，要围绕问题的关键要点展开。
检索结果与问题的相关性：衡量检索出的知识与问题的匹配程度。检索结果应直接或间接地与问题所涉及的领域、概念等相关，有助于生成准确且相关的回答。

三、trulens