零代码搞定RAG质量评估：从数据准备到结果分析的全流程

零代码搞定RAG质量评估：从数据准备到结果分析的全流程

【免费下载链接】ragas Evaluation framework for your Retrieval Augmented Generation (RAG) pipelines 项目地址: https://gitcode.com/gh_mirrors/ra/ragas

你是否还在为RAG（检索增强生成）系统的质量评估烦恼？手动检查回答准确性耗时费力，指标选择又让人眼花缭乱？本文将带你使用Ragas框架，通过四步实现RAG系统的自动化评估，无需复杂代码即可获得专业评估报告，让你的RAG应用质量一目了然。

读完本文你将学会：

• 快速构建可评估的RAG系统
• 自动生成多样化测试数据集
• 选择关键评估指标并解读结果
• 通过可视化分析定位系统瓶颈

一、RAG系统构建：评估前的准备工作

在开始评估前，需要准备一个基础的RAG系统。Ragas兼容主流框架，这里我们使用最简单的实现方式，包含文档加载、检索和生成三个核心模块。

1.1 基础组件安装

首先确保已安装Ragas及相关依赖：

pip install ragas langchain-openai

详细安装指南参见官方文档。

1.2 核心RAG实现

以下是一个最小化的RAG系统实现，包含文档加载、检索和回答生成功能：

from langchain_openai import ChatOpenAI
from ragas.embeddings import OpenAIEmbeddings
import openai
import numpy as np

class RAG:
    def __init__(self, model="gpt-4o"):
        self.llm = ChatOpenAI(model=model)
        self.openai_client = openai.OpenAI()
        self.embeddings = OpenAIEmbeddings(client=self.openai_client)
        self.doc_embeddings = None
        self.docs = None

    def load_documents(self, documents):
        """加载文档并计算嵌入向量"""
        self.docs = documents
        self.doc_embeddings = self.embeddings.embed_texts(documents)

    def get_most_relevant_docs(self, query):
        """检索与查询最相关的文档"""
        query_embedding = self.embeddings.embed_text(query)
        similarities = [
            np.dot(query_embedding, doc_emb) / 
            (np.linalg.norm(query_embedding) * np.linalg.norm(doc_emb))
            for doc_emb in self.doc_embeddings
        ]
        return [self.docs[np.argmax(similarities)]]

    def generate_answer(self, query, relevant_doc):
        """基于检索到的文档生成回答"""
        prompt = f"question: {query}\n\nDocuments: {relevant_doc}"
        messages = [
            ("system", "You are a helpful assistant that answers questions based on given documents only."),
            ("human", prompt),
        ]
        return self.llm.invoke(messages).content

1.3 系统测试

使用示例文档测试RAG系统是否正常工作：

# 加载示例文档
sample_docs = [
    "Albert Einstein proposed the theory of relativity, which transformed our understanding of time, space, and gravity.",
    "Marie Curie was a physicist and chemist who conducted pioneering research on radioactivity and won two Nobel Prizes.",
    "Isaac Newton formulated the laws of motion and universal gravitation, laying the foundation for classical mechanics."
]

# 初始化并测试RAG
rag = RAG()
rag.load_documents(sample_docs)
query = "Who introduced the theory of relativity?"
docs = rag.get_most_relevant_docs(query)
answer = rag.generate_answer(query, docs)
print(f"Query: {query}\nAnswer: {answer}")

预期输出：

Query: Who introduced the theory of relativity?
Answer: Albert Einstein introduced the theory of relativity.

RAG系统准备就绪后，就可以开始评估流程了。

二、测试数据生成：覆盖真实场景的关键一步

高质量的测试数据是评估的基础。Ragas提供两种测试数据生成方式：手动构建和自动生成。对于复杂场景，推荐使用Ragas的知识图谱驱动方法，自动生成多样化的测试用例。

2.1 手动构建测试集（快速入门）

对于简单评估，可以手动创建测试集，包含问题、参考答案和相关文档：

sample_queries = [
    "Who introduced the theory of relativity?",
    "Who was the first computer programmer?",
    "What did Isaac Newton contribute to science?"
]

expected_responses = [
    "Albert Einstein proposed the theory of relativity, which transformed our understanding of time, space, and gravity.",
    "Ada Lovelace is regarded as the first computer programmer for her work on Charles Babbage's early mechanical computer, the Analytical Engine.",
    "Isaac Newton formulated the laws of motion and universal gravitation, laying the foundation for classical mechanics."
]

# 构建评估数据集
dataset = []
for query, reference in zip(sample_queries, expected_responses):
    relevant_docs = rag.get_most_relevant_docs(query)
    response = rag.generate_answer(query, relevant_docs)
    dataset.append({
        "user_input": query,
        "retrieved_contexts": relevant_docs,
        "response": response,
        "reference": reference
    })

# 转换为Ragas评估格式
from ragas import EvaluationDataset
evaluation_dataset = EvaluationDataset.from_list(dataset)

2.2 自动生成测试集（推荐方法）

对于全面评估，Ragas能基于文档自动生成多样化测试集，涵盖单跳/多跳、具体/抽象等不同类型的查询：

# 从目录加载文档
from langchain_community.document_loaders import DirectoryLoader
loader = DirectoryLoader("path/to/your/documents", glob="**/*.md")
docs = loader.load()

# 生成测试集
from ragas.testset import TestsetGenerator
generator = TestsetGenerator.from_default(llm=rag.llm, embeddings=rag.embeddings)
testset = generator.generate_with_langchain_docs(docs, testset_size=50)

# 保存测试集
testset.to_pandas().to_csv("rag_testset.csv", index=False)

Ragas通过知识图谱技术分析文档内容，自动识别实体关系并生成测试问题：

测试集生成详细方法参见官方教程。

三、评估执行：关键指标与一键评估

Ragas提供多种专为RAG设计的评估指标，覆盖检索质量、生成质量和整体性能。无需手动编码，一行命令即可完成评估。

3.1 核心评估指标选择

选择适合你场景的评估指标：

指标	作用	适用场景
上下文召回率(Context Recall)	衡量检索到的上下文是否包含回答所需的所有信息	确保关键信息不丢失
忠实度(Faithfulness)	评估回答与检索上下文的一致性	减少幻觉信息
事实正确性(Factual Correctness)	判断回答是否准确反映参考事实	知识类问答系统

完整指标列表参见Ragas指标文档。

3.2 执行评估

使用选定的指标评估RAG系统性能：

from ragas import evaluate
from ragas.metrics import LLMContextRecall, Faithfulness, FactualCorrectness

# 执行评估
result = evaluate(
    dataset=evaluation_dataset,
    metrics=[LLMContextRecall(), Faithfulness(), FactualCorrectness()],
    llm=rag.llm
)

# 查看结果
print(result)

评估结果示例：

{'context_recall': 1.0000, 'faithfulness': 0.8571, 'factual_correctness': 0.7280}

3.3 批量评估与结果存储

对于大规模评估，可使用异步评估并保存结果：

# 异步评估（适合大规模数据集）
result = await evaluate(
    dataset=evaluation_dataset,
    metrics=[LLMContextRecall(), Faithfulness(), FactualCorrectness()],
    llm=rag.llm,
    batch_size=10
)

# 保存结果
result.to_pandas().to_csv("rag_evaluation_results.csv", index=False)

四、结果分析与系统优化：从数据到洞察

评估不是终点，而是改进的起点。通过分析评估结果，定位RAG系统的薄弱环节，有针对性地优化。

4.1 结果可视化与解读

# 可视化评估结果
import matplotlib.pyplot as plt

scores = {k: v for k, v in result.items() if isinstance(v, float)}
plt.bar(scores.keys(), scores.values())
plt.ylim(0, 1.0)
plt.title('RAG Evaluation Results')
plt.ylabel('Score')
plt.show()

4.2 错误案例分析

通过详细结果定位问题：

# 查看详细评估结果
details = result.to_pandas()
display(details[details['faithfulness'] < 0.5])  # 查看忠实度低的案例

常见问题及解决方法：

问题类型	表现	解决方法
检索失败	context_recall低	优化文档分块、尝试向量检索+BM25混合方法
幻觉生成	faithfulness低	优化提示词，增加事实一致性约束
回答不完整	factual_correctness低	调整生成模型，增加详细度引导

4.3 系统优化实例

以检索优化为例，将BM25检索替换为向量检索：

# 优化检索组件
from langchain.vectorstores import FAISS

class OptimizedRAG(RAG):
    def __init__(self, model="gpt-4o"):
        super().__init__(model)
        self.vectorstore = None
        
    def load_documents(self, documents):
        super().load_documents(documents)
        # 创建向量存储
        texts = [doc.page_content for doc in documents] if hasattr(documents[0], 'page_content') else documents
        self.vectorstore = FAISS.from_texts(texts, self.embeddings)
        
    def get_most_relevant_docs(self, query):
        return [doc.page_content for doc in self.vectorstore.similarity_search(query, k=3)]

重新评估优化后的系统，通常能看到明显提升：

优化前：{'context_recall': 0.75, 'faithfulness': 0.82, 'factual_correctness': 0.70}
优化后：{'context_recall': 0.92, 'faithfulness': 0.88, 'factual_correctness': 0.85}

详细优化指南参见RAG性能提升教程。

五、总结与进阶：构建持续评估体系

通过Ragas，我们实现了RAG系统的全流程评估，从数据准备到结果分析。关键步骤包括：

1. 系统构建：实现基础RAG功能，确保可评估性
2. 测试生成：使用自动方法创建多样化测试集
3. 指标评估：选择关键指标执行一键评估
4. 结果分析：定位问题并优化系统

进阶方向：

• CI/CD集成：将评估纳入开发流程，每次更新自动评估
• 多模型对比：同时评估不同LLM和嵌入模型的效果
• 成本监控：结合Ragas成本追踪功能优化评估开销

Ragas评估流水线完整代码可在examples目录找到，包含更多高级功能和最佳实践。立即开始你的RAG质量提升之旅吧！

【免费下载链接】ragas Evaluation framework for your Retrieval Augmented Generation (RAG) pipelines 项目地址: https://gitcode.com/gh_mirrors/ra/ragas