实践篇：利用ragas在自己RAG上实现LLM评估②

本系列阅读：
理论篇：RAG评估指标，检索指标与生成指标①
实践篇：利用ragas在自己RAG上实现LLM评估②

首先我们可以共识LLM的评估最好/最高效的方式就是再利用LLM的强大能力，而不是用传统指标。
假设我们不用LLM评估我们只有两条方式可实现：

1. 传统指标，如Bleu。需输入标准答案（通常也是人工审核答案是不是标准的，或者是人工制造标准答案），缺点是效果有限，用了都知道效果惨不忍睹。
2. 纯人工打分。缺点是耗时，带有主观性。

使用ragas做评估

推荐一个包ragas。但是它的教程文档确实写得不太好，可能是jupyter格式，直接在py中运行，总是会报少变量之类。我这边都改动了下，确保我们py文件可以运行。

ragas（Retrieval Augmented Generation Assessment）是社区最著名的评估方案，内置了我们常见的评估指标。

利用了LLM评估，因此不需要人工打标。其出名是因为封装了LLM做评估，简单易用（当然其实这些也是我们可以造轮子实现的~）。

代码链接https://github.com/blackinkkkxi/RAG_langchain/blob/main/learn/evaluation/RAGAS-langchian.ipynb

在自己的数据集上评估

完整可运行的代码见本文的完整代码小节，代码可运行。而1~3我们会拆开完整代码讲解，代码主要用于讲解完整代码，可能不能运行。

完整代码

在使用我的代码你只需要把deepseekapi换成你自己的即可。

import os
import re
from langchain_community.document_loaders import WebBaseLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.prompts import PromptTemplate
from langchain.chains import RetrievalQA
from langchain.chat_models import init_chat_model
from ragas import evaluate
from ragas.llms import LangchainLLMWrapper
from ragas import EvaluationDataset
from ragas.metrics import LLMContextRecall, Faithfulness, FactualCorrectness


class RAG:
    def __init__(self, api_key=None):
        """使用DeepSeek模型和BGE嵌入初始化RAG系统"""
        # 设置环境变量
        os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

        # 初始化对话模型
        self.llm = init_chat_model(
            model="deepseek-chat",
            api_key=api_key,
            api_base="https://api.deepseek.com/",
            temperature=0,
            model_provider="deepseek",
        )

        # 初始化嵌入模型
        self.embedding_model = HuggingFaceEmbeddings(
            model_name="BAAI/bge-large-zh-v1.5"
        )

        # 初始化文本分割器
        self.text_splitter = RecursiveCharacterTextSplitter(
            chunk_size=500,
            chunk_overlap=50
        )

        # 初始化向量存储和检索器
        self.vectorstore = None
        self.retriever = None
        self.qa_chain = None

        # 设置提示模板
        self.template = """
            根据以下已知信息，简洁并专业地回答用户问题。
            如果无法从中得到答案，请说"我无法从已知信息中找到答案"。
            
            已知信息：
            {
   
   context}
            
            用户问题：{
   
   question}
            
            回答：
            """
        self.prompt = PromptTemplate(
            template=self.template,
            input_variables=