LangChain实战 | 实现一个检索增强生成系统(RAG)

大模型产品经理

于 2025-01-28 10:45:00 发布

阅读量781

点赞数 14

文章标签： langchain java 算法大数据 transformer AI

本文链接：https://blog.youkuaiyun.com/bagell/article/details/145300270

版权

-正文-

==========================

实现一个支持引用文本的RAG系统不仅能够动态整合外部知识库，还可以在生成答案的同时提供引用文本，从而显著增强答案的可信度和可解释性。

1. 业务需求描述
2. 系统的工作流程
3. 关键技术要点
3.1 文件更新与动态管理
3.1 提供引用文本的重要性
4. LangChain组件概述
5. 核心实现思路
5.1. 文档加载与预处理
5.2. 嵌入与存储
5.3. 问题检索与答案生成
5.4. 提供引用文本
6. 应用场景

– 领取学习资料大礼包，见文末

在人工智能迅速发展的今天，大语言模型（如GPT-4）展示出了强大的语言生成能力。

然而，这类模型也有其局限性，比如无法动态更新知识库、对特定领域信息掌握不足以及容易生成“看似合理但错误”的答案。

为了解决这些问题，**RAG（Retrieval-Augmented Generation）**应运而生。

RAG的最大特点在于，它不仅生成答案，还能提供答案的上下文引用文本。

这种能力显著提高了系统的可信度和可解释性，尤其在需要验证信息来源的应用场景（如法律、医学、学术研究等）中具有重要价值。

1. 业务需求描述

知识库中的文档可能会不断更新，例如新增文件、修改现有文件等。系统需要能够检测到这些变化，并自动完成以下任务：

识别新增或更新的文件（通过计算文件的哈希值）。
生成嵌入并存储到向量数据库中。
避免重复处理已存在的文档，提升效率。

系统不仅需要生成针对用户问题的自然语言答案，还需要明确标明答案的来源，提供可验证的引用文本。这一功能对提升系统的可信度和可解释性至关重要。

用户提问后，系统检索最相关的片段，将其作为上下文提供给生成模型。
在每个文本片段中，附加文件名、来源路径、片段内容等元信息。

2. 系统的工作流程

RAG系统的实现可以分为以下几个步骤，每一步都起着至关重要的作用。以下流程图展示了一个完整的RAG系统工作流程：

可以看出，在生成答案的同时，系统会提供引用文档内容作为支撑，这与仅提供答案的传统生成式模型形成了鲜明对比。

3. 关键技术要点

3.1 文件更新与动态管理

为了确保系统知识库的实时性，我们通过计算文件哈希值检测文档的更新或新增。一旦检测到新文件或文件变化，系统会自动生成新嵌入并更新向量数据库。

3.1 提供引用文本的重要性

在实际应用中，系统提供引用文本的能力可以解决以下问题：

增强可信度：用户不再只是依赖生成模型的“黑盒答案”，而是可以验证引用内容的准确性。
提升可解释性：对于复杂问题，引用上下文能让用户了解生成答案的依据和背景。
支持领域审查：在需要严格审查的领域（如法律、医学），引用文本是不可或缺的。

4. LangChain组件概述

LangChain是一个非常适合的工具框架。LangChain通过模块化设计，简化了从数据加载到问答生成的全流程操作。当前系统使用到的核心模块包括：

数据加载器（Loader）：支持多种数据格式的加载（如文本、PDF等）。
文本分割器（Text Splitter）：将长文本分割为适合检索的短片段。
嵌入与向量存储：将文本映射到高维向量空间并存储，用于快速检索。
Prompt管理：灵活设计生成模型的输入提示（Prompt）。
问答链（Chain）：将检索和生成串联，完成从问题到答案的闭环。

接下来，我们将实现一个支持引用文本的RAG系统，介绍核心实现思路。

5. 核心实现思路

完整代码已放到学习资料包中：langchain_rag_1.py

5.1. 文档加载与预处理

RAG系统的第一步是将文档加载进来。LangChain提供了强大的文档加载工具，如DirectoryLoader，可以一次性加载整个文件夹中的文本文件。加载后的文档需要经过预处理，包括清理无关字符和分割文本。

loader = DirectoryLoader(           dir_path,            glob="**/*.txt",            loader_cls=TextLoader,            loader_kwargs={"encoding": "utf-8"}       )

在文本分割阶段，系统会将文档切分成多个小片段，每个片段长度控制在500个字符左右，并设置一定的重叠区间（如50个字符）。这种分割方式确保了上下文的完整性，即使某些答案跨段落分布，也能在检索时保持语义连续性。

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)       texts = text_splitter.split_documents(data)

5.2. 嵌入与存储

分割后的文本片段需要通过嵌入模型（如OpenAI Embeddings）转化为向量表示。嵌入模型会将文本映射到高维向量空间，其中相似的文本会具有更接近的向量表示。生成的向量存储在向量数据库（如Chroma）中。

在存储向量时，我们附加了文档的元信息（Metadata），包括：

文档来源（如文件名、路径）。
文档的哈希值（用于检测更新）。

元信息的存储是实现引用文本的关键，因为它允许我们在检索阶段返回片段的来源和内容。

embeddings = OpenAIEmbeddings(model="text-embedding-3-large", base_url="https://api.openai-hk.com/v1")       vectorstore = Chroma.from_documents(           documents=texts,           embedding=embeddings,           collection_name="book_demo",           persist_directory="./chroma_db"       )

5.3. 问题检索与答案生成

当用户输入问题时，系统首先会根据问题检索最相关的文本片段。这一阶段的目标是找到支持答案的上下文，而不是直接生成答案。LangChain中，检索模块通过向量相似度计算（如余弦相似度）完成这一任务。

检索到的上下文片段将与用户问题一起，作为输入提供给生成模型。一个精心设计的Prompt模板会引导生成模型利用上下文回答问题。例如：

上下文信息如下：   ---------------------   {context}   ---------------------   请根据以上提供的上下文信息，不依赖其他外部知识，回答以下问题：   问题: {input}   答案:

在这个Prompt中，{context}是系统检索到的相关文档片段，而{input}是用户的问题。生成模型会在上下文的基础上，生成准确的答案。

def create_rag_chain(vectorstore, top_k=3):       """创建RAG问答链              Args:           vectorstore: 向量存储实例           top_k (int): 检索的文档数量                  Returns:           RetrievalChain: RAG链实例       """       llm = ChatOpenAI(           model="gpt-4o-mini",           temperature=0,           base_url="https://api.openai-hk.com/v1"       )              retriever = vectorstore.as_retriever(search_kwargs={"k": top_k})              PROMPT = PromptTemplate.from_template("""         上下文信息如下       ---------------------       {context}       ---------------------       请根据以上提供的上下文信息，不依赖其他外部知识，回答以下问题       问题: {input}       答案:       """)              question_answer_chain = create_stuff_documents_chain(llm, PROMPT)       return create_retrieval_chain(retriever, question_answer_chain)

5.4. 提供引用文本

除了最终答案，系统还会将检索到的上下文片段作为引用文本一并展示。例如，对于问题“菩提祖师身边有多少个人？”，系统可能会返回如下结果：

问题： 菩提祖师身边有多少个人？

答案： 菩提祖师身边有三十个小仙侍立台下。

引用文档：

Source 1:

text : 这猴王整衣端肃，随童子径入洞天深处观看：一层层深阁琼楼，一进进珠宫贝阙，说不尽那静室幽居，直至瑶台之下。见那菩提祖师端坐在台上，两边有三十个小仙侍立台下。果然是：大觉金仙没垢姿，西方妙相祖菩提；不生不灭三三行，全气全神万万慈。空寂自然随变化，真如本性任为之…

file_hash : 2545120aa977ff5dddc91f4cdabc808e

source : …\data\xiyouji\西游记第一回.txt
Source 2:

text: “…”

这种引用形式不仅让用户知道答案的来源，还能验证答案是否准确。如果答案不够明确，用户可以直接查阅引用文档的全文。

    `for i, doc in enumerate(response["context"]):           print(f"\nSource {i+1}:")           print(f"  text: {clip_text(doc.page_content, threshold=350)}")           for key in doc.metadata:               if key != "pk":                   val = doc.metadata.get(key)                   clipped_val = clip_text(val) if isinstance(val, str) else val                   print(f"  {key}: {clipped_val}")`