LangChain 基础系列之 RAG 系统详解

SanMu三木

于 2025-04-07 10:35:58 发布

阅读量3.9k

点赞数 17

文章标签： langchain 人工智能

本文链接：https://blog.youkuaiyun.com/m0_60322614/article/details/146993059

版权

LangChain 基础系列之 RAG 系统详解

在 AI 技术持续革新的当下，大语言模型（LLMs）的应用愈发广泛。然而，LLMs 自身存在局限，比如难以获取最新知识，且生成内容的准确性有待提升。为了克服这些难题，检索增强生成（Retrieval Augmented Generation，RAG）系统应运而生。在 LangChain 框架的加持下，RAG 系统的搭建与应用变得更为便捷。本文将深入剖析 RAG 系统，助力大家理解并应用这一前沿技术。

什么是 RAG 系统

RAG 系统，即检索增强生成系统，核心思路是在大语言模型生成回答之前，从外部知识库中检索相关信息，并将其融入生成过程。传统的大语言模型依赖预训练数据，面对新知识和特定领域的问题时，表现不尽人意。而 RAG 系统通过实时检索，可以弥补模型在知识更新和领域适应性方面的不足，提升回答的准确性与相关性。简单来说，RAG 系统就像是给大语言模型配备了一个随时可查询的 “知识库助手”，让模型能够给出更优质的答案。

RAG 系统的工作原理

RAG 系统的工作流程主要包含以下三个步骤：

用户查询：用户向系统提出问题，系统接收并对查询语句进行解析。

检索：基于解析后的查询，从外部知识库中检索相关文档或信息片段。这一步通常借助向量数据库实现，向量数据库会将文本转化为向量形式，通过计算向量之间的相似度，快速找到最相关的文本。

生成：将检索到的信息与用户查询一同输入到大语言模型中，模型依据这些信息生成回答。这样，模型生成的内容就不再局限于预训练知识，而是结合了最新的检索信息，提升了回答的质量。

LangChain 对 RAG 系统的支持

LangChain 作为一个强大的框架，为 RAG 系统的实现提供了丰富的工具和组件，大大简化了开发流程。下面我们通过一个简单的示例，看看如何使用 LangChain 搭建 RAG 系统。

准备工作

在开始之前，需要安装 LangChain 和相关依赖。可以使用 pip 命令进行安装：

pip install langchain openai chromadb

这里我们使用 OpenAI 的模型作为大语言模型，Chromadb 作为向量数据库。同时，需要设置 OpenAI 的 API 密钥：

import os

os.environ["OPENAI_API_KEY"] = "your_openai_api_key"

数据准备

假设我们有一个文本数据集，需要将其加载到向量数据库中。LangChain 提供了多种数据加载器，可以方便地处理不同格式的数据。例如，加载文本文件：

from langchain.document_loaders import TextLoader

loader = TextLoader('example.txt')

documents = loader.load()

加载数据后，需要对数据进行拆分，以便更好地存储到向量数据库中：

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(chunk_size = 1000, chunk_overlap = 0)

docs = text_splitter.split_documents(documents)

向量数据库的创建与存储

接下来，创建一个向量数据库，并将拆分后的文档存储到数据库中：

from langchain.vectorstores import Chroma

from langchain.embeddings.openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

db = Chroma.from_documents(docs, embeddings)

RAG 系统的构建与使用

最后，构建 RAG 系统并使用它回答用户的问题：

from langchain.chains import RetrievalQA

from langchain.llms import OpenAI

llm = OpenAI(temperature = 0)

retriever = db.as_retriever()

qa = RetrievalQA.from_chain_type(llm = llm, chain_type = "stuff", retriever = retriever)

question = "请根据数据回答问题"

result = qa.run(question)

print(result)