构建一个检索增强生成 (RAG) 应用程序

最新推荐文章于 2025-11-26 15:40:52 发布

原创最新推荐文章于 2025-11-26 15:40:52 发布 · 305 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #数据库 #人工智能

技术背景介绍

随着大规模语言模型（LLM）的发展，复杂的问答（Q&A）聊天机器人应用变得愈加普及。这些应用能够回答有关特定源信息的问题，而不只是基于模型内部的知识。检索增强生成（RAG）技术实现了这一点，通过将模型的知识与特定的信息结合，而不仅依赖于训练时的公共数据。

RAG 利用了数据的检索来增强模型输入，使得它能够就最新或私有数据回答问题。在本文中，我们将学习如何构建一个简单的 Q&A 应用，通过文本数据源来实现。

核心原理解析

RAG 主要包括两个核心组件：

索引： 数据从原始源获取、分割并索引。这通常在离线环境中完成。
检索与生成： 用户查询时，模型检索相关数据并根据这些数据生成回答。

具体过程包括数据加载、文本分割、存储到向量存储中，以及基于检索到的数据进行生成。

代码实现演示

我们将使用 LangChain 和其他工具来实现我们的 Q&A 应用程序。

import os
import bs4
from langchain import hub
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 配置环境变量（API密钥）
os.environ["OPENAI_API_KEY"] = 'your-api-key'
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(parse_only=bs4.SoupStrainer(class_=("post-content", "post-title", "post-header")))
)
docs = loader.load()

# 将文档分割成更小的文本块
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

# 使用相关碎片进行检索和生成
retriever = vectorstore.as_retriever()
prompt = hub.pull("rlm/rag-prompt")

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | OpenAIEmbeddings()
    | StrOutputParser()
)

response = rag_chain.invoke("What is Task Decomposition?")
print(response)