纲要
- RAG知识库在智能体中的定位与价值
- 系统架构:读写分离的设计模式
- 写入路径(索引构建)
FastAPI服务端点POST /add_urlWebBaseLoader实现网页文档加载SemanticChunker语义切分策略OpenAIEmbeddings向量化与Chroma持久化
- 读取路径(检索增强)
- 基于历史记录的查询重写链
- 多查询生成与并行检索
MMR去重排序算法- 答案合成链
- 完整可运行代码
- 项目结构树
- 依赖配置
- 文档写入服务实现
- 知识库检索工具实现
- 查询重写的工程价值
知识库工具:智能体的“外挂大脑”
预训练大语言模型的知识截止于训练数据收集之时,无法覆盖私有文档、产品手册、内部规章等动态更新的信息。检索增强生成(RAG,Retrieval-Augmented Generation)是解决该问题的标准范式:将文档切分、向量化后存入数据库,检索时基于语义相似度召回最相关片段,再由大模型生成最终答案。
本文实现的知识库模块完整覆盖了写入与读取两条链路,并引入查询重写优化策略,显著提升了多轮对话场景下的检索准确率。
架构总览
系统采用读写分离的架构设计,写入路径负责文档的加载、切分、嵌入与存储,读取路径负责查询改写、多路召回、去重排序与答案合成。两者共享同一向量数据库,但通过独立模块实现,便于维护与扩展。
写入路径:文档索引构建
写入路径基于 FastAPI 搭建轻量级后台服务,接收 URL 列表后自动完成网页加载、语义切分、向量嵌入与数据库持久化。
项目结构
rag_service/
├── add_docs.py # 文档写入服务
├── knowledge_tool.py # 检索工具
├── config.py # 配置管理
├── .env # 环境变量
└── chroma_db/ # 向量数据库持久化目录
环境依赖
pip install fastapi uvicorn langchain langchain-openai langchain-community chromadb python-dotenv
配置管理 config.py
import os
from dotenv import load_dotenv
load_dotenv()
class Config:
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
OPENAI_BASE_URL = os.getenv("OPENAI_BASE_URL", "https://api.openai.com/v1")
EMBEDDING_MODEL = os.getenv("EMBEDDING_MODEL", "BAAI/bge-m3")
CHROMA_PERSIST_DIR = os.getenv("CHROMA_PERSIST_DIR", "./chroma_db")
COLLECTION_NAME = os.getenv("COLLECTION_NAME", "xiaolang_docs")
CHUNK_SIZE = int(os.getenv("CHUNK_SIZE", 500))
CHUNK_OVERLAP = int(os.getenv("CHUNK_OVERLAP", 50))
文档写入服务 add_docs.py
import uuid
from typing import List, Dict
from fastapi import FastAPI
from pydantic import BaseModel
from langchain_community.document_loaders import WebBaseLoader
from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from config import Config
app = FastAPI()
class DocumentProcessor:
def __init__(self):
self.embeddings = OpenAIEmbeddings(
model=Config.EMBEDDING_MODEL,
openai_api_key=Config.OPENAI_API_KEY,
base_url=Config.OPENAI_BASE_URL,
)
self.splitter = SemanticChunker(
self.embeddings,
breakpoint_threshold_type="percentile"
)
self.vectorstore = Chroma(
collection_name=Config.COLLECTION_NAME,
embedding_function=self.embeddings,
persist_directory=Config.CHROMA_PERSIST_DIR,
)
def add_from_urls(self, urls: List[str]) -> Dict:
results = []
for url in urls:
try:
loader = WebBaseLoader(url)
docs = loader.load()
if not docs:
results.append({"url": url, "status": "empty"})
continue
chunks = self.splitter.split_documents(docs)
ids = [str(uuid.uuid4()) for _ in chunks]
self.vectorstore.add_documents(chunks, ids=ids)
results.append({"url": url, "status": "success", "chunks": len(chunks)})
except Exception as e:
results.append({"url": url, "status": "error", "detail": str(e)})
return {"results": results}
processor = DocumentProcessor()
class UrlPayload(BaseModel):
urls: List[str]
@app.post("/add_url")
async def add_url(payload: UrlPayload):
return processor.add_from_urls(payload.urls)
if __name__ == "__main__":
import uvicorn
uvicorn.run(app, host="0.0.0.0", port=8000)
启动服务后,访问 http://localhost:8000/docs 即可通过 Swagger UI 提交 URL 进行文档入库。
读取路径:智能检索与答案合成
直接从向量库使用原始问题进行相似度搜索往往效果不佳,因为口语化提问与文档中的书面表达存在较大差异。查询重写技术可生成多个不同视角的查询变体,有效提升召回率。
知识库检索工具 knowledge_tool.py
import re
from typing import List
from langchain.tools import tool
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from config import Config
embeddings = OpenAIEmbeddings(
model=Config.EMBEDDING_MODEL,
openai_api_key=Config.OPENAI_API_KEY,
base_url=Config.OPENAI_BASE_URL,
)
vectorstore = Chroma(
collection_name=Config.COLLECTION_NAME,
embedding_function=embeddings,
persist_directory=Config.CHROMA_PERSIST_DIR,
)
def rewrite_query(original_query: str, chat_history: str = "") -> List[str]:
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0.3)
prompt = ChatPromptTemplate.from_template(
"""根据聊天记录和最新的用户问题,生成3个独立的、语义相同但表达不同的查询语句,
每个查询单独一行,不要编号,不要解释。
聊天记录: {chat_history}
用户问题: {query}
生成的查询:"""
)
chain = prompt | llm | StrOutputParser()
result = chain.invoke({"query": original_query, "chat_history": chat_history})
queries = [q.strip() for q in re.split(r'\n+', result) if q.strip()]
return [original_query] + queries
@tool
def search_knowledge_base(query: str) -> str:
rewritten_queries = rewrite_query(query)
all_docs = []
for q in rewritten_queries:
docs = vectorstore.max_marginal_relevance_search(q, k=3, fetch_k=10)
all_docs.extend(docs)
seen = set()
unique_docs = []
for doc in all_docs:
if doc.page_content not in seen:
seen.add(doc.page_content)
unique_docs.append(doc)
context = "\n\n".join([d.page_content for d in unique_docs[:5]])
if not context:
return "知识库中未找到相关信息。"
llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
answer_prompt = ChatPromptTemplate.from_template(
"使用以下检索到的上下文回答用户问题。如果不知道答案就说不知道,最多三句话。"
"\n上下文: {context}\n问题: {query}\n答案:"
)
chain = answer_prompt | llm | StrOutputParser()
return chain.invoke({"context": context, "query": query})
if __name__ == "__main__":
test_query = "LangGraph 是如何更新图状态的?"
print(search_knowledge_base.invoke(test_query))
完整运行流程
- 在项目根目录创建
.env文件,配置OPENAI_API_KEY、OPENAI_BASE_URL(如使用代理或兼容接口)等环境变量。 - 启动文档写入服务:
通过 Swagger UI 提交需要学习的网页 URL。python add_docs.py - 测试检索工具:
观察控制台输出,确认向量检索与答案生成正常。python knowledge_tool.py
查询重写的工程价值
许多 RAG 实现忽略查询重写,直接将用户原始问题提交给向量数据库。在多轮对话场景中,用户可能使用“那个呢?”“上次那个”等指代性表达,若不结合历史记录重写为独立、完整的查询语句,向量检索基本失效。
本模块通过引入历史记录与 LLM 驱动的改写链,生成多个聚焦于核心语义的查询变体,再经由 MMR 算法去重排序,显著提升了检索的相关性与鲁棒性。该设计在对话式智能体、客服机器人等需要上下文理解的场景中具有通用参考价值。
官方文档
参考链接
总结
本文完整实现了 RAG 知识库的写入与读取链路,涵盖文档加载、语义切分、向量化存储、查询重写、多路召回、MMR 去重及答案合成等核心环节。
向量数据库选用 Chroma,嵌入模型采用 BAAI/bge-m3,所有代码均可直接运行,开发者仅需补充 .env 配置即可集成到智能体系统中。
386



被折叠的 条评论
为什么被折叠?



