构建本地RAG应用程序：轻松驾驭LLM的力量

最新推荐文章于 2025-12-02 19:01:55 发布

原创最新推荐文章于 2025-12-02 19:01:55 发布 · 324 阅读

CC 4.0 BY-SA版权

文章标签：

# 构建本地RAG应用程序：轻松驾驭LLM的力量

当今，随着LLM（大型语言模型）项目如llama.cpp、Ollama和llamafile的普及，本地运行LLM的重要性愈发明显。为了帮助开发者更好地理解和构建本地RAG（检索增强生成）应用程序，本文将介绍如何在本地环境中使用Ollama提供的LLaMA 3.1模型构建一个RAG系统。

## 引言

在现代AI应用中，通过RAG方法可以有效地结合检索方法与生成模型，提升信息检索和生成任务的精确度及质量。这篇文章旨在指导你使用本地的向量存储和本地LLM来构建一个RAG应用程序。

## 主要内容

### 1. 环境准备

首先，我们需要设置Ollama这个工具。可以按以下步骤操作：

1. 下载并运行Ollama的桌面应用。
2. 从命令行中获取模型，例如：
   - 使用 `ollama pull llama3.1:8b` 获取通用模型。
   - 使用 `ollama pull nomic-embed-text` 获取文本嵌入模型。

在运行时，所有模型都将自动在`localhost:11434`上提供服务。请注意，模型的选择需要根据你的硬件能力来决定。

接下来，安装本地嵌入、向量存储和推理所需的包：

```bash
# 文档加载，检索方法和文本拆分
%pip install -qU langchain langchain_community

# 本地向量存储通过 Chroma
%pip install -qU langchain_chroma

# 本地推理和嵌入通过 Ollama
%pip install -qU langchain_ollama

2. 文档加载

加载和拆分示例文档，我们以Lilian Weng关于代理的博客文章为例：

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import WebBaseLoader

loader = WebBaseLoader("https://lilianweng.github.io/posts/2023-06-23-agent/")
data = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0)
all_splits = text_splitter.split_documents(data)

3. 初始化向量存储

接下来，初始化你的向量存储。这次我们使用nomic-embed-text：

from langchain_chroma import Chroma
from langchain_ollama import OllamaEmbeddings

local_embeddings = OllamaEmbeddings(model="nomic-embed-text")

vectorstore = Chroma.from_documents(documents=all_splits, embedding=local_embeddings)

4. 设置并测试模型

设置Ollama模型并测试：

from langchain_ollama import ChatOllama

model = ChatOllama(model="llama3.1:8b")

response_message = model.invoke("Simulate a rap battle between Stephen Colbert and John Oliver")
print(response_message.content)

5. 使用链条进行总结和问答

创建总结链并进行问答：

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

# 格式化文档为字符串
def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

prompt = ChatPromptTemplate.from_template("Summarize the main themes in these retrieved docs: {docs}")
chain = {"docs": format_docs} | prompt | model | StrOutputParser()

question = "What are the approaches to Task Decomposition?"
docs = vectorstore.similarity_search(question)
chain.invoke(docs)

使用向量存储进行自动化检索和问答：

retriever = vectorstore.as_retriever()

qa_chain = ({"context": retriever | format_docs, "question": RunnablePassthrough()} | ChatPromptTemplate.from_template(RAG_TEMPLATE) | model | StrOutputParser())

qa_chain.invoke(question)