基于检索增强技术（RAG）构建大语言模型（LLM）应用程序

本节我们我们将使用 LangChain 库以及 RAG 和嵌入技术在 Python 中构建一个简单的 LLM 应用程序。

我们将使用 LangChain 库在 Python 中构建一个简单的 LLM 应用程序。LangChain是一个流行的库，它使构建这样的应用程序变得非常容易。

我们的 RAG 应用程序将使用私有数据扩展 LLM 的知识。在这种情况下，它将是一个包含一些文本的 PDF 文件。

也可以通过使用 OpenAI 代理并通过将特定文件上传到 OpenAI 的服务器来扩展其知识库来实现类似的目标。但是，这种方法需要将我们的机密数据存储在 OpenAI 的服务器上，这可能并不总是符合我们的隐私偏好。

1.安装条件

在一开始，我们必须安装应用程序将使用的所有必需模块。让我们在终端的项目目录中编写此命令

pip install langchain-community==0.0.11 pypdf==3.17.4 langchain==0.1.0 python-dotenv==1.0.0 langchain-openai==0.0.2.post1 faiss-cpu==1.7.4 tiktoken==0.5.2 langchainhub==0.1.14

让我们创建一个“data”目录并将 PDF 文件放入其中。 我们还必须在项目目录中创建一个 main.py 文件，我们将在其中存储应用程序的整个代码。

在 main.py 文件中，我们将创建用于存储逻辑的 main（） 函数。该文件将如下所示：

def main():
  print("Hello World!")

if __name__ == "__main__": 
  main()

2.导入PDF文件

我们将使用LangChain提供的名为PyPDFLoader的文档加载器。

from langchain_community.document_loaders import PyPDFLoader

pdf_path = "./data/2210.03629.pdf"

def main():
  loader = PyPDFLoader(file_path=pdf_path)
  documents = loader.load()
  print(documents) 

if __name__ == "__main__": 
  main()

首先，我们应该创建一个 PyPDFLoader 对象的实例，我们将路径传递给文件。下一步是简单地调用此对象的 load 函数，并将加载的文件保存在 documents 变量中。它将是一个由 Document 对象组成的数组，其中每个对象都是我们文件的一页的表示形式。

print（） 函数应该输出一个类似于这样的数组：

[Document(page_content='[...]', metadata={'source': pdf_path, page: 1}), Document(page_content='[...]', metadata={'source': pdf_path, page: 2}), ...]

3.切割文件

我们不想将整个文档作为上下文发送到 LLM。为什么？在关于RAG的文章中对此进行了更详细的描述。为了拆分文档，我们将使用 LangChain 提供的一个名为 CharacterTextSplitter 的类，我们可以从 langchain 库中导入它：

from langchain.text_splitter import CharacterTextSplitter

然后我们可以创建一个实例并调用 split_documents（） 函数，将加载的文档作为参数传递。

def main():
  loader = PyPDFLoader(file_path=pdf_path) 
  documents = loader.load() 
  text_splitter = CharacterTextSplitter( chunk_size=1000, chunk_overlap=50, separator="\n" ) 
  docs = text_splitter.split_documents(documents)

让我们简要描述一下这里发生了什么。

首先，我们将创建一个 CharacterTextSplitter 对象，该对象采用多个参数：

• chunk_size - 定义以令牌为单位的单个块的最大大小。
• chunk_overlap - 定义块之间的重叠大小。这有助于通过确保块不会以扭曲其含义的方式拆分来保留拆分文本的含义。
• separator - 定义将用于描述块的分隔符。

在 docs 变量中，我们将得到一个 Document 对象数组 - 与 PyPDFLoader 类的 load（） 函数相同。

4.准备环境变量

下一步是将这些块转换为数字向量，并将它们存储在向量数据库中。这个过程叫做嵌入，也有一篇关于它的博文，所以我们现在不会详细介绍它。

对于嵌入过程，我们需要一个外部嵌入模型。为此，我们将使用 OpenAI 嵌入。为此，我们必须生成一个 OpenAI API 密钥。
但在此之前，我们必须创建一个 .env 文件，用于存储此密钥。

现在，我们需要在 platform.openai.com/docs/overview 页面上创建一个帐户。 之后，我们应该通过创建一个新的密钥在 platform.openai.com/api-keys 页面上生成一个 API 密钥。

复制密钥并将其粘贴到 .env 文件中，如下所示：

OPENAI_API_KEY=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

让我们通过导入 load_dotenv 函数将环境变量加载到我们的项目中：

from dotenv import load_dotenv

并在 main 函数的开头调用它：

def main(): 
    load_dotenv()
    loader = PyPDFLoader(file_path=pdf_path) 
    documents = loader.load() 
    text_splitter = CharacterTextSplitter( chunk_size=1000, chunk_overlap=50, separator="\n" ) 
    docs = text_splitter.split_documents(documents)

5.直线嵌入功能

首先，我们必须导入 OpenAIEmbeddings 类：

from langchain_openai import OpenAIEmbeddings

我们应该创建这个类的实例。让我们将其分配给 ‘embeddings’ 变量，如下所示：

embeddings = OpenAIEmbeddings()

6.设置向量数据库

我们已经加载并准备了我们的文件，我们还为嵌入模型创建了一个对象实例。我们现在已准备好将块转换为数字向量并将它们保存在向量数据库中。我们将使用 FAISS 矢量数据库将所有数据保存在本地。Facebook AI 相似度搜索 （Faiss） 是 Facebook AI 设计的一款工具，用于对密集向量进行有效的相似性搜索和聚类。

首先，我们需要导入 FAISS 实例：

from langchain_community.vectorstores.faiss import FAISS

并实现转换和保存嵌入的过程：

def main(): 
    load_dotenv() 
    loader = PyPDFLoader(file_path=pdf_path) 
    documents = loader.load() 
    text_splitter = CharacterTextSplitter( chunk_size=1000, chunk_overlap=50, separator="\n" ) 
    docs = text_splitter.split_documents(documents) 
    embeddings = OpenAIEmbeddings() 
    vectorstore = FAISS.from_documents(docs, embeddings)    
    vectorstore.save_local("vector_db")

我们在代码中添加了两行。第一行采用我们的拆分块 （docs） 和嵌入模型将块从文本转换为数字向量。之后，我们将转换后的数据保存在本地的“vector_db”目录中。

7.创建提示

为了准备提示，我们将使用“langchain”中心。我们将从那里提取一个名为“langchain-ai/retrieval-qa-chat”的提示。这个提示是专门为我们的案例设计的，允许我们从提供的上下文中向模型询问事物。在引擎盖下，提示如下所示：

Answer any use questions based solely on the context below:
<context> 
{context}
</context>

让我们从“langchain”库导入一个"hub"：

from langchain import hub

然后，只需使用“pull（）”函数从中心检索此提示并将其存储在变量中：

retrieval_qa_chat_prompt = hub.pull("langchain-ai/retrieval-qa-chat")

8.设置大语言模型

接下来我们需要的是一个大型语言模型——在我们的例子中，它将是 OpenAI 模型之一。同样，我们需要一个 OpenAI 密钥，但我们已经将它与嵌入一起设置，因此我们不需要再做一次。

让我们继续导入模型：

from langchain_openai import ChatOpenAI, OpenAIEmbeddings

并将其分配给我们 main 函数中的一个变量：

llm = ChatOpenAI()

9.从数据库检索上下文数据

我们已经完成了向量数据库、嵌入和 LLM（大型语言模型）的准备工作。现在，我们需要使用链条连接所有东西。为此，我们需要“langchain”提供的两种类型的链。

第一个是 ‘create_stuff_documents_chain’，我们需要从 ‘langchain’ 库中导入它：

from langchain.chains.combine_documents import create_stuff_documents_chain

接下来，传递我们的大型语言模型 （LLM） 并提示它。

combine_docs_chain = create_stuff_documents_chain(llm, retrieval_qa_chat_prompt)

此函数返回一个 LCEL Runnable 对象，该对象需要上下文参数。运行它将如下所示：

combine_docs_chain.invoke({
   "context": docs, "input": "What is REACT in machine learning meaning?"})

10.仅检索相关数据作为上下文

它会起作用，但在这种情况下，我们将传递所有块 - 整个文档 - 作为上下文。在我们的例子中，文件有 33 页，这个上下文太大，我们可能会遇到这样的错误：

openai.BadRequestError: Error code: 400 - {'error': {'message': "This model's maximum context length is 4097 tokens. However, your messages resulted in 33846 tokens. Please reduce the length of the messages.", 'type': 'invalid_request_error', 'param': 'messages', 'code': 'context_length_exceeded'}}

为了解决这个问题，我们只需要将与查询相关的信息作为上下文传递。我们将通过将此链与另一条链相结合来实现这一点，该链将仅从数据库中检索对我们重要的块，并自动将它们作为上下文添加到提示中。

让我们从“langchain”库中导入该链：

from langchain.chains import create_retrieval_chain

首先，我们需要将数据库准备为检索器，这将启用对与查询相关的块的语义搜索。

retriever = FAISS.load_local("vector_db", embeddings).as_retriever()

因此，我们加载我们的目录，其中存储转换为向量的块并将其传递给嵌入函数。最后，我们将其作为检索器返回。

现在，我们可以组合我们的链：

retrieval_chain = create_retrieval_chain(retriever, combine_docs_chain)

在后台，它将从数据库中检索相关块，并将它们作为上下文添加到我们的提示中。我们现在要做的就是使用我们的查询作为输入参数调用此链：

response = retrieval_chain.invoke({
   "input": "What is REACT in machine learning meaning?"})

作为响应，我们将收到一个包含三个变量的对象：

• input - 我们的查询;
• context - 我们作为上下文传递给提示的文档（块）数组;
• answer - 由大型语言模型 （LLM） 生成的查询的答案。

10.LLM app 全部代码

我们用 .pdf 文件中的数据扩展了 LLM 模型的知识库。该模型现在能够根据我们在提示中提供的上下文来回答我们的问题。

from dotenv import load_dotenv
from langchain import hub
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_community.document_loaders import PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_community.vectorstores.faiss import FAISS

pdf_path = "./data/2210.03629.pdf"


def main():
    load_dotenv()

    loader = PyPDFLoader(file_path=pdf_path)
    documents = loader.load()

    text_splitter = CharacterTextSplitter(
        chunk_size=1000, chunk_overlap=50, separator="\n"
    )
    docs = text_splitter.split_documents(documents)

    embeddings = OpenAIEmbeddings()

    vectorstore = FAISS.from_documents(docs, embeddings)
    vectorstore.save_local("vector_db")

    retrieval_qa_chat_prompt = hub.pull("langchain-ai/retrieval-qa-chat")

    llm = ChatOpenAI()

    combine_docs_chain = create_stuff_documents_chain(llm, retrieval_qa_chat_prompt)

    retriever = FAISS.load_local("vector_db", embeddings).as_retriever()
    retrieval_chain = create_retrieval_chain(retriever, combine_docs_chain)

    response = retrieval_chain.invoke(
        {"input": "What is REACT in machine learning meaning?"}
    )

    print(response["answer"])


if __name__ == "__main__":
    main()

小结

遵守前面博客中的约定，输出一节基于RAG进行大语言模型构建的内容，我们共划分了10个小节分别进行了详细介绍，希望对初学者有很好的指导作用。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

五、AI产品经理大模型教程

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​