RAG从入门到精通系列1：基础RAG

LLM（Large Language Model，大型语言模型）是一个功能强大的新平台，但它们并不总是使用与我们的任务相关的数据或者是最新的数据进行训练。

RAG（Retrieval Augmented Generation，检索增强生成）是一种将 LLM 与外部数据源（例如私有数据或最新数据）连接的通用方法。它允许 LLM 使用外部数据来生成其输出。

要想真正掌握 RAG，我们需要学习下图所示的技术（技巧）：

这个图看起来很让人头大，但是不用担心，你来对地方了。

本系列教程将从头开始介绍如何建立对 RAG 的理解。

我们先从 Indexing（索引）、Retrieval（检索）和 Generation（生成）的基础知识开始。

下面的流程图说明了基础 RAG 的过程：

1. 我们对外部文档建立索引（Indexing）；

2. 根据用户的问题去检索（Retrieval）相关的文档；

3. 将问题和相关的文档输入 LLM 生成（Generation）最终答案。

Indexing

我们从加载文档开始学习 Indexing。LangChain 有超过 160 种不同的文档加载器，我们可以使用它们从许多不同的来源抓取数据进行 Indexing。

https://python.langchain.com/docs/integrations/document_loaders/

我们将 Question（问题）输入到 Retriever（检索器），Retriever 也会加载外部文档（知识），然后筛选出与 Question 相关的文档：

我们需要将 Text Representation（文本表示）转成 Numerical Representation（数值表示）才能更好地实现相关性（比如余弦相似度）筛选：

有很多种方法可以将文本转成数值表示，典型的有：

• Statistical（基于统计学）

• Machine Learned（基于机器学习）

目前最常用的就是使用机器学习方法将文本转成固定长度的，可捕获文本语义的 Embedding Vector（嵌入向量）。

有很多开源的 Embedding Model（比如 BAAI 系列）可以将文本转成 Embedding Vector。但是这些模型能接受的 Context Window（上下文窗口）有限，一般在 512~8192 个 token（如果你不知道什么是 token 的话，请跳到文末）。

所以正常的流程是我们将外部文档切分成一个个 Split，使得这些 Split 的长度能够满足 Embedding Model 的 Context Window：

到现在，我们已经掌握了 Indexing 的理论了，现在可以用 Qwen + BAAI + LangChain + Qdrant 实践了。

首先配置 LLM 和 Embedding Model：

然后加载外部文档，这里的文档是一个网页博客：

正如我之前说的， Embedding Model 的 Context Window 有限，我们不能直接把整篇文档丢进去，所以要将原始文档拆分成一个个文档块：

接下来就是配置 Qdrant 向量数据库：

可以阅读《Qdrant：使用Rust编写的开源向量数据库&向量搜索引擎》了解一下 Qdrant。

最后一步对文档块建立索引并存到向量数据库中：

Retrieval

Retrieval 就是根据我们提出的问题的语义向量（也就是 Embedding Vector）去按照某种距离/相似度衡量方法找出与之相似的 k 个 Split 的语义向量。

下图演示了一个在一个 3D 空间的 Embedding Vector Retrieval：

Embedding Vector 通常存储在 Vector Store（向量数据库）中，Vector Store 实现了各种比较 Embedding Vector 之间相似度的方法。

接下来我们用在 Indexing 时构建的 Vector Store 构建一个 retriever，然后输入问题并进行检索：

根据我们设定的 k 值，我们检索出了一个与问题相关的文档块。

Generation

现在我们已经能够根据用户的问题检索出与之相关的知识片段（Split），那么我们现在需要将这些信息（问题 + 知识片段）输入 LLM，让 LLM 帮忙生成一个有时事实依据（知识片段）的回答：

我们需要：

1. 问题和知识片段放到一个字典中，问题放到 Question 这个 key，知识片段放到 Context 这个 key；

2. 然后通过 PromptTemplate 组成一个 Prompt String；

3. 最后将 Prompt String 输入 LLM，LLM 再产生回答。

看起来很复杂，但这就是 LangChain 和 LlamaIndex 这类框架存在的意义：

细心的你发现返回的结果是一个 AIMessage 对象，我们可能需要一个纯字符串的输出结果；而且检索过程和生成过程是分开的，这很不方便。

不过我们可以借助于 LangChain 将上述检索和生成过程链（Chain）在一起：

LangSmith

如果你还是对整个 RAG 管道过程很陌生，那么不妨去 LangSmith 页面上看一下整个过程是怎么被一步步串到一起的：

LangSmith 是一个用于构建生产级 LLM 应用程序的平台。它允许我们密切监控和评估我们的应用程序，以便我们可以快速、自信地交付。使用 LangSmith，我们可以：

• 跟踪 LLM 应用程序

• 了解 LLM 调用和应用程序逻辑的其他部分。

什么是 token？

token 是模型用来表示自然语言文本的基本单位，可以直观的理解为“字”或“词”。

对于英文文本来说，1 个 token 通常对应 3 至 4 个字母：

对于中文文本来说，1 个 token 通常对应一个汉字：

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《AI大模型入门+进阶学习资源包**》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

路线图很大就不一一展示了 （文末领取）

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

👉GitHub海量高星开源项目👈

💥收集整理了海量的开源项目，地址、代码、文档等等全都下载共享给大家一起学习！

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告（持续更新）👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓