使用LangChain建立检索增强生成(RAG)系统

利用LangChain实现RAG 通过实际代码例子详细阐述如何实现RAG(检索增强生成) 阅读详情

LLM 支持的最强大的应用程序之一是复杂的问答 (Q&A) 聊天机器人。这些应用程序可以回答有关特定源信息的问题。这些应用程序使用一种称为检索增强生成 (RAG) 的技术。

本教程将展示如何基于文本数据源构建一个简单的问答应用程序。在此过程中,我们将介绍典型的问答架构。

什么是 RAG? 

RAG是一种通过附加数据增强 LLM 知识的技术。

LLM 可以推理广泛的主题,但它们的知识仅限于在训练它们的特定时间点之前的公共数据。如果你想构建能够推理私有数据或模型截止日期后引入的数据的 AI 应用程序,则需要使用模型所需的特定信息来增强模型的知识。将适当的信息引入和插入模型提示的过程称为检索增强生成(Retrieval Augmented Generation)。

LangChain 有许多组件旨在帮助构建问答应用程序,以及更普遍的 RAG 应用程序。

注意:这里我们专注于非结构化数据的问答。如果你对结构化数据的 RAG 感兴趣,我将在后续介绍关于通过 SQL 数据进行问答的教程。

典型的 RAG 应用程序有两个主要组件:

  • 索引:从源中提取数据并对其进行索引的管道。这通常是离线进行的。

  • 检索和生成:实际的 RAG 链,它在运行时接受用户查询并从索引中检索相关数据,然后将其传递给模型。

从原始数据到答案的最常见完整序列如下所示:

索引

  1. 加载:首先,我们需要加载数据。这是通过文档加载器完成的。

  2. 拆分:文本拆分器将大型文档拆分成较小的块。这对于索引数据和将其传递到模型中都很有用,因为大块更难搜索,并且不适合模型的有限上下文窗口。

  3. 存储:我们需要某个地方来存储和索引我们的拆分,以便以后可以搜索它们。这通常使用 VectorStore 和 Embeddings 模型来完成。

检索和生成

4. 检索:给定用户输入,使用检索器从存储中检索相关文本块。

5. 生成:ChatModel/LLM 使用包含问题和检索到的数据的提示生成答案。

一些准备工作

首先我们需要设定一下 LLM:

然后我们还需要 embedding model,即嵌入模型:

为了节约成本,我使用了 BGE 系列的开源模型。

接下来,我们将按照上面的步骤来学习如何使用 LangChain 搭建一个 RAG 系统。

索引:加载

LangChain 本身提供的 DocumentLoader 不多,我们可以选择社区贡献的 PDF DocumentLoader:

可以看到,我们得到了 Document 对象的列表。Document 对象包含 page_content (str) 和元数据 (dict) :

docs 列表的长度就表示 PDF 文档的页数。可以理解为每页一个 Document 对象。

索引:拆分

许多 LLM 的上下文窗口只有 8-32k。即使现在有超长上下文窗口的 LLM,但是模型也很难在几千字甚至几万字的文档输入中找到信息。

为了解决这个问题,我们将文档拆分成块以进行嵌入和向量存储。这应该有助于我们在运行时仅检索与文章中最相关的部分。

在这种情况下,我们将 Document 对象拆分成 1000 个字符的块,块之间有 200 个字符的重叠。重叠有助于减轻将语句与与其相关的重要上下文分离的可能性。我们使用 RecursiveCharacterTextSplitter,它将使用常用分隔符(如换行符)递归拆分文档,直到每个块的大小合适。这是针对一般文本用例的推荐文本拆分器。

我们设置 add_start_index=True,以便每个拆分文档在初始文档中开始的字符索引保留为元数据属性“start_index”。

索引:存储

现在我们需要索引 13 个文本块,以便我们可以在运行时搜索它们。最常见的方法是使用嵌入模型生成每个文本块内容的嵌入向量,并将这些嵌入向量插入到向量数据库中。当我们想要搜索我们的文本块时,我们首先生成查询的嵌入向量,然后执行某种“相似性”搜索,以识别与我们的查询嵌入向量最相似的文本嵌入向量。最简单的相似性度量是余弦相似性。

初始化完成 vector_store 之后,我们就可以将文本块及其嵌入向量拆入向量数据库中了:

每个文本块都会有一个 ID 关联。

检索和生成:检索

现在让我们编写实际的应用程序逻辑。我们想要创建一个简单的应用程序,它接受用户问题,搜索与该问题相关的文档,将检索到的文档和初始问题传递给模型,并返回答案。

首先,我们需要定义搜索文档的逻辑。LangChain 定义了一个 Retriever 接口,它包装了一个索引,可以根据字符串查询返回相关文档。

最常见的 Retriever 类型是 VectorStoreRetriever,它使用向量存储的相似性搜索功能来促进检索。任何 VectorStore 都可以通过 VectorStore.as_retriever() 轻松转换为 Retriever:

检索和生成:生成

让我们将所有内容放在一起形成一个链,该链接收问题、检索相关文档、构建提示、将其传递到模型并解析输出。

LangChain提供了:

  • create_stuff_documents_chain 指定了将检索到的上下文输入到提示模板和 LLM 中的方法。

  • create_retrieval_chain 添加检索步骤并通过链传播检索到的上下文,并将其与最终答案一起提供。它具有输入键 input,并在其输出中包含输入、上下文和答案。

在问答应用中,向用户展示用于生成答案的来源通常很重要:

  如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。 

 这份《LLM项目+学习笔记+电子书籍+学习视频》已经整理好,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。


👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。


1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

LangChain入门2 RAG详解 最常见的方法是嵌入每个文档分割的内容,并将这些嵌入插入到矢量数据库(或矢量存储)中。当我们想搜索分割时,我们采用文本搜索查询,嵌入它,并执行某种“相似性”搜索,以识别嵌入与查询嵌入最相似的存储分割。我们将使用LCEL Runnable协议来定义链,使我们能够以透明的方式将组件和函数管道连接在一起,在LangSmith中自动跟踪我们的链,从而获得流式、异步和批量调用。我们想要创建一个简单的应用程序,该应用程序接受用户问题,搜索与该问题相关的文档,将检索到的文档和初始问题传递给模型,并返回答案。 阅读详情

相关推荐

RAG实战案例:如何基于 LangChain 实现智能检索生成系统

检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 (LLM),此类模型会使用检索到的信息生成可供阅读的文本回复)结合在一起。通过从更多数据源添加背景信息,以及通过训练来补充 LLM 的原始知识库,检索增强生成能够提高搜索体验的相关性。这能够改善大型语言模型的输出,但又无需重新训练模型。

FrenzyTechAI的博客 1万+

保姆级指南:基于 LangChain 搭建 RAG 系统全流程

同时课程详细介绍了。

python123456_的博客 2281

【AI大模型应用开发】【LangChain系列】2. 一文全览LangChain数据连接模块:从文档加载到向量检索RAG,理论+实战+细节

本文学习 LangChain 中的 数据连接(Retrieval) 模块。该模块提供文档加载、切分,向量存储、检索等操作的封装。最后,结合RAG基本流程、LangChain Prompt模板和输入输出模块,我们将利用LangChain实现RAG的基本流程。

同学小张的博客 5766

每天积累一点概念:Langchain 和 RAG

知识需要不断的积累,才能有机会厚积薄发,肚子里面没有干货那是真的不行的,我们一起了解一下AI领域里的Langchain 和 RAG,它们到底是什么呢?

AAI666666的博客 2266

使用本地 Llama 2 模型和向量数据库建立私有检索增强生成 (RAG) 系统 LangChain

在人工智能领域,获取最新且准确的数据至关重要。检索增强生成(RAG)模型证明了这一点,它作为人工智能生态系统中的既定工具,利用大型语言模型与外部数据库的协同作用,提供更精确和最新的答案。借助 RAG,您不仅能获得黑匣子答案,还能获得黑匣子答案。您将收到基于直接从最新数据源提取的实时信息的见解。然而,当 RAG 拥有可靠且高效的数据源时,它的力量才能真正发挥出来。这就是非结构化的闪光点。想象一下,有一个以各种格式和位置分布的数据宝库,利用它的任务感觉非常艰巨。

iCloudEnd的博客 1695

深度学习-177-知识图谱技术之langchain与neo4j完整的RAG系统示例

首先向量检索最相关的文档并得到相关节点,以这些节点为起点,通过图查询扩展上下文,然后将相关的内容归并起来,构建增强的上下文,最后调用LLM获取最终的答案。

qq_20466211的博客 547

RAG与知识库搭建,手把手教你构建RAG系统

自从发现可以利用自有数据来增强大语言模型(LLM)的能力以来,如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调(fine-tuning)还是检索增强生成(RAG)来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 (LLM),此类模型会使用检索到的信息生成可供阅读的文本回复)结合在一起。前排提示,文末有大模型AGI-优快云独家资料包哦!

lvaolan的博客 1323

做量化没有实时数据怎么行?我找到一个超级好用的Python库,速度还贼快!

今天咱们介绍了 pytdx 这个神奇的库,重点包括:✅ 安装 pytdx✅ 连接 TDX 服务器✅ 获取实时行情数据✅ 获取 K 线数据✅ 获取分笔成交数据总之,pytdx 是一个速度快、免费、易用的量化利器,适合 A 股量化交易的同学们使用。如果你还在为数据发愁,赶紧试试吧!🚀顺手再看就是对花姐最大的支持,期待你的关注。

奔跑的蜗牛 5735

从零开始学 langchain 之搭建最小的 RAG 系统

大家好,我是雨飞。RAG 可以说是 23 年以来到现在,最为火热的大模型应用技术了,很多人都有了很多经典的研究。而对于新人来说,有些代码十分复杂,导致只看表象并不理解其原理。今天,就利用 langchain 和大家一起搭建一个最简单的 RAG 系统,一起来学习一下吧。

W楠的博客 232

树莓派5新手必看:保姆级ibus中文输入法安装与配置全流程(含.bashrc设置避坑)

本文详细介绍了在树莓派5上安装和配置ibus中文输入法的完整流程,包括系统环境准备、ibus框架安装、图形界面配置及常见问题解决方案。通过清晰的步骤说明和避坑指南,帮助新手快速实现中文输入功能,提升开发效率。

weixin_29159441的博客 536

abaqus wcm插件下载_Abaqus随机短纤维增强复合材料建模插件

文末附Abaqus随机短纤维增强复合材料建模插件下载链接前言短纤维增强复合材料相对于长纤维增强复合材料来说更容易制备,且短纤维的填充性能略有改善,可制造复杂产品,广泛应用于车辆、航空航天、建筑等行业,对短纤维增强复合材料进行细观力学分析,可对其宏观力学性能进行预测、分析破坏机理等。接下来对随机短纤维增强复合材料建模插件进行介绍。NO.1 【算法简介】难点一:此插件核心在于判断生成的纤维是...

weixin_39974882的博客 2834

RAG知识库搭建,手把手教你构建RAG系统

自从发现可以利用自有数据来增强大语言模型(LLM)的能力以来,如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调(fine-tuning)还是检索增强生成(RAG)来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 (LLM),此类模型会使用检索到的信息生成可供阅读的文本回复)结合在一起。

Python栈 1266

MLC-LLM框架在安卓设备上的模型编译与部署全流程解析

本文详细解析了如何利用MLC-LLM框架在安卓设备上编译与部署大语言模型。从环境搭建、模型获取与量化编译,到最终的安卓应用打包与调试,提供了完整的实战流程。重点介绍了如何通过MLC-LLM将大型模型优化为适合移动端运行的格式,实现本地、低延迟、隐私安全的AI应用部署。

weixin_29251337的博客 475

RAG与知识库搭建,手把手教你构建RAG系统_rag知识库构建详细步骤

自从发现可以利用自有数据来增强大语言模型(LLM)的能力以来,如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调(fine-tuning)还是检索增强生成(RAG)来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型(设计用于搜索大型数据集或知识库)和生成模型(例如大型语言模型 (LLM),此类模型会使用检索到的信息生成可供阅读的文本回复)结合在一起。

Javachichi的博客 1154

bugku渗透测试4-writeup

三、对这个主机进行全端口的扫描,发现存在22000 ssh端口,那么可以联想到时redis写入公钥来连接主机。又来了一个新的靶场,这个靶场打下来我觉得关键就是信息收集,走了很多的弯路。八、最后一个flag是要去看cms的数据库里面,这个数据库是sqlite。把这个数据库下载下来,登录密码是加密的,就直接用token。一、入口的漏洞是在登录的时候去抓包,修改action的值。六、没想到这个第一台机器的密码,在第二台里面。七、扫描第一台主机、使用之前的密码连接成功。获取最后一台主机的root密码。

vsdfbhsdhsdfh的博客 1304

历年北京理工大学复试专业综合题

。

A place to record sth. 2万+

RAG实战教程:打造你的知识增强AI潘多拉宝盒,解锁大模型新能力!

本文深入探讨了RAG技术的核心价值与实现路径。针对大语言模型存在的幻觉、时效性和数据安全等问题,RAG通过结合检索与生成技术,显著提升了输出的准确性和可靠性。文章系统介绍了RAG的四大核心模块:版面分析、知识库构建、模型微调和知识问答,详细对比了RAG与SFT的优劣,并提供了从文档解析到索引构建的完整解决方案。通过可扩展、可解释的技术架构,RAG实现了知识更新、领域定制和安全管控等优势,为构建高效智能问答系统提供了实践指南。

2401_84204207的博客 454

【MATLAB强化学习工具箱】学习笔记--在Simulink环境中训练智能体Create Simulink Environment and Train Agent

Simulink中便于搭建各类动力学与控制模型,通过将原有的控制器替换为AI控制器,可以方便使用已有模型,提供增量效果。 本节的重点是如何引入Simulink模型作为env,其他的内容在之前的文章中已有说明。 以水箱模型watertank为例,如下图所示: 采用PI控制器,控制效果如下所示: 将此PI控制器替换为神经网络控制器后,系统架构如下图所示: 具体替换策略如下所示: (1)删去PID控制器; (2)增加RL Agent模块; (3)观测器模块: 观测向量为:,其中...

bear_miao的博客 1万+

大模型RAG进阶实战营学习总结

参加极客时间的"大模型RAG进阶实战营"的学习让我对检索增强生成技术有了系统性的掌握。评估体系建设是课程亮点,通过学习,我的RAG系统的评估从一无所知到有了比较清晰的思路。整个学习过程中,我特别注重技术方案的工业落地性,比如在医疗领域测试了不同嵌入模型对专业术语的捕捉能力差异。这些实践经验为我后续研发多模态RAG系统打下了坚实基础,尤其是在一些实际应用场景中的系统建设获得了重要启发。课程最大的收获是建立了从理论到实践的完整知识闭环。

lijinghe888的专栏 273

秋叶ComfyUI整合包:一键部署AI绘画工作流,解决环境配置难题

在AI绘画和生成式AI领域,Stable Diffusion作为开源的扩散模型,为图像生成提供了强大的技术基础。其核心原理是通过学习数据分布,对随机噪声进行逐步去噪,最终生成高质量的图像。这项技术的价值在于极大地降低了专业图像创作的门槛,并推动了AIGC(人工智能生成内容)在艺术设计、游戏开发、广告营销等场景的广泛应用。然而,其典型工作流实现工具ComfyUI,在实际部署中常因Python环境、PyTorch版本与CUDA驱动之间的复杂依赖关系而受阻,尤其是面对NVIDIA 30系、40系及未来50系等不同

优快云头条 675

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: AI落地应用最新工具集|附PDF文件下载
下一篇: 真心建议大家冲一冲这个AI大模型新兴领域,彻底赢麻了!
智泊AI官方
博客等级 码龄6年 8639粉丝 2667原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值