从零开始搭建基于Langchain以及开源LLM的RAG 系统

已于 2024-07-07 15:17:40 修改
阅读量1.4k 收藏 22
点赞数 10
文章标签： langchain 语言模型
于 2024-06-23 16:50:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_31588979/article/details/139902479
版权

一、RAG基础了解

欢迎大家微信搜索“AIGCmagic”关注公众号，回复“大模型”，加入大模型&GPT技术交流群，一起交流学习。

1.1、什么是RAG?

RAG (Retrieval-Augmented Generation) 是一种结合了检索和生成两种方法的自然语言处理（NLP）技术。它通过先检索相关的文档或信息，再使用生成模型（如GPT-3）生成答案。这种方法在处理需要丰富背景信息的问题时特别有效。

RAG不仅仅面向文本，它还可以面向语音、视频和图像等多模态场景，只要可以embedding的内容就可以。

RAG的主要流程如下：

  1. 检索（Retrieval）：首先从一个大型文本数据库中检索出与问题相关的文档。这一步通常使用一种检索模型，如BM25或DPR（Dense Passage Retrieval）。

  2. 生成（Generation）：接下来，将检索到的文档与问题一起输入到生成模型中，生成最终的答案。生成模型会根据检索到的文档内容生成一个连贯且有意义的回答。

这种方法的优点是它结合了检索和生成的优势，使得生成的答案不仅有语言上的流畅性，还能够基于实际的文档内容提供更准确和具体的信息。这在处理复杂的问答任务时特别有用，例如需要引用具体事实或数据的情况。
在这里插入图片描述

1.2、RAG文档召回率是什么？

RAG（Retrieval-Augmented Generation）中的文档召回率（Document Recall）是指在检索阶段，模型能够成功找到与用户查询相关的所有文档的比例。具体来说，它衡量的是在所有相关文档中，有多少被成功检索到了。

文档召回率是评估检索系统性能的重要指标。它可以用以下公式计算：
在这里插入图片描述

在RAG中，文档召回率的高低直接影响生成模型的表现。如果召回率低，生成模型可能会缺乏足够的背景信息，从而影响答案的准确性和相关性。

要提高文档召回率，可以采取以下措施：

  1. 改进检索模型：使用更先进的检索模型，如Dense Passage Retrieval (DPR) 或改进BM25算法，来提高相关文档的检索效果。

  2. 扩展检索范围：增加知识库的规模和多样性，以确保包含更多潜在相关文档。

  3. 优化检索策略：调整检索策略，使用多轮检索或结合多个检索模型的结果，来提高召回率。

高召回率可以确保生成模型有更丰富的信息源，从而提高最终生成答案的准确性和可靠性。

1.3、RAG在各行业业务场景中的需求分析

目前能涉及到RAG的行业有：金融、法律、生产型工厂、贸易公司、电商、餐饮、知识产权和文旅政务、医疗、通信、能源、教育（非义务教育）和交通等行业。

初期大部分还是根据已有文档，建立知识对话系统。也有一些企业让大模型参与到决策系统中来。
在这里插入图片描述

1.4、RAG技术的难点

（1）数据处理

目前的数据文档种类多，包括doc、ppt、excel、pdf扫描版和文字版。ppt和pdf中包含大量架构图、流程图、展示图片等都比较难提取。而且抽取出来的文字信息，不完整，碎片化程度比较严重。

而且在很多时候流程图，架构图多以形状元素在PPT中呈现，光提取文字，大量潜藏的信息就完全丢失了。

（2）数据切片方式

不同文档结构影响，需要不同的切片方式，切片太大，查询精准度会降低，切片太小一段话可能被切成好几块，每一段文本包含的语义信息是不完整的。

（3）内部知识专有名词不好查询

目前较多的方式是向量查询，对于专有名词非常不友好；影响了生成向量的精准度，以及大模型输出的效果。

（4）新旧版本文档同时存在

一些技术报告可能是周期更新的，召回的文档如下就会出现前后版本。

（5）复杂逻辑推理

对于无法在某一段落中直接找到答案的，需要深层次推理的问题难度较大。

（6）金融行业公式计算

如果需要计算行业内一些专业的数据，套用公式，对RAG有很大的难度。

（7）向量检索的局限性

向量检索是基于词向量的相似度计算，如果查询语句太短词向量可能无法反映出它们的真实含义，也无法和其他相关的文档进行有效的匹配。这样就会导致向量检索的结果不准确，甚至出现一些完全不相关的内容。

（8）长文本

（9）多轮问答

1.5、RAG的架构

https://pub.towardsai.net/advanced-rag-techniques-an-illustrated-overview-04d193d8fec6?gi=0eea544f219a

在这里插入图片描述
在这里插入图片描述

1.6、RAG存在的一些问题和避免方式

（1）分块（Chunking）策略以及Top-k算法

一个成熟的RAG应该支持灵活的分块，并且可以添加一点重叠以防止信息丢失。用固定的、不适合的分块策略会造成相关度下降。最好是根据文本情况去适应。或者是在定位到关键语句以后进行上下文进行扩充，然后进行重排序。

在大多数设计中，top_k是一个固定的数字。因此，如果块大小太小或块中的信息不够密集，我们可能无法从向量数据库中提取所有必要的信息。

（2）世界知识缺失

比如我们正在构建一个《西游记》的问答系统。我们已经把所有的《西游记》的故事导入到一个向量数据库中。现在，我们问它：人有几个头?

最有可能的是，系统会回答3个，因为里面提到了哪吒有“三头六臂”，也有可能会说很多个，因为孙悟空在车迟国的时候砍了很多次头。而问题的关键是小说里面不会正儿八经地去描述人有多少

最低0.47元/天 解锁文章
_张一凡
关注
从零开始：基于LLM大模型构建智能应用程序的完整指南
AI天才研究院
06-07 1万+
在我们即将发布的帖子中，我们将讨论 LLM 链、意图识别、添加特定于任务的工具、集群、创建推荐系统、微调开源 LLM 以及我们测试系统的方式等话题不断改进并从研究和开源社区中学习。在零样本学习中，语言模型被要求在没有明确示例的情况下完成任务，而在少样本学习中，为模型提供了有限数量的示例，或“少样本”，嵌入在提示中. 提示对于将模型引导到一个方向并避免产生幻觉非常重要。根据您的需要，其他方法可能更有效。LLM大模型是一种基于深度学习技术的模型，它可以自动学习并理解大量的数据，从而实现高效、准确的预测和分类。
从零开始构建基于RAG的AI原生应用指南
最新发布
AI天才研究院
06-10 889
在大语言模型（LLM）时代，AI应用正从“规则驱动”转向“数据驱动”。知识时效性差：模型训练数据有时间边界（如GPT-4截止到2023年10月），无法处理最新信息；幻觉（Hallucination）问题：模型可能生成与事实不符的“虚假知识”。RAG（Retrieval-Augmented Generation，检索增强生成）通过“先检索后生成”的架构，将外部知识库与LLM结合，完美解决了这两个问题。本文将覆盖RAG系统的核心组件、技术选型、实战开发全流程，帮助开发者从零构建一个可用的RAG应用。
RAG概念理解与项目实战（基于LangChain框架附带GitHub源码）
weixin_59534602的博客
03-17 1403
了解RAG流程解决方案，可构建本地知识库。基于LangChain框架写的一个简单RAG流程项目，支持联网搜索与本地指数哭，GitHub开源。
【LLM大模型】开发基于云的RAG应用，使用开源 LLM
2301_81940605的博客
07-09 642
检索增强生成 (RAG)通常用于开发定制的 AI 应用程序，包括 聊天机器人、推荐系统和其他个性化工具。该系统利用向量数据库和 大型语言模型 (LLM)的优势来提供高质量的结果。
15个最佳开源 RAG 框架选型指南
kaka0722ww的博客
04-15 1117
LangChain 是较早构建 LLM 应用的框架之一，并在 RAG 生态系统中占据重要地位。它提供了一个框架，用于将组件和集成链接在一起，以开发 AI 应用，同时适应不断发展的技术。LangChain 提供用于模型、嵌入和向量存储的接口，提供了一种结构化的方法来实现检索增强生成系统。Dify 是一个开源的 LLM 应用程序开发平台，它将可视化工作流构建与强大的 RAG 功能相结合。其直观的界面无需大量编码，方便开发人员和非技术用户使用。
开源：基于DeepSeek打造RAG系统
优快云_430422的博客
02-07 3270
RAG（Retrieval-Augmented Generation）即检索增强生成，是一种优化大型语言模型（LLM）输出的方法，旨在使LLM能够在生成响应之前引用训练数据之外的权威知识库。
构建开源多模态RAG系统
人工智能讲师分享前沿技术
06-24 1044
1. 增强的准确性和可靠性：RAG通过将大型语言模型（LLMs）重定向到权威的知识来源，解决了其不可预测性的问题。RAG引入了透明度，使组织能够对生成的文本输出拥有更大的控制权，解决了关于偏见、可靠性和合规性的担忧。为了解决这个限制，多模态模型结合了不同的模态，使得对多样化的数据有更全面的理解。多模态大型语言模型（MLLM）代表了自然语言处理中的一个范式转变，超越了传统的基于文本的方法。6. 什么是多模态？大型语言模型，如GPT-3，擅长生成类似人类的语言，但在提供最新或特定领域的信息方面存在限制。
通往RAG之路（二）：版面结构检测方法介绍
weixin_31588979的博客
09-01 1217
RAG系统搭建过程中，版面分析是不可缺少的一个步骤，本文介绍用yolov5进行版面结构信息识别，后续再搭配表格识别、公式识别、文字识别等模块进行版面还原，完成PDF结构化输出。
2024年十大开源大模型RAG框架！
2401_85373898的博客
12-05 1955
检索增强生成（RAG）已成为增强大型语言模型能力的一项强大技术。RAG框架结合了基于检索系统的优点与生成模型的优势，能够提供更准确、更具上下文感知能力以及更及时的响应。随着对复杂AI解决方案的需求增长，许多开源的RAG框架在GitHub上涌现，每个框架都提供了独特的功能和能力。检索增强生成（RAG）是一种人工智能框架，通过整合外部知识源来增强大型语言模型（LLM）的能力。RAG通过从知识库中检索相关信息并利用这些信息来增强LLM的输入，从而使得模型能够生成更准确、更及时且更符合上下文的相关响应。
RAG实操教程，LangChain + Llama2 | 创造你的个人LLM
2401_85782938的博客
06-20 1151
本文将逐步指导您创建自己的RAG（检索增强生成）系统，使您能够上传自己的PDF文件并向LLM询问有关PDF的信息。本教程侧重于图中蓝色部分，即暂时不涉及Gradio（想了解已接入Gradio的，请参考官网）。Llama2ChromaDB核心在于Langchain，它是用于开发由语言模型支持的应用程序的框架。LangChain就像胶水一样，有各种接口可以连接LLM模型与其他工具和数据源，不过现在LangChain正在蓬勃发展中，许多文件或API改版很多。以下我使用最简单的方式示范。
《DeepSeek+Langchain落地实操:RAG知识增强检索和智能体实战开发》
周红伟讲AI
02-11 1017
它的设计理念在于简化和加速利用大型语言模型（LLM）和对话模型构建应用程序的过程。这个框架提供了一套全面的工具、组件和接口，旨在简化基于大型语言模型和对话模型的应用程序开发过程。课程全面系统的讲解AI应用开发框架Langchain、LangGraph。法国科学院数据算法博士/曾任阿里人工智能专家/曾任马上消费金融风控负责人。第6章 DeepSeek+Agent+RAG私有知识销售助手。案例实操：DeepSeek+Agent+RAG私有知识销售助手。不同案例选择器应用_长度选择器_相似度选择器_重叠选择器。
盘点2024年十大开源RAG框架
m0_56255097的博客
10-29 6669
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
基于LangChain构建RAG应用
极限突破者的博客
06-27 1851
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，上一篇文章中我们详细介绍了RAG的核心思想以及搭建向量数据库的完整过程；😲将LLM接入LangChain：选择LLM，然后在LangChain中使用；构建检索问答链：使用语法构建RAG问答链部署知识库助手：使用streamlit部署项目；帮助读者快速构建RAG应用并部署在阿里云服务器上；Streamlit是一个开源的 Python 库，它使得数据科学家和开发者能够快速构建和共享美观的机器学习模型和数据应用程序。使用。
如果你正在研究RAG，那么这10个开源框架非常值得一看！
优快云_430422的博客
03-06 1258
检索增强生成（）已成为增强大型语言模型能力的一种强大技术。框架结合了基于检索系统的优点与生成模型的能力，使得响应更加准确、上下文相关且实时更新。随着对复杂 AI 解决方案需求的增长，GitHub 上涌现出众多开源 RAG 框架，每个框架都提供了独特的特性和能力。
10 个顶级的 RAG 框架，开源的
star_nwe的博客
01-24 4094
检索增强生成（RAG）已成为一种强大的技术，用于增强大型语言模型的能力。RAG框架结合了基于检索的系统的优点和生成模型的优点，能够提供更准确、更具上下文意识且更及时的响应。随着对复杂AI解决方案的需求不断增长，GitHub上出现了许多开源的RAG框架，每个框架都提供了独特的功能和能力。
让大模型不再胡言乱语！2024 Github 上最不能错过的 5 个开源 RAG 框架
m0_59235945的博客
07-27 4379
把大模型想象为一位尽职的图书馆管理员，当你每次有疑问的时候，他就会根据你的口述需求，在浩瀚的文本中尽可能的找到最符合你需求的书籍。而一旦图书馆并没有相关藏书，或内容已过时，我们的这位尽职管理员可不会承认自己的无能，一顿输出猛如虎，结果一看全错。RAG 是一层额外的“知识外挂”。好比给这位管理员额外增补了相关领域的知识，这样它回答出的问题会变得更加精准。这样你就可以放心的让这位管理员，精准解答其他客户所提出疑惑。
使用 Llama 3 开源和 Elastic 构建 RAG
Elastic 中国社区官方博客
06-21 1345
使用开源的 Llama 3 和 Elastic 构建 RAG Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 Gemma 7B Instruct、Mistral 7B Instruct 等最近发布的一些模型相比，它具有良好的评估指标。该模型有两个变体，分别是 80 亿和 700 亿参数。值得注意的是，在撰写这篇博客时，Meta 仍在训练 400B+ 版本的 Llama 3。
Langchain教程 | langchain+OpenAI+PostgreSQL（PGVector） 实现全链路教程，简单易懂入门
HRG520JN的博客
04-01 3346
在阅读本文前，建议要有一定的langchain基础，以及langchain中document loader和text spliter有相关的认知，不然会比较难理解文本内容。是一个开源向量相似性搜索Postgres它支持:- 精确和近似最近邻搜索- L2距离，内积和余弦距离。
基于LangChain的RAG开发教程
04-30
### LangChain RAG 开发教程：检索增强生成 示例 指南 #### 使用 LangChain 构建 RAG 系统的核心流程 LangChain 是一种用于构建应用程序的框架，特别适合于结合大型语言模型和其他工具来创建复杂的交互式系统。通过 LangChain 实现检索增强生成（RAG），可以显著提升系统的上下文理解和响应质量。 以下是基于 LangChain 的 RAG 系统开发的关键步骤： 1. **安装依赖库** 首先需要确保环境中有必要的 Python 库支持。可以通过以下命令完成 LangChain 和其他必要库的安装： ```bash pip install langchain openai faiss-cpu tiktoken unstructured ``` 2. **加载文档并分割成片段** 文档处理是 RAG 流程中的重要部分。通常会将原始数据拆分为较小的部分以便后续检索和编码。 ```python from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=200 ) documents = [...] # 加载您的文档集合 texts = text_splitter.split_documents(documents) ``` 这里使用 `RecursiveCharacterTextSplitter` 将输入文本按指定大小切片[^3]。 3. **嵌入向量表示** 向量化是将文本转换为数值形式的过程，便于存储到矢量数据库中进行高效检索。 ```python from langchain.embeddings.openai import OpenAIEmbeddings embeddings = OpenAIEmbeddings() db = FAISS.from_texts([t.page_content for t in texts], embeddings) ``` 此处采用 OpenAI 提供的嵌入服务，并将其保存至 FAISS 数据库中以备查询[^2]。 4. **设置检索器** 创建一个能够从已有的知识库中找到最相关条目的检索器。 ```python retriever = db.as_retriever(search_type="similarity", search_kwargs={"k": 2}) ``` 5. **定义链路逻辑** 结合检索结果与大语言模型生成最终回复。 ```python from langchain.chains import RetrievalQA from langchain.chat_models import ChatOpenAI llm = ChatOpenAI(model_name="gpt-3.5-turbo") qa_chain = RetrievalQA.from_chain_type(llm, chain_type="stuff", retriever=retriever) result = qa_chain.run("请解释什么是量子计算？") print(result) ``` 在此阶段，我们调用了 GPT-3.5 Turbo 来综合检索得到的信息形成连贯的回答[^1]。 #### 总结 以上展示了如何借助 LangChain 工具包快速搭建一套基础版的 RAG 系统。它涵盖了从资料准备、特征提取直到实际对话互动整个链条上的操作要点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值