LangChain实战：使用 RAG 工作流程进行高效信息检索 Efficient Information Retrieval with RAG Workflow

已于 2023-12-28 15:12:47 修改
阅读量2.3k 收藏 5
点赞数 12
CC 4.0 BY-SA版权
分类专栏： ChatGPT 文章标签： 人工智能 算法 语言模型 langchain 知识库嵌入 向量存储 RAG
于 2023-10-22 10:26:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/universsky2015/article/details/133963362
本文介绍了RAG（检索增强生成）如何克服大型语言模型的知识限制，通过整合外部数据来提升上下文理解。RAG利用外部数据源，通过检索器和生成器的结合，改善了幻觉和知识截止问题。LangChain是一个用于构建大型语言模型应用的开源框架，简化了RAG的工作流程，包括文档加载、文本嵌入和向量存储等组件。通过LangChain和Hugging Face，开发者可以更高效地实现信息检索和模型增强。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

a4bedf36cfa64d898e4b0e0dabd7d5b0.png

Introduction 介绍

Retrieval Augmented Generation (RAG) breaks free from knowledge limitations, incorporates external data, and enhances contextual understanding.
检索增强生成（RAG）突破知识限制，整合外部数据，增强上下文理解。

Its popularity is soaring due to its efficiency in integrating external data without continuous fine-tuning.
由于其无需持续微调即可高效集成外部数据，其受欢迎程度飙升。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LangChain 2024 最新发布：LangGraph 多智能体工作流（Multi-Agent Workflows）
大模型与Agent智能体
01-27 3472
当我们谈论“多智能体”时，我们谈论的是多个独立的参与者，这些参与者由以特定方式连接的语言模型提供支持。每个代理都可以有自己的提示、LLM、工具和其他自定义代码，以便与其他代理进行最佳协作。什么是多个独立代理？这些代理是如何连接的？这种想法非常适合图表示，例如由LangGraph 提供的图表示。在此方法中，每个智能体都是图中的一个节点，它们的连接表示为一条边。控制流由边管理，它们通过添加到图的状态进行通信。注意：这里一个非常相关的概念是状态机的概念，我们明确地将其称为认知架构的一个类别。
实战LangChain（二）：探索RAG——为聊天机器人注入知识
mtl1994的博客
03-13 759
Retrieval Augmented Generation (RAG) 技术为解决自然语言处理的复杂任务提供了一种新颖的方法。尽管面临挑战，但随着技术的不断发展和优化，RAG有望在提高信息检索和内容生成质量方面发挥更大的作用。通过不断探索和创新，我们有理由相信，RAG将在未来的人工智能发展中占据重要位置，为人机交互带来更多的可能性。
LangChain实战 | 实现一个检索增强生成系统(RAG)
bagell的博客
01-28 910
LangChain是一个非常适合的工具框架。LangChain通过模块化设计，简化了从数据加载到问答生成的全流程操作。数据加载器（Loader）：支持多种数据格式的加载（如文本、PDF等）。文本分割器（Text Splitter）：将长文本分割为适合检索的短片段。嵌入与向量存储：将文本映射到高维向量空间并存储，用于快速检索。Prompt管理：灵活设计生成模型的输入提示（Prompt）。问答链（Chain）：将检索和生成串联，完成从问题到答案的闭环。
LangChain入门系列：RAG检索增强生成全解析
最新发布
yihanss的博客
06-30 1198
检索增强生成（RAG）技术是大语言模型实现知识扩展的关键突破，其核心工作原理可概括为"现查现用"的智能增强机制。当大模型遇到超出其训练数据范围的问题时，RAG会实时从外部知识库检索相关信息，将这些新鲜知识智能整合到生成过程中，使模型能够结合最新数据给出准确回答。这一过程完美弥补了大模型固有的三大知识短板：训练数据的时效性局限、专有知识的缺失问题以及特定领域的深度不足。通过动态检索与智能融合的双重机制，RAG既保留了预训练模型的强大推理能力，又突破了静态知识库的边界，实现了"即需即学"的智能进化。这种技术特别
利用LangChain实现RAG
qiaotl的博客
11-13 6832
通过实际代码例子详细阐述如何实现RAG(检索增强生成)
【LangChain系列】第七篇：工作流（链）简介及实践
2301_81888214的博客
06-07 1567
Langchain的核心是“链”的概念，这是一个构建块，允许您组合和编排不同的组件，以创建复杂而智能的应用程序。想象一下，您是一名数据科学家，正在从事一个尖端项目，该项目涉及处理和分析大量非结构化数据，例如客户评论、社交媒体帖子，甚至是学术论文。您的目标是从这些数据中提取见解和有价值的信息，但任务的庞大数量和复杂性可能令人生畏。使用LangChain链，您可以将这个非常复杂的任务分解成更小的、可管理的部分，然后将它们链接在一起，以创建一个无缝的端到端解决方案。
使用LangChain建立检索增强生成（RAG）系统
Code1994的博客
11-12 1474
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
AI小白傻傻分不清楚——RAG和 LangChain 到底有什么区别
liwenxiang629的博客
03-15 1093
RAG（检索增强生成）和 LangChain 的关系可以用一句话概括：LangChain 是一个框架，而 RAG 是 LangChain 支持的一种核心技术应用模式。两者结合使用时，LangChain 提供了一套完整的工具链来简化 RAG 的实现流程。
基于LangChain构建RAG应用
极限突破者的博客
06-27 1892
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，上一篇文章中我们详细介绍了RAG的核心思想以及搭建向量数据库的完整过程；😲将LLM接入LangChain：选择LLM，然后在LangChain中使用；构建检索问答链：使用语法构建RAG问答链部署知识库助手：使用streamlit部署项目；帮助读者快速构建RAG应用并部署在阿里云服务器上；Streamlit是一个开源的 Python 库，它使得数据科学家和开发者能够快速构建和共享美观的机器学习模型和数据应用程序。使用。
生成式AI系统中的任务分解与检索增强生成（RAG）设计模式及其实战应用案例
03-18
内容概要：本文详细讨论了两个针对生成式AI系统的常用技术——任务分解(Task Decomposition) 和检索增强生成(Retrieval-Augmented Generation, RAG)，并将其形式化为设计模式，应用于实际的企业级低代码完整工作流...
AutoGen 检索增强生成（RAG）功能解析
Muti-Agent
09-01 1786
检索增强生成 (RAG) 是大模型的一种扩展技术，它将大模型与外部知识检索相结合，以提高生成的响应的质量和相关性，例如：FastGPT。RAG架构图如下所示。主要流程如下所示：（1）用户（User）提出问题（Query）;（2）在数据库（Data Source）中查询与问题（Query）相关的内容，这些内容将作为 LLM 的上下文（Text），将问题（Query）和上下文（Text）一起传给 LLM；（3）LLM 根据 Data Source 中检索到的内容组织回答，最终生成回答，返回给用户；
LangChain、RAG、Agent是什么
ZJQ的博客
02-26 233
LangChain、RAG、Agent是什么 在本地部署基于DeepSeek-R1模型的商用级知识库系统，旨在帮助开发者搭建智能知识库，提升企业智能化水平。 1. **背景与技术概述**：随着大语言模型和RAG技术发展，AI知识库广泛应用于各行业，但传统信息管理系统存在问题，大模型也有“幻觉”现象。RAG技术将信息检索与生成模型结合，能缓解“幻觉”，而Agent智能体和LangChain框架可满足复杂业务需求。
langchain实践——简单的RAG
m0_67368572的博客
04-25 1561
新用户申请阿里云灵积平台服务可获取部分模型限量免费API额度，由于项目模型处于开发微调中，故使用阿里云灵积平台服务API进行后端应用开发。
LangChain学习笔记—RAG（检索增强生成）
姚家湾博客
04-05 7476
当用户在大模型输入问题后，将问题本身也embedding，转化为向量，在向量数据库中查找与之最匹配的相关知识，组成大模型的上下文，将其输入给大模型，最终返回大模型处理后的文本给用户，这种方式不仅降低大模型的计算量，提高响应速度，也降低成本，并避免了大模型的tokens限制，是一种简单高效的处理手段。例如，使用链，您可以同时运行提示符和 LLM，从而避免了首先格式化 LLM 模型的提示，然后使用模型在单独的步骤中执行它。实际的 RAG 链，它在运行时接受用户查询并从索引中检索相关数据，然后将其传递给模型。
python实战（七）——基于LangChain的RAG实践
学习与分享人工智能技术
11-06 2448
本文详细介绍了使用LangChain构建RAG程序的各个流程，并给出了对应的python实现代码。
【LangChain编程：从入门到实践】LangChain中的RAG组件
AI天才研究院
06-15 627
LangChain是一个专注于自然语言处理和生成的框架，旨在简化复杂的语言任务。它提供了多种组件和工具，帮助开发者快速构建和部署高效的NLP应用。RAG（Retrieval-Augmented Generation）是一种结合检索和生成的技术，通过从外部知识库中检索相关信息来增强生成模型的输出。RAG组件在LangChain中扮演着关键角色，能够显著提高生成结果的准确性和相关性。随着自然语言处理技术的不断进步，RAG组件在各个领域的应用前景广阔。未来，RAG组件将更加智能化和高效，能够处理更加复杂的任务。
用 LangChain 搭建基于 Notion 文档的 RAG 应用
ZILLIZ
11-30 636
在整个过程中，我们会将 LangChain 作为框架，Milvus 作为相似性搜索引擎，用二者搭建一个基本的检索增强生成（RAG）应用。在之前的文章中，我们已经介绍过 LangChain 中的“自查询”（Self-querying）。首先，我们定义元数据。本例中，描述即为“文档的主要部分”。在我们实例化自查询检索器前，现将 GPT 的温度（Temperature）设置为 0，并赋值给一个名为 llm 的变量。如果想要进行深入的探索，建议大家调整分块大小和重叠等参数，检查不同的参数值是如何影响查询结果的。
LangChain入门（3）：RAG（检索增强生成）
雨落倾城的博客
05-11 1956
本文介绍了LangChain框架中的RAG（检索增强生成）技术，旨在解决大模型更新参数耗时且可能产生“幻觉”的问题。RAG通过将新知识作为文档提供给大模型，使其直接从文档中检索内容。
LangChain环境中探索检索增强生成(Retrieval-Augmented Generation, RAG)技术的实际运用
12-28
### 实现检索增强生成（RAG）技术于LangChain环境 #### 应用实例概述 在构建复杂问答(Q&A)聊天机器人的过程中，检索增强生成(RAG)扮演着重要角色。这类应用不仅限于简单地回应用户提问；更进一步的是，在面对特定源信息时提供精准解答[^2]。 #### 技术实现细节 ##### 查询转换机制 为了提高模型理解力以及优化最终输出质量，采用了一种名为最少到最多提示(Least-to-Most Prompting)的方法来进行查询转换。此方法涉及将用户的初始请求拆解成若干个小问题，并依次解决这些问题直到获得完整的答案为止。这种策略有助于减少单次输入中的不确定性因素，使得整个对话流程更加流畅自然[^3]。 ```python from langchain import LangChain, QueryTransformer def transform_query(query_string): transformer = QueryTransformer() # 将原始查询分割为多个子问题 sub_queries = transformer.split_into_subqueries(query_string) return sub_queries ``` ##### 整合外部知识库 除了改进内部逻辑外，还必须考虑如何有效利用外部资源。通过引入像维基百科这样的权威资料作为补充材料，可以帮助系统更好地理解和解释某些领域内的术语或概念。具体来说就是让LLM学习并结合来自不同渠道的信息，以此为基础给出更为全面的回答[^1]。 ```python import wikipediaapi wiki_wiki = wikipediaapi.Wikipedia('en') def fetch_external_knowledge(topic): page_py = wiki_wiki.page(topic) if page_py.exists(): return page_py.summary[0:60] else: return "No information found." ``` ##### 构建完整的工作流 最后一步则是把上述各个组件串联起来形成一个连贯的整体工作流。当接收到一个新的询问时，先经过预处理阶段完成必要的格式调整；接着调用`transform_query()`函数对其进行细化分析；随后针对每一个细分后的子项分别执行搜索操作获取对应的知识片段；最后再把这些零散的部分重新组合拼凑成一句通顺的话语返回给使用者。 ```python class RagWorkflow(LangChain): def process(self, user_input): transformed_queries = self.transform_query(user_input) results = [] for q in transformed_queries: knowledge_snippet = self.fetch_external_knowledge(q) result = f"{q}: {knowledge_snippet}" results.append(result) final_response = "\n".join(results) return final_response rag_workflow_instance = RagWorkflow() print(rag_workflow_instance.process("What is machine learning?")) ```
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值