Langchain极简教程: 九、一个完整的RAG案例

原创 已于 2024-12-17 11:07:29 修改 · 1.1k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#langchain

于 2024-12-17 10:59:16 首次发布

系列文章

Langchain极简教程: 一、Hello Langchain
Langchain极简教程: 二、模型
Langchain极简教程: 三、数据连接
Langchain极简教程: 四、提示词
Langchain极简教程: 五、输出解析器
Langchain极简教程: 六、链
Langchain极简教程: 七、记忆组件
Langchain极简教程: 八、代理 (Agent)
Langchain极简教程: 九、一个完整的RAG案例

简介

这是该 LangChain 极简入门系列的最后一讲。我们将利用过去9讲学习的知识，来完成一个具备完整功能集的LLM应用。该应用基于 LangChain 框架，以某 PDF 文件的内容为知识库，提供给用户基于该文件内容的问答能力。

我们利用 LangChain 的QA chain，结合 Chroma 来实现PDF文档的语义化搜索。示例代码所引用的是AWS Serverless
Developer Guide，该PDF文档共84页。

本讲的完整代码请参考10_Example.jpynb

  1. 安装必要的 Python 包

    pip install langchain-ollama==0.2.0
pip install chromadb 
pip install pymupdf 
pip install tiktoken

  2. 下载PDF文件AWS Serverless Developer Guide

    !wget https://docs.aws.amazon.com/pdfs/serverless/latest/devguide
最低0.47元/天 解锁文章
南宫贇
关注
LangChain面试内容整理-知识点23：实战案例：检索增强生成（RAG）系统
不务正业的猿
07-17 370
检索增强生成（Retrieval-Augmented Generation, RAG）是一种将LLM与外部知识库结合的方法，通过实时检索相关信息来辅助生成答案。这极大缓解了LLM“封闭知识”过期或不足的问题。
【AI大模型应用开发】【LangChain系列】实战案例4：再战RAG问答，提取在线网页数据，并返回生成答案的来源
同学小张的博客
03-12 3640
本文利用 LangChain 实现了一个完整的问答RAG应用。其中RAG中的数据源采用加载网页数据的形式获取，而不是采用之前实践中传统的本地知识库（加载本地PDF文件）的方式。然后我们还在RAG的返回中增加了参考文本的输出，这是之前我们没有实践过的，算是一点新知识。在实现这个功能的过程中，最主要的是学会使用 LangChain 中提供的 `RunnablePassthrough` 和 `RunnableParallel` 进行值的传递。
用 LangChain 搭建基于 Notion 文档的 RAG 应用
ZILLIZ
11-30 1297
在整个过程中，我们会将 LangChain 作为框架，Milvus 作为相似性搜索引擎，用二者搭建一个基本的检索增强生成（RAG）应用。在之前的文章中，我们已经介绍过 LangChain 中的“自查询”（Self-querying）。首先，我们定义元数据。本例中，描述即为“文档的主要部分”。在我们实例化自查询检索器前，现将 GPT 的温度（Temperature）设置为 0，并赋值给一个名为 llm 的变量。如果想要进行深入的探索，建议大家调整分块大小和重叠等参数，检查不同的参数值是如何影响查询结果的。
LangChain入门（3）：RAG（检索增强生成）
最新发布
雨落倾城的博客
05-11 2157
本文介绍了LangChain框架中的RAG（检索增强生成）技术，旨在解决大模型更新参数耗时且可能产生“幻觉”的问题。RAG通过将新知识作为文档提供给大模型，使其直接从文档中检索内容。
大模型入门实战：通过 HuggingFace 调用 Llama3
python12345_的博客
01-10 2100
至此，我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型，并获取了模型的回答。但是如果你的需求只是简单地调用模型，而无需进行微调或复杂的部署，可以尝试使用 Ollama。它不仅操作更加便捷，还提供了开箱即用的 RESTful 接口，适合快速集成到生产环境中。下一篇，我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。
LangChain知识库构建与RAG设计
Box_clf的博客
06-03 3921
#加载文档import os#总结文档#翻译一下文档#精炼文档，删除除了某个主题或关键词之外的内容，仅保留与主题相关的内容。
基于langchain，gradio实现法律AI小助手，法律RAG，通过倒入全部200+本法律手册、网页搜索内容结合LLM回答你的问题，并且给出对应的法规和网站
billvsme的专栏
10-20 1460
法律AI助手，法律RAG，通过全部200+本法律手册、网页搜索内容结合LLM回答你的问题，并且给出相应的法规和网站，基于 langchain，Gradio，openai，chroma，duckduckgo-search
Langchain极简教程: 八、代理 (Agent)
南宫贇的博客
12-17 1835
Agent也就是代理，它的核心思想是利用一个语言模型来选择一系列要执行的动作。LangChain的链将一系列的动作硬编码在代码中。而在Agent中，语言模型被用作推理引擎，来确定应该执行哪些动作以及以何种顺序执行。Agent代理Tool工具Toolkit工具包代理执行器接下来我们做逐一介绍。注，该极简入门系列将略过工具包的介绍，这部分内容将包含在进阶系列中。本节课程中，我们学习了什么是Agent代理，Tool工具，以及代理执行器，并学习了它们的基本用法。下一讲我们将学习Callback回调。
Langchain极简教程: 一、Hello Langchain
南宫贇的博客
12-16 417
大型语言模型（LLM）正在成为一种具有变革性的技术，使开发人员能够构建以前无法实现的应用程序。然而，仅仅依靠LLM还不足以创建一个真正强大的应用程序。它还需要其他计算资源或知识来源。Langchain基于文档数据的问答聊天机器人代理OpenAI是LLM生态的模型层最大的玩家之一。大家目前熟知的GPT-3.5GPT-4等模型都是OpenAI的产品。它的API允许开发人员通过简单的API调用来访问这些模型。本节课程中，我们简要介绍了LangchainOpenAI以及它们的关系，并完成了第一个。
Langchain极简教程: 四、提示词
南宫贇的博客
12-17 815
提示词（Prompt）是指向模型提供的输入。这个输入通常由多个元素构成。LangChain提供了一系列的类和函数，简化构建和处理提示词的过程。提示词模板（Prompt Template）：对提示词参数化，提高代码的重用性。示例选择器（Example Selector）：动态选择要包含在提示词中的示例本节课程中，我们简要介绍了LLM中的重要概念提示词并学习了如何使用Langchain的重要组件提示词模板。
Langchain极简教程: 七、记忆组件
南宫贇的博客
12-17 788
大多数LLM应用都具有对话界面。对话的一个重要组成部分是对话历史中的信息。我们将这种存储对话历史中的信息的能力称为"记忆"。LangChain提供了一系列记忆相关的实用工具。这些工具可以单独使用，也可以无缝地集成到一条链中。记忆组件需要支持读取写入注，每条链定义了核心执行逻辑，期望某些输入。一些输入来自用户，另一些可能来自记忆组件。接收到初始用户输入之后，执行核心逻辑之前，链从记忆组件读取历史，并以此增强用户输入。
LangChain 中主流的 RAG 实现方式
alva_xu的博客
04-25 1475
支持图片、表格等非文本数据，需结合 OCR（如 Tesseract）和专用解析器（如 DeepDoc）。：文档需预先处理好分块 ，该方法的result是字符串，没有metadata信息。：封装文档加载→分块→向量化→存储→检索全流程，适合快速原型开发。：通过设计模板控制生成风格，强制 LLM 基于上下文回答，减少幻觉。：结合语义搜索（向量相似度）与关键词检索（BM25），提升召回率。：通过迭代检索优化结果，例如先检索大纲再定位细节。：提取检索文档中的关键片段，减少无关信息输入。
RAG实战案例：如何基于 LangChain 实现智能检索生成系统
热门推荐
FrenzyTechAI的博客
12-22 1万+
检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。通过从更多数据源添加背景信息，以及通过训练来补充 LLM 的原始知识库，检索增强生成能够提高搜索体验的相关性。这能够改善大型语言模型的输出，但又无需重新训练模型。
Llama 3 构建语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成
数智笔记
05-20 2992
RAG工作流帮助我们管理和利用来自各种来源的数据，以提供准确和相关的结果。从不同的来源收集数据，如文本文件、PDF、网站、数据库或API。例如，Llama Hub提供了许多连接器，使这一步骤更容易。在索引阶段，系统将原始数据转换为向量嵌入并组织它们。使用句子转换模型将每个文档或数据片段转换为捕捉语义含义的高维向量。然后将这些向量组织成高效的数据结构，通常是n维树或哈希映射，以实现快速的相似性搜索。保存索引数据和标签，以便以后无需再次组织。将查询转换为向量，并使用余弦相似度或其他距离度量与索引向量进行比较。
RAG实战1 - 使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面
小然的百宝盒
01-13 1286
一、RAG介绍 二、安装python环境以及相关的包 三、导入相关包 四、Mistral-7b模型介绍 五、Embedding模型 六、Prompt Template 七、数据加载 八、数据注入 九、查询 十、问答 十一、基于Gradio搭建问答UI界面
学会使用langchain+openai+qdrant建立第一个RAG应用
python12345_的博客
10-24 942
RAG 是一种通过附加数据增强 LLM 知识的技术。LLM 可以推理广泛的主题，
深入了解Azure OpenAI：使用LangChain优化你的AI应用
stjklkjhgffxw的博客
11-10 449
Azure OpenAI API兼容OpenAI的API，这意味着如果你熟悉OpenAI的API，那么在Azure上使用会非常顺利。Azure OpenAI允许你在自己的环境中配置和管理AI模型部署，这为企业级应用提供了更高的灵活性和控制。Azure OpenAI结合LangChain为开发者提供了灵活且强大的工具，支持开发复杂的自然语言处理应用。通过合理的配置和部署，开发者可以充分利用OpenAI模型的能力。Azure OpenAI文档OpenAI API参考LangChain文档。
使用Supabase实现高效RAG：集成OpenAI与LangChain
ahdfwcevnhrtds的博客
09-19 562
通过本文的指南，您可以在Supabase中实现RAG功能，并与OpenAI结合以增强文本生成能力。推荐深入学习PostgreSQL和pgvector，以了解更多关于向量嵌入的存储和查询。
检索增强生成（RAG）：利用Python、LangChain和OpenAI实现前沿的自然语言处理技术
m0_57781768的博客
06-30 565
检索增强生成（RAG）是一种为大型语言模型提供外部知识源的技术。通过引入外部知识源，RAG能够生成更加准确且符合上下文的答案，从而减少模型幻觉的发生。RAG的核心思想是将生成模型与检索器模块相结合，利用检索器从外部知识源中获取相关信息，再将这些信息作为生成模型的输入，最终生成准确的答案。本文详细介绍了检索增强生成（RAG）的概念、理论和应用场景，并通过Python、LangChain和OpenAI实现了一个简单的RAG管道。
LangChain框架实战：构建本地RAG系统全流程
LangChain是一个强大的框架，用于构建大语言模型（LLM）的应用。它提供了连接向量数据库、检索器、提示模板和LLM的模块化工具链。LangChain的主要作用是简化大模型的应用开发过程，使得开发者可以更加容易地将外部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值