【AI大模型应用开发】【LangChain系列】实战案例4：再战RAG问答，提取在线网页数据，并返回生成答案的来源

已于 2024-03-15 17:21:59 修改
阅读量3.6k 收藏 29
点赞数 48
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 人工智能 langchain gpt 学习 笔记 经验分享 agi
于 2024-03-12 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Attitude93/article/details/136503386
  • 大家好，我是同学小张，日常分享AI知识和实战案例
  • 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
  • +v: jasper_8017 一起交流💬，一起进步💪。
  • 微信公众号也可搜【同学小张】 🙏

本站文章一览：

在这里插入图片描述

文章目录

0. 背景

目前为止，我们已经系统学习了一下内容：

（1）RAG的基本流程与实践

（2）网页数据抓取

（3）langchain基本使用：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI大模型应用开发】【LangChain系列】5. 实战LangChain的智能体Agents模块
同学小张的博客
02-11 5229
LangChain的智能体Agents模块实战，一步步拆解实现步骤。
【AI大模型应用开发】【LangChain系列】实战案例5：用LangChain实现灵活的Agents+RAG，该查时查，不该查时就别查
同学小张的博客
03-15 2710
如何优化这个过程，让我们的RAG程序在必要时才去检索，不必要时，直接使用大模型原有数据来回答呢？本文我们一起来学习下。本文我们将使用 LangChain 的 Agents 模块来将 Retriever 当作工具，让大模型在有必要时才去使用它。
大模型实战 | RAG高效召回三大实战方法，彻底解决大模型检索瓶颈
star_nwe的博客
09-10 1203
语义鸿沟：用户提问的方式和文档中表述的方式可能截然不同。例如，用户问“如何解决屏幕常亮”，而文档中写的是“禁用睡眠模式”。传统的字面匹配方法在此失效。词汇不匹配：同一概念的不同表述、同义词、缩写等。如“AI”与“人工智能”，“NLP”与“自然语言处理”。数据质量：知识库本身的格式混乱、噪声多、长度不一，都会严重影响检索效果。效率与精度权衡：在海量数据中实现近似最近邻搜索（ANN）既要快，又要准，需要精巧的工程和算法设计。
LangChain使用实例——RAG
weixin_43787408的博客
03-27 2563
LLMs支持的最强大的应用程序之一是复杂的问答 (Q&A) 聊天机器人，这些应用程序可以回答有关特定源信息的问题，使用一种称为（RAG）的技术。
LangChain+LangGraph实战：AI智能体开发全攻略，一篇搞定大模型应用！
最新发布
Everly_的博客
09-18 2394
本文详细介绍LangChain和LangGraph两大AI开发框架，从基础概念到实战应用。通过Cursor生成demo项目，展示如何构建智能体，并使用LangSmith进行调试追踪。最后介绍Agent-Chat UI的使用，为智能体提供可视化界面。文章提供从环境配置到项目实现的完整流程，帮助读者快速掌握AI智能体开发技术。
Langchain大模型AI应用实战开发
2401_84204207的博客
05-27 1662
提示模板（Prompts），使提示工程流线化，进一步激发大语言模型的潜力。第三、LangChain 围绕开发 LLM 应用程序的整体流程提供 Model I/O（Prompt 输入、Embedding 向量化、LLM 大模型适配以及大模型回答适配等）、Retriieval（数据源加载、转换、向量化、存入向量数据库、检索以及向量相识度计算等）、Chains（用于完成特定更高级别任务的组件组装）、Memory（短期记忆、长期记忆）、Agents（LLM APP）、Callbacks（提供向外部回调的功能）。
LangChain的RAG实践
2301_81940605的博客
04-12 2410
RAG技术将这两种记忆类型进行了整合，最终，在知识密集型的NLP任务上，比如QA，比单独使用上述两种类型的记忆获得了更好的效果。接下来将具体介绍RAG如何来补充LLM的一些短板，以及在两种记忆的具体体现，并使用LangChain来实现基本RAG流程。
python实战（七）——基于LangChain的RAG实践
学习与分享人工智能技术
11-06 2765
本文详细介绍了使用LangChain构建RAG程序的各个流程，并给出了对应的python实现代码。
【LangChain系列】实战案例4：再战RAG问答，提取在线网页数据，并返回生成答案的来源
2401_86518761的博客
09-20 1064
简单总结一下本文内容。本文利用 LangChain 实现了一个完整的问答RAG应用。其中RAG中的数据源采用加载网页数据的形式获取，而不是采用之前实践中传统的本地知识库（加载本地PDF文件）的方式。然后我们还在RAG的返回中增加了参考文本的输出，这是之前我们没有实践过的，算是一点新知识。在实现这个功能的过程中，最主要的是学会使用 LangChain 中提供的和进行值的传递。
【大模型】SpringBoot整合LangChain4j实现RAG检索实战详解
congge
03-30 1万+
SpringBoot整合LangChain4j实现RAG检索实战详解
【AI大模型应用开发】【RAG评估】2. 实战：LangChain x RAGAs x LangSmith联合评估RAG应用，兼看如何借助LangSmith有效学习LangChain
同学小张的博客
02-26 3060
今天我们完整的实战：将RAGAs集成在LangChain的RAG应用中，同时打通LangSmith平台，使评估过程可视化。同时还会有意外收获：带你看看如何利用LangSmith平台来有效学习LangChain的使用和相关知识。
基于LangChain的AI Agent智能体：技术原理、开发实践与未来展望
AI大模型的博客
05-11 4212
LangChain 是一个用于开发由语言模型驱动的应用程序的框架。主要作用为允许与 LLM 模型进行交互，使用 LLM 模型与外部数据源进行连接。LangChain功能LLM 调用支持多种模型接口，比如 OpenAI、Hugging Face、AzureOpenAI …Fake LLM，用于测试缓存的支持，比如 in-mem（内存）、SQLite、Redis、SQL用量记录支持流模式Prompt管理，支持各种自定义模板。
【LangChain系列】AI大模型应用开发：全面掌握LangChain输入输出I/O模块——理论、实战与深入解析
m0_65555479的博客
08-20 1245
任何AI大模型应用程序的核心元素都是大模型。LangChain提供了与各种大模型接口进行交互的封装。这张图生动地展现了LangChain对于I/O（输入输出）的封装。首先是 Format 部分，这部分的作用是组装用户输入和Prompt模板，作为大模型的输入。然后是 Predict 部分，这部分就是调用大模型接口获得结果最后是 Parse 部分，这部分的作用是对大模型的结果进行解析，将大模型的输出转换到要求的格式（如json）上，或者对输出进行校验等等。
LangChain：大模型AI应用开发的强大引擎
程序边界
12-09 7089
LangChain大模型AI应用开发实践》是一本深度探索LangChain框架及其在构建高效AI应用中所扮演角色的权威教程。本书以实战为导向，系统介绍了从LangChain基础到高级应用的全过程，旨在帮助开发者迅速掌握这一强大的工具，解锁人工智能开发的新维度。本书内容围绕LangChain快速入门、Chain结构构建、大模型接入与优化、提示词工程、高级输出解析技术、数据检索增强（RAG）、知识库处理、智能体（agent）开发及其能力拓展等多个层面展开。
利用LangChain实现网页内容爬取并总结
热门推荐
wangning0714的博客
03-24 1万+
网页内容过长，导致超过LLM的token限制，使用LangChain中load_summarize_chain实现。背景：想查找某个产品的生产厂商，需要先去网页查找相关连接，然后分别总结每个连接内容，最后对内容进行汇总。利用LangChain中load_summarize_chain实现网页内容爬取并总结。
【AI大模型应用开发】【LangChain系列】实战案例2：通过URL加载网页内容 - LangChain对爬虫功能的封装
同学小张的博客
03-09 2627
本文实战 LangChain 中的爬虫封装接口，爬虫小白和有一定爬虫基础的同学都可以一看。介绍了LangChain中的爬虫接口和使用方法，同时探索了利用大模型泛化爬虫爬取内容的可能性。
构建LangChain应用程序的示例代码：21、结合使用 Langchain、Activeloop 的 Deep Lake 和 GPT4（QA using Activeloop‘s DeepLake）
Hugo的博客
06-07 445
本文介绍了如何结合使用 Langchain、Activeloop 的 Deep Lake 和 GPT4 进行语义搜索和群聊中的问答。首先，介绍了安装所需软件包的步骤，然后指导如何添加 API 密钥，并创建示例群聊数据。接着，详细解释了如何将聊天内容分块并上传到 ActiveLoop 向量存储中。此外，还提供了一个可选步骤，介绍了如何使用 Deep Lake 的托管张量数据库作为托管服务来运行查询。最后，展示了如何通过语义搜索提出问题并获取答案。
构建LangChain应用程序的示例代码：27、FLARE：前瞻性主动检索增强生成技术实现与应用的示例
Hugo的博客
06-10 2062
基本上，模型不确定的标记会被突出显示，然后调用一个大型语言模型（LLM）生成一个会导致该答案的问题。例如，如果生成的文本是“Joe Biden went to Harvard”，模型不确定的标记是“Harvard”，那么一个生成的好问题可能是“Joe Biden 上的哪所大学？FLARE 是一种结合了前瞻性主动检索和生成的技术，它通过在生成过程中检索相关信息来增强语言模型的生成能力。FLARE 的核心思想是在生成过程中，当模型对某些标记不确定时，通过检索相关文档来辅助生成更准确的答案。
基于LangChain构建RAG应用
2401_84204207的博客
07-10 2723
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，上一篇文章中我们详细介绍了RAG的核心思想以及搭建向量数据库的完整过程；😲将LLM接入LangChain：选择LLM，然后在LangChain中使用；构建检索问答链：使用语法构建RAG问答链部署知识库助手：使用streamlit部署项目；帮助读者快速构建RAG应用并部署在阿里云服务器上；Streamlit是一个开源的 Python 库，它使得数据科学家和开发者能够快速构建和共享美观的机器学习模型和数据应用程序。
数据科学与机器学习实战手册：AI大模型应用指南
《DataScience-And-MachineLearning-Handbook-For-Coders-人工智能大模型实战应用资源》是一份面向编程人员和数据科学初学者的综合性学习手册，旨在帮助开发者系统掌握数据科学与机器学习的核心理论、技术实现以及在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

同学小张

如果觉得有帮助，欢迎给我鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值