【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用

最新推荐文章于 2025-04-07 21:16:00 发布
最新推荐文章于 2025-04-07 21:16:00 发布
阅读量4.5k 收藏 48
点赞数 30
分类专栏： python 大模型 文章标签： 人工智能 数据库 python 笔记 经验分享 AIGC prompt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Attitude93/article/details/135930555
版权

大家好，我是【同学小张】。持续学习，持续干货输出，关注我，跟我一起学AI大模型技能。

文章目录

0. 什么是RAG

大模型也不是万能的，也有局限性。

  • LLM 的知识不是实时的
  • LLM 可能不知道你私有的领域/业务知识

RAG（Retrieval Augmented Generation）顾名思义：通过检索的方法来增强生成模型的能力。你可以把这个过程想象成开卷考试。让 LLM 先翻书，再回答问题。

1. RAG基本流程

在这里插入图片描述
看图就很容易理解RAG的流程了：
（1）私有知识通过切分、向量化保存到向量数据库中，供后续使用
（2）用户提问时，将用户提问用同样的方式向量化，然后去向量数据库中检索
（3）检索出相似度最高的k个切分段落
（4）将检索结果和用户的提问放

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI大模型应用开发】【RAG优化 / 前沿】0. 综述：盘点当前传统RAG流程中存在的问题及优化方法、研究前沿
同学小张的博客
03-07 4292
10个痛点问题，20+优化方法，8个前沿RAG研究。本文我们从RAG的流水线开始，全面梳理了当前传统RAG存在的问题，同时针对每个问题，总结了优化方法。并且，整理了当前前沿的RAG研究。
AI大型语言模型RAG简介：理解其工作原理
AI天才研究院
03-09 321
1. 背景介绍 1.1 人工智能的发展 随着计算机技术的飞速发展，人工智能（AI）已经成为了当今科技领域的热门话题。从早期的基于规则的专家系统，到现在的深度学习和自然语言处理技术，AI领域取得了令人瞩目的成就。特别是近年来，大型预训练语言模型（如GPT-3、BERT等）的出现，使得AI在自然语言理解和
大模型RAG入门及实践
奇舞周刊
05-14 1874
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
RAG系统全栈开发：从核心原理到企业级应用实战
最新发布
程序员鑫港的博客
04-07 633
RAG 技术的发展正在改变 AI 系统与知识交互的方式。通过将信息检索与生成模型相结合，我们创造了更智能、更可靠的 AI 系统。未来，随着技术的不断进步，RAG 系统将在更多领域发挥重要作用，帮助我们更好地利用和传递知识。展望未来，RAG 技术的发展将继续深化，可能与其他前沿技术如量子计算、脑机接口等产生有趣的交互。这个领域充满机遇，也需要更多研究者和实践者的参与和创新。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。
本地大模型部署和基于RAG方案的私有知识库搭建
youmaob的博客
07-24 2063
以上就是本地大模型部署和基于RAG方案的私有知识库搭建的基本操作。除此之外，还有更多丰富有趣的功能等待探索。如今大模型遍布各行各业、各个领域，基于RAG方案的私有知识库技术也逐渐发展，成为提升个人工作效率与创造潜能的新风尚。本地部署模型意味着用户能在自己的设备上享受即时响应的智能辅助，无需依赖云端，既保护了个人数据隐私，又确保了操作的低延迟与高可靠性。结合RAG方案的私有知识库，则让每位用户能够构建专属自己的知识宇宙。
简话 RAG 本地部署(DeepSeek + RAGFlow)
捉虫客 de 博客
02-11 1万+
RAG = DeepSeek + OLlama + Docker + RAGFlow + Windows 11 简话 RAG 本地部署
AI大模型 RAG基础介绍 [一]
09-12 365
RAG即检索增强生成，英文Retrieval-Augmented Generation的缩写,特性是提高了生成内容的相关性，使其AI模型生成的内容质量更高，缓解大模型LLM生成内容幻觉的问题。
【AI大模型应用开发】【RAG评估】0. 综述：一文了解RAG评估方法、工具与指标
同学小张的博客
02-24 5965
本文主要总结了当前比较流行的RAG评估方法和指标。当前AI技术的快速发展，RAG和RAG评估是当前比较有前景的发展方向，不断有新的评估工具和理论被提出，让我们持续跟进，了解这些工具和理论，从而在使用时知道如何选择。
【AI大模型应用开发】【LangChain系列】实战案例4：再战RAG问答，提取在线网页数据，并返回生成答案的来源
同学小张的博客
03-12 3366
本文利用 LangChain 实现了一个完整的问答RAG应用。其中RAG中的数据源采用加载网页数据的形式获取，而不是采用之前实践中传统的本地知识库（加载本地PDF文件）的方式。然后我们还在RAG的返回中增加了参考文本的输出，这是之前我们没有实践过的，算是一点新知识。在实现这个功能的过程中，最主要的是学会使用 LangChain 中提供的 `RunnablePassthrough` 和 `RunnableParallel` 进行值的传递。
【AI大模型应用开发】【LangChain系列】2. 一文全览LangChain数据连接模块：从文档加载到向量检索RAG，理论+实战+细节
同学小张的博客
02-06 5077
本文学习 LangChain 中的 数据连接（Retrieval） 模块。该模块提供文档加载、切分，向量存储、检索等操作的封装。最后，结合RAG基本流程、LangChain Prompt模板和输入输出模块，我们将利用LangChain实现RAG的基本流程。
大模型应用之RAG详解，RAG保姆级教程，收藏这篇就够了！
热门推荐
m0_70486148的博客
01-02 2万+
RAG（Retrieval Augmented Generation，检索增强生成）是一种将大规模语言模型（LLM）与外部知识源的检索相结合，以改进问答能力的工程框架。它使用来自私有或专有数据源的信息来辅助文本生成，从而弥补LLM的局限性，特别是在解决幻觉问题和提升时效性方面。原始 RAG 的流程包括索引、检索和生成三个步骤，既把问答内容输入到数据库中，给定query，可以直接去数据库中搜索，搜索完成后把查询结果和query拼接起来送给模型去生成内容。实际上langchain。
RAG 入门指南：从零开始构建一个 RAG 系统
mama19971023的博客
08-05 1990
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
【AI大模型教程】RAG检索增强生成
DEVELOPERAA的博客
09-02 1594
大型语言模型（LLM）会产生“幻觉”现象，检索增强生成（RAG）通过从外部知识库检索相关文档chunk并进行语义相似度计算，增强了LLM的功能，很大程度解决幻读。
Windows 部署 DeepSeek 本地 RAG 保姆教程：低配秒变AI工作站，断网也能稳如老狗！
七加一i的博客
03-02 1633
RAG（Retrieval-Augmented Generation）是一种结合检索技术与生成模型的自然语言处理方法，通过引入外部知识库提升系统回复的准确性与信息量。
AI大模型+RAG的综述！
m0_59235945的博客
06-24 854
本文全面回顾了当前最先进的RAG技术，包括朴素RAG、进阶RAG和模块RAG等范式，并置于LLM背景下。文章讨论了RAG过程中的核心技术，如“检索”、“生成”和“增强”，并深入探讨了它们的协同作用。此外，文章还构建了一个全面的评估框架，概述了评估目标和度量标准，并进行了比较分析，阐明了RAG的优缺点。最后，文章预测了RAG的未来发展方向，强调了解决当前挑战的潜在增强、多模式设置的扩展以及其生态系统的发展。图1 RAG技术发展科技树。
手把手教你，从零开始用langchain-chatchat部署私有化RAG知识库
xiangxueerfei的博客
05-08 2629
angchain-chatchat是一个基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目，采用Apache License，可以免费商用。该项目支持市面上主流的本地大语言模型和Embedding模型，支持开源的本地向量数据库。
大模型系列——解读RAG
我相信......
02-04 3204
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 5081
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
大模型技术知识点：RAG
h1453586413的博客
06-18 2764
RAG的核心思想是让语言模型在生成回答或文本时能够动态地从外部知识库中检索相关信息。这种方法能够提高模型生成内容的准确性、可靠性和透明度，同时减少“幻觉”（即模型生成看似合理但实际上错误的信息）。
langchain实现rag应用部署代码实现
10-11
LangChain是一个基于Python的自然语言处理库，它结合了预训练模型如Transformers和一些实用工具，可以用于快速搭建和部署循环语言模型（如RAG，即Retrieval-Augmented Generative Model）。RAG是一种混合生成和检索技术的模型，它首先从大量文本数据中检索相关信息，然后利用这些信息辅助生成文本。 部署RAG应用的代码实现通常包括以下几个步骤： 1. **安装依赖**：你需要安装`transformers`、`torch`等库以及可能需要的额外数据处理库，如`datasets`。 ```python pip install transformers torch datasets langchain ``` 2. **加载预训练模型和配置**： ```python from transformers import RagTokenizer, RagRetriever, RagModel tokenizer = RagTokenizer.from_pretrained("facebook/rag-tokenizer") retriever = RagRetriever.from_pretrained("facebook/rag-retriever") model = RagModel(tokenizer=tokenizer, retriever=retriever) ``` 3. **准备数据和检索**： ```python query = "某个特定的问题" context = model.retrieve(query) # 这里会返回相关的文档片段 ``` 4. **生成响应**： ```python response = model.generate(input_ids=tokenizer.encode(query, context), max_length=50) output_text = tokenizer.decode(response[0]) ``` 5. **部署服务**： - 将上述代码封装成API服务（例如使用Flask或FastAPI），接收用户查询并返回响应。 - 部署到服务器或云平台，比如Docker、Heroku或AWS。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

同学小张

如果觉得有帮助，欢迎给我鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值