什么是RAG？大模型和RAG有什么关系？从零基础到精通，理论与实践结合的最佳路径！

于 2025-03-12 14:36:06 发布
阅读量631 收藏 29
点赞数 30
文章标签： 人工智能 自学ai大模型 什么是RAG 大模型和RAG有什么关系
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_85280106/article/details/146204809
版权

写在前面

在讲RAG之前，我们先说一个大模型的普遍现象，大家应该都用过大模型了，比如 ChatGPT、DeepSeek、豆包、文心一言等等…

那么大家在用的时候其实会发现，有时候大模型会乱回答，一本正经地胡说八道，语义不同，前言不搭后语。

**举个例子：你问大模型，美国成立时间。**大模型可能会回答：美国成立在1997年，距离现在已有400年的历史…

这种现象叫hallucination，幻觉。大模型本质的就是不断的预测下一个生成的文字应该是什么，而选择预测概率中最大的一个。

在这里插入图片描述

每个词预测的结果

产生幻觉的原因有很多，比如训练大模型本身的数据问题、过拟合、微调引起的知识丧失、推理机制的不完善等等…

而我们要说的RAG就是为了降低大模型出现幻觉的概率，下面开始我们今天的主题。

RAG简介

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在提升大语言模型在回答专业问题时的准确性和可靠性。在这里插入图片描述

‌核心原理‌‌为 检索 + 生成 两阶段流程 ：

  • ‌检索阶段‌：将用户的问题转化为向量，从外部知识库或私有文档中(向量数据库)快速检索相关片段。

  • ‌生成阶段‌：将检索到的信息输入大模型，生成结合上下文的具体回答‌。

这样说可能比较生硬，打个比方：LLM在考试的时候面对陌生的领域，只会写一个解字（因为LLM也只是局限于特定的数据集进行训练），然后就准备放飞自我了，而此时RAG给了亿些提示，让LLM懂了开始往这个提示的方向做，最终考试的正确率从60%到了90%！

在这里插入图片描述

LLM+RAG

简单来说就是大家的开卷考试！！那么问题来了，LLM开卷考试的话，这个卷是啥呢？这里就涉及到向量数据库了。

为什么是向量数据库？传统数据库为啥不行？

向量数据库

向量数据库是通过存储文本的向量化表示，支持基于语义相似度的快速检索， 解决了传统关键词匹配无法捕捉上下文关联的问题‌。

如果使用传统数据库（如MySQL）结合关键词检索，但无法实现语义理解，可能导致漏检或误检‌。 举个例子，同一个query进行搜索：“2024年腾讯的技术创新”。

  • 向量数据库能匹配到语义相近但未包含关键词“腾讯”的文档（如“WXG的研发进展”）

  • 传统数据库只能匹配到包含关键词的

在这里插入图片描述那向量数据库是怎么知道语义相似的？

我们先明白向量数据库存储的是向量，不是文本，文本是大家能看懂的文字，而向量是一串浮点型数据。那么当所有的文本都成了浮点型数据后，计算机可以通过数学公式（比如余弦相似度），量化语义相似性。在这里插入图片描述传统数据库用原始文本检索，则无法处理同义词、多义词、语境差异等语义问题（例如“苹果”可能指水果或公司）‌，所以很多传统搜索都会进行query改写这一步，来让搜索的输入query更精确。当然不仅仅是文本，万物皆可embedding，图片、videos、音频等等…

RAG 过程

在这里插入图片描述

RAG过程

回到最开头的例子：

  1. 当用户对大模型提问，“美国的成立时间”

  2. 此时会通过embeding模型将文本转成向量

  3. 再到向量数据库中搜索语言相近的内容

  4. 向量数据库会给出一个TopK，例如 Top100

  5. 接着在进行过重排序模型，再筛选出Top N，例如 Top10

  6. 将搜索到的内容和用户所搜索的query词"美国的成立时间"整个成一个prompt一起给LLM

  7. LLM基于这些输入内容和自身内容进行输出。

这样就可以有效的控制大模型输出尽可能的相关并且语义相通的内容。

那么向量数据库如何构造呢？在这里插入图片描述其实很简单:

  1. 将文章进行分片成多组chunk，也就是大量文本分解为较小段

  2. 进行向量化

  3. 存到向量数据库

那这里为什么要进行chunking呢？

chunking是为了把相同语义的 token 聚集在一起，不同语义的 token 互相分开，在长文档中各个片段的语义可能存在较大差异，如果将整个文档作为一个整体进行知识检索，会导致语义杂揉，影响检索效果。 将长文档切分成多个小块，可以使得每个小块内部表意一致，块之间表意存在多样性，从而更充分地发挥知识检索的作用。

所以如果我们的块太小会导致错过真正的相关内容，太大则可能导致搜索结果不准确

零基础入门AI大模型

今天贴心为大家准备好了一系列AI大模型资源，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

1.学习路线图

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

（都打包成一块的了，不能一一展开，总共300多集）

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

5.免费获取

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码或者点击以下链接都可以免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

在这里插入图片描述

基于大模型的企业级RAG构建、应用与开发
11-23
基于大模型的企业级RAG构建、应用与开发，从手把手让你完成rag的开发、应用与大模型微调。
大模型入门到进阶：什么是 RAG？为什么需要 RAG？RAG 的流程
热门推荐
star_nwe的博客
08-14 2万+
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
【AI大模型RAG】通俗地说说RAG及其与大模型的结合（附教程）
2301_81940605的博客
01-02 1109
RAG 全称 Retrieval-Augmented Generation，翻译成中文是检索增强生成。这一年多，在大模型应用领域，RAG频繁地出现。为什么它这么热？需要怎么理解看待RAG?
大模型应用RAG系列（1）初识RAG
AAI666666的博客
04-24 1078
之前我们在讲大模型的应用方向和架构时，有提到RAG、Agent、Fine-Tune。在作者写大模型专题的文章时，也是边学习，边梳理，边总结。在这个过程中，大模型在各个方向都不断地快速发展，对应的paper、理论、方向也是不断地涌现出来。
大模型系列——解读RAG
我相信......
02-04 3091
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
一文彻底搞懂大模型 - RAG（检索、增强、生成）
2401_85325726的博客
12-20 3084
RAG（Retrieval-Augmented Generation，检索增强生成），RAG。
一文读懂：大模型RAG（检索增强生成）
star_nwe的博客
07-24 1196
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
重磅推荐-2024最新大模型RAG（检索增强生成）最佳实践PPT合集（38份）.zip
12-09
精心整理，2024最新大模型RAG（检索增强生成）最佳实践PPT合集，共38份。 大模型×领域RAG：打造高效、智能化的用户服务体验 基于codeLLM和RAG技术的探索 GPT社区探索GraphRAG未来架构 RAG2.0：记忆驱动的下一代...
14章RAG全栈技术从基础到精通 ，打造高精准AI应用
03-04
一、检索增强生成RAG（Retrieval-Augmented Generation）的应用，有两方面原因： 1、没有跑大模型的资源：大多数人没有GPU集群搞LLM的预训练。 2、大模型缺乏知识：大模型往往缺乏某些知识，如私域或最新的知识。 ...
精品推荐-2024年RAG大模型面试实践全集（80份）.zip
01-07
大模型(LLMs) 基础 大模型(LLMs)进阶 大模型(LLMs)评测 大模型(LLMs) 强化学习PPO 大模型(LLMs) 强化学习RLHF及其变种 大模型(LLMs)推理 大模型(LLMs) 微调 大模型(LLMs)训练集 二、NLP-Interview 三、NLP面试 NLP...
RAG全栈技术从基础到精通 ，打造高精准AI应用
03-04
RAG 即“检索增强生成”（Retrieval Augmented Generation），这项技术通过将大量外部数据与基础模型相结合，显著增强了语言模型（LLM）的能力，使得AI的回应更加真实、个性化和可靠。 RAG 技术的核心在于结合了...
2024年十大开源大模型RAG框架！
2401_85373898的博客
12-05 1780
检索增强生成（RAG）已成为增强大型语言模型能力的一项强大技术。RAG框架结合了基于检索系统的优点与生成模型的优势，能够提供更准确、更具上下文感知能力以及更及时的响应。随着对复杂AI解决方案的需求增长，许多开源的RAG框架在GitHub上涌现，每个框架都提供了独特的功能和能力。检索增强生成（RAG）是一种人工智能框架，通过整合外部知识源来增强大型语言模型（LLM）的能力。RAG通过从知识库中检索相关信息并利用这些信息来增强LLM的输入，从而使得模型能够生成更准确、更及时且更符合上下文的相关响应。
万字长文梳理 2024 年的 RAG
h1453586413的博客
12-24 1541
优快云粉丝独家福利在已经过去的 2024 年，RAG 的发展可以称得上是风起云涌，我们回顾全年，从多个角度对全年的发展进行总结。首先用下图镇楼：2024 年在年初被称为“RAG 发展元年”，虽然这并非共识性的说法，但事实证明，全年的进展无愧于这一称号。在LLM 使用的场景中，RAG 自始至终都在扮演着不可或缺的重要角色。然而，自诞生以来关于 RAG 的争论就没有停止过。
大模型学习----什么是RAG
wu73guang5jian的博客
10-08 1843
RAG 方法是一种快速定制大型语言模型的有效方法，它通过结合检索和生成技术，利用外部知识源来增强模型的输出。在实际应用中，可以根据具体的任务和领域选择合适的知识源和检索方法，构建高效的 RAG 系统。通过不断地训练和优化，可以提高 RAG 系统的性能和适应性，为用户提供更准确、更相关的答案和文本。
GraphRAG：知识图谱+大模型
Python_cocola的博客
07-12 3246
结合知识图谱检索和向量检索，利用二者的优势提高搜索结果的准确性和相关性。
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 4808
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
一文搞懂！什么是RAG？大模型和RAG有什么关系？
Code1994的博客
03-04 765
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在提升大语言模型在回答专业问题时的准确性和可靠性。‌核心原理‌‌为 检索+ 生成两阶段流程 ：‌检索阶段‌：将用户的问题转化为向量，从外部知识库或私有文档中(向量数据库)快速检索相关片段。‌生成阶段‌：将检索到的信息输入大模型，生成结合上下文的具体回答‌。
大模型RAG：原理、应用与未来趋势，一篇文章全了解！
最新发布
2401_84494441的博客
03-10 1174
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
大模型 | 开源RAG框架汇总：什么是RAG？RAG应用框架
01-30
### RAG框架概念 检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了传统信息检索技术和现代自然语言处理中的生成模型的方法。这种方法允许机器学习系统不仅依赖于训练数据内部的知识，还能动态访问外部知识源，在面对新问题时获取最新、最准确的信息[^4]。 RAG 技术特别适用于那些需要持续更新或扩展背景资料的任务场景，比如问答系统、对话代理以及文档摘要等应用。通过引入外部资源作为补充材料，可以有效地减少由纯神经网络预测带来的不确定性——即所谓的“幻觉”现象，从而提高输出内容的真实性和可靠性。 ### 开源实现汇总 #### 1. **RAGFlow** 作为一个新兴的开源项目，RAGFlow 致力于简化基于 RAG 架构的应用开发过程。此工具包提供了多个预先配置好的模块和支持自动化的工作流设计，使得开发者能够更便捷地集成各种类型的数据库和服务接口，进而加速原型搭建和技术验证的速度[^2]。 - 显著特性： - 提供了一套完整的预构建组件； - 支持多种主流的数据存储方案； - 集成了先进的索引机制以优化查询效率； ```python from ragflow import PipelineBuilder pipeline = PipelineBuilder().add_retriever('elasticsearch').add_generator('transformers') ``` #### 2. **基于ChatGLM 和LangChain 实现的大规模离线部署方案** 这类解决方案专注于为企业级用户提供安全可控且高效的本地化部署选项。借助强大的中文理解能力（如 ChatGLM），再加上灵活易用的应用编程接口（APIs），这套组合拳可以在不连接互联网的情况下完成复杂的语义理解和响应生成任务[^3]。 ```bash git clone https://github.com/your-repo/chatglm-langchain.git cd chatglm-langchain pip install -r requirements.txt python app.py ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值