检索增强生成(RAG):如何让AI大模型更懂我?

大模型的检索增强生成综述研究 大模型(LLMs)在处理特定领域或知识密集型任务时,它们仍面临挑战,例如产生“幻觉”、知识过时以及推理过程不透明、难以追溯等问题。为了解决这些问题,检索增强生成(Retrieval-Augmented Generation, RAG)作为一种有前景的解决方案应运而生,它通过整合外部数据库的知识来增强模型的准确性和可信度。本综述论文由来自同济大学上海智能自主系统研究所、复旦大学上海数据科学重点实验室以及同济大学设计创意学院的研究人员共同撰写。 阅读详情

大模型的局限性体现在缺少实时性、无法获取私有知识等方面,而RAG可以帮助解决私有知识问题,让私有知识库和AI大模型更好地融合。怎么理解RAG的原理、应用场景和优缺点?一起来看看本文的分享。

今天我们来学习检索增强生成(Retrieval-Augmented Generation,RAG)。

RAG可以将私有知识库和AI大模型融合,让大模型“知道”我们的私有知识,变得越来越“懂”我们。

一、AI大模型的局限性

使用过大模型的小伙伴应该知道,虽然大模型看起来无所不能,但是它也经常胡编乱造,没有足够的确定性,这也限制了大模型在各种场景的落地。

大模型的局限性,可以简单归纳为以下两点:

  • 没有实时性:AI大模型的知识不是实时的,最新的GPT-4 Turbo也只是把知识库更新到2023年4月,所以无从得知该时间之后发生的事情。
  • 无法获取私有知识:大模型的训练数据主要来源于互联网,不可能拿到个人或企业的私有数据,所以无法回答私有问题。

针对实时性问题,一般通过Actions或Function Calling(函数调用,可以理解为接口回调)等方式,让大模型实时调用搜索、地图、甚至企业自己实现的api,获取各种需要的实时信息,减少幻觉,提升确定性。

而RAG可以解决私有知识问题,它通过外挂知识库的方式,让大模型可以根据检索到的内容,回答私有库的相关问题,也就是所谓的检索增强,目的同样是提升确定性。

二、基本概念

RAG的核心目的是通过某种途径把我们的知识告诉给AI大模型,其核心流程就是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”,看起来也就更“懂”我们。

那么具体要如何实现呢?再看一下核心流程,会发现有一个必须解决的问题,就是如何“根据用户提问,从私有知识中检索到包含答案的内容”,用户的提问是自然语言(包含复杂的语义理解),传统的关键字检索(Elastic Search)是无法理解语义的,这时候就需要引入向量检索的概念了。

  • 向量:文本的语义关系在底层被处理为向量,向量就是一组浮点数,例如[0.72, 0.42, …],代表该文本在N维空间里的坐标。在空间中距离越近的向量,语义也就越接近。一般使用欧式距离或余弦距离来衡量向量的相似度。
  • 向量检索:向量检索实际上是将文本分段转换成了一个个向量,通过余弦距离或欧式距离来计算两个向量之间的相似度,向量相似度越高,表示对应的文本语义相似度越高。
  • 向量数据库:专门为向量检索设计的中间件。

我们可以通过向量检索来获得与用户问题语义最相近的私有知识库的内容,即便用户问题中没有包含关键字,也可以通过语义的相关性搜索到“包含答案的内容”。

实现RAG的具体步骤如下:

在这里插入图片描述

1.加载私有知识库文档,并将文本切分为一个个小片段,需要注意切分的粒度,然后将切分后的文本转换成向量,存入向量数据库。
2.将用户的提问内容也转换成向量,在向量数据库中检索相似的文本内容,检索结果就是“包含答案的内容”。
3.将用户的提问内容和检索到的“包含答案的内容”组装成新的提示词,发给AI大模型。
4.AI大模型参考“包含答案的内容”(私有化的知识资料),回答用户的问题。

这样我们就可以收获一位更“懂我”的大模型了。

三、应用场景

RAG可以有效扩展大模型的知识库,以下是一些具体的例子:

  • 问答系统:RAG可以用于构建问答系统,用户提出问题,RAG模型从大规模的文档集合中检索相关的文档,然后生成回答。
  • 对话系统:在对话系统中,RAG可以用于生成更丰富、更具信息量的回答。
  • 文档生成:RAG可以用于生成包含特定信息的文档,例如新闻报道、研究报告等。

四、优缺点

RAG的优点:

  • 生成的回答更丰富:由于在生成回答时会考虑检索到的文档,因此生成的回答通常更丰富、更具信息量。
  • 能处理开放领域的问题:传统的生成模型通常只能处理特定领域的问题,而RAG模型可以处理开放领域的问题,因为它可以从大规模的文档集合中检索信息。

RAG的缺点:

  • 计算成本高:RAG模型需要在大规模的文档集合中进行检索,这会增加计算成本。
  • 依赖文档质量:RAG模型的性能在很大程度上依赖于文档的质量,如果文档质量差或切分粒度不合适,可能会影响模型的性能。
  • 可能产生不准确的回答:虽然RAG模型可以生成丰富的回答,但是如果检索到的文档包含错误的信息,可能会导致生成的回答不准确。

五、总结

本文我们主要介绍了RAG的基本原理,RAG可以有效扩展大模型的知识库,有效提升回答的确定性,让AI大模型变得更加“懂”我们。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Spring AI:检索增强生成(RAG) SpringAI介绍了检索增强生成(RAG)技术的实现方法,包括现成的QuestionAnswerAdvisor和RetrievalAugmentationAdvisor解决方案,以及模块化自定义流程。系统支持查询转换(如重写、压缩、翻译)、多查询扩展、向量存储检索(带元数据过滤)和文档后处理等功能。通过ContextualQueryAugmenter将检索内容整合到提示中,可显著提升语言模型回答的准确性。开发者可灵活配置相似度阈值、top-K结果数量等参数,并支持静态/动态过滤器表达式。该框架采用模块化设 阅读详情

相关推荐

【大模型】大模型RAG检索增强生成技术使用详解

大模型RAG检索增强生成技术使用详解

congge 7670

AI大语言模型LLM学习-RAG知识点测试题(含答案)

理论基础在AI领域中占据着极其重要的地位,它是指导实践、推动创新和解决问题的根本依据。很多程序员在开发过程中会遇到很多难题,如何解决这些难题是一个技术活。很多问题的解决需要深入理解问题的本质,即技术原理。AI学习过程中,需要掌握很多基础知识,这些理论基础很重要,能帮助我们在实际工作中遇到问题时找出解决思路,提供更为全面的视野。本文整理的RAG相关的几个测试问题及答案。

fengqiuhuang123的专栏 1692

SEED-VIG数据集实战:5步搞定驾驶员疲劳检测模型(附Python代码)

本文提供了一份基于SEED-VIG数据集的驾驶员疲劳检测模型实战指南。通过五个核心步骤——数据准备、特征提取、模型训练、优化评估及部署思路,详细讲解了如何利用脑电信号构建分类器,并附有完整的Python代码,帮助开发者快速上手这一智能座舱关键技术。

w1x2y3的博客 263

知识库与RAG

向量虽然对于信息检索和相似性匹配很有用,但它们不是模型可以直接理解的输入格式。其次,向量的简单组装,可能会破坏这种语义完整性,因为向量空间中的操作不一定能保留原始文本的含义。通过将用户的提问与检索到的相似文本拼接在一起,其实我们创建了一个在语义上连贯的输入,这有助于模型更好地理解上下文并生成准确的回答。

weixin_74923758的博客 1073

Imputation Methods for scRNA Sequencing Data

越来越多的研究者使用单细胞RNA测序(scRNA-seq)技术来表征单细胞水平的转录图谱。他们用它来研究复杂组织的异质性、转录组动力学和未知生物的多样性。然而,在基因表达模式随机性的scRNA-seq数据中普遍存在许多技术和生物学上的噪音。这些数据通常具有高维、稀疏和大量“dropout”值的特点,并且受批处理效应的影响。scRNA-seq数据中大量的“dropout”值严重掩盖了基因之间的重要关系,阻碍了下游分析。因此,scRNA-seq数据dropout值的估算就显得尤为重要。

qq_34179307的博客 542

WSL 相关命令时遇到了 “无法从raw.githubusercontent.com提取分发列表、操作超时

核心问题:国内网络屏蔽raw.githubusercontent.com,导致WSL无法获取发行版列表;最优方案:优先用方案1(手动指定发行版安装),无需改配置,1分钟搞定;永久修复:用方案2(修改hosts),适合需要管理多个WSL发行版的场景;兜底方案:用方案3(手动下载安装包),适配所有网络环境。按以上步骤操作后,你不仅能正常安装WSL,等命令也能正常执行,后续可正常使用WSL搭配Docker Desktop(如切换WSL 2后端),无需再担心网络超时问题。

weixin_39766667的博客 2140

AI 内容工厂的“精调师”:专业解读 GEO 的运作机制与排名提升路径

生成式引擎优化 (GEO) 是优化网页内容的过程,目的是确保其在 AI 驱动的搜索引擎(如 ChatGPT、Perplexity、Gemini、Copilot 等)中正确显示。生成式引擎优化的目的是提高网站在流行的大型语言模型 (LLM) 中的可见性,提高在线品牌知名度,增加自然流量,并改善 AI 驱动型平台的用户体验和满意度。

SEO_juper的博客 922

避坑指南:QCustomPlot鼠标事件冲突解决方案(左键拖动vs右键框选)

本文深入解析QCustomPlot在QT框架下的高级交互实现,重点解决左键拖动与右键框选的冲突问题。通过自定义事件处理和QRubberBand技术,提供了一套完整的无冲突交互方案,帮助开发者优化数据可视化应用的用户体验。

moss5的博客 660

AI大模型:RAG检索增强实现流程

RAG典型流程包括索引、检索和生成。但为了提升问答精度,往往还需要针对查询问题和检索后的文档进行处理。想象一下,你有一个装满了各种书籍和文件的大书架。当你想找到某个问题的答案时,你首先需要知道从哪里开始找,这就是RAG模型的第一步——索引。:就像你在书架上给每本书都贴上了标签,这样你一眼就知道哪本书可能包含你想要的信息。在RAG模型中,索引就是帮助模型快速找到可能包含答案的文档。:当你找到标签后,下一步就是从书架上找到那本书。在RAG模型中,检索就是根据索引找到相关的文档或信息片段。

m0_59235945的博客 825

Python爬虫:实时交通流量数据爬取与路况分析

随着城市化进程的不断推进,交通流量的管理与预测已成为智能交通系统的重要研究方向。交通流量数据不仅为城市交通管理提供了科学依据,还为驾驶员提供了实时路况信息,帮助其做出更加合理的出行决策。通过爬虫技术,我们可以实时获取城市的交通流量数据,从而分析路况,优化交通管理。在这篇博客中,我们将介绍如何使用Python编写一个爬虫来爬取实时交通流量数据,分析道路的交通状况。我们将使用最新的技术工具来构建爬虫,包括。

2201_76125261的博客 1267

Android系统开发工程师面试指南与参考答案

本文整理了Android系统开发工程师面试常见问题与参考答案。核心内容涵盖:1)Framework层定制方法,如修改HAL和系统服务;2)ANR问题分析工具(systrace)与解决方案;3)性能优化实践,包括开机加速和功耗管理;4)四大组件工作机制与应用案例;5)Native崩溃调试技巧。文章强调通过AOSP源码研究、工具使用和项目案例准备来提升面试表现,重点考察应聘者的系统开发深度和实操能力。参考答案均基于实际开发经验,提供可量化的优化成果说明。

郑伟强dev的专栏 256

RAG检索增强技术在知识库智能检索场景下的应用实践

本文我们主要探讨了知识检索增强(Retrieval-Augmented Generation, RAG)技术的关键评估方法和行业应用,以及几种现有的技术栈选择及其优缺点。首先,关于RAG的效果评估,我们提到了两种主要的评估方式:独立评估和端到端评估。独立评估包括检索评估和生成评估,重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标,以及人工或GPT模型的评估方法,以获得更全面的效果评价。

FrenzyTechAI的博客 1万+

海康visionmaster-渲染结果:通过绑定流程或模块获取 渲染结果的方法

海康visionmaster-渲染结果:通过绑定流程或模块获取 渲染结果的方法

视觉人机器视觉的博客 2639

告别大模型 “瞎胡说”:RAG(检索增强生成)如何让 AI 更懂事实?

RAG 的本质,是给生成式 AI 加上了 “事实锚点”。它没有抛弃大模型的生成能力,而是通过检索让生成的内容 “有据可依”;它也没有局限于检索的死板,而是通过生成让答案更流畅、更灵活。对于技术从业者来说,RAG 提供了一种 “参数高效” 的解决方案 —— 不用追求更大的模型,通过结合外部知识库,就能在知识密集型任务上实现 SOTA;对于普通用户来说,RAG 让 AI 的答案更可信、更实用,减少了 “被 AI 误导” 的风险。

bsiahq的博客 1021

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

一文读懂:大模型RAG(检索增强生成)

本文概述 RAG 的核心算法,并举例说明其中的一些方法。RAG融合是一个强大的功能,能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序,RAG融合可以呈现更丰富多样的内容,并提供了一个额外的层次,用于调整应用。此外,RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是,需要注意一些权衡,比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说,RAG融合尤其有用。

m0_59164304的博客 4万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

一文彻底搞懂大模型 - RAG(检索、增强、生成)

RAG(Retrieval-Augmented Generation,检索增强生成) 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息,并将其作为提示(Prompt)输入给大型语言模型(LLMs),以增强模型处理知识密集型任务的能力,如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research(FAIR)团队于2020年首次提出,并迅速成为大模型应用中的热门方案。一、检索增强生成(RAG)什么是RAG?RAG(Retrieval-Augment

程序员鑫港的博客 26万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

AI外挂RAG:大模型时代的检索增强生成技术

在人工智能领域,大型语言模型(LLM)如ChatGPT、DeepSeek等已经展现出惊人的能力,但它们也面临着一些固有局限:知识过时、产生幻觉、缺乏专业领域知识等。RAG技术代表了大模型时代的一个重要发展方向,它通过引入外部知识库,有效解决了大模型的固有局限。用通俗的话来说,RAG就像让大模型进行"开卷考试":当遇到不熟悉的问题时,先去"翻书"查找相关资料,然后再基于查找到的信息生成答案。例如,在医疗、法律等专业领域,大模型可能缺乏足够的专业知识,导致回答不够准确或专业。

攻城狮7号的博客 2676

5分搞懂大模型 - RAG(检索、增强、生成)

RAG(Retrieval-Augmented Generation,检索增强生成) 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息,并将其作为提示(Prompt)输入给大型语言模型(LLMs),以增强模型处理知识密集型任务的能力,如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research(FAIR)团队于2020年首次提出,并迅速成为大模型应用中的热门方案。

2401_85327249的博客 8692

【RAG检索增强生成】深入探索检索增强生成(RAG)技术

在人工智能的不断演进中,大语言模型(LLMs)已成为解决复杂问题的关键工具。但它们在处理需要最新信息或专业知识的任务时,受限于静态知识库,影响了内容的准确性和时效性。为了克服这一局限,检索增强生成(RAG)技术应运而生,它通过整合实时数据和外部知识库,显著提高了AI响应的质量和信息的更新速度。

寻道AI,探索AI无限可能! 3303

一文彻底搞懂rag大模型(检索、增强、生成)

一文彻底搞懂rag大模型(检索、增强、生成)

Python单行客的博客 7258

AI大模型教程:RAG检索增强生成

RAG目前是基于LLM系统中最受欢迎的架构,有许多产品基于RAG构建,使RAG成为推动聊天机器人发展和增强LLM在现实世界应用适用性的关键技术。

Y525698136的博客 2282
上一篇: 一文掌握大模型数据准备、模型微调、部署使用全流程
下一篇: 大模型综述:万字长文详解AI大模型的原理、应用与未来趋势
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2835原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值