1、什么是RAG技术?
RAG的全称是Retrieval-Augmented Generation,称为检索增强生成技术,可以理解为给大模型安装一个“外接大脑”,RAG是这样工作的:当大模型收到一个问题时,它不会直接凭自己的记忆回答,而是会:
a.先从一个海量的、可更新的知识库(外接大脑)中查找相关信息
b.然后把找到的信息和问题一起交给大模型
c.最后让大模型基于这些准确的信息生成答案
2、为什么需要RAG技术?
大模型虽然强大,但存在五个问题:
知识过时:大模型的训练数据有截止日期,无法获取最新信息。GPT-4的知识截止到2023年4月,之后发生的事情它一无所知。
缺乏专业知识:通用模型在医疗、法律等专业领域深度不够,难以提供可靠答案。
凭空捏造:当模型不确定时,可能会“自信地”编造答案,产生所谓的“幻觉”。
数据泄露: GPT-2是通过数据攻击大模型获取个人敏感数据。
训练成本: 模型的参数规模不断攀升,需要更多的训练资源。
RAG技术恰好解决了这些问题:
知识实时更新:外接知识库可以随时更新,保证答案的时效性专业精准:可接入专业领域的数据库,提供权威答案有据可查:每个答案都有来源依据,可追溯可验证
数据更安全: 个人私有数据得到保证
训练成本少: 早在2021年,便于科学家论文证明利用RAG系统,大模型训练成本大大减少
3、RAG的工作流程

RAG的工作过程可以分为三个清晰的步骤:
检索(Retrieval) - 当用户提出问题时,RAG系统首先从外部知识库中检索与问题相关的信息。这个过程类似于使用搜索引擎,找到最相关的文档片段。
增强(Augmentation) - 将检索到的相关信息与用户原问题组合成一个新的、 enriched 的提示词。例如:“基于以下资料{检索到的信息},请回答:{用户原问题}”。
生成(Generation) - 将这个增强后的提示词输入大模型,让模型基于提供的资料生成最终答案。
整个过程通常只需几秒钟,用户感受到的是一个直接、准确且有针对性的答案。
4、RAG的优缺点
RAG的优势:
准确性高:基于最新、最可靠的信息生成答案,降低幻觉
成本低廉:相比重新训练模型,更新知识库的成本几乎可以忽略不计
透明度高:可以提供答案的来源和依据,增强可信度
易于实现:技术相对成熟,有多种开源框架可用
**模型可解释性:**RAG具有一定程度的可解释性,可以理解模型是如何生成回答的
RAG的挑战:
依赖检索质量:如果检索不到相关信息,系统无法给出好答案
上下文长度限制:大模型有输入长度限制,可能无法处理过多检索结果
延迟问题:检索需要时间,会增加整体响应延迟
依赖于现有的知识库:需要专业的且大规模的知识库
5、RAG的应用场景
RAG技术正在各行各业发挥重要作用:
智能客服:接入最新的产品文档和FAQ,提供准确客服咨询
企业知识管理:构建企业专属知识库,员工可随时查询公司制度、流程
医疗辅助:结合最新医学文献,为医生提供诊断建议和治疗方案参考
法律咨询:接入法律条文和判例库,提供初步法律意见
教育领域:基于教材和最新研究资料,为学生提供个性化辅导
内容创作:帮助作者查找资料,生成内容翔实的文章
6、RAG的范式演变
RAG技术本身也在不断进化,经历了几个阶段的演变:
初级RAG(Naive RAG):简单的检索-读取流程,存在检索不准确、生成内容与查询不匹配等问题。
高级RAG(Advanced RAG):引入优化技术,包括更精细的检索前处理(更好的文本分割、索引优化)、检索过程优化(更好的检索策略和排序算法)以及检索后优化(对检索结果的重排序和过滤)。
模块化RAG(Modular RAG):将RAG系统拆分为多个可替换的模块,如搜索模块、记忆模块、检索模块和重排序模块等。这种架构更加灵活,可以根据不同需求定制解决方案。
大模型RAG:主导的系统可以通过Agent来实现,Agent可以看作LLM于工具集合(如搜索引擎、数据库、网站导航)的集成。
多模态RAG:是RAG系统的扩展,可以处理不同模态的数据,如文本、图片、音频、视频。生成的结构也更加丰富和多样化。
RAG技术不是要取代大模型,而是让大模型变得更加可靠、实用。它解决了大模型“一本正经地胡说八道”的问题,让AI能够基于事实、依据最新资料给出回答。
最后
为什么要学AI大模型
当下,⼈⼯智能市场迎来了爆发期,并逐渐进⼊以⼈⼯通⽤智能(AGI)为主导的新时代。企业纷纷官宣“ AI+ ”战略,为新兴技术⼈才创造丰富的就业机会,⼈才缺⼝将达 400 万!
DeepSeek问世以来,生成式AI和大模型技术爆发式增长,让很多岗位重新成了炙手可热的新星,岗位薪资远超很多后端岗位,在程序员中稳居前列。

与此同时AI与各行各业深度融合,飞速发展,成为炙手可热的新风口,企业非常需要了解AI、懂AI、会用AI的员工,纷纷开出高薪招聘AI大模型相关岗位。

最近很多程序员朋友都已经学习或者准备学习 AI 大模型,后台也经常会有小伙伴咨询学习路线和学习资料,我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料,这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
AI大模型系统学习路线
在面对AI大模型开发领域的复杂与深入,精准学习显得尤为重要。一份系统的技术路线图,不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点,还能提供一条高效、有序的学习路径。

但知道是一回事,做又是另一回事,初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性,在这基础上,找到高质量的学习资源,不浪费时间、不走弯路,又是重中之重。
AI大模型入门到实战的视频教程+项目包
看视频学习是一种高效、直观、灵活且富有吸引力的学习方式,可以更直观地展示过程,能有效提升学习兴趣和理解力,是现在获取知识的重要途径

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

海量AI大模型必读的经典书籍(PDF)
阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。

600+AI大模型报告(实时更新)
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

AI大模型面试真题+答案解析
我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下


这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
1万+

被折叠的 条评论
为什么被折叠?



