自2023年GPT爆火全球后,RAG就作为弥补大模型记忆能力短板的关键组件,同时也爆火了。
时至今日,RAG仍是大家津津乐道的技术。
如果想要充分发挥大模型的潜力,懂一些RAG的基本原理还是非常关键的。
今年智能体Agent爆火,RAG技术同样是当前Agent增强记忆能力的关键技术。

今天来给大家拆解一下,RAG这个小东西到底是个啥,实际上一点也不神秘。
让大模型学会做笔记
理解一个东西还是要从本质去理解,首先肯定要看看RAG全称是啥对吧。
别来一个人问你RAG全称,你却支支吾吾的说不出来,那显然是不懂RAG啊。
RAG全称就是Retrieval Augmented Generation,检索增强生成嘛。
很简单,就字面意思,用检索得到的知识来增强生成的效果。
增强啥效果呢?增强大语言模型的生成效果。

为啥RAG就能增强效果了,其实就是因为大模型生成时会有个致命问题——幻觉。
幻觉就是捏造事实。
当你问为啥要有RAG时,其实就像是在问我为啥我要天天做笔记呢?
假如你没看我这篇文章,别人问你RAG是啥,你是不是瞎说一通?你说你是不是也有“幻觉”问题。
这时你把我这篇文章看了然后写到笔记里,下次别人问你RAG时检索出笔记对着念,自然就解决了幻觉问题。
那么大模型也是一样,没看到文章时就会乱说一通,假如用某种方法将文章存到笔记里,然后让大模型回答问题前把笔记检索出来参考,那不就解决幻觉问题了。

讲完了RAG的基本定义,接下来就可以看看RAG到底是怎么实现的了。
RAG的核心步骤
按照上面的思路,RAG首先是得存笔记对吧。
所以第一步我们得把文本信息存到一个地方,而在技术上我们采用向量数据库(Vector DataBase),最终笔记都会存到向量数据库里。

1、文本分块
由于文本信息可能很多,比如一本书这么大,肯定没法直接存一整本书,所以首先需要把书拆成一页一页甚至是一段一段的小块(Chunk)。
而且分块还有其他好处:
模型有长度限制:一次肯定不能检索出一本书作为参考资料,别说模型吃不消了,人也不可能每次回答问题前先看完一本书。
找重点的效率高:每次查东西时其实重点只在那几句话里,而不是整本书的信息都有用。通过分块的方式,最终检索出来的就是有用的几块重点内容。
2、生成向量并存储
分块后,需要将每一块的文本信息通过向量模型(Embedding model)转化为文本向量(Embedding),然后将这些向量存到向量数据库里。

向量就是将文字转化为计算机能理解的数字,通过算法将文字映射为数字数组。
其实你可以理解为就是计算机读书的方式。
我们记笔记是通过文字的方式,大模型记笔记是通过向量的方式。
我们把文字写到纸上,大模型把向量写到向量数据库里。

3、用户查询并向量化
大模型读完书了,也记完笔记了,它就学到知识了、变强了!
接下来就到了用户提问的时候了,看看它怎么通过向量数据库应对人类的提问。
首先其实大模型是不理解用户打出的文字的,所以它需要将用户提问也转化为计算机能够理解的数字向量。
和前面的文字转向量的方法一样,通过向量模型生成向量。
得到问题(Query)向量后,从向量数据库(Vector DB)里检索出与当前问题最相关的分块。通常是选出K个最相关的块,由人工设置K的值。
其实就是人类根据问题从笔记里检索出最相关的几句笔记,到底选几句笔记呢,那就根据你以前的经验了。

4、重排序分块
本来选完笔记后,就可以回答问题了。
但是向量数据库选笔记的技术目前一般般,选出的几个分块很可能不是与问题最相关的分块。
所以这里很多情况下会使用更聪明的模型来对选出的K个分块打分排序一下,然后再重新选出打完分后分数最高的几个分块。

5、生成回答
最后,用户问题有了,相关笔记也有了,直接全塞给大模型进行推理就行了。
通过用户问题和笔记,组装好一个Prompt生成结果就行了。

所以最终结果其实还是得看生成大模型有多强。
菜鸟有了学霸笔记也没法考上清华啊对吧。
结语
看完以上的介绍,有没有觉得更加清晰RAG到底是啥了。
以后别人再问你,拍着胸脯说“这题我熟!”。
不过以上讲的也就RAG的基础理解和用法,后续我还会考虑写写RAG的优化方法或实践,可以关注下我。
如何零基础入门 / 学习AI大模型?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。
不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!
想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高
那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
全套AGI大模型学习大纲+路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。




👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
1万+

被折叠的 条评论
为什么被折叠?



