优化RAG:驯服大模型“幻觉”的神奇魔法,大模型入门到精通,收藏这篇就足够了!

在当今的人工智能领域,大模型凭借其强大的语言理解和生成能力,在自然语言处理任务中取得了令人瞩目的进展。然而,大模型也存在一个不容忽视的问题 ——“幻觉”。简单来说,“幻觉” 就是大模型生成的内容与现实世界事实或用户输入不一致的现象,也就是我们常说的 “一本正经胡说八道” 。

例如,当询问大模型 “第一个在月球上行走的人是谁?”,它却回复 “Charles Lindbergh 在 1951 年月球先驱任务中第一个登上月球”。但实际上,第一个登上月球的人是 Neil Armstrong。又或者,让大模型总结今年 10 月的新闻,结果它却在说 2006 年 10 月的事。这些都是大模型 “幻觉” 的典型表现。“林黛玉倒拔垂杨柳”“月球上面有桂树”“宋江字武松” 这些看似荒诞不经却又真实出自大模型的回答,让人啼笑皆非的同时,也暴露了其在内容准确性上的短板。

大模型 “幻觉” 主要分为事实性幻觉和忠实性幻觉。事实性幻觉指生成内容与可验证的现实世界事实不一致,比如上述第一个登上月球的人的错误回答,就属于事实不一致,而凭空捏造现实中不存在的事实则是事实捏造;忠实性幻觉是指生成内容与用户指令或上下文不一致,像总结新闻时间错误就属于指令不一致,还包括上下文不一致和逻辑不一致等情况。

“幻觉” 问题的存在严重制约了大模型在更多领域的广泛应用。在医疗领域,若大模型给出的诊断建议或治疗方案存在 “幻觉”,可能会危及患者生命;在法律行业,若依据大模型带有 “幻觉” 的法律条文解读或案例分析来做决策,会破坏司法公正。所以,解决 “幻觉” 问题,成为了大模型迈向更广阔应用天地的关键一步。而检索增强生成(RAG)技术,正是在这样的背景下应运而生,为解决大模型 “幻觉” 问题带来了新的希望。本文介绍4种RAG优化的方法,提升检索准确性,解决大模型“幻觉”问题。

  • 普通 RAG 的局限:难以彻底消除幻觉
  • 四种优化RAG准确性的方法

01

普通 RAG 的局限:难以彻底消除幻觉

RAG 技术的出现,确实在一定程度上缓解了大模型的 “幻觉” 问题,就像给大模型配备了一位知识渊博的助手,随时提供准确的信息参考。然而,普通的 RAG 在解决大模型 “幻觉” 问题上,效果并非尽如人意,仍存在一些局限性。

从检索质量来看,检索结果的不准确性和不完整性是一个常见问题。检索系统就好比在知识的海洋里捞针,如果捞上来的不是针,而是一些无关的杂物,那大模型基于这些不准确的信息生成回答,就很容易产生幻觉。比如,当用户询问 “苹果公司最新发布的产品有哪些?”,检索系统可能因为关键词匹配不准确,召回的是苹果公司往年产品的信息,或者把 “苹果” 当成水果,返回了水果相关的内容,导致大模型无法基于正确信息生成准确回答,出现答非所问的情况。

再比如上下文整合丢失,从数据库中检索到包含答案的文档,因为重排序或过滤规则等策略,导致有用的文档没有被整合到上下文中。举个例子,在医学领域,当医生询问某种罕见疾病的最新治疗方案时,检索系统可能检索到了多篇相关研究论文,但由于重排序时将关键的那篇排在了后面,或者在过滤时误把关键信息当作噪音去除了,使得大模型无法获取完整准确的信息,从而给出的治疗方案存在偏差,这在实际应用中可能会造成严重后果。

此外,大模型自身的缺陷也使得普通 RAG 难以彻底消除幻觉。大模型的训练是基于大量的文本数据,这些数据可能存在错误、过时或不完整的情况。即使检索系统提供了准确的信息,大模型在处理和整合这些信息时,也可能受到自身训练偏差的影响,无法准确理解和利用,从而产生幻觉。而且,大模型的理解和推理能力也存在一定的局限性,对于一些复杂的问题,可能无法进行深入分析,只能凭借表面的信息生成回答,这也增加了产生幻觉的风险。

02

四种优化RAG准确性的方法

索引优化:摘要索引的神奇力量

为了突破普通 RAG 的局限,让大模型在信息的海洋里更加精准地 “捞针”,我们需要对 RAG 进行特殊处理,其中索引优化中的摘要索引就是一个关键的技术。

摘要索引,顾名思义,就是在构建索引时,不仅存储原始文档的信息,还为每个文档生成一个精炼的摘要,并将这些摘要也纳入索引体系 。想象一下,你有一个巨大的图书馆,里面有成千上万本书。传统的索引就像是只记录了每本书的书名和位置,当你要找关于 “人工智能发展历程” 的信息时,你可能需要把所有相关书名的书都找出来,再逐页翻阅查找。而摘要索引则像是给每本书都写了一个内容简介,你通过这些简介就能快速判断哪些书是真正与你需求相关的,大大节省了查找时间,也提高了检索的准确性。

从原理上来说,摘要索引通过提取文档的关键信息,以更简洁、更有针对性的方式来代表原始文档。在检索时,先根据用户问题与摘要进行匹配,筛选出最相关的文档摘要,再进一步定位到原始文档。这样一来,检索系统就能够更精准地把握用户需求,减少无关信息的干扰,从而提高检索结果的质量。

以新闻领域为例,假如你想了解 “近期科技领域的重大突破” ,在没有摘要索引的情况下,检索系统可能会返回大量包含 “科技” 关键词的新闻,其中可能有很多是关于科技产品发布会、科技企业动态等与重大突破无关的内容。但如果采用了摘要索引,系统会先根据摘要判断哪些新闻真正涉及科技领域的重大突破,比如 “人工智能算法取得新进展”“量子计算技术实现关键突破” 等,然后再将这些相关新闻的全文提供给大模型,大模型就能基于这些准确的信息生成更靠谱的回答,有效减少 “幻觉” 的产生。

查询优化:让问题更精准

除了索引优化,查询优化也是提升 RAG 解决 “幻觉” 能力的重要一环。查询优化,简单来说,就是对用户输入的查询进行一系列处理,使其更准确地表达用户意图,从而提高检索到相关信息的质量和准确性 。

想象一下,你在搜索引擎中输入 “苹果”,这个词既可以指水果苹果,也可以指苹果公司,搜索引擎如果直接按照这个模糊的关键词去检索,返回的结果可能就会包含大量不相关的内容。但如果通过查询优化技术,对 “苹果” 这个查询进行分析和转换,比如结合用户的搜索历史、当前的搜索上下文等信息,判断出用户想要查询的是苹果公司,那么检索结果就会更加精准。

在 RAG 中,查询优化可以采用多种技术手段。查询重写就是一种常用的技术,它通过对原始查询进行重新表述,使其更符合检索系统的要求。比如,将 “苹果公司最新产品” 重写为 “苹果公司 2024 年发布的产品有哪些”,这样更具体的查询能够让检索系统更准确地定位到相关信息。

查询扩展也是一种有效的方法,它在原始查询的基础上,添加一些相关的关键词或概念,以拓宽检索范围。例如,当用户查询 “人工智能” 时,查询扩展可以添加 “机器学习”“深度学习”“自然语言处理” 等相关概念,这样检索系统就能找到更全面的关于人工智能领域的信息,为大模型生成准确回答提供更丰富的素材 。

还有一种技术是查询转换,它将用户的自然语言查询转换为检索系统能够理解的特定格式或语言。这种查询转化的基础是文案内容采用的是元数据索引方式。比如,将自然语言查询 “查找关于唐朝诗人李白的诗歌” 转换为 SQL 查询语句 “SELECT * FROM poems WHERE poet = ’ 李白 ’ AND dynasty = ’ 唐朝 '” ,这样数据库就能根据这个精确的查询语句,快速准确地返回李白在唐朝创作的诗歌信息,大模型基于这些精准的信息生成的回答,自然就更靠谱,大大降低了 “幻觉” 出现的概率。

召回重排序:筛选关键信息

在 RAG 解决大模型 “幻觉” 问题的过程中,召回重排序技术起着至关重要的作用,它就像是信息筛选的 “质检员”,能够帮助大模型从海量的检索结果中挑选出最关键、最准确的信息,从而有效降低 “幻觉” 的产生。

在信息检索的初始阶段,系统会根据用户查询,从知识库中召回大量可能相关的文档或信息片段。然而,这些初始召回的结果往往比较宽泛,其中包含了许多与用户问题相关性较低的内容,就好比在一堆宝石中混进了大量的石头。这时候,就需要重排序算法登场了。

重排序算法会对初始召回的结果进行二次评估和排序。它不再仅仅依赖简单的关键词匹配或初步的相似度计算,而是从多个维度对文档与查询的相关性进行深入分析。以 BERT 模型为代表的深度学习模型,能够理解文本的语义和上下文,计算出查询与文档之间更准确的语义相关性得分 。同时,重排序算法还会考虑文档的时效性、权威性等因素。比如在查询 “当前热门的人工智能研究方向” 时,一篇今年发表在顶级学术期刊上的论文,肯定比几年前的普通博客文章更具参考价值,重排序算法就会给予这样的文档更高的权重。通过综合考虑这些因素,重排序算法能够将真正与用户问题高度相关的文档排在前面,让大模型能够优先获取到最有价值的信息。

经过重排序后,虽然信息的相关性有了很大提升,但可能仍然存在一些冗余或低质量的信息。这时,过滤策略就发挥作用了。过滤策略会根据预设的规则,对重排序后的结果进行进一步筛选。比如,设定一个相关性得分阈值,只有得分高于阈值的文档才会被保留;或者根据文档的来源进行过滤,只保留来自权威网站、专业数据库的信息,排除那些可信度较低的来源。通过这样的过滤操作,能够去除大量的噪声和冗余信息,为大模型提供一个简洁、准确的信息输入。

举个例子,在法律领域,当用户查询 “关于某一特定案件的法律判决依据” 时,初始召回可能会返回大量包含相关法律条文、类似案例以及一些法律解读文章等信息。重排序算法会根据这些信息与案件的相关性、条文的时效性以及案例的权威性等因素进行重新排序,将最相关的法律条文和具有参考价值的案例排在前列。然后,过滤策略会进一步筛选,去除那些年代久远、已经失效的法律条文,以及一些缺乏专业依据的法律解读,最终将经过筛选和排序的高质量信息提供给大模型,大模型基于这些精准的信息生成的回答,就能有效避免出现与法律事实不符的 “幻觉”,为用户提供准确可靠的法律建议 。

压缩过滤:精准 “提纯” 的魔法

数据压缩:砍掉冗余,轻装上阵

数据压缩就像是给检索到的信息 “瘦身”。通过算法,将冗长的文本内容进行精简,保留核心关键信息。比如,把一大段学术论文的描述,提炼成几个核心观点和关键结论。这样不仅减少了数据量,还能让大模型更聚焦于重点内容。以医疗领域为例,在检索医学文献解答患者疑问时,压缩后的信息能快速呈现疾病的关键症状、治疗方案等核心知识,避免大模型被文献中大量的实验过程、背景介绍等冗余内容干扰,从而更准确地给出诊断建议和治疗方向。

信息过滤:排除干扰,直击要害

信息过滤则是为信息设置 “关卡”,把不相关、不可靠的内容拒之门外。可以通过设置关键词匹配规则,过滤掉明显与问题不相关的内容;也可以利用机器学习算法,对检索到的信息进行可信度评估,剔除掉低可信度的信息。比如在金融领域,当用户询问某只股票的走势时,RAG 系统检索到的信息中可能包含各种小道消息、没有根据的预测。通过过滤机制,将这些不可靠的信息排除,只保留权威机构发布的财报、行业分析报告等有效信息,大模型基于这些 “纯净” 的内容生成的答案,自然能更精准地分析股票走势,避免因错误信息导致的 “幻觉” 回答。

多环节协同,让准确性 “稳如泰山”

压缩过滤并不是孤立发挥作用的,它与 RAG 系统中的索引优化、查询优化、召回重排序等环节紧密配合。经过索引优化后的高效索引,能让检索又快又准;查询优化让问题表述更精准,提高检索的相关性;召回重排序将检索到的信息按相关性高低排序,而压缩过滤则在最后一步对信息进行 “精加工”,确保输入大模型的都是 “精华”。多管齐下,大模型就像拥有了 “火眼金睛”,能准确识别并利用有效信息,大大降低 “幻觉” 的出现概率,给出的回答也更加贴合实际、准确可靠。

所以说,压缩过滤看似简单,实则是 RAG 提升准确性的 “灵魂” 操作。未来,随着技术不断发展,相信压缩过滤技术还会不断升级,助力 RAG 在更多领域发挥更大的价值,为我们带来更智能、更准确的服务!

RAG 技术通过将检索与生成相结合,为解决大模型的 “幻觉” 问题提供了有效的途径 。普通 RAG 虽有一定作用,但存在局限,而经过索引优化、查询优化、召回重排序压缩过滤等特殊处理后,RAG 在提升检索质量、精准把握用户意图、筛选关键信息等方面表现出色,能够显著降低大模型 “幻觉” 的出现概率,为用户提供更准确、更可靠的回答。

以上截图是ragflow知识库构建的时候需要额外调整的知识库的配置参数,其实这几个参数与上面介绍的几种提高RAG准确性的方法有异曲同工之妙。

页面排名(Page Ranking)—和召回重排序方法一样

页面排名在 RAGflow 的知识库检索体系里,扮演着为文档片段或回答结果 “排座次” 的重要角色 。它决定了不同文档内容在检索结果中的优先级,通常会从以下几个关键维度考量:

内容相关性:这是最基础的维度,借助向量相似度计算或者关键词匹配度来衡量。简单来说,当用户输入问题后,系统会把问题转化为向量形式,然后去比对知识库中各个文档片段对应的向量,两者越相似,相关性就越高;关键词匹配则是看问题中的关键词在文档片段里出现的频率、位置等,出现次数多且位置关键的,相关性更占优 。比如用户问 “苹果的营养价值”,那些频繁提及 “苹果” 且详细阐述 “营养价值” 相关关键词,像 “维生素含量”“矿物质作用” 等的文档片段,在内容相关性上就会得分更高 。

自定义权重:在 RAGflow 实际应用场景里,可能存在多个不同类型、重要程度有别的知识库。这时候页面排名允许用户手动为每个知识库设置优先级 。例如在一个企业场景中,有关于核心业务流程的知识库 A,以及辅助性的市场资讯知识库 B。为了确保在回答业务相关问题时,优先从知识库 A 中检索内容,就可以给知识库 A 设置一个较高的页面排名权重值 。当进行检索时,系统会综合考虑文档片段本身与问题的内容相关性得分,以及所在知识库的页面排名权重,最终得出一个综合的检索相关性分数,分数越高的文档片段,在检索结果中的排序就越靠前 。

自动关键词(Automatic Keywords)

自动关键词功能,是利用大语言模型(LLM)在解析文档时,施展的一场 “词汇挖掘” 魔法 。它会按照特定算法,识别出那些在文档中出现频率较高,同时对整体语义理解又起到关键支撑作用的词汇,将其提取出来作为关键词 。

在 RAGflow 中,你可以预先设定让 LLM 为每个文档分块(chunker)总结出 N 个关键词 。这些关键词就像是文档内容的 “浓缩精华”,能极大提升后续在知识库中检索相关内容的效率 。举个例子,当用户提问 “如何提高玫瑰的开花质量”,开启自动关键词分析后,系统能精准捕捉到 “玫瑰”“开花质量” 等核心关键词,进而迅速定位到知识库中那些关于玫瑰种植养护、提升开花质量的相关知识片段,使得最终给出的回答更具准确性和相关性 。从原理上讲,自动关键词为文档建立起了一套简洁而高效的索引体系,当面对用户问题时,能帮助系统快速缩小检索范围,直达核心内容 。

自动问题(Automatic Questions)

与自动关键词类似,自动问题同样借助 LLM 的强大能力,在解析文档的过程中 “举一反三”,生成一系列与文档内容紧密相关的问题 。可以把它理解为,系统站在不同角度,对文档知识进行的一次全面 “设问” 梳理 。

在 RAGflow 中,同样可以设定让 LLM 为每个文档分块总结出 N 个相关问题 。这一功能的价值体现在问答系统的优化上,为系统储备了更多预设问题及对应的答案对 。比如一篇关于 “人工智能发展历史” 的文档,自动问题功能可能会生成诸如 “人工智能诞生于哪一年”“人工智能发展经历了哪几个重要阶段” 等问题 。当用户提出相关问题时,即便表述与预设不完全一致,但只要语义相近,系统就能快速匹配到对应的答案,从而提升回答问题的全面性和准确性 。它丰富了系统的知识储备维度,从单纯的文档内容存储,拓展到问题与答案的关联储备,更好地应对多样化的用户提问 。

标签集(Tag Set)

标签集是 RAGflow 中用于优化检索质量的得力工具,本质上它是用户对业务数据的一种自定义定义,蕴含着丰富的领域知识 。从形式上看,标签集文件可以当作一种特殊的知识库存在,在解析时选择 “Tag” 作为分块手段 。

在标签集文件里,通常包含 “Description/Question”(代表用户的业务知识数据)以及 “Category”(代表用户对该数据定义的标签,多个标签之间用逗号分隔) 。例如在一个电商知识库中,对于一款 “智能手表” 产品的介绍文档,在标签集里可能会将其 “Description/Question” 设定为 “智能手表的功能特点”,对应的 “Category” 标签则定义为 “电子产品,可穿戴设备,智能设备,计时功能,健康监测功能” 等 。通过这种方式,为文档内容打上了多维度的标签 。在实际检索时,当用户提问涉及到这些标签相关内容,如 “可穿戴设备有哪些功能”,系统就能依据标签集快速定位到包含 “智能手表” 等相关产品介绍的文档,大大提升了检索的精准度 。可以说,标签集是引入了人工定义的垂直场景知识,作为对大模型自动提取文档关键词的有力补充,尤其在特定业务领域,能显著优化检索效果 。

以上三种参数是针对索引优化的方法,所以目前ragflow的知识库做的相对比较好,已经有一些高级优化rag的参数在里面。提升检索的准确性。

想入门 AI 大模型却找不到清晰方向?备考大厂 AI 岗还在四处搜集零散资料?别再浪费时间啦!2025 年 AI 大模型全套学习资料已整理完毕,从学习路线到面试真题,从工具教程到行业报告,一站式覆盖你的所有需求,现在全部免费分享

👇👇扫码免费领取全部内容👇👇

一、学习必备:100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT,帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例?大模型电子书?这份资料帮你站在 “行业高度” 学 AI

1. 100+本大模型方向电子书

在这里插入图片描述

2. 26 份行业研究报告:覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容,涵盖:

  • 职业趋势:《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》;
  • 商业落地:《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》;
  • 领域细分:《AGI 在金融领域的应用报告》《AI GC 实践案例集》;
  • 行业监测:《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT:听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会,包含百度、腾讯、字节等企业的一线实践:

在这里插入图片描述

  • 安全方向:《端侧大模型的安全建设》《大模型驱动安全升级(腾讯代码安全实践)》;
  • 产品与创新:《大模型产品如何创新与创收》《AI 时代的新范式:构建 AI 产品》;
  • 多模态与 Agent:《Step-Video 开源模型(视频生成进展)》《Agentic RAG 的现在与未来》;
  • 工程落地:《从原型到生产:AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看:大厂 AI 岗面试 “弹药库”,300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗?这份面试资料帮你提前 “押题”,拒绝临场慌!

1. 107 道大厂面经:覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景,包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题,每道题都附带思路解析

2. 102 道 AI 大模型真题:直击大模型核心考点

针对大模型专属考题,从概念到实践全面覆盖,帮你理清底层逻辑:

3. 97 道 LLMs 真题:聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案,比如让很多人头疼的 “复读机问题”:


三、路线必明: AI 大模型学习路线图,1 张图理清核心内容

刚接触 AI 大模型,不知道该从哪学起?这份「AI大模型 学习路线图」直接帮你划重点,不用再盲目摸索!

在这里插入图片描述

路线图涵盖 5 大核心板块,从基础到进阶层层递进:一步步带你从入门到进阶,从理论到实战。

img

L1阶段:启航篇丨极速破界AI新时代

L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

img

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

img

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

img

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

img

L5阶段:专题集丨特训篇 【录播课】

img
四、资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

2025 年想抓住 AI 大模型的风口?别犹豫,这份免费资料就是你的 “起跑线”!

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值