大语言模型虽然具备强大的生成能力,但仍受困于两大瓶颈:知识幻觉与复杂推理不足。传统RAG技术虽能增强事实性,却难以应对多步推理;纯推理方法又常因缺乏事实支撑而失真。
清华大学等研究机构的学者系统地对检索-推理系统进行了详细研究:首先梳理了两种单向增强方法:推理增强型RAG(通过多步推理优化检索流程)和RAG增强型推理(利用检索知识填补逻辑漏洞)。随后,重点探讨了新兴的协同检索-推理框架,推理过程主动指导检索策略,而新检索到的知识又持续优化推理流程。这一趋势也进一步体现在最新的Deep Research类产品中,强调检索与推理的紧密耦合以增强解决复杂问题的能力。
本文的综述不仅填补了该领域系统化研究的空白,也为构建更高效、多模态适应、可信且以人为中心的检索-推理系统提供了重要参考,为后续技术发展指明了路径。


- 论文标题:Towards Agentic RAG with Deep Reasoning: ASurvey of RAG-Reasoning Systems in LLMs
- 论文链接:https://arxiv.org/pdf/2507.09477
- 项目地址:https://github.com/DavidZWZ/Awesome-RAG-Reasoning

01 推理增强型RAG
传统RAG先检索文档,再结合查询生成答案,但这类方法往往难以处理复杂推理。通过在检索、整合与生成各阶段融入推理能力,可提升信息匹配精度,减少幻觉,增强回答准确性。
(1)检索优化
检索优化利用推理来提高结果的相关性和质量。现有方法主要分为三类:
- 推理感知的查询重构
通过重构原始查询来更好地获取与推理相关的上下文。首先查询分解将复杂问题拆解为更简单的子查询;然后查询改写将模糊查询转化为更清晰的表述,部分研究采用强化学习训练改写模型以匹配生成器的推理需求;最后查询扩展通过思维链推理增强查询的语义丰富度。
- 检索策略与规划
检索优化的两大技术路线包括:采用推理模型预先生成完整检索蓝图的全局规划;采用单步预测机制动态判断是否需要检索的自适应决策。
- 检索模型增强
现有研究通过两种方式增强检索器推理能力:利用知识图谱(GNN-RAG采用图神经网络编码知识图谱实现隐式多跳推理)或符号规则(RuleRAG)等结构化知识指导检索;或将CoT****显式推理与查询结合,提升多跳问答的中间知识召回。
(2)整合优化
通过引入推理机制来评估相关性并融合多源证据,从而避免无关内容干扰最终生成效果。其核心方法可分为两类:
- 相关性评估与过滤
通过深层次推理评估检索片段与查询的相关性。如SEER采用评估专家机制筛选高质量证据;Yoran等人使用NLI模型过滤非蕴含内容,并通过混合上下文微调LLM来抑制噪声干扰。
- 信息合成与融合
识别相关片段后,需将其融合为连贯证据集。BeamAggR基于概率推理聚合子问题答案组合;DualRAG通过推理增强查询渐进聚合信息;CRP-RAG构建推理图以处理节点级知识,生成前动态选择最佳知识路径。
(3)生成优化
传统RAG系统即便获取检索内容,仍会因缺乏推理生成不实内容。当下研究主要采用两种优化方案:
- 上下文感知合成策略
通过选择性上下文利用和构建显式推理路径来确保生成内容的相关性并降低噪声。
- 基于证据的生成控制
通过推理验证机制,确保输出紧扣检索证据。如:事实验证方法评估生成内容与证据的一致性;引用生成方法通过关联内容与来源提升可信度;忠实推理方法要求每一步均基于证据,避免引入未经验证信息。
02 RAG增强型推理
在推理过程中整合外部知识或上下文中的知识,有助于大语言模型减少幻觉并弥补逻辑漏洞。
(1)外部知识检索
通过整合网络内容、数据库信息和外部工具来增强推理能力,有效填补知识空白。定向检索技术将推理步骤锚定在已验证的外部证据上,使语言模型能够可靠处理复杂查询,显著提升事实准确性。
(2)上下文检索
利用模型的内部经验或从示例和训练数据中检索到的样例来引导推理。该方法提供相关范例,指导模型模仿推理模式,从而提升回答新问题时的准确性和逻辑连贯性。
03 检索-推理协同范式
许多现实问题(如开放域问答和科学发现)需迭代式检索与推理,使新证据不断优化推理,反之亦然。单次检索或推理难以充分支持复杂任务。通过多步交互式协同,系统可逐步提升信息相关性与查询理解。现有方法主要聚焦两个方向:
(1)推理工作流
推理工作流可分为基于链、基于树和基于图的结构,体现出从线性推理向多分支复杂推理范式的技术演进。
基于链:链式推理架构(如CoT)通过线性思维链进行推理,但仅依赖大语言模型的参数化知识,容易产生错误传播。为此,研究者通过在推理步骤间加入检索操作来优化,最新进展还引入了验证与过滤机制以提升鲁棒性。
基于树:通常采用“思维树”(ToT)或蒙特卡洛树搜索(MCTS)框架。ToT 将思维链扩展为显式构建确定性推理树,从而并行探索多条逻辑路径。相比之下,基于 MCTS 的方法采用概率树搜索,依据启发式概率动态优先探索高潜力路径。
基于图:Walk-on-Graph方法主要依赖图学习技术实现检索与推理的协同。相比之下,Think-on-Graph方法直接将图结构整合到大语言模型推理循环中,通过模型自主引导实现动态迭代的检索-推理过程。
(2)智能体编排
根据智能体架构分类,现有研究可划分为两大方向:
- 单智能体
单智能体系统将知识检索融入大语言模型的推理循环中,使其能够在解决问题的每一步动态查找信息,并在需要时主动寻找相关证据。
具体实现包括:使用提示策略使大模型显式交替执行推理和工具调用;通过基于指令或合成数据集的监督微调(SFT)方法;以及强化学习驱动,通过奖励信号优化智能体行为的方法(最近研究进一步推出在动态环境下及端到端的强化学习训练)。
- 多智能体
RAG与推理任务中的多智能体协作研究催生了两类典型架构:集中式架构(通过"工作者-管理者"模式整合集体智能)与分布式架构(利用角色专精智能体的互补能力)。
04 挑战与机遇
协同式检索-推理系统的未来研究致力于提升推理和检索能力,以满足现实世界对准确性、效率、可信度和用户对齐的需求。下面概述关键挑战与机遇:
- 推理效率:协同式检索-推理系统虽擅长复杂推理,但因迭代检索与多步推理易致显著延迟。未来需通过潜在推理、思维蒸馏、长度惩罚等策略优化推理效率,并探索模型压缩技术,发展高效的轻量级系统。
- 检索效率:在检索方面,需结合预算感知的查询规划与记忆感知的缓存机制,减少冗余访问;通过自适应检索控制,依据不确定性信号动态调整检索时机与规模,降低无效操作。这些技术推动系统从静态RAG向现实约束下的动态、自调节高效检索演进。
- 人机协作:检索-推理应用多具个性化,用户往往难以明确需求或处理结果。未来系统需建模不确定意图,支持迭代澄清,并设计可自适应用户水平与偏好的智能体。
- 智能体架构与能力:协同式检索-推理的核心是智能体架构,系统能自主分配角色并调用工具或检索策略。未来研究应聚焦于构建支持动态选工具、检索规划与自适应协同的智能体框架。
- 多模态检索:现有协同式检索-推理系统多限于文本任务,但实际应用亟需多模态内容的检索与融合。未来研究应增强多模态大模型的跨模态对齐与推理能力,发展混合模态思维链以支持现实交互,并构建统一的多模态检索器,实现对图像、表格、文本等异构数据的联合嵌入。
- 检索可信度:协同式检索-推理系统易受污染知识的攻击,确保检索可信对推理可靠性至关重要。水印等技术可提升可追溯性,但亟需更动态自适应的方法应对模型演进与新型攻击。不确定性量化与鲁棒生成已单独探索,未来应整合以增强系统可信与鲁棒性,并扩展基准至多维可信度评估。
如何学习大模型 AI ?
我国在AI大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着Al技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国Al产业的创新步伐。加强人才培养,优化教育体系,国际合作并进,是破解困局、推动AI发展的关键。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线
明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。
对于从来没有接触过AI大模型的同学,我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。
大模型经典PDF书籍
新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路!

配套大模型项目实战
所有视频教程所涉及的实战项目和项目源码等

博主介绍+AI项目案例集锦
MoPaaS专注于Al技术能力建设与应用场景开发,与智学优课联合孵化,培养适合未来发展需求的技术性人才和应用型领袖。


这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

为什么要学习大模型?
2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

适合人群
- 在校学生:包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础,有志于深入AGI大模型行业,希望开展相关的研究和开发工作。
- IT行业从业人员:包括在职或失业者,涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验,至少1年以上的编程工作经验,对大模型技术感兴趣或有业务需求,希望通过课程提升自身在IT领域的竞争力。
- IT管理及技术研究领域人员:包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势,主导技术创新,推动大模型技术在企业业务中的应用与改造。
- 传统AI从业人员:包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作,现需要快速补充大模型技术能力,获得大模型训练微调的实操技能,以适应新的技术发展趋势。

课程精彩瞬间
大模型核心原理与Prompt:掌握大语言模型的核心知识,了解行业应用与趋势;熟练Python编程,提升提示工程技能,为Al应用开发打下坚实基础。

RAG应用开发工程:掌握RAG应用开发全流程,理解前沿技术,提升商业化分析与优化能力,通过实战项目加深理解与应用。 
Agent应用架构进阶实践:掌握大模型Agent技术的核心原理与实践应用,能够独立完成Agent系统的设计与开发,提升多智能体协同与复杂任务处理的能力,为AI产品的创新与优化提供有力支持。
模型微调与私有化大模型:掌握大模型微调与私有化部署技能,提升模型优化与部署能力,为大模型项目落地打下坚实基础。 
顶尖师资,深耕AI大模型前沿技术
实战专家亲授,让你少走弯路

一对一学习规划,职业生涯指导
- 真实商业项目实训
- 大厂绿色直通车
人才库优秀学员参与真实商业项目实训
以商业交付标准作为学习标准,具备真实大模型项目实践操作经验可写入简历,支持项目背调 
大厂绿色直通车,冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】


388

被折叠的 条评论
为什么被折叠?



