中国科学院信工所发布首篇LLM智能体幻觉综述!梳理5类幻觉、18大原因、10种解决方案

本文系统梳理了LLM智能体幻觉问题,首次提出5类幻觉分类(推理、执行、感知、记忆、通信)和18大触发原因,总结10种缓解策略,涵盖知识利用、范式改进和事后验证三大方向。文章还开源300+相关研究资源,为构建可靠智能体系统提供关键参考,并指明6个未来研究方向,推动LLM智能体从"能做事"向"可靠做事"转变。


当大语言模型驱动的智能体(LLM-based Agent)逐渐渗透进教育辅导、科学研究、金融分析等关键领域,成为实现通用人工智能(AGI)的核心载体时,一个致命问题正制约其落地——幻觉。不同于传统LLM仅在文本生成中出现的“语言错误”,LLM智能体的幻觉是跨模块、长链条的“复合偏差”:可能是规划行程时误解用户需求(推理幻觉),可能是调用工具时填充错误参数(执行幻觉),甚至可能在多智能体协作中传递虚假信息(通信幻觉),最终导致任务失败、设备故障,乃至现实世界的安全风险。

正是在这一背景下,来自中国科学院信息工程研究所、中国科学院自动化研究所、中国科学院数学与系统科学研究院、武汉大学、中国人民大学、麦考瑞大学、格里菲斯大学等机构的研究者,联合小米等企业团队,发布了首篇聚焦LLM智能体幻觉的全面综述——《LLM-based Agents Suffer from Hallucinations: A Survey of Taxonomy, Methods, and Directions》。这篇综述不仅首次厘清了智能体幻觉的本质,更提出全新分类框架、拆解18大触发原因、总结10种缓解策略,并开源300+相关研究论文库,为打造可靠、安全的智能体系统提供了关键参考。

  • 论文链接:https://arxiv.org/pdf/2509.18970
  • Github:https://github.com/ASCII-LAB/Awesome-Agent-Hallucinations

打破认知:LLM智能体幻觉≠传统语言幻觉

在讨论智能体幻觉前,必须先明确一个核心区别:LLM智能体不是“会说话的模型”,而是“会决策、会行动的智能系统”

传统LLM的幻觉多局限于文本生成,比如编造不存在的文献引用或事实错误;但LLM智能体拥有“大脑-感知-动作”三大核心模块:“大脑”负责记忆与推理,“感知”处理多模态环境输入,“动作”可调用工具(如日历API、智能家居指令)。这种复杂性使得智能体幻觉呈现出三大独特性:

  1. 类型更复杂:不是单一错误,而是模块交互产生的复合行为偏差,比如“感知错误→记忆存储→推理误用”的连锁问题;
  2. 传播链更长:幻觉可能出现在推理、执行、记忆等任一中间环节,随时间累积放大,而非仅存在于最终输出;
  3. 后果更严重:错误会转化为“物理可执行动作”,比如智能家居Agent误判环境亮度导致持续开灯,或金融Agent错误调用交易API造成损失。

为了精准刻画这一系统,综述用部分可观测马尔可夫决策过程(POMDP) 对智能体交互动力学进行形式化定义。在这一框架中,智能体基于自身信念(Belief),通过感知环境(Perception)、生成计划(Reasoning)、执行动作(Execution)、接收反馈(Feedback)、更新记忆(Memorization)来实现目标(如图1所示);而多智能体系统(MAS)还需额外处理消息广播(Broadcasting)与通信拓扑进化(Structure Evolution),这进一步增加了幻觉传播的风险。

全新分类:5类幻觉覆盖智能体全流程,18大触发原因拆解“幻觉为什么会发生”

基于图1,综述提出了首个覆盖智能体全工作流的幻觉分类体系,将复杂的幻觉问题拆解为5种可定义、可分析的类型,每种类型都配有真实场景案例,让研究者与开发者能精准定位问题;仅分类还不够,综述的另一大贡献是系统性梳理了18个导致幻觉的核心触发原因,为后续缓解方案提供“靶点”,如图2所示。

1. 推理幻觉:“想错了”

推理是智能体的“决策核心”,负责理解用户目标、分解子任务、生成执行计划。推理幻觉则是“看似合理,实则逻辑错误”的规划偏差,细分为三类:

  • 目标理解幻觉:误解用户意图,比如用户要求“推荐适合老人的餐厅”,Agent却推荐以辣菜为主的餐厅;
  • 意图分解幻觉:子任务拆解错误,比如规划“10人家庭野餐(预算500元)”时,错误加入“全天草坪预订”等无关子目标;
  • 计划生成幻觉:基于错误假设生成计划,比如忽略自身工具调用权限,规划“调用未授权的天气API获取数据”。

其根源多与“目标表达模糊”“长上下文误用”“子任务依赖建模不足”相关,比如用户指令语义模糊(如“周末短途游”未说明地点),或Agent处理长文本时过度依赖近期信息,忽略关键约束(如预算限制)。

2. 执行幻觉:“做错了”

执行阶段是智能体将“计划”转化为“动作”的关键环节,核心是工具选择与调用,幻觉主要表现为:

  • 工具选择幻觉:自信选择不存在或无关的工具,比如用户查询北京旅行推荐,Agent调用虚构的“get_beijing_travel_info”工具;
  • 工具调用幻觉:工具参数错误,比如调用“航班查询工具”时遗漏“出发日期”参数,或填充错误的机场代码。

综述指出,这两类幻觉的核心诱因是“工具认知偏差”:工具文档描述不完整(如API参数说明缺失)、Agent对工具使用模式理解过浅(如不知工具需嵌套调用),或无法适应工具功能更新(如API接口变更后仍用旧参数)。

3. 感知幻觉:“看错了”

感知模块是智能体的“感官”,负责将物理环境信号(如摄像头图像、麦克风声音)转化为内部可理解的观测值。感知幻觉则是“观测值与真实环境严重偏差”,主要源于:

  • 传感器故障:如摄像头镜头畸变导致Agent误判“桌子上有杯子”(实际无),或惯性传感器漂移造成机器人导航偏差;
  • 编码能力不足:单模态信息提取不全(如忽略图像中的局部细节),或跨模态融合失败(如文本描述“红色按钮”与图像中“蓝色按钮”无法对齐)。

这类幻觉是后续所有决策错误的“源头”——若环境输入本身失真,后续记忆与推理再精准也无意义。

4. 记忆幻觉:“记错了”

记忆模块是智能体的“知识库”,负责存储历史交互、环境信息与工具使用记录。记忆幻觉则是“默认记忆可靠,实则依赖错误信息”,分为两类:

  • 记忆检索幻觉:提取无关或不存在的信息,比如用户询问“明天会议安排”,Agent从记忆中检索出“昨天的项目会议”作为答案;
  • 记忆更新幻觉:错误修改或删除记忆,比如用户要求“取消明天上午会议”,Agent却误删全天所有会议记录。

其诱因包括“初始记忆有偏差”(如训练数据中的性别、国籍偏见)、“检索机制低效”(如仅按关键词匹配,忽略语义相关性),或“记忆优先级混乱”(重要信息被误删,冗余信息留存)。

5. 通信幻觉:“传错了”

在多智能体系统中,Agent需通过通信共享知识、协调任务,通信幻觉则是“看似在交流,实则传递错误信息”,主要表现为:

  • 消息传播错误:Agent生成含事实错误的消息,如“客户需要代码审查”被传为“客户需要冷启动审查”;
  • 协议不协调:通信格式或时序混乱,比如部分Agent用JSON格式发消息,部分用自然语言,导致信息无法解析;
  • 网络更新无效:通信拓扑未及时调整,比如将财务数据发送给无权限的Agent,或关键消息未传递到负责执行的节点。

这类幻觉的典型案例是“回声室效应”——多Agent间反复传递同一错误信息,最终集体偏离原始目标。

系统解法:3大方向10种缓解策略+检测进展

针对上述问题,综述从近年研究中提炼出三大类共10种幻觉缓解方法,如图4所示;同时,也客观指出了当前检测研究的现状——感知幻觉检测方法较多,记忆与通信幻觉检测仍待突破。

1. 知识利用:用“可靠知识”减少偏差

核心思路是为Agent提供精准、实时的知识支撑,弥补内部知识缺口:

  • 外部知识指导:引入专家知识(如领域规则、知识库)或世界模型(如物理定律、常识),比如用“烹饪前需清洗食材”的常识约束Agent行为;
  • 内部知识增强:通过提示工程(如思维链CoT、树状思维ToT)激活Agent已有知识,或通过“知识编辑”修正错误记忆(如替换过时的工具参数信息)。

2. 范式改进:用“更好的学习方法”提升鲁棒性

从训练与推理范式入手,增强Agent抵抗幻觉的能力,包括6种关键方法:

  • 对比学习:让Agent学会区分“正确/错误”模式,减少相似任务的混淆;
  • 课程学习:从简单任务(如单工具调用)逐步过渡到复杂任务(如多工具嵌套调用),积累可靠经验;
  • 强化学习:通过“试错-反馈”优化策略,比如用“代码单元测试通过率”作为奖励信号,提升编程Agent的准确性;
  • 因果学习:建模任务中的因果关系,避免“相关性误判为因果”的推理错误;
  • 图学习:用图结构组织工具、记忆或多Agent通信拓扑,提升信息管理的有序性;
  • 解码优化:推理时调整输出概率分布,比如“对比解码”选择更符合事实的候选结果。

3. 事后验证:“做完再检查”,阻止幻觉传播

在任务执行的每一步后加入验证环节,避免幻觉累积,主要分为两类:

  • 自我验证:Agent通过“自我反思”(如重新检查推理步骤)、“自我一致性”(生成多个结果后投票)等方式自查错误;
  • 验证器辅助:引入外部系统验证,比如用“检索验证器”查外部事实、“执行验证器”运行代码测试正确性,或“模拟验证器”在沙盒环境中预演动作。

在此基础上,综述还贴心地通过表格清晰标注了每种方法对5类幻觉的适用场景,如表1所示:

而在检测方面,综述梳理了当前代表性方法(如图5所示):例如用SelfCheckGPT检测推理幻觉,用ToolBH评估工具调用幻觉,用LRP4RAG定位记忆检索幻觉等。但现状是,感知幻觉因“输入-输出偏差易观测”(如图像与文本描述不匹配)而研究较多,记忆与通信幻觉因“隐蔽在内部模块”而检测方法稀缺,这是未来的重点方向之一。

开源资源+未来方向:为可靠智能体铺路

为了推动领域协作,综述团队还打造了首个LLM智能体幻觉研究资源库,在GitHub(https://github.com/ASCII-LAB/Awesome-Agent-Hallucinations)上开源了300+相关论文,涵盖幻觉分类、缓解、检测等所有方向。同时,基于对现有研究的复盘,综述提出了6个亟待突破的未来方向,直指智能体幻觉研究的核心痛点:

  1. 幻觉累积研究:当前多关注单步幻觉,需分析“多步累积效应”,比如“初始感知误差如何在10轮交互后导致严重决策错误”;
  2. 精确幻觉定位:需设计可追溯的执行轨迹模型,比如在每个模块加入“轻量级检查点”,快速定位幻觉源头;
  3. 机制可解释性:用“神经机制解释(MI)”揭示幻觉的内部成因,比如Transformer的哪些层负责工具调用决策,为何会出现参数错误;
  4. 统一基准构建:现有基准多针对单一幻觉类型(如ToolBH仅测执行幻觉),需建立覆盖“推理-执行-记忆-通信”的综合评估体系;
  5. 持续自进化能力:让Agent能动态适应环境与需求变化,比如通过终身学习更新知识,避免“旧知识导致的幻觉”;
  6. 基础架构升级:突破Transformer的长上下文瓶颈,探索“神经符号系统”等新架构,提升推理与记忆的可靠性。

总结:从“能做事”到“可靠做事”的关键一步

LLM智能体的发展正从“追求功能全面”转向“追求安全可靠”,而幻觉问题是这一转型路上必须跨越的障碍。这篇综述的价值,不仅在于“系统性梳理现有研究”,更在于“为领域建立了统一的问题定义与分析框架”——它让原本模糊的“幻觉问题”变得可分类、可溯源、可解决。

对于研究者,这份综述是入门的“地图”,清晰标注了每个方向的研究现状与缺口;对于开发者,它是排查问题的“手册”,可按5类幻觉快速定位产品中的风险点;而对于整个领域,它标志着LLM智能体研究从“零散探索”进入“系统攻坚”阶段。

正如综述结尾所言:“解决智能体幻觉不是‘优化细节’,而是构建可靠AGI的基础。” 随着更多研究者基于这份框架开展工作,我们离“能自主决策、且让人放心”的智能体系统,无疑又近了一步。

零基础如何高效学习大模型?

为了帮助大家打破壁垒,快速了解大模型核心技术原理,学习相关大模型技术。从原理出发真正入局大模型。在这里我和MoPaaS魔泊云联合梳理打造了系统大模型学习脉络,这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码免费领取🆓**⬇️⬇️⬇️

在这里插入图片描述

【大模型全套视频教程】

教程从当下的市场现状和趋势出发,分析各个岗位人才需求,带你充分了解自身情况,get 到适合自己的 AI 大模型入门学习路线。

从基础的 prompt 工程入手,逐步深入到 Agents,其中更是详细介绍了 LLM 最重要的编程框架 LangChain。最后把微调与预训练进行了对比介绍与分析。

同时课程详细介绍了AI大模型技能图谱知识树,规划属于你自己的大模型学习路线,并且专门提前收集了大家对大模型常见的疑问,集中解答所有疑惑!

在这里插入图片描述

深耕 AI 领域技术专家带你快速入门大模型

跟着行业技术专家免费学习的机会非常难得,相信跟着学习下来能够对大模型有更加深刻的认知和理解,也能真正利用起大模型,从而“弯道超车”,实现职业跃迁!

在这里插入图片描述

【精选AI大模型权威PDF书籍/教程】

精心筛选的经典与前沿并重的电子书和教程合集,包含《深度学习》等一百多本书籍和讲义精要等材料。绝对是深入理解理论、夯实基础的不二之选。

在这里插入图片描述

【AI 大模型面试题 】

除了 AI 入门课程,我还给大家准备了非常全面的**「AI 大模型面试题」,**包括字节、腾讯等一线大厂的 AI 岗面经分享、LLMs、Transformer、RAG 面试真题等,帮你在面试大模型工作中更快一步。

【大厂 AI 岗位面经分享(92份)】

图片

【AI 大模型面试真题(102 道)】

图片

【LLMs 面试真题(97 道)】

图片

【640套 AI 大模型行业研究报告】

在这里插入图片描述

【AI大模型完整版学习路线图(2025版)】

明确学习方向,2025年 AI 要学什么,这一张图就够了!

img

👇👇点击下方卡片链接免费领取全部内容👇👇

在这里插入图片描述

抓住AI浪潮,重塑职业未来!

科技行业正处于深刻变革之中。英特尔等巨头近期进行结构性调整,缩减部分传统岗位,同时AI相关技术岗位(尤其是大模型方向)需求激增,已成为不争的事实。具备相关技能的人才在就业市场上正变得炙手可热。

行业趋势洞察:

  • 转型加速: 传统IT岗位面临转型压力,拥抱AI技术成为关键。
  • 人才争夺战: 拥有3-5年经验、扎实AI技术功底真实项目经验的工程师,在头部大厂及明星AI企业中的薪资竞争力显著提升(部分核心岗位可达较高水平)。
  • 门槛提高: “具备AI项目实操经验”正迅速成为简历筛选的重要标准,预计未来1-2年将成为普遍门槛。

与其观望,不如行动!

面对变革,主动学习、提升技能才是应对之道。掌握AI大模型核心原理、主流应用技术与项目实战经验,是抓住时代机遇、实现职业跃迁的关键一步。

在这里插入图片描述

01 为什么分享这份学习资料?

当前,我国在AI大模型领域的高质量人才供给仍显不足,行业亟需更多有志于此的专业力量加入。

因此,我们决定将这份精心整理的AI大模型学习资料,无偿分享给每一位真心渴望进入这个领域、愿意投入学习的伙伴!

我们希望能为你的学习之路提供一份助力。如果在学习过程中遇到技术问题,也欢迎交流探讨,我们乐于分享所知。

*02 这份资料的价值在哪里?*

专业背书,系统构建:

  • 本资料由我与MoPaaS魔泊云的鲁为民博士共同整理。鲁博士拥有清华大学学士美国加州理工学院博士学位,在人工智能领域造诣深厚:

    • 在IEEE Transactions等顶级学术期刊及国际会议发表论文超过50篇
    • 拥有多项中美发明专利。
    • 荣获吴文俊人工智能科学技术奖(中国人工智能领域重要奖项)。
  • 目前,我有幸与鲁博士共同进行人工智能相关研究。

在这里插入图片描述

内容实用,循序渐进:

  • 资料体系化覆盖了从基础概念入门核心技术进阶的知识点。

  • 包含丰富的视频教程实战项目案例,强调动手实践能力。

  • 无论你是初探AI领域的新手,还是已有一定技术基础希望深入大模型的学习者,这份资料都能为你提供系统性的学习路径和宝贵的实践参考助力你提升技术能力,向大模型相关岗位转型发展

    在这里插入图片描述在这里插入图片描述在这里插入图片描述

抓住机遇,开启你的AI学习之旅!

在这里插入图片描述

### 关于LLM幻觉的研究与综述 语言模型(LLM)的幻觉现象是指其生成的内容可能不符合事实、逻辑或常识的情况。这种现象通常源于训练数据中的偏差以及模型内部复杂的概率分布机制[^1]。 #### 幻觉产生的原因分析 LLM幻觉主要来源于以下几个方面: - **训练数据的质量问题**:如果训练语料库中存在错误的息或者不一致的数据,那么这些息可能会被模型学习并重复输出[^2]。 - **上下文理解不足**:尽管 LLM 能够处理量文本,但在某些情况下它们无法完全理解复杂的情境或领域特定的知识,从而导致生成的结果偏离实际意义[^3]。 #### 减少幻觉的技术手段 为了降低 LLM 输出中的幻觉效应,研究人员提出了多种方法和技术改进措施: - **引入外部知识源验证**:通过连接到可靠数据库或其他形式的事实核查具来增强模型的回答准确性。 - **强化学习结合人反馈**:这种方法让机器不仅依赖统计规律还考虑到了真实世界的约束条件,有助于提高响应的真实性与合理性。 - **微调专用场景下的预训练模型**:针对具体应用场景定制化调整参数设置可以有效减少无关干扰项的影响,进而改善最终效果表现。 ```python def check_factuality(response, knowledge_base): """ Function to verify the factuality of an LLM's response against a given knowledge base. Args: response (str): The output string from the LLM that needs verification. knowledge_base (dict): A dictionary containing factual information as key-value pairs. Returns: bool: True if all statements match known facts within tolerance levels; False otherwise. """ for statement in parse_statements(response): if not compare_statement_to_kb(statement, knowledge_base): return False return True # Example usage demonstrating how one might implement such functionality programmatically knowledge_database = {"capital_of_france": "Paris", ...} generated_text = llm.generate(prompt="What is the capital city of France?") is_correct = check_factuality(generated_text, knowledge_database) print(f"Is the answer correct? {is_correct}") ``` 上述代码片段展示了一个简单函数 `check_factuality` ,它接受来自 LLM 的回复和一个已知的真实值集合作为输入,并返回该回复是否符合所提供的基线标准。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值