通过噪声扰动缓解多模态大型语言模型的幻觉问题

LLM指令覆盖失效与上下文稀释压力测试实战指南 大型语言模型(LLM)的安全脆弱性并非源于‘越狱’能力,而是其底层注意力机制与位置编码的固有局限:指令覆盖失效反映Transformer无法全局撤销token权重,上下文稀释则暴露RoPE等位置编码在长文本中的信号衰减。这类基础架构特性直接导致客服、金融、教育等关键场景中合规约束失焦、角色幻觉固化与知识污染。本文基于27轮红蓝对抗实测,聚焦指令覆盖失效和上下文稀释两大核心热词,提供可复现的压力测试框架与架构级加固方案,覆盖从提示工程、输入净化到对话状态机设计的全链路防御实践。 阅读详情

摘要

该论文提出了一种名为NoiseBoost的方法,通过噪声扰动来缓解多模态大语言模型(MLLM)中的幻觉问题。论文分析指出,幻觉主要源于大语言模型固有的总结机制,导致对语言符号的过度依赖,而忽视了视觉信息。NoiseBoost通过在视觉特征中加入噪声扰动,作为一种正则化手段,促进视觉和语言符号之间的注意力权重平衡。实验结果显示,NoiseBoost不仅在监督微调和强化学习中提升了模型性能,还首次实现了MLLM的半监督学习,充分利用了未标记数据。

图片图1:多模态大模型(MLLMs)由于过度依赖语言先验而遭受幻觉问题。在(a)中,幻觉词元过度依赖(0.27)之前的语言词元,后续的词元都是幻觉。同时,在(b)中,NoiseBoost通过噪声扰动帮助MLLMs将注意力权重均匀分配在视觉和语言词元之间,从而产生真实的结果。

主要方法

  1. 问题分析:
  • 幻觉现象:MLLM在生成长描述时容易出现幻觉,因为模型过于依赖语言符号而忽略视觉信息。
  • 原因分析:语言模型在生成过程中会自动选择某些语言符号作为锚点,导致后续生成更加依赖这些锚点信息,而非上下文中的全部视觉和语言符号。
  1. NoiseBoost方法:
  • 噪声扰动:在视觉符号中注入高斯噪声,增加学习过程的难度,迫使模型在理解视觉信息时分配更多的注意力权重。
  • 监督微调(SFT):在视觉特征中直接注入噪声扰动,通过交叉熵损失进行训练。
  • 强化学习(RL):结合噪声扰动和SFT,使用偏好模型(Preferred output)和非偏好模型(Less preferred output)来优化模型的生成。
  • 半监督学习(SSL):利用NoiseBoost生成伪标签,采用教师-学生网络架构,教师模型生成伪标签,学生模型在有噪声的视觉特征上进行一致性正则化学习。

图片图2:NoiseBoost框架。我们通过向视觉词元添加噪声扰动来减轻对语言词元的过度依赖,从而减少幻觉。在微调(SFT)过程中,我们直接将噪声注入到视觉特征中。我们仅对优选响应注入扰动,因为这样可以使多模态大模型(MLLMs)更难以学习,从而达到更好的效果。对于半监督学习,我们使用冻结的MLLM作为教师生成伪标签,并使用NoiseBoost作为学生进行一致性正则化。

实验结果

  1. 实验设置:
  • 基线模型:选择了LLaVA-1.5和QwenVL作为基线模型。
  • 数据集:使用COCO captions和ShareGPT4v扩充数据集。
  • 训练细节:采用V100 GPU进行训练,使用float16和deepspeed优化训练。
  1. 性能提升:
  • 监督微调:在多项数据集上表现出色,尤其是在MME数据集上提升显著(如LLaVA-1.5在MME上的分数提高了40点)。
  • 强化学习:NoiseBoost在各种问答数据集和幻觉数据集上均有约1%的性能提升。
  • 半监督学习:在使用50%标记数据的情况下,NoiseBoost可以达到与使用全部标记数据相似的性能。
  1. 定性评估:
  • 人类评估:在1000张图片上进行密集描述评估,NoiseBoost的准确率提高了8.1%,主要改善了对象错误和幻觉错误。

图片图4:对幻觉原因的分析是过度依赖红色圈出的语言词元,而NoiseBoost没有这种依赖。

创新贡献

  1. 提出了NoiseBoost,通过简单且通用的噪声扰动方法,有效缓解MLLM中的幻觉现象。
  2. 首次将半监督学习引入MLLM,通过噪声扰动充分利用未标记数据。
  3. 实验验证了NoiseBoost在不同训练方法中的一致性能提升。

方法的优缺点

  • 优点:

    • 方法简单,易于集成到现有的MLLM训练过程中。
    • 不需要额外的数据集或显著增加训练成本。
    • 在多种训练方法中均表现出色,具有良好的通用性。
  • 缺点:

    • 噪声扰动的规模和概率需要仔细调优,否则可能影响模型学习过程。
    • 虽然方法有效,但依赖现有的大语言模型架构,没有从根本上解决多模态信息融合的问题。

结论

NoiseBoost是一种简单但有效的方法,通过引入噪声扰动,显著缓解了MLLM的幻觉问题,并提升了模型的视觉理解能力和生成准确性。这项工作为未来多模态大语言模型的研究和应用提供了重要的借鉴和思路。

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

生成式AI偏见的四重来源与七步缓解实战指南 生成式AI并非天然中立,其输出中的系统性偏见源于训练数据、模型架构、人类干预和提示工程四大技术环节。从数据分布失衡到注意力机制的隐性耦合,从人工标注的认知盲区到提示词语法触发的价值框架,偏见以可检测、可定位、可干预的方式嵌入AI全生命周期。本文基于真实审计案例与工业级调优实践,详解如何通过多维偏见扫描、注意力头级微创干预、反事实提示重构、动态熔断防御及跨职能响应机制,在保障模型性能前提下实现公平性落地,为AI工程师提供一套可复用、可验证、可度量的偏见治理方法论。 阅读详情

相关推荐

51c自动驾驶~合集57

多目标多头蒸馏模块:我们看到轨迹模仿学习之后的轨迹还过了其他的MLP,这就是其他头,它的目标也是不一样的,第一个是跟碰撞相关的,第二个是跟行驶区域相关的,第三个是跟舒适度相关的,也就是说不同的评判指标都有一个teacher,之前的模仿学习就是人类的teacher,那么这些teacher是怎么来的呢?本文作者提出的新的范式,就是规划模块是多模的输出,同时,目标也是多样性的,即不仅是GT的轨迹也同时引入了更多的正样本,由不同的专家给出的。还是那句话,小米汽车的成功,是小米价值观,小米模式,和小米方法论的成功。

whaosoft~aiotの开发板商城 2357

多模态大模型中的幻觉问题及其解决方案

人工智能咨询培训老师叶梓 转载标明出处多模态大模型在实际应用中面临着一个普遍的挑战——幻觉问题(hallucination),主要表现为模型在接收到用户提供的图像和提示时,可能会产生与图像内容不符的描述,例如错误地识别颜色、数量或位置等。这种误判可能对实际应用造成严重影响,如在自动驾驶场景中,错误的图像解读可能导致严重的交通事故。为了解决这一问题,中国科学技术大学的安徽数字安全重点实验室与上海人工智能实验室的研究人员联合提出了一种名为OPERA的新型解码方法。

人工智能讲师分享前沿技术 3399

从任务指令到机器人动作:Transformer架构在机器人控制中的工程化实践

机器人任务规划与执行是人工智能与自动化领域的核心挑战,其核心原理在于将抽象的自然语言指令转化为可执行的动作序列。这一过程涉及多模态感知、任务解析、动作生成与闭环控制等多个技术环节,其技术价值在于实现机器人的自主化与智能化,广泛应用于工业自动化、物流分拣、家庭服务等场景。Transformer架构凭借其强大的序列建模与注意力机制,为机器人任务表示(如RoboTokens)与决策提供了新的解决方案。本文聚焦于如何将前沿的Transformer模型(如斯坦福相关研究)工程化落地,结合机器人控制平台(如ALOHA)

weixin_34151004的博客 337

“模态噪声”(modal noise)以及多模态(multimodal)数据和多模态学习(multimodal learning)的研究

关于“模态噪声”(modal noise)以及(multimodal)数据和(multimodal learning)的研究,涉及到的主题比较广泛。模态噪声主要是在信号处理、图像处理、以及生物医学信号处理等领域讨论的一个问题。在多模态学习中,模态噪声可能是指在不同模态(如视觉、语音、文本等)之间的不一致或干扰信号。

buyaotutou的博客 1607

Percept-WAM:自动驾驶感知-行动一体化大模型架构

自动驾驶系统长期面临感知、预测、规划、控制模块割裂导致的语义断层与响应延迟问题。其本质是传统分层架构缺乏对‘世界状态—行为意图’联合建模能力,难以处理雨雾干扰、动态障碍物判别、交通规则内化等不确定性场景。Percept-WAM 通过多模态大语言模型(MLLM)实现感知理解与行动建模的统一表征,以带置信度的行动意图向量(AIV)替代孤立检测框与轨迹点,在共享骨干、联合损失与物理约束嵌入下,支撑L3级实时决策。该范式正推动车载AI从‘被动响应’迈向‘世界觉知驱动’,为端到端自动驾驶提供可解释、可验证、可部署的新

weixin_34221773的博客 349

端到端自动驾驶黑盒本质与工程化治理方法

端到端自动驾驶系统将感知、预测、规划等传统模块压缩为单一神经网络映射,其‘黑盒’特性并非缺陷,而是高维非线性建模与全局耦合训练下的数学必然。这种不可解释性源于深度网络的隐空间表征、多模态融合的语义消解及长时序隐状态坍缩,但可通过输入压力测试、输出一致性校验、失效场景聚类和模型版本审计等工程手段实现可控治理。本文聚焦自动驾驶端到端黑盒现象,结合量产项目经验,系统阐述从根源认知到可信度量(如场景覆盖率SCR、行为漂移率BDR)的落地路径,为L2+智能驾驶系统的安全验证提供可复用的方法论。

weixin_30268071的博客 320

噪声嵌入提升语言模型微调性能

实验表明,使用噪声嵌入对原始LLM(如LLaMA-2-7B)进行微调时,其在AlpacaEval上的性能从29.79%提升至64.69%,显示出约35个百分点的显著提升。最近,一篇名为《NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING》的论文提出了一种新颖的方法,通过在训练过程中向嵌入向量添加噪声来提升模型的微调性能。在传统的语言模型微调中,模型的嵌入层会将输入的词汇映射为固定长度的向量,这些向量随后会被用来生成模型的输出。

人工智能讲师分享前沿技术 1402

ICML 2026 LLM Safety 相关论文整理

说明:ICML 2026 是 Forty-Third International Conference on Machine Learning。经核对,当前官方可查看全部论文标题的入口是 ICML 2026 Downloads / virtual poster 页面;PMLR 正式 proceedings 通常在会后最终修订后发布,因此本整理以 ICML 官方页面为准。

CSPhD-winston的博客 3086

集成经验模态分解 (EEMD) 及其在信号降噪中的应用

集成经验模态分解 (EEMD) 是一种改进的信号处理方法,通过引入白噪声和多次分解,避免了模态混叠问题。本文介绍了EEMD的基本原理及其在信号降噪中的应用,提供了详细的代码示例和效果展示,展示了EEMD在处理非线性和非平稳信号中的强大能力。

weixin_45616285的博客 1931

UE5 GameplayPrediction:从预测键到弱预测的实战解析

本文深入解析UE5 GameplayPrediction系统,从预测键到弱预测的实战应用。通过多人在线游戏案例,详细讲解预测技术的核心原理、实现细节及调试技巧,帮助开发者提升玩家操作响应速度,解决高延迟环境下的预测问题。

weixin_28725949的博客 312

CPRI原理及应用--帧结构

对于CPRI 控制字,协议将1个超帧(256基本帧)的控制数据划分为一个“子通道”,将子通道内超帧内的控制字进行行列划分,分为4列X64行,每64个基本帧组成1列。如下图所示。每个Xs子通道内Ns的定义基本相同,在做控制字设计时,主要已Xs和Ns和X.Y.Z开展控制字映射。

u014035968的博客 2326

多模态大模型安全新威胁:可控幻觉与证据携带攻击解析

在大语言模型与多模态AI系统中,幻觉(Hallucination)通常指模型生成与事实不符或虚构内容的现象,传统上被视为需修复的技术缺陷。其原理源于模型在概率分布下对训练数据模式的泛化与补全,当缺乏足够约束或遇到分布外输入时,便可能产生事实性错误。从技术价值看,理解幻觉机制不仅是提升模型可靠性的关键,更是前沿AI安全攻防的核心。攻击者正利用幻觉的可诱导性,通过数据投毒或对抗性样本,将其转化为可控的漏洞利用手段。在多模态智能体日益普及的应用场景中,这种“可控幻觉”可被设计为携带特定“证据”的攻击载体,例如在图

weixin_34211761的博客 405

保姆级教程:用高云GW2A开发板搭建RISC-V软核处理器(含DDR3内存优化配置)

本文提供了一份详细的保姆级教程,指导开发者使用高云GW2A-LV18PG256C8 FPGA开发板搭建RISC-V软核处理器系统。教程涵盖了从开发环境搭建、PicoRV32软核集成,到关键的DDR3内存控制器配置与优化,并深入讲解了时序约束与系统调试方法,帮助初学者和爱好者实现从逻辑设计到软硬件协同的深度实践。

2a4s6d8f0g的博客 571

AI4Research 综述 25 人工智能如何助力科研

本文系统综述了人工智能(AI)在科研领域的应用(AI4Research),提出了涵盖科学理解、学术调研、科学发现、学术写作和同行评审五大任务的新分类体系。研究梳理了AI在跨学科科研中的核心能力,包括文本/图表理解、文献检索、假设生成、实验自动化、论文撰写与评审等关键环节。文章不仅整合了相关多学科应用和资源(如数据集、工具库),还指出了未来六大研究方向:跨学科AI模型开发、科研伦理治理、协作研究系统、可解释性增强、动态实验优化及多模态整合。这项工作为AI驱动科研提供了系统性框架,有望推动科研范式的智能化转型。

人无远虑,必有近忧 293

arcgis根据矢量范围统计栅格数据众数、最大值、均值、中位数、最小值、少数等

像元统计数据 根据多个栅格数据计算每个像元的统计数据。 可用的统计数据有:众数、最大值、均值、中位数、最小值、少数、范围、标准差、总和及变异度。 https://desktop.arcgis.com/zh-cn/arcmap/10.3/tools/spatial-analyst-toolbox/an-overview-of-the-local-tools.htm ...

GIS哼哈哈的博客 6万+

qmt量化交易策略小白学习笔记第67期【qmt编程之获取ETF申赎清单】

qmt编程之获取ETF申赎清单

fanglue3705的博客 1776

自动驾驶中的视觉-语言-动作模型:综述

27年6月来自 MacGill 大学、清华、小米、Wisconsin 大学和 Minnesota 大学的论文“A Survey on Vision-Language-Action Models for Autonomous Driving”。 多模态大语言模型 (MLLM) 的快速发展为视觉-语言-动作 (VLA) 范式铺平了道路,该范式将视觉感知、自然语言理解和控制集成到单一策略中。自动驾驶研究人员正在积极地将这些方法应用到汽车领域。此类模型有望使自动驾驶(AD)汽车能够解释高级指令、推理复杂交通场景并

yorkhunter的博客 2721

VFIO框架源码分析(二十一)- IOMMUFD 模式下的 DMA 映射机制

在虚拟化 I/O 的世界里,无论上层管理面(如对象模型、设备绑定)如何重构,数据面最核心的任务始终未变——DMA 映射(DMA Mapping)。即如何建立 Guest Physical Address (GPA) 到 Host Physical Address (HPA) 的映射关系,并将其填入 IOMMU 的硬件页表中,使得直通设备能够正确访问虚拟机内存。在 Legacy VFIO (Type1) 时代,这一职责由承担,它通过ioctl 操作 Container。

qq_36071928的博客 1012

读懂AI Agent:基于大模型的智能体(类openclawd的框架通解)

大模型技术发展趋于成熟后,业界重点正转向AI Agent(智能体)的实际应用。AI Agent是一种能够感知环境、自主决策并执行任务的智能实体,由大模型、插件和执行流程构成,具备记忆、逻辑分析和任务拆解能力。其技术演进经历了符号逻辑、响应式、强化学习等阶段,现在以大模型为核心大脑,展现出自主性、反应性、主动性和社会能力等关键特性。AI Agent通过自然语言交互实现复杂任务自动化,能显著降低操作门槛并释放人力,已在软件开发、科研等领域展现应用潜力,被视为实现AGI的重要路径。当前研究重点在于如何克服大

2501_92926075的博客 264

微信小程序 - 引入并使用 Fly.js 请求库(超级详细的教程及运行示例)提供 Fly.js 源码源文件下载,贴心的配置示例及注释,优雅快速的发起 http 网络请求

fly.js请求库官方教程文档,微信小程序封装fly.js请求,在小程序/mpvue中使用flyio发起网络请求的方法,微信小程序中如何使用flyio封装网络请求,微信小程序中如何使用flyio封装网络请求,最好的教程,fly最好的文档教程,微信小程序使用fly接口请求框架,引入fly.js报错,微信小程序中如何使用flyio封装网络请求,微信小程序引入Fly.js请求库,如何在fly中配置请求/响应拦截器,如何在微信小程序中优雅地发送异步请求,请求/响应拦截器,微信小程序-引入并使用F

🏆 前端领域优质创作者 5610

【教程4>第1章>第8节】ILA在线调试工具与MATLAB联合应用

Vivado的ILA(Integrated Logic Analyzer)核是一种可定制的集成逻辑分析仪内核,专门用于监控设计的内部信号。ILA内核包含了现代逻辑分析仪的许多高级功能,例如布尔触发方程和边沿转换触发等。此外,由于ILA内核与被监控的设计保持同步,因此应用于设计的所有设计时钟约束也会应用于ILA内核内部的组件。ILA核的主要应用是在硬件设计和验证阶段进行调试。通过监控关键信号,设计师可以了解硬件的实际行为,从而找出并修复设计中的错误。ILA核还可以用于分析设计的性能。

FPGA/MATLAB学习教程/源码/项目合作开发 802

51c视觉~合集55

要么生成的异常真实性不足、掩码精度低,且难以跨领域复用。试想一下,在工业质检、医疗影像诊断、日常物品瑕疵识别等场景中,无需任何示例缺陷样本,也无需针对特定领域微调模型,就能根据文字或图像提示,自动生成真实且符合语义的异常,还能精准输出缺陷掩码,大幅提升下游异常检测模型的性能。Anomagic引入对比掩码细化策略,通过计算输入正常图像与生成异常图像的像素级差异,结合预训练的MetaUAS模型,自动生成高精度缺陷掩码,实现异常区域与掩码的像素级对齐,大幅提升生成数据的实用性。

whaosoft~aiotの开发板商城 1732

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

构建完整AI模型测试框架:从数据、算法到工程伦理的全方位实践

在人工智能工程实践中,模型测试是确保系统可靠性的核心环节。其原理在于通过系统化的评估方法,验证模型从训练数据到推理行为的全链路质量。这一过程的技术价值在于能够提前发现并规避模型在真实场景中的潜在风险,如性能下降、安全漏洞或伦理偏差。应用场景广泛覆盖计算机视觉、自然语言处理、推荐系统等各类AI系统部署前与运行中的质量保障。其中,数据泄露检测与对抗样本测试是评估模型鲁棒性的关键热词,前者防止模型因训练与测试数据混淆而产生虚假高精度,后者则通过模拟恶意扰动来检验模型在复杂环境下的稳定性。最终,这些测试实践自然收敛

weixin_33913332的博客 482

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

51c大模型~合集111

OpenAI 的某发言人表示:「为了提高清晰度和安全性,我们增加了一个额外的后处理步骤,其中模型会审查原始的思维链,删除任何不安全的内容,然后简化某些复杂的思维。可以看到,虽然 ChatGPT 确实完成了任务并展示了总结版的思维链,但似乎并未如 OpenAI 发言人说的那样给出与提示词语言同样语言的总结版。北大-灵初联合实验室表示,Align-DS-V的多模态强推理能力是VLA模型大脑端的核心,接下来的研究训练计划,是利用多模态推理模型的跨模态穿透能力,实现action穿透,最终实现真正高效的VLA模型。

whaosoft~aiotの开发板商城 2320

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

SH9递归对抗引擎RAE架构的对抗收敛性证明与极限压力测试研究(世毫九实验室原创研究)

正如相关研究指出,"攻击成功率(ASR)是衡量对抗攻击成功使模型误分类的百分比,较低的ASR表示模型更鲁棒",但这种基于统计的评估方法无法涵盖所有可能的攻击场景。OpenAI的研究团队提出了多种方法来解决这一问题,包括基于均匀稳定性的分析方法,证明了"随机梯度下降在一般类别的γ近似光滑函数上的稳定性边界,涵盖了对抗损失"。与传统的被动防御机制不同,RAE采用主动对抗的方式,通过构建"定义-对抗-迭代-收敛-熔断"的全闭环递归对抗机制,将矛盾转化为系统进化的动力,实现AGI的自我批判、自我修正、自我进化。

shardylab.blog.youkuaiyun.com 642
上一篇: 多模态大模型时代下的文档图像智能分析与处理
下一篇: AI教育“智”变大考,小度率先交卷了
AI大模型_学习君
博客等级 码龄3年 6138粉丝 551原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值