ICML 2026｜北邮 & 南洋理工：多模态模型的视觉注意力被高估了吗？

我们通常以为，视觉语言模型回答图片问题，关键就在 attention。模型把问题 token 和图像 token 连起来，哪里权重大，就说明模型在看哪里；attention 越充分，似乎视觉理解就越可靠。

但这篇论文给出的判断更尖锐：很多 LVLM 并不是不会做 attention，而是在 attention 里迷路了。它们确实计算了大量视觉 token 之间的交互，却没有稳定地把问题相关的视觉证据组织起来。更反直觉的是，在一些模型和任务中，把部分学出来的 attention scores 换成简单先验，甚至换成随机噪声，性能也没有明显下降，有时还会更好。

这篇论文真正值得读的地方，不是提出了一个新模型，而是把 LVLM decoder 里的一个核心机制拆清楚了：attention 到底在做什么，FFN 到底在做什么，为什么视觉 attention 看起来很重要，却又存在这么明显的冗余。

Motivation

这篇论文真正要解决的核心问题是：LVLM decoder 里的 attention，是否真的在有效整合视觉证据。

过去分析 attention，很多工作会看 attention map。比如模型回答图像问题时，我们观察它有没有关注图像区域，有没有把问题 token 连到视觉 token 上。这个思路很直观，但它也有一个明显漏洞：attention 权重高，不等于这些信息真的被模型有效利用了。

模型可能确实“看”了很多地方，但这些地方未必是回答问题需要的证据。它也可能在视觉 token 之间做了大量交互，但这些交互只是形式上复杂，并没有真正改变最终推理。

所以这篇论文换了一个更扎实的角度：不要只看 attention 指向哪里，而要看 attention 写回残差流之后，模型表示到底发生了什么变化。
如果一次更新只是重新搅动已有信息，它和真正引入新语义不是一回事；如果视觉 attention 没有围绕问题相关区域组织信息，它再复杂也不代表有效。

现象剖析：看了但没看准

这篇论文最关键的现象，可以概括成一句话：LVLM 不是完全不看图，而是经常没有把视觉注意力用在真正该看的地方。

比如模型面对一张图，问题问“图里有没有牛”。理想情况下，decoder attention 应该把问题和牛所在的视觉区域建立联系，再基于这个证据生成答案。但作者发现，很多错误样本里，视觉 patch 之间虽然有交互，问题相关区域却没有成为交互中心。

这说明问题不是简单的“模型没看到图”。更准确地说，是模型在图像信息内部绕来绕去，却没有把关键区域和问题绑定起来。它像一个人在考试时不停翻书，看起来很努力，但翻的不是相关章节。

这就是“Get Lost in Attention”的意思：attention 本来应该帮助模型找到证据，但在当前 LVLM 里，它有时反而变成了一套昂贵而低效的信息绕路系统。

这个现象重要，是因为它直接挑战了一个常见假设：只要视觉 token 进了 decoder，只要 attention 做了充分交互，模型就能有效利用视觉信息。论文真正指出的是，交互发生了，不代表证据被正确组织了。

核心解读：重组与创新

要理解这篇论文的方法，先抓住一个核心问题：Transformer 每一层都会更新 hidden states，那我们怎么判断这次更新到底贡献了什么？

作者把 LVLM decoder 里的 hidden states 看成一个矩阵 X。每一行对应一个 token，每一列对应一个隐藏维度。attention 或 FFN 会产生一个更新量 ΔX，然后通过残差连接写回去：

X' = X + ΔX

关键问题就变成：从 X 到 X'，表示到底变在哪里？

作者用两个指标回答这个问题。RID 可以理解为“表示信息差异”，它衡量一次更新有没有改变表示的谱结构和语义支撑空间。简单说，如果 RID 高，说明这个模块引入了新的语义方向，让表示空间真的扩展了。

MixIG 可以理解为“混合信息增益”，它衡量 token 之间的信息混合方式有没有改变。如果 MixIG 高，说明这个模块主要是在重新组织已有 token 之间的关系。

这两个指标放在一起，刚好把 Transformer 内部的分工讲清楚了：attention 通常是低 RID、高 MixIG；FFN 通常是高 RID、低 MixIG。

换成更直白的说法：attention 更像调度员，负责把已有信息重新连接、重新分配；FFN 更像加工厂，负责生成新的语义表达。

这样一来，LVLM 的视觉 attention 问题就清楚了。attention 本身并不是没用，它确实在做信息重组。但问题是，如果它重组的不是问题相关视觉证据，而是大量无关 patch 或冗余 token，那么这种重组就不会带来真正的视觉理解。

这篇论文最妙的地方，不是设计了一个复杂新模块，而是把“模块作用”变成了可量化判断。过去我们说 attention 负责上下文、FFN 负责语义加工，多少像经验归纳；这篇论文用 RID 和 MixIG，把这种分工落到了残差更新的几何变化上。

图表深度解读

图1：整体解释框架

画面描述：图1把整篇论文的逻辑画成了一条链：LVLM decoder 中的表示先经过 attention 更新，再经过 FFN 更新；每次更新都写回 residual stream；作者用 RID 衡量“语义创新”，用 MixIG 衡量“信息重组”。

深度解读：这张图的意义在于，它把 attention 分析从“看权重”推进到了“看更新”。过去看 attention map，只能知道模型把权重分给了谁；但这张图背后的框架要问的是：这些权重最后有没有真正改变表示。这一步让解释从表面现象进入到了模型内部机制。

图2：Attention 与 FFN 的分工

画面描述：图2把不同 LVLM 模型中的 attention 和 FFN 放到 RID-MixIG 坐标系里。结果非常清楚：attention 集中在低 RID、高 MixIG 区域；FFN 更偏向高 RID、低 MixIG 区域。

深度解读：这张图撑住了论文最核心的判断。它说明 attention 和 FFN 的分工不是个别模型里的偶然现象，而是在多个 LVLM 变体中都很稳定。attention 主要负责重新组织信息，FFN 主要负责扩展语义空间。 有了这个结论，后面讨论视觉 attention 冗余才成立：如果 attention 的核心价值是重组，那么它是否有效，就取决于它有没有把正确的信息重组到一起。

表2：替换注意力后的性能

画面描述：表2比较了原始模型和几种替换 attention score 的方式，包括视觉编码器 attention、patch complexity prior，以及 noise。结果显示，在多个模型和 benchmark 上，替换后性能没有明显下降，部分结果甚至更好。

深度解读：这是全文最反直觉的结果。因为如果 learned attention score 真的是视觉推理的核心，那么换掉它应该会让模型明显崩掉。但实验没有出现这种情况。这说明当前 LVLM decoder 中相当一部分视觉 attention score 并不是不可替代的能力来源，而是存在明显冗余。

实验结果说明了什么？

这篇论文的实验结论可以沿着一条逻辑看：先证明指标能看出更新差异，再证明 attention 和 FFN 的分工稳定存在，最后用替换实验说明视觉 attention 中确实有大量冗余。

RID 和 MixIG 的作用，不只是给模型内部状态画两个坐标。随机扰动会带来高 RID 和负 MixIG，说明它破坏了原有表示结构；真实 attention 则通常表现为低 RID、正 MixIG，说明它不是无意义噪声，而是在做有结构的信息重排。

在 15 个开源 LVLM 变体上，这种模式都很稳定。attention 更像重组器，FFN 更像创新器。这个结果重要，是因为它让我们不再把 Transformer 的能力简单归因给 attention。attention 的确关键，但它的关键不在于创造新语义，而在于把已有信息组织起来。

真正把问题推到前台的，是 SAP 替换实验。作者用简单先验甚至噪声替换部分 attention scores，很多任务上性能没有明显下降。这不是说 attention 完全没用，而是说明当前 LVLM 中很多 attention 计算并没有转化成有效视觉理解。

所以这篇论文的实验结论应该这样理解：attention 的价值不在于它是否存在，而在于它是否把问题相关的视觉证据组织到了正确位置。

为什么这篇工作值得关注？

这篇论文值得关注，是因为它把 LVLM 里一个被默认接受的前提重新拿出来检查：视觉 attention 真的有效吗？

过去很多工作默认，视觉 token 越多、attention 交互越充分，多模态理解就越强。但这篇论文提醒我们，复杂交互不等于有效理解。模型可能处理了很多视觉 token，也计算了很多 attention score，但如果这些计算没有围绕问题相关证据展开，它们就只是昂贵的冗余。

这对后续研究有很直接的启发。未来优化 LVLM，不一定只是继续堆模型规模、堆视觉 token、堆训练数据。更关键的问题可能是：怎样让模型更稳定地找到问题相关区域？怎样减少无效 attention scoring？怎样让视觉 attention 从“泛泛混合”变成真正的“证据路由”？

从工程角度看，这篇论文也有价值。视觉 token 很多时，attention 成本非常高。如果其中大量 attention score 可以被简单先验替代，那么 LVLM 的加速和结构优化，就不应该只盯着 token pruning，也应该重新审视 attention scoring 本身。

总结一下

这篇论文不是一次简单的小修补，也不是一篇只做可视化的解释工作。它真正的价值，是把 LVLM decoder 里的两个核心模块讲清楚了：attention 主要负责重组已有信息，FFN 主要负责创造新的语义方向。

在这个基础上，作者进一步指出当前 LVLM 的视觉 attention 存在一个根本问题：它经常没有把视觉信息组织到真正有用的位置。模型不是没有看图，而是看得不够准；不是没有交互，而是很多交互没有服务于证据推理。

所以这篇论文最值得记住的判断是：多模态模型的关键不只是“看得多”，而是“能不能把该看的东西送到该推理的位置”。如果这个问题不解决，LVLM 即使继续变大、变长、变复杂，也可能继续在 attention 里迷路。

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】