2025_NIPS_Head Pursuit: Probing Attention Specialization in Multimodal Transformers

文章核心总结与翻译

主要内容

本文聚焦生成式Transformer模型（单模态语言模型与多模态视觉-语言模型）的注意力头专业化特性，提出基于稀疏信号恢复的Simultaneous Orthogonal Matching Pursuit（SOMP）方法，识别与特定语义/视觉属性相关的注意力头，并通过干预这些头实现对模型输出的精准控制。研究在问答、毒性缓解、图像分类、图像描述等任务中验证了方法有效性，仅编辑1%的注意力头就能抑制或增强目标概念。

创新点

1. 将经典稀疏恢复算法SOMP融入生成式模型可解释性研究，建立与Logit Lens等工具的关联，提供数学严谨的分析框架。
2. 揭示注意力头的专业化模式，证明单模态与多模态模型中均存在专注于特定语义领域（如颜色、数字、情感）的注意力头。
3. 提出轻量化干预策略，无需额外训练，通过 rescaling 注意力头贡献即可实现对模型输出的靶向控制，适用于语言与多模态任务。

---

Abstract 翻译

语言模型和视觉-语言模型已在各类任务中展现出令人印象深刻的性能，但其内部机制仍仅被部分理解。本文旨在研究文本生成模型中的单个注意力头如何专注于特定的语义或视觉属性。基于已有的可解释性方法，我们从信号处理的视角重新诠释了利用最终解码层探测中间激活状态的实践。这使我们能够以系统化的方式分析多个样本，并根据注意力头与目标概念的相关性对其进行排序。研究结果表明，在单模态和多模态Transformer中，注意力头层面存在一致的专业化