2025_NIPS_Pinpointing Attention-Causal Communication in Language Models

文章核心总结与翻译

一、主要内容

文章聚焦Transformer语言模型的可解释性，核心是识别“注意力因果通信”——即与注意力模式存在可证明因果关系、在token间读写的低维特征。通过QK矩阵的奇异向量分解，结合相对注意力（线性替代非线性Softmax）和稀疏注意力分解假设，提出单前向传播即可定位因果信号的方法。该方法可应用于电路追踪（发现模型组件间因果关联）和控制信号识别（揭示模型全局协调机制），在GPT-2、Pythia、Gemma-2等模型及IOI、GT、GP任务中验证了有效性。

二、创新点

1. 定义“注意力因果通信”问题，建立理论框架，明确低维子空间和上游组件对注意力的因果影响。
2. 提出“相对注意力”概念，将非线性注意力计算转化为线性问题，为因果分析提供数学工具。
3. 基于QK矩阵奇异向量分解，实现稀疏注意力分解，仅需5%-10%的维度即可解释注意力得分，效率远超传统方法。
4. 实现单前向传播的提示特异性电路发现，无需反事实输入，解决了传统电路追踪耗时的问题。
5. 发现“控制信号”这一全局协调机制，揭示注意力汇（attention sink）的信号层面成因，且控制信号在不同模型中具有一致性。

三、核心部分翻译（Markdown格式）

Abstract

注意力机制在基于Transformer的模型计算中起着核心作用，理解注意力头关注特定token的原因有助于语言