2025_NIPS_Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits

文章核心总结

主要内容

该研究突破传统Transformer可解释性方法将注意力头和MLP层视为不可分割单元的局限，提出基于奇异向量的细粒度解释视角。通过对Transformer组件（注意力机制的QK交互、OV投影及MLP层）构建增强矩阵并进行奇异值分解（SVD），将组件拆解为正交的奇异方向，揭示单个组件内共存的独立子功能。在IOI（间接宾语识别）、GP（性别代词解析）、GT（数值比较）三大任务上验证表明，少量稀疏奇异方向即可精准复现模型行为，且已知功能组件（如“名称移动器”头）的核心计算集中于特定低维子空间，同时发现模型在logit空间存在稳定的“logit受体”方向，可通过标量干预控制预测结果。

创新点

1. 提出方向级解释框架：将Transformer组件建模为正交子功能的叠加，而非原子单元，实现细粒度功能拆解。
2. 设计优化型方向掩码：通过KL散度（保证行为一致性）和L1正则化（保证稀疏性）学习掩码，精准识别功能关键奇异方向。
3. 揭示分布式计算特性：证明单个注意力头/MLP层可复用多个独立子功能（如序列初始化、实体-动作分离），打破“组件-功能”一一对应的传统假设。
4. 发现logit空间固有方向：模型存在与特定令牌对齐的稳定“logit受体”，为靶向干预和模型编辑提供新途径。

---

翻译部分（Markdown格式）