2025_NIPS_Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainab

文章核心总结与翻译

一、主要内容

本文聚焦Transformer模型的可解释性问题，针对现有基于层级相关性传播（LRP）的可解释性方法忽略位置编码（PE）的关键缺陷展开研究。Transformer的位置编码（包括可学习PE、正弦PE、旋转PE等）是捕捉序列结构和位置特征的核心组件，但现有LRP方法未将其纳入相关性传播过程，导致违反守恒性、丢失位置相关的关键相关性信息，进而影响解释的准确性和全面性。

为此，作者提出位置感知LRP（PA-LRP） 方法，通过两项核心修改解决上述问题：1）重构输入空间为“位置-令牌对”集合，同时包含语义嵌入和各层位置嵌入；2）设计专门的LRP传播规则，支持不同类型位置编码（输入级PE如可学习PE、正弦PE，注意力级PE如旋转PE、ALiBi）的相关性传播，并通过重参数化、线性化和多吸收池机制确保稳定性和守恒性。

实验验证覆盖计算机视觉（DeiT模型）和自然语言处理（LLaMA 3、Tiny-LLaMA等模型）领域，包括微调分类任务和零样本任务，通过扰动测试、分割测试等评估表明，PA-LRP在解释准确性、守恒性和鲁棒性上显著优于现有SOTA方法，且仅基于位置编码的相关性解释即可达到甚至超越传统LRP方法的性能。

二、创新点

1. 识别核心缺陷：首次指出现有LRP-based Transformer可解释性方法忽略位置编码相关性传播的问题，证明该缺陷会导致守恒性违反和解释可信度下降。
2. 重构输入空间：将输入空间从单纯的词汇语