2025_NIPS_Interpreting vision transformers via residual replacement model

文章核心总结与翻译

一、主要内容

文章聚焦视觉Transformer（ViT）的可解释性问题，通过大规模特征分析和创新模型框架，揭示ViT的内部工作机制并实现实用化干预。核心内容包括：

1. 对ViT、CLIP、DINOv2三种模型所有层的6.6K个特征进行人工标注分析，发现特征从低层视觉属性（颜色、线条）向高层语义概念（物体部件、类别）的演化规律。
2. 识别出ViT中未被充分记录的特征类型，包括曲线检测器和位置检测器，证实这些特征覆盖全角度和空间位置，支撑图像整体理解。
3. 提出残差替换模型（RRM），通过聚焦残差流简化计算，构建简洁且忠实的特征电路，实现人类可理解尺度的ViT决策过程解释。
4. 验证RRM在去偏虚假相关性中的实用价值，通过屏蔽虚假特征，在保持模型准确率的同时提升对目标类别的识别鲁棒性。

二、创新点

1. 首次完成ViT全层特征的系统性分析，基于大规模人工标注提供了ViT特征表示的全面视图，填补了现有研究仅关注深层特征的空白。
2. 提出残差替换模型框架，通过跟踪残差流中的特征交互、聚合冗余令牌，解决了ViT因令牌数量多、注意力机制复杂导致的可解释性难题，兼顾忠实度与可扩展性。
3. 开发边缘重要性估计优化（Jacobian-vector product技巧）和梯度校正方法，使电路构建速度提升约200倍，忠实度最高达94.1%。
4. 实现可解释性工具的实用化，将RRM用于模型去偏，仅需干预单个虚假特征即可达到接近专业去偏方法的效果，为ViT调试提供高效