2025_NIPS_Vision Transformers Don’t Need Trained Registers

文章主要内容总结

本文聚焦视觉Transformer（ViT）中高范数令牌导致注意力图噪声的问题，提出无需重新训练的测试时寄存器（test-time registers）方案。核心发现是稀疏的“寄存器神经元”会在低信息区域（如均匀背景）产生高范数离群令牌，干扰下游任务。通过在测试时添加额外令牌并转移寄存器神经元的高范数激活，该方法能模仿训练时寄存器的效果，在分类、分割、目标发现等任务中表现媲美甚至优于重新训练的模型，还可扩展到视觉语言模型提升可解释性。

核心创新点

1. 揭示机制：首次发现寄存器神经元是高范数令牌产生的关键，且可通过编辑其激活控制离群令牌位置。
2. 无训练方案：提出测试时添加寄存器的方法，无需重新训练模型，解决了现有方案需全量重训的局限性。
3. 广泛适用性：可直接应用于预训练ViT（如CLIP、DINOv2）和视觉语言模型，在多种下游任务中稳定提升性能。
4. 理论支撑：构建数学模型解释寄存器神经元的“无操作（no-op）”注意力行为，验证其与显式注意力偏置的等价性。

---

翻译部分（Markdown格式）

Abstract（摘要）

我们研究了视觉Transformer中一个先前已发现的现象——导致噪声注意力图的高范数令牌的出现机制（Darcet等人，2024）。我们观察到在多个模型（如CLIP、DINOv2）中，稀疏的神经元集合负责将高范数激活集中在离群令牌上，进而导致不规则的注意力模式并降低下游视觉处理性能。现有