2024_ICLR_VISION TRANSFORMERS NEED REGISTERS

一、文章主要内容总结

本文聚焦视觉Transformer（ViT）模型的特征图伪影问题，核心研究与贡献如下：

1. 问题发现：在监督学习（如DeiT-III）、文本监督学习（如OpenCLIP）和自监督学习（如DINOv2）训练的ViT模型中，存在一类特征图伪影——高范数异常令牌（outlier tokens）。这类令牌占总令牌数约2%，范数约为普通令牌的10倍，主要出现在图像低信息背景区域，在模型中层附近出现，仅在大尺寸模型经过足够长时间训练后产生。
2. 伪影特性：高范数令牌丢弃了局部位置信息和像素重建信息，但聚合了丰富的全局图像信息，本质是模型将低信息冗余补丁的令牌“回收”用于内部全局计算，导致特征图和注意力图杂乱，影响密集预测任务和无监督目标发现性能（如DINOv2与LOST算法不兼容）。
3. 解决方案：提出在输入令牌序列中添加额外的可学习“寄存器令牌（register tokens）”，这类令牌独立于输入图像，仅在模型内部用于存储和处理全局信息，训练和推理时不参与最终输出。该方案无需修改训练流程，仅需简单的架构调整。
4. 实验验证：
   • 彻底消除了所有ViT模型的高范数伪影，使特征图和注意力图更平滑；
   • 在密集预测任务（如语义分割、单目深度估计）中性能略有提升，且不损害分类任务性能；
   • 显著改善无监督目标发现性能（如DINOv2+reg在VOC2007上的corloc指标从35.3提升至55.4）；
   • 寄存器令牌会自