Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation

一、文章核心内容总结

这是全球首篇Transformer注意力汇聚（Attention Sink, AS）系统性综述，系统梳理180+篇相关研究，围绕基础利用、机理解释、策略消除三大维度，完整构建AS研究体系，覆盖大语言模型、视觉Transformer、多模态模型等主流架构，同时给出落地应用指南与未来方向。

1. 核心定义

注意力汇聚（AS）：Transformer中少量无信息token（如[BOS]/[CLS]/背景patch） 不合理吸收大量注意力权重，导致模型可解释性下降、推理效率降低、幻觉加剧的现象。

2. 三大核心研究维度

（1）基础利用（如何用好AS）

• Sink Token保留：保留初始汇聚token作为稳定锚点，用于长文本流式推理、KV缓存压缩、低比特量化。
• 注意力重分配：将汇聚的注意力权重转移到语义有效token，缓解多模态幻觉、长文本“中间遗忘”。
• 可学习前缀token：插入可训练token作为显式汇聚点，吸收冗余注意力，优化视觉/多模态特征。
• 汇聚token再利用：将AS用于模型安全、后门攻防、高效推理与空间特征聚合。