AA-trans Core attention aggregating transformer with informationentropy selector【笔记】

论文地址:https://www.sciencedirect.com/science/article/pii/S0031320323002479
代码地址:https://github.com/GZU-SAMLab/AA-Trans
2023年发布在ELSEVIER上
AA-trans: Core attention aggregating transformer with informationentropy selector for fine-grained visual classification(带信息熵选择器的核心注意力聚合Transformer，用于细粒度视觉分类)

前言

本文设计了一个注意力聚合Transformer(AA-Trans)，通过改进ViT结构来更好地捕捉图像之间的微小差异。详细地，我们提出了一个核心注意力聚合器(CAA模块，该模块充分利用所有变压器层的注意力来生成一个最优的注意力图，该图表示输入令牌的相对重要性。)，它可以更好地在每个Transformer层之间共享信息。此外，我们进一步提出了一种创新的信息熵选择器(IES,IES机制来决定哪些令牌参与最终识别)来指导网络精确地获取图像的判别部分。

AA-Trans有效地从低、中、高层信息中提取判别区域，然后根据重要程度将其与特征融合。具体来说，我们提出了一种新的机制，称为核心注意力聚合器，它可以根据每个变压器层的注意力权重动态生成最优的注意力图。在此基础上，我们提出了一种有效的信息熵选择器(IES)作为选择具有判别性的区域的方法。

本文的创新点：

• 提出了一种核心注意力聚合器，很好地缓解了Transformer层中常见的信息丢失问题。
• 我们设计了一种基于信息熵的高效的key token自动选择器，它可以在不引入额外参数的情况下有效地选择那些包含关键信息的token