全新Transformer模型：全球与局部双重突破！

DeepVisionary 每日深度学习前沿科技推送&顶会论文分享，与你一起了解前沿深度学习信息！

引言：探索视觉变换器在对象重识别中的全局与局部特征

在对象重识别（Re-ID）的研究领域中，如何有效地从不同时间和地点捕获的图像中识别和检索特定对象一直是一个挑战。最近，随着视觉变换器（Vision Transformers，简称ViT）的发展，对象重识别取得了显著的进展。然而，对于对象重识别，全局与局部特征的相互关系和作用尚未被充分探索。

在本研究中，我们首先探讨了ViT中全局和局部特征的影响，然后进一步提出了一种新颖的全局-局部变换器（Global-Local Transformer，简称GLTrans）以实现高性能的对象重识别。我们发现，ViT的最后几层已经具有很强的表征能力，全局和局部信息可以相互增强。基于这一发现，我们提出了全局聚合编码器（Global Aggregation Encoder，简称GAE），有效地利用最后几层变换器的类别标记来学习全面的全局特征。同时，我们提出了局部多层融合（Local Multi-layer Fusion，简称LMF），它利用GAE的全局线索和多层补丁标记来探索具有辨别力的局部表征。

通过在四个大规模对象重识别基准上的广泛实验，我们的方法展示了优于大多数最先进方法的性能。

• 论文标题：Other Tokens Matter: Exploring Global and Local Features of Vision Transformers for Object Re-Identification
• 机构：Dalian University of Technology
• 论文链接：https://arxiv.org/pdf/2404.14985.pdf