RGBT Tracking via Progressive Fusion Transformerwith Dynamically Guided Learning

通过具有动态引导学习功能的渐进式融合变压器进行 RGBT 跟踪

Abstract： 

        现有的基于 Transformer 的 RGBT 跟踪方法要么使用交叉注意力来融合两种模态，要么使用自注意力和交叉注意力来对模态特定信息和模态共享信息进行建模。然而，模态之间显着的外观差距限制了融合过程中某些模态的特征表示能力。为了解决这个问题，我们提出了一种名为 ProFormer 的新型渐进式融合变压器，它逐步将单模态信息集成到多模态表示中，以实现鲁棒的 RGBT 跟踪。特别是，ProFormer首先使用自注意力模块来协作提取多模态表示，然后使用两个交叉注意力模块分别将其与双模态的特征进行交互。这样，可以在多模态表示中很好地激活模态特定信息。最后，使用前馈网络融合两个交互的多模态表示，以进一步增强最终的多模态表示。此外，RGBT跟踪器现有的学习方法要么将多模态特征融合为一个以进行最终分类，要么通过竞争性学习策略利用单模态分支和融合分支之间的关系。然而，它们要么忽略单模态分支的学习，要么导致一个分支无法得到很好的优化。为了解决这些问题，我们提出了一种动态引导学习算法，自适应地使用表现良好的分支来指导其他分支的学习，以增强每个分支的表示能力。大量实验表明，我们提出的 ProFormer 在 RGBT210、RGBT234、LasHeR 和 VTUAV 数据集上设置了新的最先进性能。

Introduction：

        RGB 和热线索的聚合使视觉跟踪器能够在照明变化、背景杂乱和恶劣天气等具有挑战性的场景中实现准确和稳健的性能。因此，RGBT跟踪近年