LEARNING TARGET-ORIENTED DUAL ATTENTION FOR ROBUST RGB-T TRACKING

Rui Yang, Yabin Zhu, Xiao Wang, Chenglong Li, Jin Tang

Hefei, Anhui Province, China

2019 IEEE International Conference on Image Processing (ICIP)

1.摘要

       RGBT跟踪试图利用互补的视觉和热红外数据定位目标。现有的RGBT跟踪器通过鲁棒特征表示学习或自适应模态加权来融合不同的模态。然而，如何整合双注意机制进行视觉跟踪仍是一个尚未研究的课题。本文中，提出了提出两种视觉注意机制用于鲁棒的视觉跟踪。具体来说，局部注意力通过利用RGB和T数据的共同注意力来训练深度分类器来实现。同时还介绍了全局注意力，这是一个多模态目标驱动的注意力估计网络。它可以为分类器提供全局建议以及从先前跟踪结果中提取的局部建议。

2.引言：

       本文提出一种新的双视觉注意引导的RGBT跟踪算法：局部注意力和全局注意力。训练过程包含前向和后向两步。在前向步骤中，将成对的RGB和T样本送入深度跟踪检测网络中，估计出相应的分类分数。在返向步骤中，沿着从最后一个全连接层到第一个卷积层的方向，对输入的成对RGB-T样本进行分类分数的部分验证。将第一层的偏导数输出作为RGB和热输入的共同注意图。此注意力图上的每个像素值指示输入RGB-T样本的对应像