Multi-Adapter RGBT Tracking

Multi-Adapter RGBT Tracking

henglong Li,Andong Lu,Aihua Zheng, Zhengzheng Tu, Jin Tang

2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)

一、贡献：

1. 提供了一个用于RGBT跟踪的端到端的训练深度网络（MANet），MANet包含三种适配器，可以提供更强大的RGBT深度表示，更好地处理RGBT跟踪中各种各样的挑战。同时，本文提出的MANet可以是通用的，可以处理两种及两种以上的多模态。
2. 呈现了一个有效的通用适配器和模态适配器的平行结构，由于RGBT跟踪的实时需要，这种结构可以减少计算的复杂性。这种平行结构是可扩展的，可以延伸到其他应用的更多的分支，例如：类别感知和挑战感知适配器。
3. 在两个RGBT跟踪基准数据集上的大量实验表明提出的跟踪器具有卓越的性能，并缠上一个新的用于RGBT跟踪的SOTA.

 

二：网络结构

1. 通用适配器（GA）：MANet通用（generality adapter）适配器与MDNet的网络结构相同，都是用的VGG-M的前三层卷积，用于提取共享特征。选择VGG-M的原因是其在有效性和效率之间有很好的平衡ÿ