本文利用孪生网络模型进行目标跟踪,并且将DCF作为一个特殊的相关滤波器层加入到卷积层后面,并在傅里叶频域中推导出其反向传播公式,所以既可以保证DCF独有的高速运算,又可以实现端到端的跟踪;
本文主要有两个优点:
- 自动学习最适合DCF跟踪的特征,从而使特征提取器与相关滤波器有效结合。
如下模型:
首相,提取当前t帧的特征x,并且计算出滤波器系数,然后将t+1帧的搜索窗口输入到网络,提取特征z,根据滤波器系数计算出响应图,得到最优位置和尺度,接着根据最优位置和尺度,继续学习更新滤波器系数,如此反复,直到最后一帧为止。
- 网络可以逐步更新,因此在这种情况下可以被视为一个RNN网络。如下模型:
第一帧除外,从第二帧开始,首先提取特征z,根据前一帧学习的滤波器系数g定位目标位置,再根据位置提取特征x,用于学习g,每一帧都如此,直到结束帧。