基于稀疏鲁棒样本和多特征融合的卷积残差学习目标跟踪(SR_MFCRL)论文笔记

摘要：本文提出了一种稀疏鲁棒样本和卷积残差学习的多特征融合跟踪器。首先，引入稀疏鲁棒样本集（SRSS）来提高网络的鲁棒性。在这一过程中，我们首先采用稀疏表示来估计最佳候选，然后利用响应峰值联合检测和遮挡检测来确定样本的污染程度。其次，提出了一种多特征融合残差网络（MRN）及其两个基本分支来捕获不同特征的响应输出，以获得更高的定位精度。

针对快速运动和遮挡问题，本文提出了一种稀疏表示方法，并结合最大响应值和遮挡检测来完善样本集。本文的目标是提高卷积神经网络的鲁棒性，通过绘制稀疏表示的目标模板实现。为了提高定位目标的精度，我们对多残差网络（MRN）进行训练，使其更适应不同的场景。贡献总结：
1：为了增强跟踪器对不同场景的适应性，提出了一种多特征融合残差网络。
2：提出了一种从稀疏表示的目标模板生成中学习，结合稀疏遮挡检测和最大响应值检测，构造稀疏鲁棒训练样本集的方法。

多特征：
HOG特征：表示边缘的结构特征，描述局部形状信息。
CNN特征：浅层包含的低层特征较多，但空间分辨率较高，包含的目标特征较多，而深卷积层的特征具有区分性，具有较多的语义信息，即高层视觉信息能够更具区分性地获取目标在背景中，我们选择了vgg-16网络
在确定目标位置阶段，将vgg-16的conv4-3特征和HOG特征相结合，HOG特征降低了光照的影响。由于存在大量的冗余信息，导致模型过度拟合，使用PCA对特征进行维数，同时使用插值方法使得从vgg-16中提取的conv1-2和conv4-3特征大小相等，训练过程中对conv1-2特征赋予较小的权重，但在获得目标尺度的过程中，对conv1-2特征赋予较大的权重。

训练网络如下：


鲁棒的样本集决定了网络能否准确定位目标。当目标被遮挡时，由于只使用少量的CNN特征，输出响应的峰值不是很小。深度特征反应了目标的一些关键特征，因此大多数情况下无法判断遮挡的严重程度。如果在样本集中采集到大量由遮挡引起的污染样本，则会降低网络目标定位的精度。

稀疏表示是一种很好的避免遮挡的方法，作者发现目标模板选择方法可以用于更鲁棒的样本集。候选样本通过粒子滤波原理获得。稀疏表示是一种很好的避免遮挡的方法，我们发现目标模板选择方法可以用于更稳健的样本集。候选样本是使用粒子滤波原理获得的。对于字典，它包含两种类型的模板，即目标模板和普通模板。目标模板T用于表示跟踪过程中的目标对象，而普通模板I用于表示遮挡、背景和噪声。这些目标模板根据前m帧的跟踪结果收集并动态更新。为了从候选样本中得到最优的目标c*，采用稀疏表示法求解目标模板与候选c之间的相似度。

如果没有遮挡，则下一帧中的目标应该得到很好的逼近，这是通过目标模板的稀疏线性组合和少量的残差来实现的。此时，与平凡模板相关的平凡系数很小。另一方面，如果存在明显的遮挡，则无法很好地估计下一帧中的目标。部分平凡模板用于补偿较大的残差，因此需要更大的平凡系数。参数${\mu }_t$用于通过遮挡检测方法控制平凡模板中的能量。对于下列最小化方程，采用加速近端梯度（APG）方法。

在实现中，我们采用了联合检测技术来获得稳健的样本。最重要的是，如果输出最大响应值小于σ，则由于对网络更新的更大危害而丢弃结果。相反，跟踪结果被留下了。接下来，通过平凡系数计算遮挡区域AOCC。如果遮挡区域小于模板大小$T_s$的最大值，则可以将该样本收集到稳健样本集中。联合检测如图所示：

此外，样本集中的样本因目标在下一帧中的重要性而不同。从稀疏表示的目标模板生成中学习到，样本集一方面包含多个跟踪结果，另一方面如图3所示，如果跟踪失败或模型漂移，序列的第一帧变得非常重要。因此，需要在不同的跟踪状态下重新考虑第一帧的重要性，因此该过程通过权重β来实现。

总结：为了提高网络的鲁棒性，作者提出了一种基于SRSS和MPN的SR_MFCRL跟踪器。它的目标是提高跟踪精度，对于SRSS，作者使用稀疏表示来获得最佳候选，并利用联合检测、响应峰值和遮挡检测来增强样本集的鲁棒性。此外，为了获得更多的目标信息，作者将不同特征的MRN融合到残差网络中，使得对不同场景的适应性更强。