【VITAL(CVPR2018 Spotlight)】阅读笔记

最新推荐文章于 2025-06-12 20:45:19 发布

原创最新推荐文章于 2025-06-12 20:45:19 发布 · 638 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#目标跟踪 #深度学习 #GAN

论文：VITAL: VIsual Tracking via Adversarial Learning（利用对抗性学习的目标跟踪）
论文地址 code

写在前面

这篇文章是CVPR2018的Spotlight，感觉18年跟踪方面的Spotlight都是以精度取胜了，不过在跟踪方面还是效果为先，这篇文章的思路并不难，也没有过于复杂的公式推导，可能在一些措辞上有些不好理解。它最大的优点就是把GAN应用到目标跟踪这个领域，相比MDNet效果有了很大的提升，网络也比较简单，沿用了VGG-M的结构，但是由于每帧都要更新模板，所以运行速度也比较慢，大概1.5FPS。

Motivation

这篇文章指出基于深度学习的目标跟踪存在两个方面的问题：
① 一帧中的正样本之间高度重叠，从这些样本中很难获取目标表观的变化；
② 正负样本数量上的不平衡性。

Contribution

利用对抗学习来加强正样本特征的鲁棒性，使得提取到的特征对目标的表观变化不敏感；
利用了一个高阶敏感的损失函数来处理正负样本之间的不平衡
在很多的benchmark上验证了这个方法，都获得了比较好的效果。

Algorithm

这一块分成两部分来讲

一、对抗学习

在这里插入图片描述
对于每一帧，先是提取出多个样本，每个样本经过如上网络得到一个分类的score。上图中前面提取特征的网络是VGG-M，在第三个卷积层先是使用了两个全连接层用来随机生成权重的mask，然后再与原先的特征做dropout操作，最后得到的结果到分类器中分类。其中的对抗学习部分就是在mask的生成器 $G$ 和分类器 $D$ 的对抗。由于传统的GAN的生成器的输入是一堆噪声，而我们有的是proposal，所以才要使用Mask来作为噪声，这样才能将GAN移植过来。

如上图所示，文章将生成器 $G$ 放在特征提取和分类之间，假设输出的特征为 $C$ ，根据 $C$ 生成的MASK是 $G (C)$ ，实际上的MASK为 $M$ ，最后损失函数如下：（这里的Mask其实就是充当表观变化的参数，希望学到的判别器对多种表观变化都很鲁棒）
在这里插入图片描述
这个损失函数的含义就是，要让G生成的MASK与C的dropout之后得到的特征让D无法区分，而D的目的就是不断提高自己的判别力，使得能更好的区分G的MASK。值得注意的是，这篇文章对于每个proposal都用了9个Mask，而最终选择的Mask却是使得这个损失函数最大的Mask，然后利用这个值对网络进行优化。文章的解释是，若是一味使用样本中最具有判别力的部分，很容易使得网络陷入过拟合，这种选择最大的方式，其实就是在选一些在表观变化中鲁棒性，不敏感的特征。文章提出这种操作可以一致单个帧中十分具有判别力的特征，得到全局鲁棒性、稳定性的特征。我个人认为这个地方还存在一些问题，这些被抑制的特征不一定就是某些帧独有的，这么抑制了，可能会使得网络对那些语义相似的噪声难以判别，但是这篇文章的效果很好，可能是我多虑了。也有可能是因为不端选择最难的Mask，其实反倒增强了判别器的判别力。

二、敏感交叉熵损失

这一块主要为了处理正负样本数量不均的问题，引入了focal loss的方式，损失函数：
在这里插入图片描述
对于交叉熵的损失函数，正样本时得到的概率越大越好，负样本时得到的概率越小越好，但是由于过多的简单负样本损失叠加，还是会变大，可能会超过一个艰难的负样本的损失，所以以上就是给每个样本加了个权重。艰难的负样本的权重高，简单负样本的权重低。