【论文学习】Cooling-Shrinking Attack: Blinding the Tracker with Imperceptible Noises论文学习

一 摘要

通过研究对抗攻击可以更好的了解神经网络，并且提高深度学习模型的鲁棒性。在这篇论文中，提出了一个cooling-shrinking攻击，可以攻击最新的SiamRPN网络。通过本文设计的对抗扰动，可以在冷却目标所在位置的热力图的同时，收缩预测的边界框，让被追踪物体无法被追踪。本文攻击模型可以在OTB100，VOT2018以及LaSOT这几个数据集上取得很好的效果。并且，本文的方法有着很好的迁移性，也可以很好的欺骗DaSiamRPN，DaSiamRPN-UpdateNet和DiMP。论文提供了源码：https://github.com/MasterBin-IIAU/CSA 后面可能会认真对比源码看看论文的整体思路。

二 知识点补充

1.原始追踪算法
原始的追踪算法包括生成式模型和判别式模型。生成式模型首先建立目标模型或者提取目标特征, 在后续帧中进行相似特征搜索.逐步迭代实现目标定位.但是这类方法也存在明显的缺点, 就是图像的背景信息没有得到全面的利用。判别式模型是指, 将目标模型和背景信息同时考虑在内, 通过对比目标模型和背景信息的差异, 将目标模型提取出来, 从而得到当前帧中的目标位置。
传统的目标跟踪算法存在两个致命的缺陷:
（1）没有将背景信息考虑在内, 导致在目标遮挡, 光照变化以及运动模糊等干扰下容易出现跟踪失败。
（2）跟踪算法执行速度慢(每秒10帧左右), 无法满足实时性的要求。
2.相关滤波算法
之后出现了基于核相关滤波的跟踪算法。相关滤波器（Correlation Filter）通过MOSSE（Minimum Output Sum of Squared Error (MOSSE) filter）算法实现，基本思想：越是相似的两个目标相关值越大，也就是视频帧中与初始化目标越相似，得到的相应也就越大。本文的SiamRPN系列就是这种基于相关滤波的。
3.深度学习算法
随着深度学习方法的广泛应用, 人们开始考虑将其应用到目标跟踪中。人们开始使用深度特征并取得了很好的效果。在大数据背景下，利用深度学习训练网络模型，得到的卷积特征输出表达能力更强。
相比于光流法、Kalman、Meanshift等传统算法，相关滤波类算法跟踪速度更快，深度学习类方法精度高.
4.SiamRPN++网络
初始帧中的template是模板T，SiamRPN++可以检测到搜索区域SR中的目标。template指的是从初始帧中crop出来的图片patch，从而可以提供目标的外观信息。现在大部分的追踪器都只会对上一帧中目标物体所在位置的搜索区域内进行定位，而不会对整张图片进行定位，因为被追踪的物体在两帧之间不会有太大的移动。当前帧的搜索区域的size与当前帧的比例是跟初始帧中的比例相同（意思是只保持比例相同）。在每一帧中，模板T和搜索区域SR都会先通过一个共享的backbone网络，例如ResNet50，但是特征处理是会分别通过一个不共享的layer，并且后面通过DepthWise做互相关操作。基于这些提取出来的特征，RPN头部layer会预测出来分类图Mc和回归图MR。SiamRPN++存在的问题就是，如果Mc和MR被受到干扰，追踪器就会丧失定位目标的能力并且产生不准确的结果，从而导致追踪失败。

5.U-Net网络
U-Net是比较早的使用全卷积网络进行语义分割的算法之一。因为网络结构很像一个U，