平移不变性和Siam目标跟踪

最开始的SiamFC等。是基于相似性的目标跟踪。这个和传统方法里的KCF等是很像的。输入的template和Search分别输入到同一个网络里提取特征。而后做Correlation找max response。

这种基于相似性的方法带来的2个限制

1. 平移不变性：因为template是通过滑窗在Search上求取响应。而padding会破坏这种平移不变性。但是不加padding就限制了网络深度。
2. 对称性：Template和Search互换后应该具有相同的Response。

因此SiamFC网络很浅，训练时Search里目标基本在图像的中心（因为不加padding，若加padding会带来位置偏见）。

SiamRPN：

到了Siam RPN时，已经不能算是基于相似性的跟踪了。因为其引入了尺度的回归，而尺度回归是不具有对称性的。

SiamRPN++（和SiamMask）:

开始引入深层网络（ResNet50）进Siam系列。其分析了SiamFC不能使用深层网络的原因就是上述的为了保持平移不变性而不加padding。

SiamFC中训练时Search中的目标基本都在中心，不加padding时这影响不大。但若是加了padding在用这种方式训练。网络就会有strong center bias。（下图左图），网络只在center部分有响应。

随后和目标检测任务比较，目标检测任务里没有center bias的原因是训练时，其target本就分布在图像的各个角落，而不仅仅是中心。
于是在训练时将Search随机偏移进行训练。得到上图中shift=16和shift=32时的Response，可见其分布不再聚在中心了。。

平移不变性《Quantifying Translation-Invariance in Convolutional Neural Networks》：

看到这篇文章的时候，注意到的是平移不变性和数据增强。联想到了SiamRPN。虽然尺度回归部分没有相似性（没对称性）。但对于跟踪网络，平移不变性还是挺重要的。于是就想记录一下。看完感觉这篇文章的论证有点问题。

从CNN和pooling的物理特性上看，都具有一定的平移不变性。且padding会破坏CNN的平移不变性。
但最近看了一篇2017年的论文《Quantifying Translation-Invariance in Convolutional Neural Networks》里论证了数据增强对平移不变性的影响才是最主要的（这个结论可能有问题）。即训练时数据随机的平移，网络更具有平移不变性。

其实验数据集MINST
无增强数据集：即原始的50000张MINST图片（40 * 40）；
增强数据集：从中取12500张图像，并作随机的平移增强至50000。在水平竖直两个方向上平移，平移大小[-10, 10]

实验方法：对训练好的模型，对一张输入图，取其输出的一个vector用来表示特征，记为$I_{(0,0)}$，随后随机平移后再输入，也得到一个vector记为$I_{(x,y)}$表示其在x和y轴上的平移量。比较其欧式距离，越小说明平移不变性越强。

训练：
对同一个模型分别用2个数据集训练。

结果
Model C：表示用一个卷积层训练无增强数据集
Model C_aug：表示用一个卷积层训练增强数据集
Model cp：表示用一个卷积层+pooling训练无增强数据集
其值表示其欧式距离，两个轴分别为2个方向的平移量

开始时觉得实验有不严谨的部分，如对于MINST这种任务且只有一两个卷积层，50000张图片本就有余，12500张与50000张本就差别不大。做数据增强后反而有更丰富的表达。但是文章的目的是比较其相似性，这样子又好像不是那么重要了。

但是对于40*40的输入，不做数据增强时仅有一个CNN其平移不变性弱（CNN和pooling的平移不变性要有一定深度才能体现出来吧，感觉有一些不严谨的地方）。