Fully-Convolutional Siamese Networks for Object Tracking

摘要
任意目标追踪通常通过从训练视频中在线学习出一个目标的外观模型来解决。DNN能有效提升模型的丰富度，但却需要在线SGD调整网络参数，限制了速度。
本文提出一种基于全卷积孪生网络的基本追踪算法模型，能够已超实时的帧率达到目前最高的精度。

关键字：object-tracking, Siamese-network, similiarity-learing, deep-learning

1、简介
传统方法在线学习目标模型，如TLD，Struck，KCF等算法。但这类算法只从追踪视频本身进行学习，得到的模型相对简单。
但是由于追踪目标事先未知，只能通过最初的框选定，无法预先准备大量训练数据。
有些学者通过从相似任务中学习影子模型，并在实时跟踪中使用SGD更新网络参数。但这一方法效果并不好，并且SGD导致无法实时。
我们提出一个可供选择的方法。离线训练一个解决相似性学习的深度卷积网络。
ILSVRC提供了训练所需的数据。

2、利用深度相似学习的追踪
设一个函数f(z,x)，负责比较模板图像z和候选图像x的相似度。为了定位目标在新图像里的位置，需要遍历地进行比较，选出相似度最大的。
第一帧人为框定的作为初始的模板图像，相似度函数f从标记数据中学习得到。
孪生网络对两个输入都应用相同的变换ϕ，并用另一个函数g来比较他们的结果。f(z,x)=g(ϕ(z),ϕ(x))。
深度孪生卷积网已经被用在人脸验证、关键点描述子学习、one-shot字符识别等任务上。

2.1 全卷积孪生网络结构

图为全卷积孪生网络结构。x为以上帧目标位置为中心crop出的的search image，z为模板目标图像。卷积网络将search image作为整体输入，直接计算两个输入图像的feature map的相似度匹配，节省了计算。计算得到相似度最高的位置，并反向计算出目标在原图中的位置。

2.2