Siamfc论文中文翻译（详细！）

Fully-Convolutional Siamese Networks for Object Tracking

用于对象跟踪的Siamese网络

说明

建议对照siamfc（2021版）原文阅读，翻译软件翻译出来的效果不好，整体阅读体验不佳，所以我对译文重新进行了整理，方便大家阅读研究。

【siamfc2021论文地址】

https://arxiv.org/abs/1606.09549

摘要

任意物体跟踪的问题传统上是通过只在线学习物体外观的模型来解决的，使用视频本身作为唯一的训练数据。尽管这些方法取得了成功，但他们的在线方法本质上限制了他们可以学习的模型的丰富性。近年来，人们已多次尝试利用深度卷积网络的表达能力。但是，当事先不知道要跟踪的对象时，有必要在线执行随机梯度下降来适应网络的权值，这严重影响了系统的速度。在本文中，我们在ILSVRC15数据集上进行了一种端到端训练的基本跟踪算法，用于视频目标检测。我们的跟踪器以超越实时的帧率运行，尽管它非常简单，但它在多个基准测试中实现了最先进的性能。

关键词：对象跟踪，Siamese网络，相似性学习，深度学习

1 介绍

我们考虑在视频中跟踪任意对象的问题，其中该对象在第一帧中仅由一个矩形识别。由于算法可能被要求跟踪任意对象，因此不可能已经收集数据并训练特定的检测器。

多年来，这个场景最成功的范例是使用从视频本身[1]中提取的示例，以在线方式学习对象外观的模型。这在很大程度上要归功于TLD [2]、Struck [3]和KCF [4]等方法的演示能力。然而，使用完全从当前视频中获得的数据的一个明显缺陷是，只能学习相对简单的模型。在计算机视觉的其他问题越来越普 遍采用深度卷积网络（conv-nets）训练从大型监督数据集，监督数据的稀缺和实时操作的限制防止深度学习的天真应用范式学习检测器每个视频。

最近的几项工作旨在克服这一限制，使用一个预先训练好的深度通信网，这是为一个不同的但相关的任务学习的。这些方法要么应用“浅层”方法（例如相关滤波器），使用网络的内部表示作为特征[5,6]，要么执行SGD（随机梯度下降）来对网络[7,8,9]的多层进行微调。虽然浅层方法的使用并没有充分利用端到端学习的好处，但在跟踪过程中应用SGD以实现最先进的结果的方法无法实时运行。

我们提倡另一种方法，即在初始离线阶段训练一个深度转换网络来解决一个更一般的相似性学习问题，然后在跟踪过程中简单地在线评估该函数。

        本文的关键贡献是证明了这种方法在远远超过帧率要求的速度下，在现代跟踪基准中达到了非常具竞争力的性能。具体来说，我们训练一个Siamese网络在一个更大的搜索图像中定位一个样本图像。进一步的贡献是一种新的Siamese架构，它对搜索图像是完全卷积的：密集和高效的滑动窗口评估是通过计算其双线性层的两个输入的互相关来实现的。

我们假设相似性学习方法已经相对被忽视了，因为跟踪社区没有访问大量的标记数据集。事实上，直到最近，可用的数据集还只有几百个带注释的视频。然而，我们认为，用于视频[10]（从此以后的图像网络视频）中目标检测的ILSVRC数据集的出现，使得训练这样一个模型成为可能。此外，训练和测试使用来自同一领域的视频进行跟踪的深度模型的公平性是一个争议点，因为它最近被VOT委员会禁止。我们展示了我们的模型从ImageNet视频域推广到ALOV/OTB/VOT [1,11,12]域，使跟踪基准测试的视频能够保留用于测试目的。

2 深度相似度学习的跟踪

学习跟踪任意对象可以使用相似性学习来解决。我们建议学习一个函数f（z，x），它将一个样本图像z与相同大小的候选图像x进行比较，如果两幅图像描述相同的对象，则返回较高的分数，否则得分较低。为了找到物体在新图像中的位置，我们可以详尽地测试所有可能的位置，并选择与物体过去外观相似度最大的候选对象。在实验中，我们将简单地使用物体的初始外观作为范例。函数f将从一个带有标记对象轨迹的视频数据集中学习。

鉴于它们在计算机视觉[13,14,15,16]领域的广泛成功，我们将使用深度转换网络作为函数f。使用深度转换网络的相似性学习通常使用Siamese架构[17,18,19]来解决。Siamese网络对两个输入应用相同的变换，然后组合它们的表示根据f(z,x)=g(ϕ(z),ϕ(x))使用另一个函数g。当函数g是一个简单的距离或相似度度量时，函数ϕ可以被认为是一个嵌入。深度Siamese转换网络以前已经被应用于诸如人脸验证[18,20,14]、关键点描述符学习[19,21]和一次性字符识别[22]等任务。