近几年目标跟踪算法发展综述（中）

关注

原创最新推荐文章于 2026-04-13 11:28:25 发布 2.5w 阅读 AI 写同款· GEO 优化 ›

目标跟踪算法综述前言: 目标跟踪是计算机视觉领域研究的一个热点问题，其利用视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标的位置。目标跟踪算法从构建模型的角度可以分为生成式(generative)模型和判别式(discrimination)模型两类；从跟踪目标数量可分为单目标跟踪和多目标跟踪。目标跟踪融合了图像处理、机器学习、最优化等多个领域的理论和算法，是完成更高层级的图像理解( 如目标行为识别) 任务的前提和基础。 目标跟踪的基本任务是在一段视频序列中给定目标的初始.. 阅读详情

2014

今年可谓是算法发展的一年，今年的主要的亮点就是相关滤波CF类算法。
在介绍各个算法之前不得不介绍一下今年的一个新的标准VOT【VOT】的问世，VOT选取了25个序列集，使用的标准和Benchmark有略微的差别，使用精度，鲁棒性，总的误差率，速度等。

接下来介绍今年的论文

KCF

High-Speed Tracking with Kernelized Correlation Filters 【Paper】【Project】
说相关滤波怎么会敢把这篇文章放下呢，这篇文章在前面的博客里面详细介绍过，使用轮转矩阵的fhog特征对目标模板学习，再进行跟踪得到目标位置所在。

尺度变化是跟踪中比较基本和常见的问题，前面介绍的三个算法都没有尺度更新，如果目标缩小，滤波器就会学习到大量背景信息，如果目标扩大，滤波器就跟着目标局部纹理走了，这两种情况都很可能出现非预期的结果，导致漂移和失败。

SAMF

Li Y, Zhu J. A scale adaptive kernel correlation filter tracker with feature integration 【Paper】【Project】
这篇文章是KCF问世不久之后出现的，第一次把HOG特征和CN特征进行结合使用的，同时使用了尺度池技术对目标进行尺度变化的检测跟踪，找到目标的最佳尺度。
这里写图片描述

效果上面试比KCF要好很多的，但是速度上面就差了。

DSST

Martin Danelljan Accurate scale estimation for visual tracking 【Paper】【Project】
这也是个大神啊，在接下来的几年里，你会经常看到他的身影，跟踪界的高质量高产者。
本文将目标跟踪看成目标中心平移和目标尺度变化两个独立问题，首先用HOG特征的DCF训练平移相关滤波，负责检测目标中心平移，然后用HOG特征的MOSSE(注意区别，不加padding)训练另一个尺度相关滤波，负责检测目标尺度变化，(标配)步长1.02的33个尺度。
效果嘛自然是不必说，VOT2014的冠军，那必须效果杠杠的，但是速度上并没有那么近人意，因为使用了33个尺度，速度自然就下降了。
这里写图片描述

STC

Kaihua Zhang, Lei Zhang, Ming-Hsuan Yang, David Zhang. “Fast Tracking via Spatio-Temporal Context Learning.” 【Paper】【Project】
这里写图片描述

这篇文章的话就看看吧，就看看就好了，如果真的效果有说的这么好，为什么一直不见后续工作呢？反正我是不咋信。

总结一下2014年：今年算法的大部分改进还是基于KCF和DCF来做，最大的改进也就是VOT排名前几位的，主要是对跟踪过程当中尺度变化的改进，增加了算法对尺度变化序列的鲁棒性。

2015年

走过了2014，来到了2015，VOT2015竞赛也拉开帷幕，各大家族大显身手，各显神通，那势必杀个天昏地暗，日月无光啊。直接先上结果，再介绍今年的东西。【Paper】
这里写图片描述

今年深度学习开始进军跟踪界了，冠军所属深度跟踪无疑，MDNet一举夺魁，拿下冠军，精度和鲁棒性那是没话说，杠杠的，除了完全被遮挡这种情况会有跟踪失败外，其他情况都还算是很好的。

MDNet

Learning Multi-Domain Convolutional Neural Networks for Visual Tracking 【Paper】
这里写图片描述

一张图说完MDNet，这张图包含了MDNet 的核心思想，训练的时候，对每一个domain单独进行训练，同时更新共享层的参数，使得共享层的参数能够适应所有的数据集，之后保存共享层的参数，domain域也只保留下一个分支供跟踪使用，跟踪阶段，使用预训练的CNN网络对目标进行跟踪，找到目标的位置所在。

我说了，接下来这几年大神会一直出现，这不是SRDCF

SRDCF

M. Danelljan, G. Hager, F. S. Khan, and M. Felsberg. Learning spatially regularized correlation filters for visual tracking. 【Paper】【Project】

SRDCF是基于DCF 的改进算法，采用更大的检测区域，在文章中说明了使用的padding为4，同时加入了空间域正则化，惩罚边界区域的滤波器系数，优化函数就变为：
这里写图片描述

文中一张图展示的比较明显：
这里写图片描述
边界效应发生在原始样本目标中心循环移位到边缘附近时，所以越是靠近边缘区域，正则化系数越大，惩罚并抑制这里的滤波器系数，目的是减小边界附近样本的影响。（边界效应：训练阶段，目标中心移动到边缘附近，此时学习到的样本为不合理的样本，在检测阶段，当目标移动到边界附近，此时的目标和训练时使用的负样本是比较接近的，但是此时应当把此作为整样本来使用检测到目标，但是实际算法中不是这样，所以会导致跟踪失败。）还有一点，余弦窗是加在原始图像块上面，之后再进行移位产生样本集，对模板进行训练；而本文的空域正则化则是加在样本集中每个移位样本上的。
这里写图片描述
一些结果的比较。

DeepSRDCF

Martin Danelljan, Gustav Häger, Fahad Khan, Michael Felsberg. “Convolutional Features for Correlation Filter Based Visual Tracking.
Martin大神的另外一篇神作把特征换成了使用深度特征
这里写图片描述

消除边界影响的还有另外一篇

CFLB

Kiani Galoogahi H, Sim T, Lucey S. Correlation filters with limited boundaries . 【Paper】【Project】
首先，使用更大的训练和检测图像块，同时给循环移位样本左乘一个0-1组成的掩膜矩阵P，以使真实训练样本的比例增加，优化目标函数：
这里写图片描述

掩膜矩阵其实就是从大图像块的循环移位样本中裁切小块图像块，（盗取图片说明）
这里写图片描述

5*1的原始样本，经过循环移位产生5个新样本，只有第五个是真实的，其他都是“合成”的，真实样本数/总样本数 = 1/5；给所有移位样本左乘一个掩膜矩阵P后，虽然样本尺寸变小为3*1，但第三、四、五都是真实样本，真实样本数/总样本数 = 3/5，只有第一、二样本有边界效应，相当于裁切出了前三行。 这就是从大尺寸样本的循环移位样本集中用掩膜矩阵裁切出真实的小尺寸样本，提升真实样本的比例，而且这样的掩膜矩阵不止一个，P的循环移位矩阵也有类似效果，即P指定裁切哪个区域，而裁切不同区域的图像块都能提升这个真实样本比例，而且原始样本越大，裁切后样本越小，则真实样本比例越高。

MEEM

Robust Tracking via Multiple Experts using Entropy Minimization 【Paper】【Project】
这一篇我没看~~~~

RPT

Yang Li, Jianke Zhu and Steven C.H. Hoi. “Reliable Patch Trackers: Robust Visual Tracking by Exploiting Reliable Patches.” 【Paper】
【Project】
这里写图片描述

可信赖区域搜索跟踪，在本帧跟踪到的位置预测之后的哪个区域比较可靠，目标出现的可能性比较大，做一个预测，然后去搜索，找到目标。

TGPR: Transfer Learning Based Visual Tracking with Gaussian Process Regression【Paper】【Project】
没看过

HCF

Chao Ma, Jia-Bin Huang, Xiaokang Yang and Ming-Hsuan Yang. “Hierarchical Convolutional Features for Visual Tracking.” 【Paper】【Project】
今年深度学习的重磅之作，这个算法核心思想

这里写图片描述

之前的文章有详细介绍了这个算法，可以前面翻阅一下。

还有一些没有研究过的算法：
RATM: Samira Ebrahimi Kahou, Vincent Michalski, Roland Memisevic. “RATM: Recurrent Attentive Tracking Model.【Paper】

RAJSSC: Mengdan Zhang, Junliang Xing, Jin Gao, Xinchu Shi, Qiang Wang, Weiming Hu. “Joint Scale-Spatial Correlation Tracking with Adaptive Rotation Estimation【Paper】

SO-DLT: Naiyan Wang, Siyi Li, Abhinav Gupta, Dit-Yan Yeung. “Transferring Rich Feature Hierarchies for Robust Visual Tracking.” 【Paper】

总结一下15年的工作，第一、深度学习开始进军跟踪领域，使用深度学习可以更好的提取目标的特征，对目标进行更好的表达，但是深度学习的缺点就在于网络的训练和速度，即使如HCF等使用离线的训练速度仍然慢，对于我们现在要求达到实时的应用~~~难啊；第二，相关滤波领域还是一如既往的那么火，还是有前仆后继的人对这方面进行改进和提升，今年最大的改进就是对边界造成的影响做处理，边界的影响我在上面已经提过了，可以去参考一下。
总的来说今年的跟踪算法还是进步比较大的，不论精度还是速度，速度方面有待提高，深度应用有待改进

收录于