目标跟踪的深度学习方法 与 opencv实现kcf方法

目录

1. 概述 3
   1.1. 背景 3
   1.2. 目标跟踪问题描述 3
   1.3. 目标跟踪测试数据集及性能评价标准 4
2. 算法选型 10
   2.1. 现有算法分类 10
   2.2. 图像目标跟踪方法 11
   1.概述
   1.1.背景
   行为识别的前提是需要对人体目标进行识别和跟踪，现阶段我们已经通过使用开源人体姿态估计系统openpose实现了人体姿态识别，现在需要对人体目标进行跟踪判断视频后续画面中的人和前面画面中的对应关系。本文就现阶段计算机视觉目标跟踪方面的研究成果做总结描述。
   1.2.目标跟踪问题描述
   简单来说，目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。给定图像第一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。跟踪过程中的 光照变化、目标尺度变化、目标被遮挡、目标的形变、运动模糊、目标的快速运动、目标的旋转、目标逃离视差、背景杂波、低分辨率 等现象，都是目标跟踪问题的挑战。
   根据问题，目标跟踪算法主要有以下几个关键点：
   
   1、选取合适的特征：HOG特征，CNN（卷积神经网络）特征
   2、优秀的分类器：SVM等
   3、合适的更新模型时间的策略：因为判别模型更新的太频繁会影响跟踪算法的速度，更新速度太慢又会导致目标丢失。
   1.3.目标跟踪测试数据集及性能评价标准
   现在比较流行的跟踪Benckmark（基准，数据集）有OTB、VOT、KITTI-tracking，本文主要介绍VOT的评价方法：
   中心误差：Center Error
   中心误差标准值考虑目标中心位置的误差，该方法具有明显的缺点，就是无法衡量目标尺度变化的影响。另外，目标中心的意义有时候不是很明确（如下图）。
   区域重叠：Region Overlap
   区域的重叠率是使用重叠面积的比例进行衡量的
   在区域重叠指标上，我们一般使用有效帧的重叠率做平均。除此之外，我们还可以使用重叠率阈值以上帧的比例作为标准：
   这一指标是基于中心位置误差的，从跟踪开始到中心像素误差下降到阈值以下的（帧数）长度定义为跟踪长度。
   失败率：Failure Rate
   
   在视频跟踪处理的一段序列中，当重叠率低于阈值时，则判定为跟踪失败，并重新初始化目标框，在这段视频中，跟踪失败的次数以及跟踪失败的位置可以被记录下来，则失败率可以被表示为：
   效果图：Performance Plot
   常用的效果图有area-under-the-curve (AUC)曲线，该曲线和ROC曲线表达的含义差不多，也就是OTB中成功率图的表示方法。
   评价指标的效果评估
   这一部分主要是介绍评估哪些标准可以更好的用来评估跟踪算法，我们才会推荐使用这些指标来衡量跟踪算法的性能。下面图中给出了几种指标可视化示意图，其中能反映出许多问题，也就是说标准选取的重要性。
   评价标准的相关性分析
   使用上述16个标准，对样本集中的所有指标的数值，计算协方差矩阵，协方差矩阵就代表了评价标准的相关性。下图是协方差矩阵的可视化：
   
   于是这就是我们最终在VOT相关的Paper上看到的图了。
   EFO
   Equivalent Filter Operations，EFO是用来评价性能的，因为性能的比较常常因为计算机性能不同而不够直观，EFO评价标准考虑到了这一点，使用600×600的图像，做30*30窗口的滤波，来得到机器的性能。然后使用跟踪算法处理每帧图像的评价时间除以以上滤波操作的时间，得到了一个归一化的性能参数，就是EFO，是VOT14提出的标准，一直沿用到现在。
   EAO与EFO就构成了VOT16的跟踪算法评价标准。
   2.算法选型
   2.1.现有算法分类
   在早期，Camshift、光流、背景差等图像跟踪算法比较流行，在静态背景条件下成