OpenCV学习之路（八）——光流追踪

一、基于特征点的目标跟踪的一般方法

基于特征点的跟踪算法大致可以分为以下步骤：

  1）探测当前帧的特征点；

  2）通过当前帧和下一帧灰度比较，估计当前帧特征点在下一帧的位置；

  3）过滤位置不变的特征点，余下的点就是目标了。

很显然，基于特征点的目标跟踪算法和1），2）两个步骤有关。特征点可以是Harris角点，也可以是边缘点等等，而估计下一帧位置的方法也有不少，比如这里要讲的光流法，也可以是卡尔曼滤波法。
本文中，用改进的Harris角点提取特征点，用Lucas-Kanade光流法实现目标跟踪。

二、光流法

1.首先是假设条件：

   （1）亮度恒定，就是同一点随着时间的变化，其亮度不会发生改变。这是基本光流法的假定（所有光流法变种都必须满足），用于得到光流法基本方程；

   （2）小运动，这个也必须满足，就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导（换句话说，小运动情况下我们才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数），这也是光流法不可或缺的假定；

   （3）空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定，因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。我们假定特征点邻域内做相似运动，就可以连立n多个方程求取x，y方向的速度（n为特征点邻域总点数，包括该特征点）。

  2.方程求解

  多个方程求两个未知变量，又是线性方程，很容易就想到用最小二乘法，事实上opencv也是这么做的。其中，最小误差平方和为最优化指标。

  3.好吧，前面说到了小运动这个假定，聪明的你肯定很不爽了，目标速度很快那这货不是二掉了。幸运的是多尺度能解决这个问题。首先，对每一帧建立一个高斯金字塔，最大尺度图片在最顶层，原始图片在底层。然后，从顶层开始估计下一帧所在位置，作为下一层的初始位置，沿着金字塔向下搜索，重复估计动作，直到到达金字塔的底层。聪明的你肯定发现了：这样搜索不仅可以解决大运动目标跟踪，也可以一