【计算机视觉】Lecture 30：视频跟踪：Lucas-Kanade

两种流行的跟踪方法

1. Mean-shift 颜色直方图跟踪（上一个Lecture）
2. Lucas-Kanade 模板跟踪（这次Lecture）

Lucas-Kanade 跟踪

回顾：Lucas-Kanade

• 亮度恒定
• 一个方程，两个未知数

• 如何获得一个像素的更多方程？
基本思想：引入额外的约束
• 一种方法：假设像素的邻域具有相同的（u，v）
– 如果我们使用一个 5x5 的窗口，那么每个像素就有25个方程！

我们有比未知数更多的方程：

解决方案：解最小二乘问题
——最小二乘解的最小值由下列解（d）给出：

对 K×K 窗口内的所有像素求和得到

Lucas Kanade 跟踪

传统的 Lucas-Kanade 通常运行在小的、角状的特征（例如5x5）上来计算光流。

观察：我们没有理由不能在被跟踪物体周围的大窗口上使用同样的方法。

图像模板的基本 LK 推导

求偏导并设为0

形成矩阵方程

上式通过最小二乘求解

一个问题

对于一个较大窗口中所有像素在很长一段时间内的恒定流（也就是纯平移）假设是不合理的。

然而，我们可以很容易地将Lucas-Kanade方法推广到其他二维参数化运动模型（如仿射或投影）中，方法是引入一个“warp”函数 W

推导

推导的关键是泰勒级数近似：

我们将一步一步地得出这个结论。首先，我们需要两个背景公式：

首先考虑对单变量 p 的展开式

现在考虑 n 个变量 p1，p2，…，pn的变换函数

注意，每个变量参数 pi 都贡献这个形式中的一项，如下：

现在我们将表达式重写为矩阵方程。每一项，我们都可以重写为：

所以我们有：

进一步将 dw/dpi 项整合成矩阵，我们可以得到：

以上是下面的矩阵方程中的项：

例子：仿射变换的雅克比

雅克比方程的一般形式：

仿射变换函数（6个参数）

算法总结

“Lucas-Kanade 20 years on: A unifying framework” Baker and Mathews, IJCV 04

1. 变换 I 从而获得

2. 计算误差图像

3. 根据 来变换梯度

4. 在 ([x y]; P) 处验证 （雅克比）

5. 计算最速下降图像

6. 计算 Hessian 矩阵

7. 计算

8. 计算

9. 更新

直到 大小可以忽略不计为止