运动目标检测之光流法（4）LK金字塔论文翻译

金字塔型实现的Lucas Kanade特征跟踪器的算法描述

Jean-Yves Bouguet
Intel Corporation
Microprocessor Research Labs
jean-yves.bouguet@intel.com

1.问题说明

设I和J是两幅二维灰度图像。两个量I(x) = I(x，y)和J(x) = J(x，y)则是两个图像的灰度值，即位置x = [x，y]T，其中x和y是普通图像点x的两个像素坐标。图像I有时被称为第一图像，而图像J被称为第二图像。对于实际问题，图像I和J是离散函数(或数组)，左上角像素坐标向量为[0 0]T，设nx和ny为两幅图像的宽度和高度。那么右下像素坐标向量就是[nx-1 ny-1]T。

假设第一幅图像I上的一个图像点u = [ux uy]T，特征跟踪的目标是找到第二幅图像J上的对应位置v = u + d = [ux + dx uy + dy]T，则称I(u)和J(v)“相似”。向量d = [dx dy]T是x处的图像速度，也称为x处的光流。由于孔径问题，有必要在二维邻域意义上定义相似性的概念。设ωx和ωy两个整数。我们将图像速度d定义为使残差函数ϵ最小化的向量，残差函数定义如下:

根据该定义，相似性函数是在大小为(2ωx + 1) (2ωy + 1)的图像邻域上测量的。这个邻域也将被称为集成窗口。ωx和ωy的典型值为2，3，4，5，6，7像素。

2 跟踪算法的描述

任何特征跟踪的两个关键要素是准确性和鲁棒性。精度分量涉及与跟踪相关的局部亚像素精度。直觉上，为了不“消除”图像中包含的细节(即，小的ωx和ωy值)，小的积分窗口将是优选的。这在图像中两个斑块可能以非常不同的速度移动的遮挡区域尤其需要。
鲁棒性分量涉及跟踪相对于光照变化的灵敏度、图像运动的大小，…特别地，为了处理大的运动，选择大的积分窗口显然是更可取的。事实上，仅考虑等式1，最好是dx<=ωx和dy<=ωy(除非有一些先验匹配信息)。因此，当选择积分窗口大小时，在局部精度和鲁棒性之间有一个自然的折衷。为了提供该问题解决方案，我们提出了经典Lucas-Kanade算法的金字塔实现。Lucas-Kanade光流计算的迭代实现提供了足够的局部跟踪精度。

2.1 图像金字塔表示
定义大小为nx * ny的图像I的金字塔表示。设I0 = I为第0级图像。该图像本质上是最高分辨率的图像(原始图像)。该层图像的宽度和高度定义为n0x = nx和n0y = ny。然后以递归的方式构建金字塔表示:从I0计算I1，然后从I1计算I2，等等……设L = 1,2，…为一般的金字塔层，设IL - 1为L - 1层的像。nL−1x、nL−1y分别为IL−1的宽、高。图像IL−1的定义如下:

为了简化表示法，让我们定义图像IL−1周围一个像素的虚拟图像值(对于0≤x≤nL−1x−1和0≤y≤nL−1y−1):

则方程2仅定义x、y的值为0≤2x≤nL−1x−1,0≤2y≤nL−1y−1。因此，IL的宽度nLx和高度nLy是满足以下两个条件的最大整数:

利用等式(2)、(3)、(4)递归地构建两个图像I和I的金字塔。Lm值是金字塔的高度(启发式选取)。 Lm的值是2，3，4。对于典型的图像大小，超过4级是没有意义的。例如，对于尺寸为640×480的图像I，图像I1、I2、I3和I4分别具有320×240、160×120、80×60和40×30的尺寸。超越四级在大多数情况下没有太大意义。金字塔表示背后的主要动机是能够处理大像