Lucas–Kanade光流算法-优快云博客

H.O.T. 指更高阶，在移动足够小的情况下可以忽略。从这个方程中我们可以得到：
$\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z+\frac{\partial I}{\partial t}\delta t = 0$
或者
$\frac{\partial I}{\partial x}\frac{\delta x}{\delta t}+\frac{\partial I}{\partial y}\frac{\delta y}{\delta t}+\frac{\partial I}{\partial z}\frac{\delta z}{\delta t}+\frac{\partial I}{\partial t}\frac{\delta t}{\delta t} = 0$
我们得到：

$\frac{\partial I}{\partial x}V_x+\frac{\partial I}{\partial y}V_y+\frac{\partial I}{\partial z}V_z+\frac{\partial I}{\partial t} = 0$

V x, V y, V z

分别是I(x,y,z,t)的光流向量中x，y，z的组成。 $\frac{\partial I}{\partial x}$ , $\frac{\partial I}{\partial y}$ , $\frac{\partial I}{\partial z}$ 和 $\frac{\partial I}{\partial t}$ 则是图像在

(x, y, z, t)这一点向相应方向的差分

。
所以

I x V x + I y V y + I z V z = - I t。

写做：

$\nabla I^T\cdot\vec{V} = -I_t$

这个方程有三个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Lucas-Kanade算法是一个非迭代的算法：假设流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗中是一个常数，那么从像素

1... n

n = m 3

中可以得到下列一组方程：

$I_{x_1} V_x + I_{y_1} V_y + I_{z_1} V_z = -I_{t_1}$

$I_{x_2} V_x + I_{y_2} V_y + I_{z_2} V_z = -I_{t_2}$

$\vdots$

$I_{x_n} V_x + I_{y_n} V_y + I_{z_n} V_z = -I_{t_n}$

三个未知数但是有多于三个的方程，这个方程组自然是个超定方程，也就是说方程组内有冗余，方程组可以表示为：

$\begin{bmatrix} I_{x_1} & I_{y_1} & I_{z_1}\\ I_{x_2} & I_{y_2} & I_{z_2}\\ \vdots & \vdots & \vdots\\ I_{x_n} & I_{y_n} & I_{z_n} \end{bmatrix} \begin{bmatrix} V_x\\ V_y\\ V_z \end{bmatrix} = \begin{bmatrix} -I_{t_1}\\ -I_{t_2}\\ \vdots \\ -I_{t_n} \end{bmatrix}$

记作： $A\vec{v}=-b$

为了解决这个超定问题，我们采用最小二乘法：

$A^TA\vec{v}=A^T(-b)$ or

$\vec{v}=(A^TA)^{-1}A^T(-b)$

得到：

$\begin{bmatrix} V_x\\ V_y\\ V_z \end{bmatrix} = \begin{bmatrix} \sum I_{x_i}^2 & \sum I_{x_i}I_{y_i} & \sum I_{x_i}I_{z_i} \\ \sum I_{x_i}I_{y_i} & \sum I_{y_i}^2 & \sum I_{y_i}I_{z_i} \\ \sum I_{x_i}I_{z_i} & \sum I_{y_i}I_{z_i} & \sum I_{z_i}^2 \\ \end{bmatrix}^{-1} \begin{bmatrix} -\sum I_{x_i}I_{t_i} \\ -\sum I_{y_i}I_{t_i} \\ -\sum I_{z_i}I_{t_i} \end{bmatrix}$

其中的求和是从1到n。

这也就是说寻找光流可以通过在四维上图像导数的分别累加得出。我们还需要一个权重函数 W(i, j,k)， $i,j,k \in [1,m]$ 来突出窗口中心点的坐标。高斯函数做这项工作是非常合适的，

这个算法的不足在于它不能产生一个密度很高的流向量，例如在运动的边缘和黑大的同质区域中的微小移动方面流信息会很快的褪去。它的优点在于有噪声存在的鲁棒性还是可以的。
补充：opencv里实现的看上去蛮复杂，现在还不是太明白。其中LK经典算法也是迭代法，是由高斯迭代法解线性方程组进行迭代的。参考文献： Lucas B and Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision. Proc. Of 7th International Joint Conference on Artificial Intelligence (IJCAI), pp.674-679.是81年发表的。 opencv中实现的是84年发表的算法，参考文献：Bruce D. Lucas, "Generalized Image Matching by the Method of Differences," doctoral dissertation, tech. report , Robotics Institute, Carnegie Mellon University, July, 1984 这篇论文是收费的，一直都没下到还。