14、OpenVX 中的目标跟踪技术解析

OpenVX 中的目标跟踪技术解析

1. 光流方程基础

在图像分析中，光流是描述图像中物体运动的重要概念。对于图像 $I(x,y,t)$，其速度的 $x$ 和 $y$ 分量分别为 $V_x$ 和 $V_y$，而强度关于空间和时间坐标的导数分别为 $\frac{\partial I}{\partial x}$、$\frac{\partial I}{\partial y}$ 和 $\frac{\partial I}{\partial t}$，将这些导数简记为 $I_x$、$I_y$ 和 $I_t$，可以得到光流方程：
$I_xV_x + I_xV_y = -I_t$
用向量表示则为：$\nabla V_I^T \cdot \vec{V} = -I_t$
这个方程表明，经过时间 $t$ 后，图像的强度变化取决于运动方向和该方向上的强度梯度。然而，由于该方程只有一个方程却有两个未知数，所以无法直接求解。为了解决这个问题，我们做了两个假设，目前只使用了其中一个，另一个假设是相邻像素会一起移动，即需要多个像素来构成一个可跟踪的对象。

2. 孔径问题

孔径问题是光流计算中的一个重要挑战。例如，通过一个小孔观察栏杆的两张特写图片，其中一张相对于另一张有轻微位移。但这种位移可以有多种角度，且都能得到相同的视觉结果。因此，像素的运动方向是模糊的，因为基于视觉输入无法推断出与线条平行的运动分量。
孔径问题比单个像素的运动检测问题更高级，它提醒我们，基于局部特写的像素化视图进行的计算结果需要谨慎对待，仅根据给定信息可能无法确定物体的真实运动。

3. 用于稀疏特征集的 Lucas–Kanade 算法

在大多数情况下，我