20、计算机视觉中的运动与结构估计

计算机视觉中的运动与结构估计

1. 像素方程与深度、亮度约束

在计算机视觉中，每个像素对应一个包含七个变量（Z, t, 𝝎）的方程。存在一些算法，通过对参数Z进行建模来解决这个问题。

在实时立体视觉中，可以直接测量深度。深度约束可以推导得出，并与亮度约束相结合。直接深度方法使用深度数据Z对深度进行建模：
[Z(x, y, t) = Z(x + u, y + v, t + 1) - W]
由此得到深度约束：
[Z_xu + Z_yv + Z_t - W = 0]
可以发现，该约束与亮度约束类似。进一步推导可得：
[-Z_t = \frac{1}{Z} [ fZ_x \quad fZ_y \quad -(Z + xZ_x + yZ_y) ]
\begin{bmatrix}
U \
V \
W
\end{bmatrix}]
同样，对于亮度约束，有：
[-I_t = [ fI_x \quad fI_y \quad -(xI_x + yI_y) ]
\begin{bmatrix}
U \
V \
W
\end{bmatrix}]
将上述两个方程结合，得到：
[\begin{bmatrix}
-I_t \
-Z_t
\end{bmatrix} =
\begin{bmatrix}
fI_x & fI_y & -(xI_x + yI_y) \
fZ_x & yZ_y & -(Z + xZ_x + yZ_y)
\end{bmat