三维视觉之基础矩阵

三维视觉之基础矩阵

设空间一点$X$在左相机坐标系中的坐标为$\mathbf{x}_1=(x_1,y_1,z_1)^T$，在右相机坐标系中的坐标为$\mathbf{x}_2=(x_2,y_2,z_2)^T$。该点在左相机成像平面的图像齐次坐标为$\mathbf{m}_1=(u_1,v_1,1)^T$，在右相机成像平面的图像齐次坐标为$\mathbf{m}_2=(u_2,v_2,1)^T$。
左相机的内参数矩阵为$K_1$，右相机的内参数矩阵为$K_2$。设左相机坐标系到右相机坐标的旋转和平移分别为$R,\mathbf{t}$。那么：

$$\mathbf{x}_2=R\mathbf{x}_1+\mathbf{t}$$ 。
根据相机的成像模型：
$$\begin{eqnarray} s_1\mathbf{m}_1&=&K_1\mathbf{x}_1\\ s_2\mathbf{m}_2&=&K_2\mathbf{x}_2 \end{eqnarray}$$
注意到：
$$\overrightarrow{O_2X}\cdot(\overrightarrow{O_2O_1}\times\overrightarrow{O_1X})$$
将这些统一到右相机坐标系下：
$$\begin{eqnarray} \overrightarrow{O_2X} &=& \mathbf{x}_2\\ \overrightarrow{O_2O_1}&=&\mathbf{t}\\ \overrightarrow{O_1X}&=&\mathbf{x}_2-\mathbf{t}=R\mathbf{x}_1+\mathbf{t}-\mathbf{t}=\mathbf{R}\mathbf{x}_1 \end{eqnarray}$$
代入上式可得：
$$\mathbf{x}_2\cdot([\mathbf{t}]_\times R\mathbf{x}_1)=0$$

进一步可写为：

$$\mathbf{m}_2^TK_2^{-T}[\mathbf{t}]_\times RK_1^{-1}\mathbf{m}_1=0$$
$$\mathbf{m}_2^TF\mathbf{m}_1=0$$
$F=K_2^{-T}[\mathbf{t}]_\times RK_1^{-1}$为相机的基本矩阵。

这里实际上涉及到了对极几何（Epipolar Geometry），其中$O_1O_2X$表示极平面，其中$x_1e_1$表示极线$l_1$，$x_2e_2$表示极线$l_2$。根据齐次坐标的原理，$l_1$的方程为：$\mathbf{l}_1=\mathbf{e}_1\times \mathbf{m}_1$，$\mathbf{l}_2=\mathbf{e}_2\times\mathbf{m}_2$。$\mathbf{l}_1$满足：$\mathbf{m}_1^T\mathbf{l}_1=0$，$\mathbf{l}_2$满足：$\mathbf{m}_2^T\mathbf{l}_2=0$。结合基本矩阵，可得到：

$$\begin{eqnarray} \mathbf{l}_1&=&F^T\mathbf{m}_2\\ \mathbf{l}_2&=&F\mathbf{m}_1 \end{eqnarray}$$