单应矩阵H

若场景中的特征点都落在同一平面上（比如墙、地面等），则可以通过单应性进行运动估计。这种情况在无人机携带的俯视相机和扫地机器人携带的顶视相机中比较常见。

单应矩阵 $\mathbf{H}$ 通常描述处于共同平面上的一些点在两张图片之间的变换关系。

设图像 $I_1$ 和 $I_2$ 有一对匹配好的特征点 ${\mathbf{p}}_1$ 和 ${\mathbf{p}}_2$（像素坐标系）。特征点落在平面 $\mathbf{P}$ 上，设这个平面满足方程：

$${\mathbf{n}}^T\mathbf{P}+d=0\text{\hspace{1em}(1)}$$

其中，$\mathbf{n}$ 为平面 $\mathbf{P}$ 的法向量，$d$ 为坐标原点到平面的距离。

整理之后，有：

$$-\frac{{\mathbf{n}}^T\mathbf{P}}{d}=1\text{\hspace{1em}(2)}$$

由针孔相机模型有：

$$\begin{array}{rl}{\mathbf{p}}_2& \simeq \mathbf{K}(\mathbf{R}\mathbf{P}+\mathbf{t})\\ & \simeq \mathbf{K}\left(\mathbf{R}\mathbf{P}+\mathbf{t}\cdot \left(-\frac{{\mathbf{n}}^T\mathbf{P}}{d}\right)\right)\\ & \simeq \mathbf{K}\left(\mathbf{R}-\frac{{\mathbf{t}\mathbf{n}}^T}{d}\right)\mathbf{P}\\ & \simeq \mathbf{K}\left(\mathbf{R}-\frac{{\mathbf{t}\mathbf{n}}^T}{d}\right){\mathbf{K}}^{-1}{\mathbf{p}}_1\end{array}\text{\hspace{1em}(3)}$$

于是，我们得到了一个直接描述图像坐标 ${\mathbf{p}}_1$ 和 ${\mathbf{p}}_2$ 之间的变换，把中间的部分记做 $\mathbf{H}$，也就是单应矩阵。于是有：

$${\mathbf{p}}_2\simeq \mathbf{H}{\mathbf{p}}_1\text{\hspace{1em}(4)}$$

它的定义与旋转、平移以及平面的参数有关。与基础矩阵 $\mathbf{F}$ 类似，单应矩阵 $\mathbf{H}$ 也是一个 3 × 3 的矩阵，求解时的思路和 $\mathbf{F}$ 类似，同样地可以先根据匹配点计算 $\mathbf{H}$ ，然后将它分解以计算旋转和平移。把上式展开，得：

$$\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)\simeq \left(\begin{array}{lll}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right)\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)\text{\hspace{1em}(5)}$$

注意，这里的等号依然是 $\simeq$ 而不是普通的等号，因此 $\mathbf{H}$ 也可以乘以任何的常数。实际处理过程中可以令 $h_9=1$ （当 $h_9\ne 0$ 时）。 然后根据第3行去掉这个非零因子，于是有：

$$u_2=\frac{h_1{u}_1+h_2{v}_1+h_3}{h_7{u}_1+h_8{v}_1+h_9}$$

$$v_2=\frac{h_4{u}_1+h_5{v}_1+h_6}{h_7{u}_1+h_8{v}_1+h_9}$$

整理和化简后得：

$$\begin{array}{rl}& h_1{u}_1+h_2{v}_1+h_3-h_7{u}_1{u}_2-h_8{v}_1{u}_2=u_2\\ & h_4{u}_1+h_5{v}_1+h_6-h_7{u}_1{v}_2-h_8{v}_1{v}_2=v_2\end{array}\text{\hspace{1em}(6)}$$

这样一组匹配点对就可以构造出两项约束（事实上有三个约束，但是因为线性相关，只 取前两个），于是自由度为 8 的单应矩阵可以通过 4 对匹配特征点算出（注意：这些特征 点不能有三点共线的情况），即求解以下的线性方程组（当 $h_9=0$ 时，右侧为零）：

$$\left(\begin{array}{cccccccc}{u}_1^1& v_1^1& 1& 0& 0& 0& -u_1^1{u}_2^1& -v_1^1{u}_2^1\\ 0& 0& 0& u_1^1& v_1^1& 1& -u_1^1{v}_2^1& -v_1^1{v}_2^1\\ u_1^2& v_1^2& 1& 0& 0& 0& -u_1^2{u}_2^2& -v_1^2{u}_2^2\\ 0& 0& 0& u_1^2& v_1^2& 1& -u_1^2{v}_2^2& -v_1^2{v}_2^2\\ u_1^3& v_1^3& 1& 0& 0& 0& -u_1^3{u}_2^3& -v_1^3{u}_2^3\\ 0& 0& 0& u_1^3& v_1^3& 1& -u_1^3{v}_2^3& -v_1^3{v}_2^3\\ u_1^4& v_1^4& 1& 0& 0& 0& -u_1^4{u}_2^4& -v_1^4{u}_2^4\\ 0& 0& 0& u_1^4& v_1^4& 1& -u_1^4{v}_2^4& -v_1^4{v}_2^4\end{array}\right)\left(\begin{array}{l}{h}_1\\ h_2\\ h_3\\ h_4\\ h_5\\ h_6\\ h_7\\ h_8\end{array}\right)=\left(\begin{array}{c}{u}_2^1\\ v_2^1\\ u_2^2\\ v_2^2\\ u_2^3\\ v_2^3\\ u_2^4\\ v_2^4\end{array}\right)\text{\hspace{1em}(7)}$$

这种做法把 H 矩阵看成了向量，通过解该向量的线性方程来恢复 $\mathbf{H}$ ，又称直接线性变换法（Direct Linear Transform）。与本质矩阵相似，求出单应矩阵以后需要对其进行分 解，才可以得到相应的旋转矩阵 $\mathbf{R}$ 是和平移向量 $\mathbf{t}$。

分解的方法包括数值法与解析法。与本质矩阵的分解类似，单应矩阵的分解同样会返回四组旋转矩阵与平移向量，并且同时可以计算出它们分别对应的场景点所在平面的法向量。如果已知成像的地图点的深 度全为正值（即在相机前方），则又可以排除两组解。最后仅剩两组解，这时需要通过更多的先验信息进行判断。通常我们可以通过假设已知场景平面的法向量来解决，如场景平面与相机平面平行，那么法向量 $\mathbf{n}$ 的理论值为 $1^T$。

单应矩阵的意义

单应性在 SLAM 中具重要意义。当特征点共面，或者相机发生纯旋转的时候，基础矩阵的自由度下降，这就出现了所谓的退化（degenerate）。

现实中的数据总包含一些噪声， 这时候如果我们继续使用八点法求解基础矩阵，基础矩阵多余出来的自由度将会主要由噪 声决定。

为了能够避免退化现象造成的影响，通常我们会同时估计基础矩阵 $\mathbf{F}$ 和单应矩阵 $\mathbf{H}$，选择重投影误差比较小的那个作为最终的运动估计矩阵。