本质矩阵、基础矩阵和单应矩阵的区别

1. 本质矩阵
   本质矩阵建立的是同一个投影点在两个归一化成像平面上的齐次坐标间的约束，约束关系具体见下：
   $$p_a^T{E}_{ab}pb=0$$上式中的$E_{ab}$为本质矩阵，$p_{a/b}=[x_{a/b}{y}_{a/b}1{]}^T$，表示相机归一化成像平面上两个点的归一化图像坐标，是齐次的。
   本质矩阵由于建立的是归一化图像坐标间的约束关系，因此只和相机的外参数相关。
2. 基础矩阵
   基础矩阵建立的是同一个投影点在不同位置相机（也可以是不同的相机）得到的两个齐次像素坐标间的约束，约束关系具体见下：
   $$q_a^T{F}_{ab}{q}_b=0$$上式中$F_{a}b$表示基础矩阵，$q_{a/b}$为两个位置像素平面的齐次像素坐标$（u,v）$。
   这里的基础矩阵$F$还可以表示为
   $$F_{ab}=K_a^{-T}{E}_{ab}{K}_b^{-1}$$ 上式中$K_{a/b}$分别表示两个位置相机的内参矩阵，$E_{ab}$表示两个位置的本质矩阵。
   由于基础矩阵$F$建立的是两个位置像素坐标间的关系，因此其既与相机的外参相关，也与相机的内参相关。
3. 单应矩阵
   单应矩阵是基础矩阵的一种特殊形式，当我们已知投影点所在平面的几何方程时，我们可以根据此求得其深度信息，并推导出该观测点在另一个相机中的投影坐标。单应矩阵描述下的两个位置像素坐标间的关系如下所示：
   $$q_b=H{q}_a$$此处的$H$为单应矩阵，$H$与姿态、位置变化和投影点平面参数相关。
   $H$的表达式为$$H_{ab}=z_a/z_b{C}_{ba}(1+1/d_a(r_a^{ba}{n}_a^T))$$上式中$z_a$和$z_b$分别表示不同位置的相机深度，这基于已知的投影点所在平面、相机内参、像素坐标可以求出来。但是这里由于$q_{a/b}$为齐次坐标，$z_a/z_b$相当于是$q_b$的缩放因子，所有$q_b$不会受缩放因子的影响，在实际应用时可以去掉。所以$H$和每个位置的深度无关。
   当只有旋转运动时，也就是说$r_a^{ba}=0$，单应矩阵可以简化为：
   $$H_{ba}=C_{ba}$$

参考文献：《机器人中的状态估计》p174-p180