基本矩阵F、本质矩阵E、单应矩阵H的关系

前言：

立体视觉几何中有以下问题：

1.已知一幅图像中一点，如何寻找另一幅图像中这个点的对应点（可用光流法、特征点匹配法）

2.已知两幅图像中两点是对应关系，如何求解两相机的相对位置和姿态【R|t】

3.已知多幅图像中同一3D点的对应点，如何求解该3D点的3D坐标

对极几何/基础矩阵 的出现可以解决问题2。

之前有总结过：https://blog.youkuaiyun.com/try_again_later/article/details/81638064

---

总结： 

      1 Essential Matrix     

             E= t ^ R 为3*3的矩阵，奇异值为 [ u, u, 0] ^ T 的形式。为本质矩阵的内在性质。

             性质：理论上综合旋转、平移共有6个自由度，因尺度等价，E有5个自由度。

             求解：一般使用8点法，通过SVD分解，恢复出R，t 。

     2 Fundamental Matrix

            基本矩阵F和E只差了一个相机内参    F = K^(-T) *E *K^(-1) ，如果需要，直接带入求解。

            基础矩阵F表明一个图像点p1到另一图像上对极线L上的映射。

     3 Homograph Matrix

           单应矩阵的定义与R、t、平面参数相关，单应矩阵为3*3的矩阵，自由度为8，求解的思路和E、F相似。

           单应矩阵表明两个点之间变换H。p2=H*p1

           求解：可用一组不共线的四个匹配点来计算矩阵H。

区别：本质矩阵则是基本矩阵的一种特殊情况，是在归一化图像坐标下的基本矩阵，可以理解为本质矩阵对应的坐标位于相机坐标系，基础矩阵对应的坐标位于图像平面坐标系。

E=t^R

H=R-t*nT/d

在相机只有旋转而没有平移的情况，此时t为0，E也将为0，导致无法求解R，这时可以使用单应矩阵H求旋转，但仅有旋转，无法三角化求深度。

---

对极几何 

在对极几何中，e1和e2被称作极点，PO1O2平面为极面，p1e1为极线，同理p2e2也为极线。这是对极几何中重要的三个概念。

极点：基线的平行线在各自像面上的消失点

A. 如图，两个相机相对放置（会聚视角）， 相机1面向右边，相机2面向左边，可知极点位于1的右边，2的左边。图中花瓶上标示的横线即为平行于基线的线条。

 

p点在像面2上的对应点一定在极线l'上。p1--L2

这样我们就得到了两个相机上的像素坐标和基础矩阵F之间的关系了

---

 基础矩阵F和本质矩阵E

作用：给定一个图像上的一个点，被本质矩阵或基本矩阵相乘，其结果为此点在另一个图像上的对极线，在匹配时，可以大大缩小搜索范围。像素-->极线

本质矩阵特性

    1) rank (E) = 2  (本质矩阵的秩为2，非常重要)

    2)  本质矩阵仅依赖外部参数（Extrinsic Parameters) （R & T）决定。

    3) 使用摄像机（Camera）坐标系

基本矩阵的特性

    1) rank (F) = 2  (基本矩阵的秩为2，非常重要)

    2)  基本矩阵依赖内部和外部参数（Intrinsic and Extrinsic Parameters) （f, R & T）决定。

    3) 使用像素坐标系

 

 

 单应矩阵H

参考：

https://www.cnblogs.com/sunny-li/p/7500541.html

http://www.cnblogs.com/youzx/p/6385513.html