计算机视觉学习（八）--基础矩阵（多视图几何）

一、原理

对极几何

对极几何，一定是对二幅图像而言，对极几何实际上是“两幅图像之间的对极几何”，它是图像平面与以基线为轴的平面束的交的几何（这里的基线是指连接摄像机中心的直线），以下图为例：对极几何描述的是左右两幅图像(点x和x’对应的图像)与以CC’为轴的平面束的交的几何！

上图中，点x、x’与摄像机中心C和C’是共面的，并且与空间点X也是空面的，这5个点共面于平面π！这是一个最本质的约束，即5个点决定了一个平面π。
由此可以推导出：由图像点x和x’反投影的射线共面，并且，在平面π上，在搜索点对应中，该性质非常重要。
对极平面束：以基线为轴的平面束；下图为包含两个平面的对极平面束：

直线CC’为基线，以该基线为轴存在一个平面束，该平面束与两幅图像平面相交，上图图给出了该平面束的直观形象，可以看到，该平面束中不同平面与两幅图像相交于不同直线；之前的灰色平面π，只是过基线的平面束中的一个平面（当然，这个平面才是平面束中最重要的、也是我们要研究的平面）。

对极点 = 基线与像平面相交点 = 光心在另一幅图像中的投影
对极平面 = 包含基线的平面
对极线 = 对极平面与像平面的交线

本质矩阵

本质矩阵描述了空间中的点在两个世界坐标系中的坐标对应关系。
如果已知基础矩阵F，以及一个3D点在一个像面上的像素坐标p，则可以求得在另一个像面上的像素坐标p‘。设X在C，C’坐标系中的相对坐标分别p，p’，则有：

根据三线共面：

其中的RS相乘得到的E即为本质矩阵，描述了空间中的点在两个坐标系中的坐标对应关系。
根据前述， K 和 K’ 分别为两个相机的内参矩阵：


基础矩阵是对极几何的代数表达方式，描述了图像中任意对应点 x↔x’ 之间的约束关系。F 为 3x3 矩阵，秩为2，对任意匹配点对 x↔x’ 均满足上式

参考博文：多视图几何-https://blog.youkuaiyun.com/weixin_43843780/article/details/89362546
对极几何-https://blog.youkuaiyun.com/tina_ttl/article/details/52749542

实现代码

from PIL import Image
from numpy import *
from pylab import *
import numpy as np
from PCV.geometry import camera
from PCV.geometry import homography
from PCV.geometry import sfm
from PCV.localdescriptors import sift


# Read features
# 载入图像，并计算特征
im1 = array(Image.open('s1.jpg'))
sift.process_image('s1.jpg', 'im1.sift')
l1, d1 = sift.read_features_from_file