多视图几何——计算机视觉

一、简述

多视，可以是一个相机拍摄的多角度图像，也可以是很多相机拍摄的multi view图像，目标是按照马尔的理论重建三维结构，这是目前人类知识的边界，我们暂时认为人类的视觉认知是通过三维的逐层重建完成的，当然还有其他理论，但这是目前统治的看法。

二、原理

图片以及一些描述来自于：对极几何及单应矩阵
1、对极几何（Epipolar Geometry）
对极几何，用来描述的是如果有一个场景的两个视图以及视图中的对应图像点，那么根据照相机间的空间相对位置关系、照相机的性质以及三维场景点的位置，可以得到对这些图像点的一些几何关系约束。

极点e和e’：e是左边相机中心在右图像平面上的投影，e’右相机中心在左像平面上的投影
极平面：两个相机中心和点p形成的平面
极线l和l’：极平面分别和两个像平面的交线

若其中一相机中心e分别与像平面交于ee’,o、o’、p已知，即不知道p点的深度信息的情况下，射线op是p点可能的空间位置，o’p的连线同另一个像平面的交点即为p对应在该平面上的位置，可知P点对应在另一个像平面上的位置总是会在一条直线上，即在极线l’上
2.本质矩阵的求解
对极约束是一个等式为零的约束，因此对他乘以非零常数后依然成立，这称为本质矩阵的尺度等价性。另一方面，由于平移和旋转各有三个自由度，故 E 共有六个自由度，但由于尺度等价性，因此实际上 E 具有5个自由度。
即最少可用5对点来求解 E，但是这种解法比较麻烦。考虑 E 的尺度等价性，可以使用8对点来求解，即经典的八点法，八点法利用了 E 的线性性质，因此可以通过线性代数求解。

3.八点法
基本矩阵的定义为：

其中x↔x’是两幅图像的任意一对匹配点。由于每一组点的匹配提供了计算FF系数的一个线性方程，当给定至少7个点（3×3的齐次矩阵减去一个尺度，以及一个秩为2的约束），方程就可以计算出未知的F。

展开后有