MVG-第一章Introduction – a Tour of Multiple View Geometry

jade carver

已于 2025-05-23 22:01:28 修改

阅读量1.9k

点赞数 27

分类专栏：计算机视觉中的多视图几何笔记文章标签：人工智能计算机视觉 3d 几何学矩阵

于 2025-02-24 08:00:00 首次发布

本文链接：https://blog.youkuaiyun.com/m0_74310646/article/details/145670472

版权

开始系统性补全MVG地图了，这是MVG这本书的Introduction，目的就是介绍本书解决的问题，以及对读者进行兴趣的引导，毕竟这是一本三维视觉的数学书——多视图几何，所以里面只是象征性的简单介绍一些概念与思想，但是这些前提基础还是很重要的。

这也国外教材受大家喜爱的原因，整个书读完心里是踏实的，不会因为某些知识点在逻辑链上的空缺而产生虚无缥缈的感觉，而这正是国内大多数教菜的通病：A认识B，C认识D，所以A和D是好朋友，作者不会告诉你B认识C，大概作者们都觉得读者只需要知道自己花了钱买书，并且使用汉语拼音读完了书就够了，至于读者知不知道B认识C，作者不会关心，并且在前言中写一句话就能甩锅：本书由于篇幅长时间短等原因，纰漏在所难免，请批评指正。。。

1.0 0帧起手——本章知识结构

开个好头——图片的本质，口语化来说，图片是计算机中符合我们人类视觉感知的东西，如果说图片在计算机中是一个矩阵，再本质一点是存储上的一堆二进制数字，应该没人反对，但是如果说图片在数学上是一个欧式空间，那可能会有人提出疑问：欧式空间中定义的两条平行线不可能相交！但是图片中两条平行线看起来是相交的！事实上我们确实生活中在欧式空间中，而我们的视觉感知并不是严格的欧式空间，所以我们在欧式空间的基础上，把平行线相交这一关键性质扩展进去，这样构建一个新的空间，这个空间就可以描述我们的视觉以及图片，并且在此基础上，我们可以研究视觉感知了——射影空间！
构建了射影空间以后呢？需要使用代数工具来解决射影空间中的问题，这个代数工具就是——其次坐标！
射影空间以及齐次坐标的引进：欧式空间内定义两条平行线相交于无穷远处（点），实际上，齐次坐标的最后一维就是尺度。
线性变换、仿射变换、射影变换及其性质。
仿射几何=射影平面+无穷远线，欧式几何=仿射几何+圆点。在二维情况下，欧几里得平面可以通过在射影平面中指定一条无穷远直线（Line at Infinity）和一对虚圆点（Circular Points）来定义。类似地，在三维情况下，欧几里得空间可以通过在射影空间中指定一个无穷远平面（Plane at Infinity）和上面的一个绝对圆锥曲线或者绝对二次曲线（AC）来定义。
$P$ 是一个相机矩阵，如果P是3*4，并且3D欧氏空间中的点经过 $P$ 投影到图像平面上。人话：相机外参（旋转|平移）。
图片是光心与3D点在图像平面上投影（连线穿过成像平面）得到的，因此图像平面=光心连接场景3D点射线的空间，因此同一相机中心的不同相机矩阵产生的不同图像是射影等价的，可以理解为，同一个相机的传感器属性一致，在哪都是那条线只不过朝向和位置不一样罢了。
相机标定/校准：找到三维欧式空间中的AC在图像平面上的投影，这是一个二维的圆锥曲线，也叫绝对二次曲线的像，人话：相机标定就是找到真实的3D场景与图片的对应关系。
两视图重建问题：已知图像 $I_{1}$ 、 $I_{2}$ 同一个相机产生，并且其中两个点 $x_\in I_{1}$ 对应于 $x^{'}\in I_{2}$ ，求：相机矩阵 $P$ 和 $P^{'}$ ，以及两个图像点对应的3D点 $X$ 。参考方法：求解对极约束问题，然后SVD分解出两个相机矩阵，然后进行三角测量，即已知两个相机矩阵，以及两个图像点，求解出3D点。人话：对极约束其实就是这两组光心+图像点+3D点位于同一平面。这个承接了上面的（图片是光心与3D点在图像平面上投影，光心，3d点，像素点三点位于一线，三角测量就是已知光心，像素点求3d点）
三视图重建问题有两种解决方法：第一种，类似两视，3D点在一张图像上的投影点，位于其余两种图像中各自的一条直线上，这样会得到一个三焦点张量，求解出来然后分解得到相机矩阵，再三角测量。第二种，使用两视图重建方法，两个两个的标定以及重建，两种方法各有优势
多视图重建问题：4视图以上求解焦点张量已经很费劲了，所以目前都使用增量式两视重建+捆绑调整。
转移（transfer）：已知两个相机矩阵、两个图像对应点，求另外一张图像上的对应点 $x^{''}$ ，第一种方法是先三角测量，然后投影到 $x^{''}$ 。第二种方法是利用三焦点张量。
利用射影变换进行三维重建的普遍模糊性，因为这个过程是存在误差的，并且这个误差难以消除，因为投影变换允许场景发生一些非欧几里得的变形（如拉伸、扭曲等）。
欧式重建：重建首先需要相机标定，故而这个阶段我们是通过射影变换完成的，其实这是有误差的，重建有时候产生拉伸变形就是因为这个原因，欧式重建是在这个阶段使用强约束产生更精确解来做的：总共N张图片，已知m个图像的标定信息，则m个图像平面的IAC对应的AC是IAC反投影圆锥的交线，通过计算出精确的AC来得到精确的IAC。
在没有任何相机校准知识的情况下，我们无法做到比投影重建更好的结果。

1.1 楔子-随笔射影几何

我们都很熟悉射影变换，当我们看一张图片时，我们看到的不是正方形的正方形，或者不是圆的圆。将这些平面对象映射到图片上的变换是投影变换的一个例子。那么射影变换保留了几何的哪些性质呢？当然，形状不是，因为圆可能看起来像椭圆。长度也不是，因为一个圆的两个垂直半径被射影变换拉伸了不同的量。角度、距离、距离比--这些都不被保留，而且看起来射影变换几乎不保留几何。然而，保持的性质是直性。事实证明，这是对映射的最一般要求，我们可以定义平面的射影变换为平面上点的任何保持直线的映射。

为了理解在计算机视觉中，为什么我们需要射影几何，我们从熟悉的欧几里德几何开始。这是描述对象的角度和形状的几何体。我们先从平行这一概念开始，在欧氏空间中，两条平行线永远不相交。但是，在我们日常生活的经验中，两条平行线好像确实是相交的，比如，我们看到的两条铁轨，在地平线上他似乎就是相交的，这是我们人类视觉系统造成的错觉，但是，在视觉领域中，这显然更符合人类的感知，而欧氏空间中我们已经规定两条平行线永远不相交，因此，我们在欧氏空间的基础上，约定两条平行线在无穷远处相交，以此扩展欧氏空间建立射影空间与几何，来解决计算机视觉中的问题！

齐次坐标

首先，我们先扩展坐标，以二维欧氏空间为例，在其后加一维即：(x, y)到(x, y，w)，比如(x, y)变成(x, y, 1)，并且规定(x, y, 1)和(kx, ky, k)=k(x, y, 1)是同一个点，所以无穷远点为(x, y, 0)，因为(x/0,y/0)是infinite的，这样我们就可以依次扩展三维欧氏空间得到三维射影空间的坐标系，甚至把欧氏空间扩展到n维射影空间。齐次坐标的最后一个坐标 T 是标量倍数，可以看作是一个缩放因子。当 T=1 时，齐次坐标退化为欧几里得坐标。