38、相机矩阵与三维重建：原理、算法及流程详解

相机矩阵与三维重建：原理、算法及流程详解

在计算机视觉领域，多相机系统的研究对于三维场景重建至关重要。本文将深入探讨本质矩阵、基础矩阵的相关性质、分解方法以及如何利用它们实现基于双视图的三维场景重建。

本质矩阵

本质矩阵是一个3×3的矩阵，它捕捉了两个相机之间的几何关系，具有秩为2的特性，即$\det[E] = 0$。其前两个奇异值始终相同，第三个为零。本质矩阵仅取决于相机之间的旋转和平移，每个分别有三个参数，本应具有6个自由度，但由于它作用于齐次变量$\tilde{x}_1$和$\tilde{x}_2$，存在尺度上的模糊性，即乘以任何常数都不改变其性质，因此通常认为具有5个自由度。

由于自由度少于未知量，矩阵的九个元素必须遵循一组代数约束，可简洁表示为：
$2E E^T E - \text{trace}[E E^T]E = 0$

这些约束有时会在本质矩阵的计算中被利用。

本质矩阵的性质

• 对极线的提取 ：在齐次坐标中，点在直线上的条件可表示为$l\tilde{x} = 0$，其中$l = [a,b,c]$是表示直线的1×3向量。对于本质矩阵关系$\tilde{x}_2^T E \tilde{x}_1 = 0$，由于$\tilde{x}_2^T E$是1×3向量，所以$l_1 = \tilde{x}_2^T E$是图像2中的点$x_2$在图像1中对应的对极线，同理$l_2 = \tilde{x}_1^T E^T$是图像1中的点$x_1$在图像2中对应的对极线。
• 对极点的提取 ：图像1中的每条对极线