摄影测量中的计算机视觉之Reconstruction

最新推荐文章于 2024-12-24 14:49:09 发布

原创最新推荐文章于 2024-12-24 14:49:09 发布 · 300 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉

PCV 专栏收录该内容

16 篇文章

订阅专栏

本文详细介绍了从两幅图像中提取的匹配点出发，通过计算基础矩阵F，进而推导出本质矩阵E，利用SVD分解获取旋转矩阵R和平移向量T的过程，最终实现三维点的恢复。文中还探讨了如何选择正确的R和T，以及如何判断点在两个相机前的条件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Reconstruction

已知两幅图中的匹配点
$\left\{\boldsymbol{x}_{i}, \boldsymbol{x}_{i}^{\prime}\right\}$
估计camera matrix
$\mathbf{P}, \mathbf{P}^{\prime}$
和3D点.
$X$

1 第一步计算基础矩阵F
$\boldsymbol{x'}^{T} \mathbf{F} \boldsymbol{x}=0$
2 设第一个相机对应的camera matrix 为
$\mathbf{P}=[\mathbf{I} | \mathbf{0}]= \left[\begin{array}{llll} {1} & {0} & {0} & {0} \\ {0} & {1} & {0} & {0} \\ {0} & {0} & {1} & {0} \end{array}\right]$

世界坐标系和相机坐标系统一.

第二个相机对应的camera matrix为
$\mathbf{P'}=\mathbf{K}\left[\begin{array}{llll} {1} & {0} & {0} & {0} \\ {0} & {1} & {0} & {0} \\ {0} & {0} & {1} & {0} \end{array}\right]\left[\begin{array}{ll} {\mathbf{R}} & {\mathbf{t}} \\ {\mathbf{0}^{\mathrm{T}}} & {1} \end{array}\right]$

由于基础矩阵F是点在图像坐标系下的转化矩阵,而本质矩阵F是点在摄像机坐标系下的转化,因此,在这里我们需要得到本质矩阵E.
为什么?
因为我们得到图像坐标系下的点x是从世界坐标系到相机坐标系再到图像坐标系.
所以我们要求世界坐标系下的点X就需要从像素坐标系(求F)到图像坐标系(求E)再到世界坐标系(得到X).
所以现在求得F,就需要从F推出E.
公式如下:
$\mathbf{E}=\mathbf{K}^{\prime \top} \mathbf{F} \mathbf{K}$
E是由6个外参组成的.
$\mathbf{E}=[\mathbf{R} | \mathbf{T}]$
现在如何分解E求得R和T呢?
用SVD
$\mathbf{E}=\mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^{\top}$
之前有说过,这样分解出来秩不一定等于2,所以需要调整.
令 $\mathbf{W}=\left[\begin{array}{ccc} {0} & {-1} & {0} \\ {1} & {0} & {0} \\ {0} & {0} & {1} \end{array}\right]$
还有就是U和V的行列式都必须要大于0,如果不大于0,需要乘-1让其大于0.
这里我也不知道原因.
$\operatorname{det}(U)>0 \wedge \operatorname{det}(V)>0$
不过我之前有看过说也可以判断R的行列式是不是等于1的.因为R的行列式等于-1意味着旋转和反射? 不是很懂. 求解.

总之这样弄下来,我们可以得到两个R,两个T.
$\mathbf{R}_{1}=\mathbf{U} \mathbf{W} \mathbf{V}^{\top} \quad \mathbf{R}_{2}=\mathbf{U} \mathbf{W}^{\top} \mathbf{V}^{\top} \quad \mathbf{T}_{1}=U_{3} \quad \mathbf{T}_{2}=-U_{3}$
所以到底该选择哪个R和T组成H(外参对应的矩阵)呢?
$H=\left[\begin{array}{cc} {\mathbf{R}} & {\mathbf{t}} \\ {\mathbf{0}^{\mathrm{T}}} & {1} \end{array}\right]$