多视图几何

最新推荐文章于 2025-06-16 14:50:29 发布

algzjh

最新推荐文章于 2025-06-16 14:50:29 发布

阅读量1.3k

点赞数

分类专栏： # 计算机视觉文章标签：多视图几何

计算机视觉专栏收录该内容

7 篇文章

订阅专栏

本文介绍多视图几何的基本原理，包括外极几何、基础矩阵计算、照相机矩阵恢复等内容，并探讨如何从多个视图中恢复三维结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、外极几何
如果有一个场景的两个视图以及视图中的对应图像点，那么根据照相机间的空间相对位置关系、照相机的性质以及三维场景点的位置，可以得到对这些图像点的一些几何关系约束。

三维场景点 $X$ 经过4×4的单应性矩阵 $H$ 变换为 $HX$ 后，则 $HX$ 在照相机 $PH^{-1}$ 里得到的图像点和 $X$ 在照相机 $P$ 里得到的图像点相同。
$\lambda x =PX=PH^{-1}HX=\hat H \hat X$

因此，当我们分析双视图几何关系时，总是可以将照相机间的相对位置关系用单应性矩阵加以简化。这里的单应性矩阵通常只做刚体变换，即值通过单应性矩阵变换了坐标系。一个比较好的做法是，将原点和坐标轴与第一个照相机对齐。
$P_1=K_1[I|0]$ 和 $P_2=K_2[R|t]$
其中 $K_1$ 和 $K_2$ 是标定矩阵， $R$ 是第二个照相机的旋转矩阵， $t$ 是第二个照相机的平移向量。

同一个图像点经过不同的投影矩阵产生的不同投影点必须满足
$x_2^TFx_1=0 \tag{*}$
其中：
$F=K_2^{-T}S_tRK_1^{-1}$
矩阵 $S_t$ 为反对称矩阵：
$S_t=\left[ \begin{matrix} 0 & -t_3 & t_2 \\ t_3 & 0 & -t_1 \\ -t_2 & t_1 & 0 \end{matrix} \right]$
公式 $*$ 为外极约束条件，矩阵 $F$ 为基础矩阵，基础矩阵可以由两照相机的参数矩阵（相对于旋转 $R$ 和平移 $t$ ）表示。由于 $det(F)=0$ ，所以基础矩阵的秩小于等于2，我们将在估计 $F$ 的算法中用到这些性质。

上述公式表明，我们可以借助 $F$ 来恢复出照相机参数，而 $F$ 可以从对应的投影图像点计算出来。在不知道照相机内参数（ $K_1$ 和 $K_2$ ）的情况下，仅能恢复照相机的投影变换矩阵。在知道照相机内参数的情况下，重建是基于度量的。

第二个视图中的图像点 $x_2$ ，利用公式 $*$ ，我们找到对应第一幅图像的一条直线：
$x_2^TFx_1=l_1^Tx_1=0$
其中 $l_1^Tx_1=0$ 是第一幅图像中的一条直线。这条直线称为对应于点 $x_2$ 的外极线，点 $x_2$ 在第一幅图像中的对应点一定在这条直线上。所以，基础矩阵可以将对应点的搜索限制在外极线上。

外极线都经过一点 $e$ ，称为外极点（另一照相机光心对应的图像点），因为外极点在所有的外极线上，所以 $Fe_1=0$ ，因此，我们可以通过计算 $F$ 的零向量来计算出外极点。同理，另一个外极点可以通过计算 $e_2^TF=0$ 得到。

2、计算 $F$ ：八点法
八点法是通过对应点来计算基础矩阵的算法。
外极约束可以写成线性系统的形式：

[\begin{matrix} x_{2}^{1} x_{1}^{1} & x_{2}^{1} y_{1}^{2} & x_{2}^{1} w_{1}^{1} & \dots & w_{2}^{1} x w_{1}^{1} \\ x_{2}^{2} x_{1}^{2} & x_{2}^{2} y_{1}^{2} & x_{2}^{2} w_{1}^{2} & \dots & w_{2}^{2} w_{1}^{2} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ x_{2}^{n} x_{1}^{n} & x_{2}^{n} y_{1}^{n} & x_{2}^{n} w_{1}^{n} & \dots & w_{2}^{n} x w_{1}^{n} \end{matrix}] [\begin{matrix} F_{11} \\ F_{12} \\ F_{13} \\ ⋮ \\ F_{33} \end{matrix}] = A f = 0

$\left[ \begin{matrix} x_2^1x_1^1 & x_2^1y_1^2& x_2^1w_1^1& \cdots &w_2^1xw_1^1 \\ x_2^2x_1^2 & x_2^2y_1^2& x_2^2w_1^2& \cdots &w_2^2w_1^2 \\ \vdots & \vdots& \vdots &\ddots & \vdots \\ x_2^nx_1^n& x_2^ny_1^n& x_2^nw_1^n& \cdots &w_2^nxw_1^n \end{matrix}\right]\left[ \begin{matrix} F_{11} \\ F_{12} \\ F_{13} \\ \vdots \\ F_{33} \end{matrix}\right]=Af=0$

其中， $f$ 包含 $F$ 的元素， $X_1^i=[x_1^i,y_1^i,w_1^i]$ 和 $X_2^i=[x_2^i,y_2^i,w_2^i]$ 是一对图像点，共有 $n$ 对对应点。
基础矩阵中共有9个元素，由于尺度是任意的，所以只需要8个方程。
我们通常用SVD算法来计算最小二乘解。由于算法得出的解可能秩不为2（基础矩阵的秩小于等于2），所以我们通过将最后一个奇异值置0来得到秩最接近2的基础矩阵。

3、照相机和三维结构的计算
三角剖分
给定照相机参数模型，图像点可以通过三角剖分来恢复出这些点的三维位置。
对于两个照相机 $P_1$ 和 $P_2$ 的视图，三维实物点 $X$ 的投影为 $x_1$ 和 $x_2$

[P 1 P 2 - x 1 0 0 - x 2] ⎡ ⎣ ⎢ X λ 1 λ 2 ⎤ ⎦ ⎥ = 0

$\left[ \begin{matrix} P_1 & -x_1& 0 \\ P_2 & 0 & -x_2 \end{matrix} \right]\left[ \begin{matrix} X \\ \lambda_1 \\ \lambda_2 \end{matrix} \right]=0$
我们可以通过SVD算法来得到三维点的最小二乘估计值。

4、由三维点计算照相机矩阵
如果已经找到了一些三维点及其图像投影，我们可以使用直接线性变换的方法来计算照相机矩阵 $P$ 。本质上，这是三角剖分方法的逆问题，有时我们将其称为照相机反切法。利用该方法恢复照相机矩阵同样也是一个最小二乘问题。

每个三维点（齐次坐标下）按照 $\lambda_ix_i=PX_i$ 投影到图像点 $x_i=[x_i,y_i,1]$ ，相应的点满足下面的关系

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ X T 1 00 X T 2 00 ⋮ 0 X T 1 00 X T 2 0 ⋮ 00 X T 1 00 X T 2 ⋮ - x 1 - y 1 - 1 000 ⋮ 000 - x 2 - y 2 - 1 ⋮ 000000 ⋮ \dots \dots \dots \dots \dots \dots ⋮ ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ P T 1 P T 2 P T 3 λ 1 λ 2 ⋮ ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = 0

$\left[ \begin{matrix} X_1^T & 0& 0 & -x_1 & 0 & 0 & \cdots \\ 0 & X_1^T & 0 & -y_1 & 0 & 0 & \cdots \\ 0 & 0 & X_1^T & -1 & 0 & 0 & \cdots \\ X_2^T & 0 & 0 & 0 & -x_2 & 0 & \cdots \\ 0 & X_2^T & 0 & 0 & -y_2 & 0 & \cdots \\ 0 & 0 & X_2^T & 0 & -1 & 0 & \cdots \\ \vdots & \vdots & \vdots & \vdots & \vdots & \vdots & \vdots \end{matrix}\right]\left[ \begin{matrix} P_1^T \\ P_2^T \\ P_3^T \\ \lambda_1 \\ \lambda_2 \\ \vdots \end{matrix} \right]=0$
其中，

p1p1 $p_1$ 、

p2p2 $p_2$ 和

p3p3 $p_3$ 是矩阵

PP $P$ 的三行，上面的式子可以写得更紧凑，如下所示

M v = 0

$Mv=0$
然后，我们可以使用SVD分解估计出照相机矩阵。

5、由基础矩阵计算照相机矩阵
在两个视图的场景中，照相机矩阵可以由基础矩阵恢复出来。假设第一个照相机矩阵归一化为 $P_1=[I|0]$ ，现在我们需要计算出第二个照相机矩阵 $P_2$ ，研究分为两类，未标定的情况和已标定的情况

（1）未标定的情况——投影重建
重建只能由射影变换计算出来
因此，在无标定的情况下，第二个照相机矩阵可以使用一个3×3的射影变换的得出，一个简单的方法是
$P_2=[S_eF|e]$
其中， $e$ 是左极点，满足 $e^TF=0$ ， $S_e$ 是反对称矩阵。使用该矩阵做出的三角剖分很有可能会发生畸变，如倾斜的重建。

（2）已标定的情况——度量重建
在已标定的情况下，重建会保持欧式空间的一些度量特性。
给定标定矩阵 $K$ ，我们可以将它的逆 $K^{-1}$ 作用于图像点 $x_K=K^{-1}x$ ，因此，在新的图像坐标系下，照相机方程变为
$x_k=K^{-1}K[R|t]X=[R|t]X$
在新的图像坐标系下，点同样满足之前的基础矩阵方程
$x_{K2}^TFx_{K1}=0$
在标定归一化的坐标系下，基础矩阵称为本质矩阵。为了区别未标定的情况，以及归一化了的图像坐标，我们通常将其记作 $E$ ，而非 $F$