多视图几何(13)_仿射对极几何

仿射对极几何

仿射摄像机非常有用并且是许多实际情形的很好的近似，其最大优点在于：由于它的线性特征，许多最优算法可以用线性代数实现，而针对摄影摄像机的解法或者涉及到高阶多项式或者仅能用数值最小化才能实现

仿射对极几何

• 对极线：考虑第一幅视图中的两点$x_1,x_2$，这些点反投影为$3D$空间中的平行射线，因为所有投影射线是平行的，在第二幅视图中的对极线是反投影的射线的图像。这两条射线在第二幅视图中的图像也是平行的，因为一个仿射摄像机把平行场景直线映射到平行图像直线。因此，所有对极线平行，对极平面也是如此
• 对极点：因为对极线相交于对极点，并且所有对极线是平行的，所以对极点在无穷远处

仿射基本矩阵

• $F_A$是秩为$2$且自由度为$4$的其次矩阵，它的形式为
  $$F_A=\left[\begin{array}{ccc}0& 0& a\\ 0& 0& b\\ c& d& e\end{array}\right]$$

• 点对应：如果$x,x^{\prime }$是仿射摄像机下的对应图像点，那么$x^{\prime T}{F}_{A}x=0$，对于有限点
  $$a{x}^{\prime }+b{y}^{\prime }+cx+dy+e=0$$

• 对极线

  • $I^{\prime }=F_{A}x=(a,b,cx+dy+e{)}^T$是对应于$x$的对极线
  • $I=F_A{x}^{\prime }=(c,d,ax+by+e{)}^T$是对应于$x^{\prime }$的对极线

• 对极点

  • 由$F_{A}e=0$得$e=(-d,c,0{)}^T$
  • 由$F_A^T{e}^{\prime }=0$得$e^{\prime }=(-b,a,0{)}^T$

• 由摄像机矩阵$P_A,P_A^{\prime }$计算

  • 一般摄像机

    $F_A=[e^{\prime }{]}_{\times }{P}_A^{\prime }{P}_A^{+}$，其中$e^{\prime }$是$e^\prime=P_A\prime C $所确定的对极点

  • 规范摄像机
    $$\begin{gathered} P_A=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right]\text{ , }{P}_A^{\prime }=\left[\begin{array}{cccc}& M_{2\times 3}& & t\\ 0& 0& 0& 1\end{array}\right] \\ a=m_{23},b=-m_{13},c=m_{13}{m}_{21}-m_{11}{m}_{23} \\ d=m_{13}{m}_{22}-m_{12}{m}_{23},e=m_{13}{t}_2-m_{23}{t}_1 \end{gathered}$$

由图像点对应估计$F_A$

由匹配点$x\leftrightarrow x^{\prime }$的方程$x^{\prime T}{F}_{A}x=0$定义，给定足够多的点就可以计算出$F_A$。

线性算法

由$Af=0$可以算出。由点对应计算两视图关系等价于在$I{R}^4$中由点$x,y,x^{\prime },y^{\prime }$拟合一个曲面，对于方程为$x^{\prime T}{F}_{A}x=0$的情形，该关系关于坐标是线性的，因此由仿射基本矩阵定义的族${\mathcal{V}}_{F_A}$是一个超平面。

由此得到两个简化

• 求$F_A$的最优估计可以形式化为平面拟合问题
• $Sampson$误差等于几何误差，而对一般基本矩阵的情形，它只是一个一阶近似，Sampson近似的切平面等于该曲面

黄金标准算法

在仿射变换下，最小化几何距离$\min {\sum }_{i}d(x_i,{\hat{x}}_i{)}^2+d(x_i^{\prime },{\hat{x}}_i^{\prime }{)}^2$等价于求一个超平面问题,即用一张超平面拟合$I{R}^4$中的一组点$X_i=(x_i^{\prime },y_i^{\prime },x_i,y_i{)}^T$，估计点$\widehat{X_i}=({\hat{x}}_i^{\prime },{\hat{y}}_i^{\prime },{\hat{x}}_i,{\hat{y}}_i)$满足方程${\hat{x}}_i^{\prime }{F}_A{\hat{x}}_i=0$，等价于$({\hat{X}}_i,1)f=0$，其中$f=(a,b,c,d,e{)}^T$表示超平面，最小化问题就变成了求平面$f$最小化测量点和估计点之间距离的平方，即
$$\mathcal{C}=\sum _i{d}_{\perp }(X_i,f{)}^2=\frac{1}{a^2+b^2+c^2+d^2}\sum _i(a{x}_i^{\prime }+b{y}_i^{\prime }+c{x}_i+d{y}_i+e{)}^2$$
把超平面的法向量记为$N=(a,b,c,d{)}^T$，则
$$\mathcal{C}=\frac{1}{\parallel N{\parallel }^2}\sum _i(N^T{X}_i+e{)}^2$$
等价于经典的平面正交回归问题，算法步骤如下

1. 关于参数$e$最小化$\mathcal{C}$，求得$\frac{\partial \mathcal{C}}{\partial e}=0$，得到此时$e$的值代入$\mathcal{C}$得
   $$\mathcal{C}=\frac{1}{\parallel N{\parallel }^2}\sum _i(N^T\Delta X_i{)}^2,\Delta X_i=X_i-\overline{X}$$
2. 最小化这个关于$N$的简化的代价函数，令$A$表示行向量为$\Delta X_i^T$的矩阵，有
   $$=\parallel AN{\parallel }^2/\parallel N{\parallel }^2$$

目标

给定$n\ge 4$组图像点对应 { x i ↔ x i ′ } \{\pmb x_i \leftrightarrow \pmb x_i^\prime\} {xi​↔xi′​}，确定仿射基本矩阵的最大似然估计$F_A$

算法

把对应表示为$X_i=(x_i^{\prime },y_i^{\prime },x_i,y_i{)}^T$

1. 计算形心$\overline{X}=\frac{1}{n}{\sum }_i{X}_i$，并中心化各向量$\Delta X_i=X_i-{\overline{X}}_i$
2. 计算行向量为$\Delta X_i^T$的$n\times 4$矩阵$A$
3. $N=(a,b,c,d{)}^T$是$A$的对应最小奇异值的奇异向量，而$e=-N^T\overline{X}$

最小配置

目标

给定$4$组图像点对应 { x i ↔ x i ′ } \{\pmb x_i \leftrightarrow \pmb x_i^\prime\} {xi​↔xi′​}，确定仿射基本矩阵

算法

前$3$个$3D$点$X_i$定义一张平面$\pi$

1. 计算仿射变换矩阵$H_A$，使得$x_i^{\prime }=H_A{x}_i,i=1,2,3$
2. 根据$I^{\prime }=(H_A{x}_4)\times x_4^{\prime }$确定第二幅视图中的对极线，由此得对极点$e^{\prime }=(-l_2^{\prime },l_1^{\prime },0{)}^T$
3. 任意点$x$在第二幅视图中的对极线是$e^{\prime }\times (H_{A}x)=F_{A}x$，因此$F_A=[(-l_2^{\prime },l_1^{\prime },0{)}^T{]}_{\times }{H}_A$

其中第$4$个点与另外三个点不能共面

三角测量

$$\hat{X}=X-d_{\perp }\frac{N}{\parallel N\parallel }$$

仿射重构

假设有$n\ge 4$组图像点对应，并假设没有噪声，那么可以计算$3D$点和摄像机的重构。在摄影摄像机的情形下重构是射影的，对于仿射情形，重构是仿射的【存疑】

Necker反转和浅浮雕多义性

• Necker反转：在平行投影下，一个物体旋转$\rho$和镜像旋转$-\rho$产生同样的图像。因此结构只能恢复到与前置平面相差一个反射。这种多义性在透视情况下不存在，因为点在这两种解释下有不同的深度，不会投影到同一点
• 浅浮雕多义性：深度参数$\Delta Z$和旋转参数$\sin \rho$混淆在一起，并不能被分别确定——只能计算它们的乘积。因此一个浅的物体经历了一个大的转动和一个深度物体经历了一个小的转动产生同样的图像

计算运动

对两个弱透视摄像机给出$F_A$计算摄像机运动的表达式
$$P=\left[\begin{array}{ccc}{\alpha }_x& & \\ & {\alpha }_y& \\ & & 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right]\text{ , }{P}^{\prime }=\left[\begin{array}{ccc}{\alpha }_x^{\prime }& & \\ & {\alpha }_y^{\prime }& \\ & & 1\end{array}\right]\left[\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right]$$
其中$r^1,r^2$是视图之间的旋转$R$的第一行和第二行。假设两个摄像机的高宽比${\alpha }_x/{\alpha }_y$已知，但其相对尺度位置$s={\alpha }_x/{\alpha }_x^{\prime }$未知。由两幅弱视图不能完全计算出旋转$R$，因为存在浅浮雕多义性，但其余的运动参数可以由$F_A$计算得到。

为此，采用另一种旋转表示，可以将浅浮雕多义性的参数$\rho$分离出来。将旋转分解为
$$R=R_{\rho }{R}_{\theta }$$

首先，在图像平面上有一个角度为$\theta$的轮式旋转$R_{\theta }$，接着是绕轴$\Phi$，角度为$\rho$的旋转$R_{\rho }$，$\Phi$的方向平行于图像平面并且与正$X$轴的夹角为$\varphi$，即一个转出图像平面的纯旋转
$$\tan \varphi =\frac{b}{a},\tan (\varphi -\theta )=\frac{d}{c},s^2=\frac{c^2+d^2}{a^2+b^2}$$