Multiple View Geometry(多视图几何)学习笔记（21）—计算摄像机矩阵P

              计算摄像机矩阵P

1.基本方程

$$\left(\begin{array}{ccc}{0}^T& -w_i{X}_i^T& y_i{X}_i^T\\ w_i{X}_i^T& 0^T& -x_i{X}_i^T\end{array}\right)\left(\begin{array}{c}{P}^1\\ P^2\\ P^3\end{array}\right)=0$$

最小配置解

  矩阵$P$有12 个元素和(忽略缩放因子)11个自由度，所以解$P$需要11个方程。给定这个最小数目的对应时，解是精确的，即空间的点准确地投影到它们被测量的图像上。

超定解

  如果由于点坐标的噪声导致数据不精确并且给定$n\ge 6$组点对应， 那么$Ap=0$将不存在精确解。$P$的解可以通过最小化一个代数或几何误差来获得。求$\Vert Ap\Vert$的最小值,可能的约束是:

1. $\Vert p\Vert =1$
2. $\Vert {\hat{p}}^3\Vert =1$，其中${\hat{p}}^3$是由$P$最后一行的前三个元素组成的矢量$(p_{31},p_{32},p_{33}{)}^T$

退化配置

1. 摄像机中心和点都在一条三次绕线上。
2. 这些点都在一张平面和包含摄像机中心的一条直线的并集上。

数据归一化

  当点到摄像机的深度变化相对比较小时，采用同样类型的归一化。 因此， 把点的形心平移到原点，并对它们的坐标进行缩放使它们到原点的RMS(均方根)距离等于$\sqrt{3}$。适用于点紧致分布的情形。

直线对应

  3D 中的直线可以用它通过的两点$X_0$和$X_1$来表示。由图像直线$l$反向投影得到的平面为$P^{T}l$。那么点$X_j$在该平面上的条件是:
$$l^{T}P{X}_j=0,其中0,1$$

2.几何误差

  图像中的几何误差是:
$$\sum _{i}d(x_i,{\hat{x}}_i{)}^2$$
  其中$x_i$是被测量的点，${\hat{x}}_i$是点$P{X}_i$，即$X_i$在$P $作用下的精确的图像点.如果测盘误差满足高斯分布，那么
$$\underset{P}{\min }\sum _{i}d(x_i,P{X}_i{)}^2$$

  解是$P$的最大似然估计。

世界点有误差

  $3D$几何误差定义为:
$$\sum _{i}d(X_i,{\hat{X}}_i{)}^2$$

  如果世界和图像点的误差都考虑:
$$\sum _{i=1}{d}_{Mah}(x_i,P{\hat{X}}_i{)}^2+d_{Mah}(X_i,{\hat{X}}_i{)}^2$$
  $d_{Mah}$表示误差协方差矩阵的Mahalanobis 距离。

代数误差的几何解释

  假定所有的点$X_i$在$DLT$算法中已经归一化，$DLT$算法要最小化的量是：
$${\sum }_i({\hat{w}}_{i}d(x_i,{\hat{x}}_i){)}^2$$

  其中${\hat{w}}_i({\hat{x}}_i,{\hat{y}}_i,1{)}^T=P{X}_i$，${\hat{w}}_i$可以解将成点$X_i$沿主轴方向到摄像机的深度，要最小化的代数误差等于$f{\sum }_{i}d(X_i,X_i^{\prime }{)}^2$

变换不变性
  在约束$\Vert {\hat{p}}^3\Vert =1$，下最小化$\Vert Ap\Vert$可以解释成最小化$3D$几何距离。这样既不受$3D$空间也不受图像空间的相似变换的影响。

仿射摄像机的估计

  上面有关射影摄像机推导的方法可以直接用于仿射摄像机。仿射摄像机定义为射影矩阵的最后一行是$(0，0，0，1)$的摄像机。.仿射摄像机的$DLT$估计是在$P$的最后一行满足上述条件下最小化$\Vert Ap\Vert$。

3.受限摄像机估计

  在关于摄像机参数的限制条件下寻求一个最适配的摄像机矩阵$P$ 。 通常的限制是：

• 扭曲$s$为零
• 像素是正方形:${\alpha }_x={\alpha }_y$
• 主点$(x_0,y_0{)}^2$已知
• 整个摄像机标定矩阵$K$已知

最小化几何误差

  假定我们强调约束$s=0$和${\alpha }_x={\alpha }_y$，用余下的9 个参数来参数化摄像机矩阵。几何误差可以用迭代最小化方法相对于这组参数来最小化。

最小化代数误差

  考虑把参数集$q$映射到摄像机矩阵$P$的参数化映射$g$,最小化所有点匹配的代数误差等价于最小化$\Vert Ag(q)\Vert$

简化的测量矩阵
  一般，$2n\times 12$的矩阵$A$可能有很多行。但可用一个$12\times 12$的矩阵$\hat{A}$代替A，使得对任何矢量$p$有$\Vert Ap\Vert =p^T{A}^{T}Ap=\Vert \hat{A}p\Vert$。

初始化

  求摄像机初始参数的一种途径是:

1. 用诸如$DLT$的线性算法求出一个初始的摄像机矩阵
2. 把固定参数强制到所希望的取值范围
3. 把摄像机矩阵分解所获得的初始值赋给参数变量

外部校准
  为了计算外部校准，需对世界坐标位置准确已知的一个配置进行影像。之后求摄像机的姿态。在机器人系统的手眼标定中求摄像机位置就是这样的情形;还有在采用配准技术的基于模型的识别中，需要知到物体相对摄像机的位置。

协方差估计

  假定所有的误差仅发生在图像测量中， ML 残差期望值等于：
$${\epsilon }_{res}=\delta (1-d/2n{)}^{1/2}$$

  其中$d$主要拟合的摄像机参数数目(对完整的针孔摄像机模型是11) 。给定一个残差， 该公式也可以用来估计点测量的准确性。

4.径向失真

  用$（\tilde{x},\tilde{y}{）}^T$标记在理想(非失真)针孔投影下点以焦距为测量单位的坐标。对一点$X$有：
$$（\tilde{x},\tilde{y},1{）}^T=[I|0]X_{cam}^{}$$

  其中$X_{cam}$是摄像机坐标下的$3D$点,实际的投影点通过一个径向位移与理想点关联。因此，径向(透镜)失真的模型是：
$$\left(\begin{array}{c}{x}_d\\ y_d\end{array}\right)=L(\tilde{r})\left(\begin{array}{c}\tilde{x}\\ \tilde{y}\end{array}\right)$$
  其中:

• $（\tilde{x},\tilde{y}{）}^T$是理想图像位置(遵循线性投影)
• $(x_d,y_d)$经径向失真后的实际图像的位置
• $\tilde{r}$为到径向失真中心的径向距离$\sqrt{{\tilde{x}}^2+{\tilde{y}}^2}$
• $L(\tilde{r})$是一个失真因子，它仅仅是半径 $\tilde{r}$的函数

失真矫正

  在像素坐标中，失真矫正记为:
$$\hat{x}=x_c+L(r)(x-x_c),\hat{y}=y_c+L(r)(y-y_c)$$

• $(x,y{)}^T$是测量的坐标
• $(\hat{x},\hat{y}{)}^T$是矫正后的坐标
• $(x_c,y_c{)}^T$是径向失真的中心且$r^2=(x-x_c{)}^2+(y-y_c{)}^2$注意如果长宽比不是1 ，那么在计算$r $时必须对它进行矫正。

失真函数和中心的选择

  函数$L(r)$仅当$r$为正值时有定义并且$L(0)=1$。一个任意函数
$L(r)$的逼近可以由泰勒展开式$L(r)=1+{\kappa }_{1}r+{\kappa }_2{r}^2+{\kappa }_3{r}^3+...$。{κ1,κ2,κ3,..,xc,yc}\left \{ \kappa _1,\kappa _2,\kappa _3,..,x_c,y_c\right \}{κ1​,κ2​,κ3​,..,xc​,yc​}是径向矫正的系数。主点经常被用作径向失真的中心，虽然它们未必完全重合。

计算失真函数

  函数$L(r)$可以通过最小化一个基于映射的线性偏差的代价函数来计算。失真函数可以作为影像过程的一部分， 把参数${\kappa }_i$与$P$ 一起在几何误差的最小化迭代中计算。