基于图像的三维重建——捆绑调整(6)

---

前言

Bundle Adjustment译为光束法平差或者束调整、捆绑调整。BA问题主要是对三维点位置和相机参数进行非线性优化，而我们可以把BA问题看成最小化重投影误差问题，同时这也是一个非线性最小二乘问题。

---

基础知识

重投影

由前面可知，我们可以通过特征点检测与匹配，得到多对特征匹配点，使用对极几何可以求得相机的位姿。由下面公式可得，我们可以通过空间点P的坐标求得空间点P投影在图像中的像素坐标，但是这个像素点坐标是先通过位姿估计，再通过公式计算出来的，相当于这个像素坐标是估算出来的。这个过程称为重投影。

重投影误差

如果完全没有误差，那么两者的坐标是一样的，但这是不可能的，不管是实际测量出来的像素坐标还是通过位姿估算+重投影计算出来的像素坐标，都是有误差的，将实际值和估算值一减，就得到了重投影误差。

最小化重投影误差

由于两张图片中有很多特征匹配点，将所有特征点重投影误差求和，取平方，再乘以1/2，这就构建了一个非线性最小二乘问题了，将里面的位姿、空间点作为优化的对象，最小化重投影误差，即得到一个优化后的结果，这就是所谓的BA。

无约束非线性最小优化问题

上述问题的最优解通常是指它的局部最优解，对初始值较为敏感，因此需要一个较好的初始值。

求解方法

BA问题被归结为一个非常大的非线性最小二乘问题，通常用Levenberg-Marquardt(LM)算法求解，但在介绍LM算法之前，分别介绍一下最速下降法和牛顿法。

最速下降法

算法介绍

在解决无约束问题时，经常用到的一类算法是最速下降法。
假设g($\theta$)在$\theta$_t处可微，则它在$\theta$_t处有Taylor展开式为（略去高阶不计）：

其中$\theta$=$\theta$_t+$\delta \theta$
可以看到，当（$\nabla$g($\theta$_t))^T$\delta \theta$<0时可保证g($\theta$)的值是在下降。
由$\Delta$g=g($\theta$)-$\theta$_t=($\nabla$g($\theta$_t))^T$\delta \theta$可见，函数变化量$\Delta$g为向量$\nabla$g($\theta$_t)与$\delta \theta$的内积，根据向量内积的计算公式，得$\Delta$g=||$\nabla$g( θ \theta