vSLAM学习笔记——高斯牛顿法

---

高斯牛顿法

高斯牛顿法的思想是将$f(x)$进行一阶的泰勒展开：
$$f(x+\Delta x)\approx f(x)+J(x{)}^T\Delta x$$
当前目标是寻找增量$\Delta x$，使得$||f(x+\Delta x)|{|}^2$达到最小。为了求$\Delta x$，我们需要解一个线性的最小二乘问题：
$$\Delta x^{\ast }=\arg \underset{\Delta x}{\min }\frac{1}{2}\Vert f(x)+J(x{)}^T\Delta x{\Vert }^2$$
对上述目标函数对$\Delta x$求导，并令其导数为零：
$$J(x)f(x)+J(x)J(x{)}^T\Delta x=0$$
可以得到如下方程组：
$$\underset{H(x)}{\underbrace{J(x)J(x{)}^T}}\Delta x=\underset{g(x)}{\underbrace{-J(x)f(x)}}$$
该方程式关于变量$\Delta x$的线性方程组，称为增量方程，也可以称为高斯牛顿方程或者正规方程。将上式左边系数定义为$H$，右边定义为$g$，则上式变为：
$$H\Delta x=g$$
此处对比牛顿法可见，高丝牛顿法用$J{J}^T$作为牛顿法中二阶$Hessian$矩阵的近似，从而省略了计算$H$的过程。

算法步骤

1. 给定初始值$x_0。$
2. 对于第k次迭代，求出当前的雅克比矩阵$J(x_k)$和误差$f(x_k)$。
3. 求解增量方程：$H\Delta x_k=g$。
4. 若$\Delta x_k$足够小，则停止。否则，令$x_{k+1}=x_k+\Delta x_k$，返回第$2$步。

讨论

为了求解增量方程，需要求解$H^{-1}$，因此要求$H$为正定矩阵。但实际过程中可能出现$J{J}^T$为奇异矩阵或者病态的情况，此时增量的稳定性较差，导致算法不收敛。