迭代估计方法---LM迭代

LM算法是介于牛顿法与梯度下降法之间的一种非线性优化方法，对于过参数化问题不敏感，能有效处理冗余参数问题，使代价函数陷入局部极小值的机会大大减小，这些特性使得LM算法在计算机视觉等领域得到广泛应用。
正规方程$N\Delta=J^TJ\Delta=J^T\epsilon$被增量正规方程$N\Delta=J^T\epsilon$，其中$N_{ii}'=(1+\lambda)N_{ii}$而且当$i\ne j$时，$N_{ij}'=N_{ij}$

分析

• 当$\lambda$较小时，同牛顿迭代法

• 当$\lambda$较大时，$J^TJ$的第$j$个对角元素是$\sum_{i=1}^m(\vartheta y_i/\vartheta x_j)^2$。可以忽略非对角元素。

  令$V_i$表示$\vartheta Y/\vartheta x_i$，则$J^TJ$的第$j$个对角元素是$V_i^TV_i$。忽略非对角元，$\vartheta x_i=(1+\lambda)^{-1}(V_i^T\epsilon )/||V_i||^2$
  注意，$\epsilon$是我们希望$f(X)$移动的方向。对于参数$x_i$，$V_i^T$是梯度方向，说明$x_i$增加单位距离，$f(X)$向$V_i^T$方向移动。$V_i^T\epsilon$大于0，说明，方向是靠谱的，可以增加$x_i$。$V_i^T\epsilon$小于0，说明，方向是反的，应该减少$x_i$。$(1+\lambda)^{-1}(V_i^T\epsilon )/||V_i||^2$的方向由$V_i^T\epsilon$调控，大小由其他参数调控。除以$||V_i||^2$使得梯度小的可以变化大一些，梯度大的要变化小一些。防止沿一个方向移动

• 通过参数$p_i$的增量，事实上是在方向$V_i$上移动。为什么不用牛顿法呢？当用牛顿法不能下降的时候，说明已经非常靠近极值点了。牛顿法是一阶近似，这个一阶导数在短距离是有效的，但是较大的时候无效。所以，应该减少步长。而$(1+\lambda)^{-1}$就起到了减少步长的作用