Levenberg–Marquardt算法

Levenberg-Marquardt 算法

最优估计算法中通常的做法都是写一个代价函数，并迭代计算最小化代价函数。
解决非线性最小二乘问题的方法有高斯牛顿法等，下面介绍Levenberg-Marquardt 算法：

1. 算法描述

以下引用自维基百科

问题描述

假设 $f$是一个从${\Re }^m\to {\Re }^n$ 的非线性映射，也就是说$\mathbf{P}\in {\Re }^m$ 且 $\mathbf{X}\in {\Re }^n$ 那么:
$f(\mathbf{P})=\mathbf{X}$

而我们的目的就是希望任意给定一个 $\mathbf{x}$ 以及合理的初始值 ${\mathbf{p}}_0$ ，我们能找到一个 ${\mathbf{p}}^{+}$，使得 ${ϵ}^Tϵ$ 尽量小（局部极小），其中 $ϵ=f({\mathbf{p}}^{+})-\mathbf{x}$。

解法

像大多数最小化的方法一样，这是一个迭代的方法。首先根据泰勒展开式我们能把 $f(\mathbf{p}+{\delta }_{\mathbf{p}})$写为下面的近似，这有两个好处：第一是线性、第二是只需要一阶微分。

$f(\mathbf{p}+{\delta }_{\mathbf{p}})\approx f(\mathbf{p})+\mathbf{J}{\delta }_{\mathbf{p}}$

其中 $\mathbf{J}$ 是 $f$ 的雅可比矩阵。对于每次的迭代我们这么做：假设这次 iteration 的点是 ${\mathbf{p}}_k$，我们要找到一个 ∣ x − f ( p + δ p , k ) ∣ ≈ ∣ x − f ( p ) − J δ p , k ∣ = ∣ ϵ k − J δ p , k ∣ |{\mathbf {x}}-f({\mathbf {p}}+{\mathbf {\delta }}_{ { {\mathbf {p}},k}})|\approx |{\mathbf {x}}-f({\mathbf {p}})-{\mathbf {J{\mathbf {\delta }}_{ { {\mathbf {p}},k}}}}|=|{\mathbf {\epsilon }}_{ {k}}-{\mathbf {J{\mathbf {\delta }}_{ { {\mathbf {p}},k}}}}| ∣x−f(p+δp,k​)∣≈<