Levenberg-Marquardt Algorithm

对于最小二乘问题，我们的优化目标是：
1
上面公式中的1/2是为了求导时看起来更美观这里：
2
r的雅克比矩阵：
3
有了雅克比矩阵，我们可以在计算梯度函数时，非常方便：
4
上面的结尾可以知道：有了雅克比矩阵，就知道了hessian矩阵的一部分，并且不增加计算量（这很重要），并且也正是因为这一点算法可以高效的解决最小二乘问题。要理解这一点，请记住，对于其他所有基于梯度下降的算法，我们都是通过泰勒级数（最高到2阶,hessian项）来近似求解函数。
泰勒级数：
5
如果||r(x)||是x的线性函数（f(x)就是二次函数），那么其雅克比矩阵就是常数，并且 6
对所有的j成立。
在这里，替换公式4中的两个公式到泰勒级数并求导：
7
同样：
8
这是一个线性最小二乘问题，有解。在理想情况下我们可以看到，这就是一个：Ax = b （在这里A = Jt*J是一个方阵，b = -Jt*r(x)）,并能够直接求解：
9
然后这样计算量很大，并且在数值上很不稳定，所有我们需要用线性代数使用不同的方法来找到x的解，例如Cholesky 分解，QR分解，或者是SVD。我们将使用SVD，SVD分解如下：
10
U、V是正交矩阵，为了将他应用到最小二乘问题我们计算Jt*J的SVD分解，并替换掉公式8：
11
在这里ABt = BtAt。
我们可以更深入一点，在这里J不是方阵的情况。（未完，待续）