boksic的专栏

基础LM法mu的计算收敛条件算法流程结论信赖域法注意到关于LM法网上大部份资料内容比较混乱，主要是因为LM法是可以从两个不同的视角看的。一种是看作介于高斯牛顿和梯度下降法之间的一种算法，另一种是作为一种信赖域的算法来看，而两种视角下虽然最后结论比较相似，但公式推导的思路差别会比较大。 从历史上讲，LM法最初作为高斯牛顿法的改良而被提出，随后才有了信赖域法上应用。这里先从

基础Jacobian矩阵Hessian矩阵最小二乘问题高斯牛顿法的推导结论优点缺点总结实例输入代码有了牛顿法的基础(可参考非线性优化整理-1.牛顿法），即可进入非线性最小二乘法问题了。基础Jacobian矩阵假设f:Rm→Rn,m≥n" role="presentation">f:Rm→Rn,m≥nf:

作为非线性优化的基础，先从牛顿法开始 牛顿法Newton’s method，又称牛顿-拉弗森法（Newton-Raphson’s method) 可用来1.求解方程根 2.求解极值1.求解方程0点目标：求解f(y)=0" role="presentation" style="position: relative;">f(y)=0f(y)=0f(y)=0的根 计算穿过初始值点(x0