函数关系X=f(P)X=f(P),其中X是测量矢量,P是参数矢量。这是一个多参数,多输出的拟合问题。测量矢量认为是准确的,需要调参拟合。要求求出满足X=f(P^)+ϵX=f(P^)+ϵ 的矢量P^P^并使得||ϵ||||ϵ||最小化。
- 初始化:X=f(P0)+ϵ0X=f(P0)+ϵ0
局部线性假设:f(P0+Δ)=f(P0)+JΔf(P0+Δ)=f(P0)+JΔ
JJ是雅可比矩阵:
最小化
最小化||ϵ0−JΔ||||ϵ0−JΔ||:JTJΔ=JTϵ0JTJΔ=JTϵ0或JT∑−1JΔ=JT∑−1ϵ0JT∑−1JΔ=JT∑−1ϵ0Pi+1=Pi+ΔiPi+1=Pi+Δi,继续迭代。(需要设置停止迭代的条件,比如余差< 0.001)
不足:迭代过程可能只收敛到一个局部最小值或者根本不收敛。最终结果强烈依赖于初始估计P0P0
梯度下降(虽然不是。梯度下降是要下降,越小越好。这是是拟合);残差神经网络;梯度选择走多大步:好像,余差+梯度拟合
看一下,牛顿法求开方
比如,求根号4
方程是 : 4=f(x)=x*x。跟上面做对比:P=x,X=4。
选初值是x=1。按照上面步骤进行可以求出精确解x。
这个特殊情况下,第二步最小化直接可以求出来