迭代估计方法---牛顿迭代

本文探讨了基于函数关系X=f(P)的多参数多输出拟合问题,介绍了一种通过迭代更新参数矢量P来最小化误差矢量的方法,并讨论了其局限性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

函数关系X=f(P)X=f(P),其中X是测量矢量,P是参数矢量。这是一个多参数,多输出的拟合问题。测量矢量认为是准确的,需要调参拟合。要求求出满足X=f(P^)+ϵX=f(P^)+ϵ 的矢量P^P^并使得||ϵ||||ϵ||最小化。

  1. 初始化:X=f(P0)+ϵ0X=f(P0)+ϵ0
  2. 局部线性假设:f(P0+Δ)=f(P0)+JΔf(P0+Δ)=f(P0)+JΔ
    JJ是雅可比矩阵:

    最小化Xf(P0+Δ)=Xf(P0)JΔ=ϵ0JΔ
    最小化||ϵ0JΔ||||ϵ0−JΔ||JTJΔ=JTϵ0JTJΔ=JTϵ0JT1JΔ=JT1ϵ0JT∑−1JΔ=JT∑−1ϵ0

  3. Pi+1=Pi+ΔiPi+1=Pi+Δi,继续迭代。(需要设置停止迭代的条件,比如余差< 0.001)

不足:迭代过程可能只收敛到一个局部最小值或者根本不收敛。最终结果强烈依赖于初始估计P0P0
梯度下降(虽然不是。梯度下降是要下降,越小越好。这是是拟合);残差神经网络;梯度选择走多大步:好像,余差+梯度拟合


看一下,牛顿法求开方
比如,求根号4
方程是 : 4=f(x)=x*x。跟上面做对比:P=x,X=4。
选初值是x=1。按照上面步骤进行可以求出精确解x。
这个特殊情况下,第二步最小化直接可以求出来

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值