优化问题综述(二)其他无约束最优化算法

本文深入探讨无约束最优化问题的解法,包括牛顿法及其改进的拟牛顿法,介绍了优选法与最速下降法的原理和应用。此外,还详细讨论了共轭梯度下降法、Levenberg-Marquardt算法以及零阶优化方法和启发式优化策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

无约束最优化问题的解法

我们希望得到minxf(x)minxf(x),我们把f(x)f(x)泰勒展开可得

f(x+Δ)=f(x)+f(x)TΔ+12ΔT2f(x)Δ+O(Δ3)f(x+Δ)=f(x)+∇f(x)TΔ+12ΔT∇2f(x)Δ+O(Δ3)

牛顿法

2f(x)∇2f(x)已知时,对f(x+Δ)f(x+Δ)求导,令倒数为0,可得

Δ=[2f(x)]1f(x)Δ=−[∇2f(x)]−1∇f(x)

那么我们可以通过迭代公式

xt+1=xt[2f(x)]1f(x)xt+1=xt−[∇2f(x)]−1∇f(x)

求解最优化问题,有时我们加个小于1的阻尼系数来增加算法的稳定性(阻尼牛顿法):

xt+1=xtη[2f(x)]1f(x)xt+1=xt−η[∇2f(x)]−1∇f(x)

牛顿法的缺点也很明显:

  • 2f(x)∇2f(x)不容易求
  • 2f(x)∇2f(x)的逆不容易求
  • 2f(x)∇2f(x)太占空间

拟牛顿法

由牛顿法可知,xx每步的前进方向 Δ 满足f(x)=Δ2f(x)∇f(x)=Δ∇2f(x),且f(xt+1)f(xt)+2f(xt)[xt+1xt]∇f(xt+1)≈∇f(xt)+∇2f(xt)[xt+1−xt]
替代变量Bt+1=2f(xt),Dt+1=[2f(xt)]1Bt+1=∇2f(xt),Dt+1=[∇2f(xt)]−1,再令st=xt+1xt,yt=f(xt+1)f(xt)st=xt+1−xt,yt=∇f(xt+1)−∇f(xt),那么有:

  • yt=Bt+1styt=Bt+1st
  • st=Dt+1ytst=Dt+1yt

Dt+1=Dt+ΔDt=Dt+Pt+QtDt+1=Dt+ΔDt=Dt+Pt+Qt,那么

Dt+1yt=Dtyt+Ptyt+QtytDt+1yt=Dtyt+Ptyt+Qtyt

Ptyt=Dtyt,Qtyt=stPtyt=−Dtyt,Qtyt=st,我们有

Pt=DtytyTtDTtyTtDTtyt,Qt
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值