Armijo-Goldstein准则及Wolfe-Powell准则
line search(一维搜索,或线搜索)是最优化(Optimization)算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。
本文主要介绍一下,不精确的一维搜索的两大准则:Armijo-Goldstein准则 & Wolfe-Powell准则。
1 为什么要遵循这些准则
由于采用了不精确的一维搜索,所以,为了能让算法收敛(即:求得极小值),人们逐渐发现、证明了一些规律,当你遵循这些规律的时候,算法就很有可能收敛。因此,为了达到让算法收敛的目的,我们就要遵循这些准则。
2 Armijo-Goldstein准则
此准则是在196X年的时候由Armijo和Goldstein提出的。
Armijo-Goldstein准则的核心思想有两个:①目标函数值应该有足够的下降;②一维搜索的步长 α α α不应该太小。
这两个思想的意图非常明显。由于最优化问题的目的就是寻找极小值,因此,让目标函数函数值“下降”是我们努力的方向,所以①正是想要保证这一点。同理,②也类似:如果一维搜索的步长 α α α太小了,那么我们的搜索类似于在原地打转,可能也是在浪费时间和精力。
有了这两个指导思想,我们来看看Armijo-Goldstein准则的数学表达式:
f ( x k + a k d k ) ≤ f ( x k ) + a k ρ g k T d k ⋯ ( 1 ) f(x_k+a_kd_k) \leq f(x_k)+a_k \rho g_k^{T} d_k \cdots(1) f(xk+akdk)≤f(xk)+akρgkTdk⋯(1) f ( x k + a k d k ) ≥ f ( x k

一维搜索在最优化算法中扮演重要角色,包括Armijo-Goldstein和Wolfe-Powell准则。Armijo-Goldstein准则确保目标函数值下降且步长适中,而Wolfe-Powell准则进一步考虑梯度,确保切线斜率条件,更有效地收敛于极小值。这两个准则用于防止算法在寻找最小值时错过最优解。
最低0.47元/天 解锁文章
3497

被折叠的 条评论
为什么被折叠?



