Armijo-Goldstein准则及Wolfe-Powell准则

Armijo-Goldstein准则及Wolfe-Powell准则

line search（一维搜索，或线搜索）是最优化（Optimization）算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。

本文主要介绍一下，不精确的一维搜索的两大准则：Armijo-Goldstein准则 ＆ Wolfe-Powell准则。

1 为什么要遵循这些准则

由于采用了不精确的一维搜索，所以，为了能让算法收敛（即：求得极小值），人们逐渐发现、证明了一些规律，当你遵循这些规律的时候，算法就很有可能收敛。因此，为了达到让算法收敛的目的，我们就要遵循这些准则。

2 Armijo-Goldstein准则

此准则是在196X年的时候由Armijo和Goldstein提出的。

Armijo-Goldstein准则的核心思想有两个：①目标函数值应该有足够的下降；②一维搜索的步长$\alpha$不应该太小。

这两个思想的意图非常明显。由于最优化问题的目的就是寻找极小值，因此，让目标函数函数值“下降”是我们努力的方向，所以①正是想要保证这一点。同理，②也类似：如果一维搜索的步长$\alpha$太小了，那么我们的搜索类似于在原地打转，可能也是在浪费时间和精力。

有了这两个指导思想，我们来看看Armijo-Goldstein准则的数学表达式：
$$f(x_k+a_k{d}_k)\le f(x_k)+a_k\rho g_k^T{d}_k\cdots (1)$$ f ( x k + a k d k ) ≥ f ( x k