6、优化算法全解析：从梯度到进化的探索之旅

优化算法全解析：从梯度到进化的探索之旅

1. 线搜索方法

在优化问题中，精确找到目标函数的最小值往往耗时过长。实际上，我们只需找到合适的下降方向，在每次迭代中实现合理的下降量即可，线搜索方法就是基于这一思路。

1.1 原理

为找到目标函数 ( f(x) ) 的局部最小值，我们沿着下降方向 ( s_k ) 以可调步长 ( \alpha_k ) 进行搜索，使得 ( \psi(\alpha_k) = f(x_k + \alpha_k s_k) ) 尽可能减小。合理的步长应满足 Wolfe 条件：
- ( f(x_k + \alpha_k s_k) \leq f(x_k) + \gamma_1 \alpha_k s_k^T \nabla f(x_k) )（充分下降条件，常称 Armijo 条件）
- ( s_k^T \nabla f(x_k + \alpha_k s_k) \geq \gamma_2 s_k^T \nabla f(x_k) )（曲率条件）

其中 ( 0 < \gamma_1 < \gamma_2 < 1 ) 是与算法相关的参数，对于大多数函数，可取值 ( \gamma_1 = 10^{-4} ) 到 ( 10^{-2} )，( \gamma_2 = 0.1 ) 到 ( 0.9 )。

1.2 步骤

线搜索方法的基本步骤如下：

Algorithm 2 Line search method.
1: Initial guess x0 at k = 0
2: while ∥∇f (xk)∥