一维线搜索确定最优步长

目录

1. 一维搜索问题
2. 进退法确定搜索区间
3. 分割技术（0.618）减小搜索区间
4. wolfe条件确定步长
   4.1 梯度与函数下降的关系？
   4.2 wolfe条件

1.一维搜索问题

一维线搜索，就是指单变量函数的最优化，它是专门针对单峰函数设计的：

如上一篇文章所述，多变量函数中，迭代格式为：

$$x_{k+1} = x_k + \alpha_k d_k$$ 其中的关键就在于找到合适的步长 $\alpha_k,和搜索方向d_k.$可以设： $$\phi(\alpha) =f(x_k + \alpha d_k)$$ 从初始点 $x_k$出发，以步长 $\alpha_k$沿着搜索方向搜索，使得： $$\phi(\alpha_k) < \phi(0)$$ 的问题，就是所谓的关于 $\alpha$的一维搜索问题。
如果能找到 $\alpha_k$使得： $$f(x_k + \alpha_k d_k) = \min_{\alpha>0} f(x_k + \alpha d_k)$$ 其中 $\alpha_k$就是最优的步长因子。

关键还是怎么得到这样的$\alpha_k$,在一维搜索中，其主要的想法就是先确定一个搜索区间，然后采用插值法或者分割技术逐渐减小这个区间，直到找到最优的$\alpha_k$.

2.进退法确定搜索区间

搜索区间，相当于满足$\alpha^*>0的同时，$使得：

ϕ(α∗)=min