line search中的重要定理 - 梯度与方向的点积为零

转载请注明出处：http://www.codelast.com/

对精确的line search（线搜索），有一个重要的定理：

∇f(xk+αkdk)Tdk=0

这个定理表明，当前点在 dk 方向上移动到的那一点（ xk+αkdk ）处的梯度，与当前点的搜索方向 dk 的点积为零。

其中， αk 是称之为“步长”的一个实数，它是通过line search算法求出来的。

为什么会有这样的结论？我们来看看。
对每一个line search过程来说，搜索方向 dk 已经已经是确定的了（在最优化算法中，如何找出一个合适的 dk 不是line search干的事情）。所以，在一个确定的 dk 上，要找到一个合适的 αk ，使得 ϕ(α)=f(xk+αdk) 这个函数满足 f(xk+αkdk)<f(xk) ，这就是line search的目的。说白了，就是要找到 αk 使 ϕ(α) 的函数函数值变小。
文章来源：http://www.codelast.com/
但是，要小到什么程度呢？假设小到有可能的“最小”，即：
ϕ(αk)=f(xk+αkdk)=minα>0f(xk+αdk)=minα>0ϕ(α)
那么，我们称这样的line search为“精确的line search”——你看，这名字好贴切：我们精确地找到了函数值最小的那个点。

既然 xk+αkdk 是函数值最小的那个点，那么，在该点处的一阶导数（即梯度）为零，所以我们对上式求导（ α 是自变量， xk 和 dk 为常量）：
ϕ′(αk)=[f(xk+αkdk)]′⋅(0+1⋅dk)=[f(xk+αkdk)]′dk=∇f(xk+αkdk)Tdk=0
文章来源：http://www.codelast.com/
这就是我们前面说的定理了。