梯度下降中的线性搜索-Line search

最新推荐文章于 2025-04-27 17:28:14 发布

MCMAXMM

最新推荐文章于 2025-04-27 17:28:14 发布

阅读量9.2k

点赞数 3

分类专栏： MLAPP 文章标签：梯度下降线性搜索 line search

MLAPP 专栏收录该内容

2 篇文章

订阅专栏

在普通的梯度下降过程中通常使用这个公式来更新参数， $\theta_{k+1{}}=\theta _{k}-\eta _{k}g_{k}$ ,而学习率 $\eta _{}k$ 的选择就显得非常的重要了，如上图所示，学习率选择过小，就会导致左图的情况，学习率过小在到达碗底平缓地区，导数值也非常小，从而导致损失函数移动的速度非常的慢，使得很难尽快的收敛，如果学习率设置过大，导致损失值来回震荡，很难取到最优值。

接下来，我们讲解一下，一个可以合理选择步长的方法 -Line Search,这种方法能够保证我们无论从图中哪一点开始梯度下降，都能保证收敛到局部最优值，这种性质也叫做全局收敛性（global convergence）,请一定不要和收敛到全局最优解混淆，全局收敛性只是保证从任意的起点开始都能收敛到局部最优。根据泰勒公式我们有：

$f(\theta +\eta d)\approx f(\theta )+\eta g^{T}d$

d是下降方向，我理解的是，它其实是没有梯度下降前 $f(\theta )$ 的导数，而 $g=f{}'(\theta +\eta d)$ 是梯度下降后的新的损失的导数，如上公式所示，如果学习率 $\eta$ 足够的小就能保证， $f(\theta +\eta d)<f(\theta )$ ,因为梯度是负方向的，但是学习率又不能太小这样就导致以后损失下降速度过慢无法到达局部最优点，所以让我们选择合适的学习率 $\eta$ 来使得下面的公式最小：

$\phi(\eta )=f(\theta _{k}-\eta d_{k})$

通过求导导数为零，就可以得到那个合适的学习率，上图8.3就是使用线性搜索的方法，得到的梯度下降的图形，我们可以看到上图下降的图形很像我们以前玩的贪吃蛇游戏中的贪吃蛇，横平竖直的爬行，至于为什么是这样，我在下面也将给出解释，因为我们要去上面的公式取得最小值，从而得到我们想要的学习率，就满足： $\eta _{k}=arg min_{\eta >0}\phi (\eta )$ 对于这个优化一个必要的条件就是

$\phi{}'(\eta )=0$ ,通过链式法则我们可以到其导数为 $\phi {}{}'(\eta )=d^{T}g$ 而 $g=f{}'(\theta +\eta d)$ 是梯度下降后的导数，所以我们为了达到导数为零这个条件，要么使得g=0即我们已经到达局部最优点（稳定点），要么我们需要 $d\perp g$ ，即上次下降的方向与下次下降的方向互相垂直。