本文介绍了梯度下降法中的冲量（momentum）原理，通过Python代码展示了如何使用冲量来调整搜索速度和防止震荡。实验结果显示，适当使用冲量能加速收敛并减小震荡，但过大可能导致过冲。下篇将讨论学习率衰减因子（decay）的应用。
北京 | 深度学习与人工智能研修
12月23-24日
01
前言
梯度下降法（Gradient Descent）是机器学习中最常用的优化方法之一，常用来求解目标函数的极值。
其基本原理非常简单：沿着目标函数梯度下降的方向搜索极小值（也可以沿着梯度上升的方向搜索极大值）。
但是如何调整搜索的步长（也叫学习率，Learning Rate）、如何加快收敛速度以及如何防止搜索时发生震荡却是一门值得深究的学问。
在上篇文章《梯度下降法快速教程 | 第一章：Python简易实现以及对学习率的探讨》中我们简单分析了学习率大小对搜索过程的影响，发现：
-
学习率较小时，收敛到极值的速度较慢。
-
学习率较大时，容易在搜索过程中发生震荡。
因此本篇文章中将简单讲解“冲量”的原理以及如何用“冲量”来解决上述两个问题。
全部源代码可在本人的GitHub:monitor1379中下载。
02
冲量：momentum
“冲量”这个概念源自于物理中的力学，表示力对时间的积累效应。
在普通的梯度下降法x += v中，每次x的更新量v为v = - dx * lr，其中dx为目标函数func(x)对x的一阶导数。
当使用冲量时，则把每次x的更新量v考虑为本次的梯度下降量- dx * lr与上次x的更新量v乘上一个介于[0, 1]的因子momentu
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
