动量梯度下降算法

上篇文章介绍了指数加权平均，这篇文章介绍在此基础上介绍一下动量梯度下降算法。

所谓动量梯度下降算法，简言之就计算梯度的指数加权平均，然后使用这个梯度来更新权重，下面我们来详细解释这句话。

我们在使用梯度下降算法更新权重时，希望损失函数能减小直到最优值。我们可以在一副等高线图中，画出损失函数随着迭代次数增加而减小的路径，即如下图所示：

图中红点为最优点，蓝线为损失函数的减小路径，从图中左侧出发，逐渐靠近最优点。不过我们可以发现，这条路径看起来十分曲折，虽然整体趋势是向右的，但在竖直方向有太多波动，这直接造成了两个负面影响：

1. 增加了梯度下降的次数，增加了训练时间
2. 无法使用较大的学习率

如果使用了较大的学习率，可能会出现下图中紫线的情况：

即虽然增大了向右的步伐，同时也增大了上下的步伐，导致损失函数值反而越来越大，因此为了避免振荡过大，我们只能选择较小的学习率。

为了使其步伐能在水平方向更大，而在竖直方向更小，可以使用之前提到的指数滑动平均。

我们说过，运用了指数滑动平均后，vtv_t