PyTorch学习（训练加速）

Mini-batch梯度下降

在神经网络中对网络的训练，一般是将训练数据向量化后进行计算，可以单个的样本或者全部的样本整合到一个大矩阵中进行训练，mini-batch就是将训练集数据划分为几个小集合进行训练操作。mini-batch梯度下降是在训练时间与学习能力两个数值之间选择了一个较为平衡的方法，尽量使得训练时间和学习效果都能使我们满意。
一般mini-batch的大小设置为64到512。

指数加权平均数

计算指数加权平均数会用到下面这个公式：
$$v_t=\beta v_{t-1}+(1-\beta )x_t$$
通过这个公式，在计算第n个数据时，得到的数值与前面n-1个数据都存在关系，并可以通过调节β这个参数来控制平均数值的范围。
此公式在预测的前期效果不是很好，我们通过将vt更换成vt/(1-β^t)，通过这样在前期除去了偏差。

动量梯度下降法

动态梯度下降法是用于训练网络的参数，使其可以更快的更新到最佳状态。此方法用以下公式代替原本的更新方式。
$$v_{dw}=\beta v_{dw}+(1-\beta )dw$$
$$w:=w-a{v}_{dw}$$
参数b更新也同上方一样，β一般可以选0.9，同时如果你想消除前期的误差可以想指数加权平均数中一样操作，不过一般不需要这样操作，因为经过几轮更新后误差已经可以忽略。

RMSprop

这也是通过改变更新公式加快学习速度方法。其更新公式如下：
$$S_{dw}=\beta S_{dw}+(1-\beta )d{w}^2$$
$$w:=w-a\frac{dw}{\sqrt{S_{dw}}}$$

Adam优化算法

此算法是将前两种优化算法整合到一起的算法，话不多说直接看公式吧。
首先先计算Momentum 指数加权平均数。
$$v_{dw}={\beta }_1{v}_{dw}+(1-{\beta }_1)dw$$
接着使用RMSprop
$$S_{dw}={\beta }_2{S}_{dw}+(1-{\beta }_2)d{w}^2$$
之后需要偏差修正
$$v_{dw}^{corrected}=\frac{v_{dw}}{1-{\beta }_1^t}$$
$$S_{dw}^{corrected}=\frac{S_{dw}}{1-{\beta }_2^t}$$
最后更新权重
$$w:=w-\frac{a{v}_{dw}^{corrected}}{\sqrt{S_{dw}^{corrected}}}$$