莫凡Python学习笔记——PyTorch动态神经网络（四）

内容原文：https://morvanzhou.github.io/tutorials/machine-learning/torch/
1、优化器Optimizer 加速神经网络训练

最基础的optimizer是 Stochastic Gradient Descent(SGD)，假如红色方块是我们要训练的data，如果用普通的训练方法，就需要重复不断的把整套数据放入神经网络NN训练，这样消耗的计算资源会很大。
但是如果我们将数据大块分成一个个小块，分批放入网络中进行训练，这样虽然不能完整的反应全部数据的情况，但是却大大加快了训练速度，而且其实不会丢失太多准确率，这就是SGD了。

其实PyTorch中有好几个优化器，其实其中SGD算是最训练最慢的，接下来来看下其他几个优化器。

（1）Momentum
大多优化器其实都是在神经网络更新参数的时候动了手脚，从而使得训练速度加快的。Momentum就是这样。
传统参数W的更新是：加上负的学习率*校正