随机梯度下降 (SGD)

**

随机梯度下降

**
随机梯度下降 (SGD) 是一种梯度下降形式，其中对于每次前向传递，都会从总的数据集中随机选择一批数据,即批次大小。理想情况下，每次前向传递时，都会将整个数据集提供给神经网络。但是实际操作中，这么做是不现实的，因为内存有限。随机梯度下降是梯度下降的近视值，神经网络处理的批次越多，近视值就越准确。 SGD 的实现包括：

1. 从总的数据集中随机抽样一批数据。
2. 前向和后向运行网络，计算梯度（根据第 (1) 步的数据）。
3. 应用梯度下降更新。
4. 重复第 1-3 步，直到出现收敛情况或者循环被其他机制暂停（即迭代次数）。

如果一切顺利，网络的损失应该通常会下降，表示权重和偏置越来越有用。