SGD（随机梯度下降）是深度学习中常用的优化算法，其核心优势在于通过每次仅使用一个样本更新参数来加速模型的收敛过程。相较于批量梯度下降，SGD在每个时间步能进行更多次的参数调整，使得模型在相同时间内的学习步伐更大，更有效地接近全局最优解。因此，SGD在神经网络训练中被广泛采用以提升效率。
SGD的作用体现在哪呢？主要为了加速收敛，SGD主要是在每一个样本后都进行参数调节，与所有样本经过网络后再进行参数调节相比，可以加速收敛，SGD公式如下：
SGD加速收敛在图像中的体现：
可以看出，在所有样本经过神经网络后，再进行参数调节时，调节的步伐确实大一些（相比于经过一个样本就调节而言），但SGD可以在相同的时间进行多次网络调节，这样所走的步伐在一个epoch后肯定更多，更加接近最低点，所以可以加速收敛！
扫一扫
01-31
361
361
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
