matlab 随机分组且样本量最小不低于50_速度更快的随机梯度下降法

最新推荐文章于 2025-01-16 19:39:28 发布

原创

最新推荐文章于 2025-01-16 19:39:28 发布 · 466 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#matlab 随机分组且样本量最小不低于50

本文介绍了随机梯度下降法（SGD）的优势和原理，包括随机取值的公式推导和学习率的设计。相较于批量梯度下降（BGD），SGD在大数据集上速度更快，尽管其搜索路径具有不可预知性，但通过适当调整学习率，仍能接近全局最优解。文中还对比了BGD和SGD在运行时间、迭代次数上的表现，并提供了代码实现，包括学习率的改进策略和sklearn库中的SGD实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0x00 前言

在之前介绍的梯度下降法的步骤中，在每次更新参数时是需要计算所有样本的，通过对整个数据集的所有样本的计算来求解梯度的方向。这种计算方法被称为：批量梯度下降法BGD(Batch Gradient Descent)。但是这种方法在数据量很大时需要计算很久。

针对该缺点，有一种更好的方法：随机梯度下降法SGD(stochastic gradient descent)，随机梯度下降是每次迭代使用一个样本来对参数进行更新。虽然不是每次迭代得到的损失函数都向着全局最优方向，但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。但是相比于批量梯度，这样的方法更快，我们也是可以接受的。下面就来学学随机梯度下降法吧！