week10——随机梯度下降，批量梯度下降、小批量梯度下降

三つ叶

于 2021-10-22 21:56:17 发布

阅读量196

点赞数

分类专栏： Coursera机器学习文章标签：机器学习深度学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/zzhhjjjj/article/details/120909432

版权

Coursera机器学习专栏收录该内容

13 篇文章

订阅专栏

批量梯度下降在大数据量下计算成本高，每次迭代需使用全部样本；随机梯度下降每次仅用一个样本更新参数，可能导致局部震荡但全局趋势正确；小批量梯度下降是两者折衷，平衡效率与准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

批量梯度下降

在这里插入图片描述

对于一个数据量非常大的模型，采用批量梯度下降，意味着每一次迭代计算都需要将所有样本数据导入并计算，这是计算量、计算时间消耗非常严重的一步。

随机梯度下降

在这里插入图片描述

随机梯度下降法每次迭代更新 $\theta$ 时，只需要用到一个样本数据，如上图中所示

由于批量下降是通过总体数据得到的新的迭代更新，所以每一次更新的方向都是好的，而随机梯度只由一个数据控制本次更新，所以可能遇到有时更新的未必是好的方向，但是从整体上看， $\theta$ 整体的更新是往好的方向的（即使损失函数下降到最小的方向）

小批量梯度下降

在这里插入图片描述

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。