批量梯度下降和随机梯度下降法的缺点

本文探讨了批量梯度下降与随机梯度下降在大规模数据和效率上的区别,强调了随机梯度下降速度快但可能不是全局最优,而批量下降虽慢但更稳定。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

更多面试题看这里 面试题总结_耗子来啦的博客-优快云博客

 

背景

    批量梯度下降法(batch gradient decent)就是我们平时所说的梯度下降,也就是梯度下降过程中,每次更新使用了所有的训练数据,最小化损失函数,找到局部最小值。

当样本量很大的时候,那么更新速度会变慢。假如每次我们只取一个样本更新,这样速度就会快很多。我们每次只取一行样本计算,当成是搜索的方向。

问题解答

批量梯度下降  

a)采用所有数据来梯度下降。  

b)批量梯度下降法在样本量很大的时候,训练速度慢。  

随机梯度下降  

a)随机梯度下降用一个样本来梯度下降。  

b)训练速度很快。  

c)随机梯度下降法仅仅用一个样本决定梯度方向,导致解有可能不是全局最优。  

d)收敛速度来说,随机梯度下降法一次迭代一个样本,导致迭代方向变化很大,不能很快的收敛到局部最优解。  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值