深度学习中的batch的大小对学习效果与时间的影响

本文探讨了batchsize和学习率对模型性能的影响。batchsize影响模型泛化性能,小batchsize可提高泛化性,大batchsize能减少训练时间、提高稳定性但降低泛化性。学习率直接影响模型收敛状态,二者是影响模型性能收敛的重要参数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

除此文记录外,可以参考此:

https://www.zhihu.com/question/32673260/answer/71137399 这个答案写的很好,下次再总结下

batchsize 影响模型的泛化性能,小的batchsize能提高模型的泛化性能。随机梯度下降算法的原理如下:

n是批量大小( batchsize),η是学习率(learning rate)。可知道除了梯度本身,这两个因子直接决定了模型的权重更新,从优化本身来看它们是影响模型性能收敛最重要的参数。

学习率直接影响模型的收敛状态,batchsize则影响模型的泛化性能。

1)相对大的batchsize 减少训练时间,提高稳定性,但降低泛化性能。

同样的epoch数目,大的batchsize需要的batch数目减少了,所以可以减少训练时间,目前已经有多篇公开论文在1小时内训练完ImageNet数据集。另一方面,大的batch size梯度的计算更加稳定,因为模型训练曲线会更加平滑。在微调的时候,大的batch size可能会取得更好的结果。

表明大的batchsize收敛到sharp minimum,而小的batchsize收敛到flat minimum,后者具有更好的泛化能力。两者的区别就在于变化的趋势,一个快一个慢,



此文参考:
链接:https://www.zhihu.com/question/32673260/answer/675161450

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值