深度学习总结(四)——正则项系数、Batch_size设置

最新推荐文章于 2025-03-10 14:11:42 发布

manong_wxd

最新推荐文章于 2025-03-10 14:11:42 发布

阅读量2w

点赞数 3

分类专栏：深度学习

本文链接：https://blog.youkuaiyun.com/manong_wxd/article/details/78734856

版权

本文介绍了深度学习中正则项系数（λ）和Batch Size的设置策略。对于正则项系数，建议从0开始，先确定合适的学习率，再通过验证准确率进行粗调和细调。对于Batch Size，全数据集适用于小数据集，而Mini-batch适合大规模数据，平衡计算效率与模型优化。Mini-batch大小的选择需考虑数据集规模和计算设备能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里写图片描述

1. 正则项系数（λ）的设置

建议一开始将正则项系数λ设置为0，先确定一个比较好的learning rate。然后固定该learning rate，给λ一个值（比如1.0），然后根据validation accuracy，将λ增大或者减小10倍（增减10倍是粗调节，当你确定了λ的合适的数量级后，比如λ = 0.01,再进一步地细调节，比如调节为0.02，0.03，0.009之类。）

2. Batch size三种情况

Batch_Size（批尺寸）是机器学习中一个重要参数。

如果数据集比较小，完全可以采用全数据集（ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。
Batch_Size = 1。这就是在线学习（Online Learning）。使用在