机器学习算法中如何选取超参数 学习速率 正则项系数 minibatch size

最新推荐文章于 2023-02-23 17:38:51 发布
最新推荐文章于 2023-02-23 17:38:51 发布
阅读量333 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44894516/article/details/89764467
本文探讨了机器学习中如何选择超参数，包括学习速率、早停法、可变学习速率、正则项系数和小批量大小。学习速率应适中以避免收敛过慢或振荡；早停法用于防止过拟合，当验证准确率不再提高时停止训练；可变学习速率在训练过程中逐渐减小以优化梯度下降；正则项系数的选择通常从0开始，通过验证准确率调整；小批量大小的选择应在利用计算加速和频繁权重更新之间找到平衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

                       

本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）

学习速率（learning rate，η）

运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。

  • 固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则会导致代价函数振荡，如下图所示。就下图来说，一个比较好的策略是先将学习速率设置为0.25，然后在训练到第20个Epoch时，学习速率改为0.025。

关于为什么学习速率太大时会振荡，看看这张图就知道了，绿色的球和箭头代表当前所处的位置，以及梯度的方向，学习速率越大，那么往箭头方向前进得越多，如果太大则会导致直接跨过谷底到达另一端，所谓“步子太大，迈过山谷”。

在实践中，怎么粗略地确定一个比较好的学习速率呢？好像也只能通过尝试。你可以先把学习速率设置为0.01，然后观察training cost的走向，如果cost在减小，那你可以逐步地调大学习速率，试试0.1，1.0….如果cost在增大，那就得减小学习速率，试试0.001，0.0001….经过一番尝试之后，你可以大概确定学习速率的合适的值。

为什么是根据training cost来确定

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习之参数、超参数、正则化
学习中
11-04 491
深度学习之参数、超参数、正则化
Pytorch：动量与学习率
weixin_62637793的博客
11-19 1483
（1）动量：momentum，也可以说是惯性 ,经过变为 也就是说，权值w现在不只想着的方向衰减，也向着的方向进行衰减。而可以推出是由推出的。 也就是现在w更新是当前衰减方向和之前衰减方向的惯性的结合。 在代码中设置momentum时 optimizer=optim.SGD(net.parameters(),lr=learning_rate,momentum=args.momentum,weigh_decay=args.momentum) 对于优化器SGD是需要进行设置的，但是对于Adam优化
机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size
wepon的专栏
03-14 7万+
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。 固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则
动量、学习率、Early Stopping、Dropout
dongcjava的博客
10-26 3118
动量和学习率 1、动量(momentum) 梯度更新： 动量： 其中Z表示的是前一次梯度的方向，根据矢量三角形法则，选取下次的运动方向。 不加动量的情况下，方向变化比较尖锐，没有考虑历史变化的情况，且容易局部最优。 加动量后，变化更加的缓和，依靠惯性，可能跳出局部最优解。 optimizer = SGD(learning_rate=0.02, momentum=0.9) optimizer = RMSprop(learning_rate=0.02, momentum=0.9) optimizer =
Pytorch学习笔记（7）：优化器、学习率及调整策略、动量
路人贾的博客
02-23 4366
Pytorch学习笔记（7）：优化器、学习率及调整策略、动量
学习率与动量的关系：此涨彼消，以达到动态平衡
nielinyuan1466的博客
01-09 1136
选择适当大小的学习率和动量，太大会使loss振荡，太小不足以使loss达到最优值。 1、train_gluon_ch7(‘sgd’, {‘learning_rate’: 0.004, ‘momentum’: 0.99}, features, labels) loss: 0.301315, 0.176527 sec per epoch 2、train_gluon_ch7(‘sgd’, {‘lear...
卷积神经网络：学习率、权重衰减、动量
weixin_40801853的博客
02-19 5040
学习率、权重衰减、动量被称为超参数，因为他们不是由网络训练而得到的参数   权重衰减 C0代表原始的代价函数，后面那一项就是L2正则化项，λ就是权重衰减项 作用：防止过拟合 过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）...
机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size1
08-08
本文将重点关注三个重要的超参数：学习速率（Learning Rate）、正则项系数（Regularization Coefficient）和Mini-batch大小，这些都是深度学习和机器学习算法中的关键组成部分。 1. 学习速率（Learning Rate, η）...
机器学习超参数选择：学习速率、正则项与mini-batch大小
总结来说，选取机器学习算法的超参数是一项关键任务，涉及到对学习速率、正则项系数和minibatch大小的精细化调整。这通常需要结合理论理解、实践经验和实验验证，以找到最优的超参数组合，确保模型在训练集上能够...
卷积神经网络（四）：学习率、权重衰减、动量
Fire_Light_的博客
03-14 1万+
学习率、权重衰减、动量被称为超参数，因为他们不是由网络训练而得到的参数 权重衰减 L2正则化就是在代价函数后面再加上一个正则化项： C0代表原始的代价函数，后面那一项就是L2正则化项，λ就是权重衰减项。 作用：防止过拟合 原理： 一个所谓“显而易见”的解释就是：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也...
pytorch学习笔记（十五）————动量与学习率衰减
01-06
pytorch学习笔记（十五）————动量与学习率衰减目录动量学习率衰减 目录 动量 从形式上看， 动量算法引入了变量 z充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称 动量（momentum），相当于引入动量前的梯度概念，指示着loss在参数空间下一步要下降的方向和大小。 其中wk+1w^{k+1}wk+1表示更新后权重；wkw^{k}wk表示更新前权重；zk+1z^{k+1}zk+1代表动量，，α表示学习率 从公式zk+1=βzk+▽f(wk)z^{k+1}=βz^{k}+▽f(w^{k})zk+1=βzk+▽f(wk)可以看出，zk+1z^{
动量与学习率衰减
milk_and_bread的博客
08-25 578
动量 取决于β参数的选取，根据矢量三角形法则，下次选取的方向 不加动量的情况下，方向变化比较尖锐，没有考虑历史变化的情况，且容易局部最优。 加动量后，变化更加的缓和，依靠惯性，可能跳出局部最优解。 学习率调整 ...
机器学习——动量与学习率衰减
qq_45802081的博客
04-05 634
动量 动量法是梯度下降法的变式，在随机梯度下降的同时，增加动量。 https://blog.youkuaiyun.com/weixin_40793406/article/details/84666803 学习率衰减 学习率 (learning rate) 介绍学习率1 https://blog.youkuaiyun.com/liulina603/article/details/80604385 学习率 (learning rate)，控制 模型的 学习进度 ： lr 即 stride (步长) ，即反向传播算法中的 ηη ： ω
超参数：学习率、权重衰减、动量
Lison_Zhu's Blog
08-14 1417
https://blog.youkuaiyun.com/rocling/article/details/92828799
用卷积神经网络检测脸部关键点的教程（三）学习率，学习动量，dropout
Mr.Phoebe的专栏
12-14 3914
本文翻译自Using convolutional neural nets to detect facial keypoints tutorial。用卷积神经网络检测脸部关键点的教程（一）环境配置与浅层网络训练 用卷积神经网络检测脸部关键点的教程（二）卷积神经网络训练和数据扩充 用卷积神经网络检测脸部关键点的教程（三）学习率，学习动量，dropout 用卷积神经网络检测脸部关键点的教程（四）通过
谈谈深度学习中的 Batch_Size
热门推荐
程引的专栏
11-12 14万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
【小笔记】算法训练时batch size设置多大合适？
xiangxiang613的专栏
03-04 1万+
梯度下降法通常分为三类： （1）批量梯度下降法：每次训练输入全部数据，能够考虑全部样本的梯度，获取到准确的梯度，但比较耗时，并且输入全部数据，可能内存或GPU装不下； （2）随机梯度下降法：每次随机选择一个样本进行训练，使用一个样本的梯度进行下降。比（1）快很多，也不占内存，但可能不会收敛； （3）mini-batch梯度下降法：为了每次训练尽可能的多输入一些样本，同时又不会太耗时和超内存，mini-batch将训练样本分为多个批次，一个一个的输入，最后将多个输入的结果进行平均，即得到一次完整训练的梯度。
神经网络之Mini-Batch梯度下降
Wendy的博客
04-12 3817
传统的梯度下降算法，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种梯度下降法叫做这称为Batch gradient descent(BDG)。我们知道 Batch 梯度下降的做法是，在对训练集执行梯度下降算法时，必须处理整个训练集，然后才能进行下一步梯度下降。当训练数据量非常多时，每更新一次参数都要把数据集里的所有样本都看一遍，虽然收敛性能好，但是一次迭代需要等待多长时间...
利用scheduler实现learning-rate学习率动态变化
回炉重造P的博客
11-23 3346
记录一下schedule设置学习率变化过程的使用和方法 优化器optimizer pytorch提供数种优化器的实现，优化器根据计算图的结构，进行梯度计算，根据loss信息实现自动的BP过程。常用的就是Adam，将网络参数传入，设置初始的learning-rate学习率即可: optimizer = torch.optim.Adam(model.parameters(), lr=args.learn_rate) 在训练中： optimizer.zero_grad() loss.backward() opt
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值