PyTorch实现L1，L2正则化以及Dropout

最新推荐文章于 2025-09-19 03:11:40 发布
原创 最新推荐文章于 2025-09-19 03:11:40 发布 · 2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了PyTorch中L1、L2正则化和Dropout的实现。Dropout是一种防止过拟合的策略，通过在训练过程中随机关闭一些神经元来提高模型泛化能力。L1正则化倾向于产生稀疏权重，而L2正则化则避免权重过大，两者都是降低模型复杂度以防止过拟合的方法。

PyTorch实现L1，L2正则化以及Dropout

  1. 了解知道Dropout原理
  2. 用代码实现正则化(L1、L2、Dropout）
  3. Dropout的numpy实现
  4. PyTorch中实现dropout

1.Dropout原理
Dropout是防止过拟合的一种方法（过拟合overfitting指：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。）
训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种优化方法。Dropout是Hintion提出的。Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来。
dropout强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，达到好的效果。消除减弱了神经元节点间的联合适应性，增强了泛化能力。
即：在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征，如图1所示。
dropout前与dropout后
dropout噪声迫使网络在有限的数据里学习到有用的信息。
2.正则化
防止过拟合的另外一种方式就是降低模型的复杂度，一种方式就是在cost函数中加入正则化项，正则化项可以理解为复杂度，cost越小越好，但cost加上正则项之后，为了使cost小，就不能让正则项变大，也就是不能让模型更复杂，这样就降低了模型复杂度，也就降低了过拟合。这就是正则化。正则化也有很多种，常见为两种L2和L1。

2.1 L1正则化
L1正则化是指权值向量w中各个元素的绝对值之和，通常表示为||w||1
L2正则化是指权值向量w中各个元素的平方和再求平方根，通常表

最低0.47元/天 解锁文章
L1和L2正则化在pytorch中的应用
wanli4717的博客
03-23 1810
最近在自己改写网络的过程中，发现了很多的问题，有一个比较大的问题就是过拟合问题，过拟合问题不仅出现在小数据量的训练中，在大数据量的训练中也有着同样的问题，今天测试了L1和L2正则化，效果还在实验中，如果效果比较好会在后面做及时的更新。 L1正则化： L1 正则化公式也很简单，直接在原来的损失函数基础上加上权重参数的绝对值： 上式可知，当w大于0时，更新的参数w变小；当w小于0时，更新的参...
PyTorch实现L1和L2正则化
自己在学习过程中的总结
07-27 2056
1.L1正则化与L2正则化介绍 2.利用torch.optim实现正则化 3.利用torch.optim实现正则化进阶（建议使用👏） 4.方法一：直接在loss后面加对应的惩罚项 4.1 L1正则化实现思路 4.2 L2正则化实现思路 5.方法二：通过封装一个正则化类实现正则化 5.1 封装一个实现正则化的Regularization类 5.2 利用Regularization类添加正则化
PyTorch正则化技术：Dropout、Weight Decay指南
最新发布
gitblog_01121的博客
09-19 516
在深度学习模型训练过程中，过拟合（Overfitting）是一个普遍存在的问题。当模型在训练数据上表现优异但在未见过的测试数据上性能急剧下降时，就发生了过拟合。正则化技术通过引入额外约束或修改学习目标，有效降低模型复杂度，提高泛化能力。 本文将深入解析PyTorch中两种最常用的正则化技术： - **Dropout（随机失活）**：通过在训练过程中随机丢弃神经元，防止复杂协同适应 - **Wei...
pytorch实现L1正则化
qq_41978536的博客
05-22 3693
PyTorch程序实现L1和L2正则项
qq_44949041的博客
07-05 5577
正则化是机器学习中的一个重要概念，它可以帮助我们防止模型过拟合。在这篇文章中，我将详细介绍两种常见的正则化技术：L1和L2正则项。然后会基于PyTorch平台讲解如何向自己的网络模型中添加上述两种技术，将正则化真正为己所用！！！
PyTorch入门精简资料（五）PyTorch实现L1，L2正则化以及Dropout
Courageux_J的博客
08-16 921
Datawhale_Task5PyTorch实现L1，L2正则化以及Dropout 了解知道Dropout原理 用代码实现正则化(L1、L2、Dropout） Dropout的numpy实现 PyTorch中实现dropout 参考资料：PyTorch 中文文档 1.Dropout原理 （1）Dropout 实际是在前向传播的时候，让某个神经元的激活值以一定...
【PyTorch 深度学习】5.PyTorch实现L1，L2正则化以及Dropout
qq_40314507的博客
04-15 7797
1.Dropout原理 Droupout是指在深度网络的训练中，以一定的概率随机地“临时丢弃”一部分神经元。 具体来讲，Dropout作用于每份小批量训练数据，由于其随机丢弃部分神经元的机制，相当于每次迭代都在训练不同结构的神经网络。类似于Bagging方法，dropout可被认为是一种实用的大规模深度神经网络的模型集成算法。 Dropout的具体实现中，要求某个神经元节点激活值以一定的概率p被“...
任务5 PyTorch实现L1、L2正则化及Dropout
qinhanmin2010的博客
08-15 628
L1正则化 import torch import torch.nn as nn import torchvision import torchvision.transforms as transforms # Hyper-parameters input_size = 784 hidden_size = 500 num_classes = 10 num_epochs = 5 batch_si...
Pytorch学习笔记——正则化
weixin_50765519的博客
07-20 1065
优化器正则化在深度学习中扮演着重要角色，可以有效防止模型过拟合。L2正则化是最常用的方法，通过在损失函数中添加权重参数平方和的惩罚项，使权重参数保持较小值。L1正则化则通过惩罚权重参数的绝对值和，实现特征选择。选择合适的正则化方法和正则化系数，可以显著提升模型的性能。
Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）
路人贾的博客
03-02 6782
Pytorch学习笔记（8）：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）超级详细！
【PyTorch】07正则化
qq_41566530的博客
05-21 861
7 PyTorch的正则化 7.1 正则化之weight_decay Regularization：减小方差的策略，从而解决过拟合问题，常见的方法有：L1正则化和L2正则化 weight decay（权值衰减）= L2 Regularization 在PyTorch的优化器中提供了 weight decay（权值衰减）的实现 【PyTorch】6.1 正则化之weight_decay 误差可分解为：偏差、方差与噪声之和，即误差=偏差+方差+噪声 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻
Pytorch基础之——（五）Pytorch实现L1，L2正则化以及Dropout
weixin_42257802的博客
08-15 961
文章目录1.了解知道Dropout原理2.用代码实现正则化(L1、L2、Dropout）3.Dropout的numpy实现4.Pytorch中实现dropout5.[参考资料：PyTorch 中文文档](https://pytorch.apachecn.org/docs/1.0/) 1.了解知道Dropout原理 1 2.用代码实现正则化(L1、L2、Dropout） 1 3.Dropout的nu...
Dropout原理介绍
只为成功找方法 不为失败找借口
12-15 2290
本文转自：http://m.blog.youkuaiyun.com/blog/whiteinblue/37808623  一：引言 因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题，过拟合指的是模型在训练数据上损失函数比较小，预测准确率较高（如果通过画图来表示的话，就是拟合曲线比较尖，不平滑，泛化能
【PyTorch 新手基础】Regularization -- 减轻过拟合 overfitting
哒哒哒哒 哒哒
06-13 1148
【PyTorch 新手基础】过拟合 overfitting 常见应对方案快速介绍：Regularization 等
8月3日Pytorch笔记——Regularization、卷积神经网络、数据增强
Ashen_0nee的博客
08-03 790
本文为8月3日Pytorch笔记，分为十一个章节： - 过拟合&欠拟合； - Train-Val-Test 划分； - Regularization：L1-regularization、L2-regularization - 动量与学习衰减率； - Early stop & Dropout； - 卷积神经网络； - Down/up sample：Max pooling & Avg pooling、F.interpolate、ReLU； - Batch Normalization； - 经典卷积网络； - n
PyTorch中正则化设置相关
有问题请直接说问题就好
05-30 3331
PyTorch中正则化设置相关
pytorch Conv2d L2 正则化
03-30
PyTorch的Conv2d层默认不包含L2正则化，但可以通过添加权重衰减参数来实现L2正则化。具体方法是在定义优化器时，将weight_decay参数设置为一个非零值，代表权重衰减的强度。例如，以下代码展示了如何使用L2正则化来训练一个简单的卷积神经网络： ``` import torch import torch.nn as nn import torch.optim as optim # 定义卷积神经网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool(nn.functional.relu(self.conv1(x))) x = self.pool(nn.functional.relu(self.conv2(x))) x = x.view(-1, 16 * 5 * 5) x = nn.functional.relu(self.fc1(x)) x = nn.functional.relu(self.fc2(x)) x = self.fc3(x) return x # 定义优化器并添加L2正则化 net = Net() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9, weight_decay=0.001) # 训练网络 for epoch in range(10): running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = nn.CrossEntropyLoss()(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 2000 == 1999: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 2000)) running_loss = 0.0 ``` 在定义优化器时，将weight_decay参数设置为0.001，即可实现L2正则化。需要注意的是，权重衰减是一种常用的正则化方法，但并不是唯一的正则化方法。在深度学习中，还有其他正则化方法如L1正则化、Dropout等，可以根据具体情况选择合适的方法。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值