L1和L2正则化——PyTorch版本

一、用代码实现L1和L2regularization

weight_decay指定的权重衰减会对网络中所有参数(包括权值W和偏置b)进行操作,如果对b进行L2正则化可能会导致严重欠拟合,所以,一般只需对权值进行正则即可。[不确定???]

PS:PyTorch中的regularization在optimizer中实现,通过设定其中的weight_decay参数的值控制正则化的权重大小(即权值衰减率)(默认为L2正则化的权重)。

(1)L1 regularization

L_{loss}=\left \| y-\hat{y} \right \|^2+\lambda | W |

L1正则化让权重向量在优化过程中变得稀疏。

PyTorch中的optimizer只能实现L2正则化,L1正则化需要手动实现:

regularization_loss = 0
for param in model.parameters():
    regularization_loss += torch.sum(abs(param))

classify_loss = criterion(pred,target)
loss = classify_loss + lamda * regularization_loss

optimizer.zero_grad()
loss.backward()
optimizer.step()

(2)L2 regularization

L_{loss}=\left \| y-\hat{y} \right \|^2+\lambda \left \| W \right \|^2

权重衰减系数\lambda在初步尝试时可以使用1e-4或1e-3。

在PyTorch中某些optimizer优化器的参数weight_decay就是L2正则项,默认值为0。

optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=0.001)
or
optimizer = torch.optim.Adam([{'params': model.base.parameters(), 'lr':1e-3},
                              {'params':model.classifier.parameters(),'lr':1e-4}],
                              lr=1e-2, momentum=0.9, weight_decay=1e-5)

Reference:

https://blog.youkuaiyun.com/qq_36589234/article/details/89298999

https://blog.youkuaiyun.com/LoseInVain/article/details/81708474

https://blog.youkuaiyun.com/guyuealian/article/details/88426648#2.1%20%E6%9C%AA%E5%8A%A0%E5%85%A5%E6%AD%A3%E5%88%99%E5%8C%96loss%E5%92%8CAccuracy

要使用PyTorch实现L1L2正则化,可以通过在损失函数中添加相应的正则化项来实现。下面是一个简单的示例: ```python import torch import torch.nn as nn import torch.optim as optim # 定义模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.linear = nn.Linear(10, 1) def forward(self, x): return self.linear(x) model = MyModel() # 定义损失函数优化器 criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01) # 定义正则化权重 l1_lambda = 0.01 l2_lambda = 0.01 # 训练循环 for epoch in range(num_epochs): for inputs, targets in data_loader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) # 添加L1正则化 l1_reg = torch.tensor(0.) for param in model.parameters(): l1_reg += torch.norm(param, 1) loss += l1_lambda * l1_reg # 添加L2正则化 l2_reg = torch.tensor(0.) for param in model.parameters(): l2_reg += torch.norm(param, 2) loss += l2_lambda * l2_reg loss.backward() optimizer.step() ``` 在上述代码中,我们定义了一个`MyModel`类来表示我们的模型。然后,我们使用`nn.MSELoss()`作为损失函数,并使用`optim.SGD`作为优化器。在训练循环中,我们通过遍历模型的参数并计算其L1L2范数来计算正则化项。然后将正则化项加到损失函数中,通过调整`l1_lambda``l2_lambda`参数来控制正则化的强度。最后,我们进行反向传播参数更新以完成训练。 请注意,这只是一个简单的示例,实际应用中可能还会有其他细节需要考虑,如权重衰减(weight decay)等。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值