每天五分钟玩转深度学习pytorch：L1正则化和L2正则化的应用

本文重点

前面章节，我们学习了为不同的网络层的参数设置不同的学习率，然后学习了学习率衰减，这些都是针对模型参数的，本节课程我们学习正则化技术，该技术也是针对模型参数的，它能有效的帮助我们解决过拟合的问题。

本文L1正则化可以手动加到损失函数上，L2可以使用optim优化器直接使用，那么本文是再学习第6步(优化器)以及第8步（计算损失），因为要将L1加到损失上，此时损失会变得复杂一些。

L1正则化和L2正则化的区别

L1正则化可以理解为系数绝对值之和加入惩罚项达到减少拟合的情况

L2正则化可以理解为系数平方和加入惩罚项达到减少拟合的情况

pytorch中的L1正则化

在pytorch中并没有对L1正则化进行实现，此时需要我们手动完成L1正则化，具体来说就是当程序中算出损失之后，此时我们将L1正则化部分加到损失上，然后再进行反向传播。

代码为：

import torch
import torch.nn as nn
import numpy as np
class mynet(nn.Module):
 def __init__(self):
 super(mynet,self).__init__()
 self.fc1 = nn.Linear(100,50)
 self.fc2 = nn.Linear(50,1)
 self.relu = nn.ReLU(inplace=True)
 def forward(self, inputs):
 layer = self.fc1(inputs)
 layer = se