PyTorch基础练习-task5(PyTorch实现L1，L2正则化以及Dropout)

一、Dropout原理

在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征，如下图。

Dropout缩放：我们训练的时候会随机的丢弃一些神经元，但是预测的时候就没办法随机丢弃了。如果丢弃一些神经元，这会带来结果不稳定的问题，也就是给定一个测试数据，有时候输出a有时候输出b，结果不稳定，这是实际系统不能接受的，用户可能认为模型预测不准。那么一种”补偿“的方案就是每个神经元的权重都乘以一个p，这样在“总体上”使得测试数据和训练数据是大致一样的。
当前Dropout被大量利用于全连接网络，而且一般认为设置为0.5或者0.3，而在卷积网络隐藏层中由于卷积自身的稀疏化以及稀疏化的ReLu函数的大量使用等原因，Dropout策略在卷积网络隐藏层中使用较少。总体而言，Dropout是一个超参，需要根据具体的网络、具体的应用领域进行尝试。

参考链接：https://blog.youkuaiyun.com/program_developer/article/details/80737724

二、用代码实现正则化（L1和L2）

2.1、L1实现

L1正则可以简单理解为对系数绝对值之和加入惩罚项以达到减少过拟合的情况

2.2、L2实现

L2正则可以简单理解为对系数平方和加入惩罚项以达到减少过拟合的情况

参考链接：https://blog.youkuaiyun.com/LoseInVain/article/details/81708474

三、PyTorch中实现dropout

拆分训练和测试数据集

模型训练

模型评估：


以下是完整代码：

import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
import torch.nn.init as init
import math
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import numpy as np
import pandas as pd
%matplotlib inline

# 导入数据
data = pd.read_csv(r'C:\Users\betty\Desktop\pytorch学习\data.txt')
x, y = data.ix[:,:8],data.ix[:,-1]

#测试集为30%，训练集为80%
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0)

x_train = Variable(torch.from_numpy(np.array(x_train)).float())
y_train = Variable(torch.from_numpy(np.array(y_train).reshape(-1, 1)).float())	

x_test = Variable(torch.from_numpy(np.array(x_test)).float())
y_test= Variable(torch.from_numpy(np.array(y_test).reshape(-1,1)).float())	


print(x_train.data.shape)
print(y_train.data.shape)

print(x_test.data.shape)
print(y_test.data.shape)

class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.l1 = torch.nn.Linear(8, 200)
        self.l2 = torch.nn.Linear(200, 50)
        self.l3 = torch.nn.Linear(50, 1)

    def forward(self, x):
        out1 = F.relu(self.l1(x))
        out2 = F.dropout(out1, p= 0.5)
        out3 = F.relu(self.l2(out2))
        out4 = F.dropout(out3, p=0.5)
        y_pred = F.sigmoid(self.l3(out3))
        return y_pred

model = Model()

criterion = torch.nn.BCELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=0.1)

Loss=[]
for epoch in range(2000):
        y_pred = model(x_train)
        loss = criterion(y_pred, y_train)
        if epoch % 400 == 0:
            print("epoch =", epoch, "loss", loss.item())
            Loss.append(loss.item())
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

# 模型评估
def label_flag(data):
    for i in range(len(data)):
        if(data[i]>0.5):
            data[i] = 1.0
        else:
            data[i] = 0.0
    return data

y_pred = label_flag(y_pred)  
print(classification_report(y_train.detach().numpy(), y_pred.detach().numpy()))

# 测试
y_test_pred = model(x_test)
y_test_pred = label_flag(y_test_pred)       
print(classification_report(y_test.detach().numpy(), y_test_pred.detach().numpy()))

数据集下载链接：链接：https://pan.baidu.com/s/1LrJktjVQ1OM9mYt_cuE-FQ
提取码：hatv