Dropout判断可以抵抗过拟合的方法

关注

原创最新推荐文章于 2026-04-23 11:09:24 发布 375 阅读 AI 写同款· GEO 优化 ›

PyTorch使用Tricks：Dropout，R-Dropout和Multi-Sample Dropout等！！由于Dropout会随机地改变网络的结构，导致网络的输出有较大的方差，因此需要使用较高的学习率，来加快网络的收敛速度。另外，使用较大的动量值，可以增加网络的惯性，抵抗Dropout带来的扰动，保持网络的方向。尤其是使用较高的学习率时，网络的权重可能会变得非常大，导致网络的输出过于敏感，降低网络的泛化能力。具体来说，对于每个神经元，其保留概率是其激活的函数，这意味着网络在训练过程中自动学习每个神经元的重要性，并据此调整其被丢弃的概率。在较大的网络上，过拟合的风险更高，因此Dropout的作用更明显。阅读详情

在这里插入图片描述

Dropout

LR=0.5
model = Net()
mse_loss = nn.CrossEntropyLoss()
#定义优化器，设置正则化L2
optimizer=optim.SGD(model.parameters(),LR,weight_decay=0.001)

def train(): #调用一次，训练一个周期
    model.train()  # dropout 起作用
    for i,data in enumerate(train_loader):
        #获得一个批次的数据和标签
        inputs, labels = data
        #(64,10)
        out = model(inputs)
#         #把数据标签变成独热编码
#         #[64]-->[64,1]
#         labels = labels.reshape(-1,1)
#         #tensor.scatter(dim,index,src)
#         #dim:对哪个维度进行独热编码
#         #index：要将src中对用的值放到tensor中的哪个位置
#         #src:插入index的数值
#         #将label转为one_hot编码1-->[1,0,0,0,0,0,0,0,0,0]
#         one_hot = torch.zeros(inputs.shape[0],10).scatter(1,labels,1) #将1放到labels中的哪个位置
        #计算loss
        loss = mse_loss(out,labels)
        #梯度清零
        optimizer.zero_grad()
        #计算梯度
        loss.backward()
        #更新权值
        optimizer.step()
def test():
    #测试集准确率
    model.eval() #dropout不工作
    correct=0
    for i,data in enumerate(test_loader):
        inputs,labels = data
        out = model(inputs)
        _,predicted = torch.max(out,1)
        correct += (predicted==labels).sum()
    print("Test acc:{0}".format(correct.item()/len(test_dataset)))
    print(correct.item())
    print(len(test_dataset))
    #训练集准确率
    correct1=0
    for i,data in enumerate(train_loader):
        inputs,labels = data
        out = model(inputs)
        _,predicted = torch.max(out,1)
        correct1 += (predicted==labels).sum()
    print("Train acc:{0}".format(correct1.item()/len(train_dataset)))

Dropout：对比训练集和测试集的准确率，取差值；对比没有使用Dropout=0的差值。可以说明其可抵抗过拟合（差值越小越好）
正则化：可以抵抗过拟合。

收录于