Pytorch（六） —— 模型调优tricks

最新推荐文章于 2024-07-30 12:00:00 发布

原创

最新推荐文章于 2024-07-30 12:00:00 发布 · 759 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #python #人工智能 #机器学习

本文介绍了使用PyTorch进行模型优化的各种技巧，包括L1和L2正则化、动量与学习率衰减、EarlyStopping及Dropout等方法，并提供了具体的代码实现。

Pytorch（六） —— 模型调优tricks

1.正则化 Regularization
- 1.1 L1正则化
- 1.2 L2正则化
2 动量与学习率衰减
- 2.1 momentum
- 2.2 learning rate tunning
3. Early Stopping
4. Dropout

1.正则化 Regularization

1.1 L1正则化

import torch
import torch.nn.functional as F
from torch import nn

device=torch.device("cuda:0")
MLP = nn.Sequential(nn.Linear(128,64),
                    nn.ReLU(inplace=True),
                    nn.Linear(64,32),
                    nn.ReLU(inplace=True),
                    nn.Linear(32,10)
)
MLP.to(device) 
loss_classify = nn.CrossEntropyLoss().