guls999的博客

Pytorch采用不同的学习率训练网络 为了fine-tuning网络，经常会让有预训练参数的层的学习率比较小，而新的层的学习率比较大。然后看了网上很多的教程，都是这样去定义参数组的： # eg. import torch from torchvision.models.vgg import vgg16_bn from torch import optim num_classes = 2 lr ...

  在训练过程中我们一般会使用pytorch已有的学习率调整策略，如： import torch import torch.optim as optim from torchvision.models.resnet import resnet50 net = resnet50(num_classes=1000) optimizer = optim.Adam(net.parameters(), lr...