torchvision.models中模型编辑的requires_grad

最新推荐文章于 2025-04-09 11:10:19 发布

immc1979

最新推荐文章于 2025-04-09 11:10:19 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

文章标签：人工智能深度学习 python

本文链接：https://blog.youkuaiyun.com/immc1979/article/details/128099907

这篇博客探讨了在PyTorch中如何对预训练模型进行微调，首先展示了如何初始化不同类型的预训练模型，如VGG16。然后，通过将模型的所有参数`requires_grad`设置为False，阻止所有层进行训练。接着，修改模型的最后一层以适应新的任务，并观察到该层的`requires_grad`自动变为True，表明仅此层将在后续训练中更新权重。这说明在PyTorch中，对模型结构的修改会影响梯度计算和参数更新的范围。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在对torchvision已有模型进行编辑的时候会保存已有训练结果，只针对编辑过的层进行训练，可以通过对requires_grad的赋值实现

import torch
import torchvision
from torch import optim, nn

def InitMode(mode_name):
    if mode_name == 'resnet152':
        return torchvision.models.resnet152(weights=torchvision.models.ResNet152_Weights.DEFAULT)  
    elif mode_name == "resnet50":
        return torchvision.models.resnet50(weights=torchvision.models.ResNet50_Weights.DEFAULT)
    elif mode_name == "vgg16":
        return torchvision.models.vgg16(weights=torchvision.models.VGG16_Weights.DEFAULT)
    else:
        exit()


mymodel = InitMode("vgg16")

# 修改前
for name, param in mymodel.named_parameters():
    print(name, param.requires_grad)

print("=" * 30)

#  修改requires_grad
for param in mymodel.parameters():
    param.requires_grad = False

for name, param in mymodel.named_parameters():
    print(name, param.requires_grad)

print("=" * 30)

mymodel.classifier[6] = nn.Linear(4096, 10)

# 修改后
for name, pa