torch - 冻结部分层网络参数_torch冻结参数-优快云博客

本文链接：https://blog.youkuaiyun.com/mr1217704159/article/details/121798354

方法一
设置requires_grad=False

# need_frozen_list 不需要更新梯度的变量
for param in model.named_parameters():
    if param[0] in need_frozen_list:
        param[1].requires_grad = False
# 若用了nn.DataParallel， 记得加 model.module()

优化器中加上filter：

optimizer = torch.optim.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=args.lr,momentum=args.momentum, weight_decay=args.weight_decay)

ps：推荐使用这种方法，不需要更新梯度的部分将 required_grad=False，优化器更新梯度的时候过滤掉没计算梯度的就行，网络backward不受影响，计算图不会中断！

方法二
使用 torch.no_grad()：

with torch.no_grad():
    'layers code'

ps: 据pytorch官网介绍，with torch.no_grad() 的作用是中断创建计算图，因此也就不会反向求导，所及常在测试代码中使用。如果是用在网络训练过程中冻结某一层，应该只能用在叶子节点部分，不可用在中间层。根据 pytorch 的动态图机制，前向建图-反向求导，如果使用此方法会导致计算图不连续，断为两部分，梯度无法从loss端backward到input。