Pytorch固定部分参数（层）进行训练

最新推荐文章于 2023-06-27 11:19:45 发布

原创

最新推荐文章于 2023-06-27 11:19:45 发布 · 1.3w 阅读

55 ·

CC 4.0 BY-SA版权

本文介绍了在PyTorch中如何固定网络部分参数进行训练。可以通过设置`requires_grad`或`volatile`参数来实现。推荐使用`requires_grad=False`在训练过程中固定子模块，例如在加载预训练模型后添加新层时。`volatile=True`主要用于推理过程，减少内存消耗，不保存中间状态。

网络中所有操作对象都是Varoable对象，而Variable有两个参数可用于固定参数：requires_grad和volatile。

一：requires_grad参数设置

Method 1: 初始化时指定，如下语句所示：

x = Variable(torch.randn(2, 3), requires_grad=True)
y = Variable(torch.randn(2, 3), requires_grad=False)

注意：Variable中requires_grad的默认值为False，但是Module中的层在定义时，相关的Variable中的requires_grad默认都是True。在计算图中，如果有一个输入的requires_grad是True，那么输出的requires_grad也是True。所以为了更方便的进行参数固定，建议使用Method 2 。

Method 2：网络模型中设置。在训练中想要固定网络的底层，可以令这部分网络对应的子图的参数requires_grad为False。这样在反向传播的过程中就不会计算这些参数对应的梯度。需要在nn.Module中直接插入如下语句：

for p in self.parameters():
    p.requires_grad=False

For example 1: 在加载预训练模型后，在原来的基础上添加一部分的网络，这样可以固定原来的参数，然后只训练添加的这部分网络，结束后再全部训练。

class RESNET_attention(nn.Module):
    def __init__(self, model, pretrained):
        super(RESNET_attetnion, self).__init__()
        self.resnet = model(pretrained)
        for p in self.parameters(