.requires_grad固定部分参数进行网络训练

最新推荐文章于 2024-04-25 18:37:09 发布

原创

最新推荐文章于 2024-04-25 18:37:09 发布 · 953 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #python

本文介绍了如何在PyTorch中只训练网络的部分层，通过设置`.requires_grad=False`来固定参数，以及在optimizer中使用过滤器确保仅更新所需参数。此外，还展示了检查参数是否固定、查看可训练参数、网络总参数的方法，并讨论了为不同层设置不同学习率的可能性。最后，提到了如何在PyTorch中实现部分网络更新的技巧。

.requires_grad固定部分参数进行网络训练

文章目录

- .requires_grad固定部分参数进行网络训练

1. 只训练部分层


class RESNET_attention(nn.Module):
    def __init__(self, model, pretrained):
        super(RESNET_attetnion, self).__init__()
        self.resnet = model(pretrained)
        for p in self.parameters():
            p.requires_grad = False
        self.f = nn.Conv2d(2048, 512, 1)
        self.g =