.requires_grad固定部分参数进行网络训练

本文介绍了如何在PyTorch中只训练网络的部分层,通过设置`.requires_grad=False`来固定参数,以及在optimizer中使用过滤器确保仅更新所需参数。此外,还展示了检查参数是否固定、查看可训练参数、网络总参数的方法,并讨论了为不同层设置不同学习率的可能性。最后,提到了如何在PyTorch中实现部分网络更新的技巧。

.requires_grad固定部分参数进行网络训练

1. 只训练部分层


class RESNET_attention(nn.Module):
    def __init__(self, model, pretrained):
        super(RESNET_attetnion, self).__init__()
        self.resnet = model(pretrained)
        for p in self.parameters():
            p.requires_grad = False
        self.f = nn.Conv2d(2048, 512, 1)
        self.g =
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值