深度学习网络中设置部分层参数可调

博客基于Pytorch框架,介绍部分层参数更新设置方法。先记下需梯度更新层的名字,将不需要更新层的require_grad设为False,避免影响其他层。接着验证设置是否成功,筛掉require_grad为False的层进行参数优化,最后训练一段时间后再次验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.基于框架pytorch。先查看网络每层的名字p[0],将需要梯度更新的层的名字记下,替换以下代码中的’conv5_ft.conv.weight/bias’,将不需要梯度更新层的require_grad设为False。

for p in net.named_parameters():
    if p[0] != 'conv5_ft.conv.weight' and p[0]!='conv5_ft.conv.bias':                 //should be changed
        p[1].requires_grad=False

ps:如果有梯度,不更新,则该梯度会影响其他层的参数更新。
2.验证设置是否成功:

for xyz in net.parameters():
       print(xyz.requires_grad)

3.最后一步,将require_grad=False的层筛掉,只对True层进行参数优化:
决定本层参数是否更新

optimizer = torch.optim.SGD(filter(lambda p: p.requires_grad, net.parameters()),lr=lr,momentum=cfg.momentum,weight_decay=cfg.weight_decay)

4.训练一段时间后验证是否成功:
利用net.named_parameters()输出训练前后某层参数p[1],看是否不同。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值