改动模型后,加载部分预训练权重文件_预训练模型,把对应层的参数加载,只是部分权重

最近在做姿态估计相关内容,需要将Hrnet模型修改,Hrnet是基于coco数据集训练的,coco数据集是17个关节点,而我需要的是15个关节点,在将数据集标好训练之后,发现由于数据量比较小,模型能够很快收敛,但是泛化性能极差,于是,就想着把之前的coco预训练权重文件拿出来一部分,对我自己的模型进行训练,果不其然,在使用部分预训练权重文件进行训练后,模型的泛化性有了很大的改善,现在分享给大家。

1首先我们需要明确权重文件的类型是什么:我们在使用pytorch进行模型训练的时候,最后的权重文件实际上是一个字典, 只不过是一个有序字典OrderedDict类 ,关于这个类的各种操作,请参考这篇博客, 里面已经说的很详细了OrderedDict
2在明确权重文件其实就是一个字典类的时候,那么我们就能了解,权重文件其实就是key+value,所谓key就是每一层的关键字,而value就是每一层的矩阵数据,下面以一份权重文件为例:

预训练权重文件

我们在加载预训练权重文件之后,发现就是一个字典,并且是一个有序字典,那么同样,我们可以打印出字典的关键字:

字典关键字

在了解上述操作过程以后,那么如果我们想要加载部分预训练权重文件就很简单啦。
首先,我们需要将我们实例化删改后的模型:
model = YOUR_changed_model(\*\*)

其次,加载你删改后模型的state_dict()
model_state_dict= model.state_dict()

同样,model_state_dict()也是一个字典文件,因为我们已经改变了模型,但是我们改变的只是模型的一部分,换句话说,改变的只是权重文件字典中的某些keys或者values,而我们加载的部分权重文件其实就是在原来权重文件中没有修改的。以我的模型为例,我只是改变了模型的最后的全连接层,本来最后一维是17维,我需要的是15维,那么也就是说出去最后一层的预训练权重文件,我都是可以使用的,并且最后一维我可以使用预训练权重文件的前15维,因此,修改如下:

为了做好运维面试路上的助攻手,特整理了上百道 【运维技术栈面试题集锦】 ,让你面试不慌心不跳,高薪offer怀里抱!

这次整理的面试题,小到shell、MySQL,大到K8s等云原生技术栈,不仅适合运维新人入行面试需要,还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

  • 174 道运维工程师面试题
  • 128道k8s面试题
  • 108道shell脚本面试题
  • 200道Linux面试题
  • 51道docker面试题
  • 35道Jenkis面试题
  • 78道MongoDB面试题
  • 17道ansible面试题
  • 60道dubbo面试题
  • 53道kafka面试
  • 18道mysql面试题
  • 40道nginx面试题
  • 77道redis面试题
  • 28道zookeeper

总计 1000+ 道面试题, 内容 又全含金量又高

  • 174道运维工程师面试题

1、什么是运维?

2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?

3、现在给你三百台服务器,你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?

7、Tomcat和Resin有什么区别,工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义?

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?

?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值