pytorch中model.parameters()和model.state_dict()使用时的区别

联邦学习模拟实验中涉及模型参数的聚合和广播,需要提取模型参数。这个时候一般有两个选择,model.parameters() 和 model.state.dict()。表面上看这两者的区别只在于 model.parameters() 方法返回的是一个生成器 generator,里面只有模型的参数,而没有对应的网络层名称;而 model.state_dict() 返回的则是一个字典 {key:value},key 是网络层名称,value 则是该层的参数。

但我实际做实验的时候发现,分别用这两种方法进行聚合的实验结果相去甚远,测试准确率甚至能相差 10 个点以上。

一波网上搜索发现,当模型中有非训练参数时,这两者其实还有区别,即 model.parameters() 只包含可训练参数,而 model.state_dict() 则包含了所有参数。
比如批量归一化层 BN layer 除了 2 个可训练参数 α \alpha α 和 β 外,还有 running_mean 和 running_var 这2个统计量,而 model.parameters() 是不包含这两个统计量的,只有 model.state_dict() 将这两个统计量包含在其中。
至于是否把这两个统计量纳入聚合的范畴,可以看我之前总结的BN在联邦学习中的应用

所以,如果是用 model.para

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

联邦学习小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值