pytorch中model.parameters()和model.state_dict()使用时的区别

联邦学习模拟实验中涉及模型参数的聚合和广播，需要提取模型参数。这个时候一般有两个选择，model.parameters() 和 model.state.dict()。表面上看这两者的区别只在于 model.parameters() 方法返回的是一个生成器 generator，里面只有模型的参数，而没有对应的网络层名称；而 model.state_dict() 返回的则是一个字典 {key:value}，key 是网络层名称，value 则是该层的参数。

但我实际做实验的时候发现，分别用这两种方法进行聚合的实验结果相去甚远，测试准确率甚至能相差 10 个点以上。

一波网上搜索发现，当模型中有非训练参数时，这两者其实还有区别，即 model.parameters() 只包含可训练参数，而 model.state_dict() 则包含了所有参数。
比如批量归一化层 BN layer 除了 2 个可训练参数 $\alpha$ 和 β 外，还有 running_mean 和 running_var 这2个统计量，而 model.parameters() 是不包含这两个统计量的，只有 model.state_dict() 将这两个统计量包含在其中。
至于是否把这两个统计量纳入聚合的范畴，可以看我之前总结的BN在联邦学习中的应用

所以，如果是用 model.para