联邦学习模拟实验中涉及模型参数的聚合和广播,需要提取模型参数。这个时候一般有两个选择,model.parameters() 和 model.state.dict()。表面上看这两者的区别只在于 model.parameters() 方法返回的是一个生成器 generator,里面只有模型的参数,而没有对应的网络层名称;而 model.state_dict() 返回的则是一个字典 {key:value},key 是网络层名称,value 则是该层的参数。
但我实际做实验的时候发现,分别用这两种方法进行聚合的实验结果相去甚远,测试准确率甚至能相差 10 个点以上。
一波网上搜索发现,当模型中有非训练参数时,这两者其实还有区别,即 model.parameters() 只包含可训练参数,而 model.state_dict() 则包含了所有参数。
比如批量归一化层 BN layer 除了 2 个可训练参数 α \alpha α 和 β 外,还有 running_mean 和 running_var 这2个统计量,而 model.parameters() 是不包含这两个统计量的,只有 model.state_dict() 将这两个统计量包含在其中。
至于是否把这两个统计量纳入聚合的范畴,可以看我之前总结的BN在联邦学习中的应用
所以,如果是用 model.para