【论文代码复现】Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Fede

目录

一、前言

二、论文内容概要

1. 论文背景：

2. 已有解决方案

3. 论文方法

 三、实验

 1. 实验设置

 2. 代码

 3. 修改后试验结果和论文结果对比：

参考：

---

一、前言

1. 论文地址：

[2105.05883v2] Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning (arxiv.org)

因为电脑性能有限，所以把四种聚类方式迭代次数都降低到迭代100次，而且只在MNist上，CIFAR10上跑起来也巨慢。官方给的代码跑不通，所以自己就改写了一下。

二、论文内容概要

因为目前只完整地跑完了MNist数据集上的实验，因此暂时先介绍到算法1。

1. 论文背景：

1.1 存在问题或现象：         

1）抽样方法有偏倚     

2）在服务器-客户端通信和训练的收敛稳定性方面不是最佳

1.2 论文提出的方法特点：     

1） 聚类抽样选出的客户机具备更好的客户代表性     

2）减少客户端在FL中随机聚集权重的差异（方差）   

3）在客户端无需额外操作，可无缝集成至标准FL     

4）与现有方法和技术兼容达到隐私增强     

5）通过模型压缩减少通信量

2. 已有解决方案

1）FedAvg算法——随机选择m个客户端采样，对这m个客户端的梯度更新进行平均以形成全局更新同时用当前全局模型替换未采样的客户端     

优点：相对于FedSGD在相同效果情况下，通讯成本大大降低     

缺点：最终的模型是有偏倚的，不同于预期的每个客户端确定性聚合后的模型。

2）多项式分布抽样（MD抽样）算法——客户端抽样的概率对应于他们的相对样本量

优点：

（1）客户端抽样无偏性；

（2）通信量小（FedAvg和MD抽样是服务端-客户端通信最少的唯二方案）     

缺点：

（1）仍然可能导致客户选择上有大的差异——选择客户端替换全局模型的次数