qq_56341866的博客

联邦学习是一种分散式机器学习方法，其中训练数据存储在本地设备上，模型在本地设备上进行训练，然后周期性地将本地模型更新发送到中央服务器，以便全局模型的更新。在联邦学习中，"Staleness issue"（滞后问题）通常指的是在模型更新聚合过程中，由于参与联邦学习的设备或节点之间的通信延迟，导致某些模型更新在被集成到全局模型之前已经过时（滞后）的问题。这可能会增加通信开销，但有助于确保全局模型的一致性。由于某些设备的模型更新在被聚合到全局模型之前已经过时，因此全局模型可能没有及时获得最新的信息。

同步聚合中，服务器等待Client响应时间较长，当等待多个Client时，假设一个Client的信道条件较差或者计算能力较弱导致不能及时聚合时，就会出现离散问题（Straggler issue），如上图（a），此时等待Client 2，但是Client 1扔占用信道。这里是以FL联邦学习为例子讲的，大概就是需要等多个服务器上传模型，但是各自有快慢，早早上传结束的仍然需要占用信道等待仍没有上传结束的Client，导致信道浪费。

在非IID的情况下，需要采取一些策略来应对数据分布的不均匀性，以确保在全局模型上取得良好的性能。表示各个客户端的数据是从相同的分布中独立采样得到的。这种情况使得在全局模型的训练过程中，每个客户端的数据都是相似的，可以看作是从同一个总体分布中抽取的。在IID的情况下，联邦学习更容易进行，因为各客户端的数据相似性较高，全局模型可以在各客户端的数据上进行较为均匀的训练，不太容易受到数据差异的影响。表示各个客户端的数据并不是独立同分布的，可能来自不同的分布，具有不同的特征、分布、或者数据类型。