联邦学习——基于节点梯度和全局梯度的内积进行节点选择

联邦学习——FedPNS

填上一篇的坑。
《Node Selection Toward Faster Convergence for Federated Learning on Non-IID Data》这篇论文建立在数据异构的基础上，设计了一个选择性地让节点参与模型聚合的概率模型。通过排除不利于全局收敛的节点，提高模型收敛速度和预测精度。

摘要

联邦学习(FL)是一种分布式学习范式，它允许大量资源有限的节点在没有数据共享的情况下协作训练模型。非独立的和同分布的(Non-IID)数据样本造成了全局目标和局部目标之间的差异，使得FL模型收敛缓慢。本文提出了更好的最优聚合算法，该算法通过检查局部梯度与全局梯度的关系，识别和排除不利于全局收敛地局部更新，找到每个全局回合中参与节点局部更新的最优子集。最终提出了一个概率节点选择框架(FedPNS)，根据最优聚合的输出动态地改变每个节点的选择概率。FedPNS可以优先选择能够促进更快的模型收敛速度的节点参与模型聚合。从理论上分析了FedPNS比常用的FedAvg算法的具有更快的收敛速度。并通过实验证明了其有效性。

节点选择的相关策略

《Client selection for federated learning with heterogeneous resources in mobile edge》
《Convergence of update aware device scheduling for federated learning at the wireless edge》
《Scheduling for cellular federated edge learning with importance and channel awareness》
《Client selection in federated learning: Convergence analysis and power-of-choice selection strategies》
这些策略就不加以讨论了，有兴趣的话可以自己下载康康。总的来讲，这些节点选择策略都没有分析数据异质性对节点选择带来的影响。
与上述研究相比，FedPNS这一基于概率的节点选择模型建立在数据异质性观点的基础上。因为FL模型很难在Non-IID数据收敛，所以要描述节点间数据样本的分布并不容易。与随机选择相比，通过识别不同节点对模型收敛的贡献程度，有目的地选择节点更有利于加速模型收敛。