【论文阅读】Exploiting Label Skews in Federated Learning with Model Concatenation

论文地址：https://doi.org/10.1609/aaai.v38i10.29063

摘要

Federated Learning (FL) has emerged as a promising solution to perform deep learning on different data owners without exchanging raw data. However, non-IID data has been a key challenge in FL, which could significantly degrade the accuracy of the final model. Among different non-IID types, label skews have been challenging and common in image classification and other tasks. Instead of averaging the local models in most previous studies, we propose FedConcat, a simple and effective approach that concatenates these local models as the base of the global model to effectively aggregate the local knowledge. To reduce the size of the global model, we adopt the clustering technique to group the clients by their label distributions and collaboratively train a model inside each cluster. We theoretically analyze the advantage of concatenation over averaging by analyzing the information bottleneck of deep neural networks. Experimental results demonstrate that FedConcat achieves significantly higher accuracy than previous state-of-the-art FL methods in various heterogeneous label skew distribution settings and meanwhile has lower communication costs. Our code is publicly available at https://github.com/sjtudyq/FedConcat.

总结：

• 为解决标签偏斜，提出FedConcat，concatenates局部模型作为全局模型的基，以有效地聚合局部知识。
• 为了减少全局模型的规模，采用聚类技术，根据客户的标签分布对客户进行分组，并在每个簇内协同训练一个模型。
• 通过分析深度神经网络的信息瓶颈，从理论上论证了连接方法相较于平均方法的优势。
• 实验结果表明，在各种异构标签偏斜分布设置下，FedConcat的准确率显著高于之前最先进的联邦学习方法，同时具有更低的通信成本。

其他讲解：Exploiting Label Skews in Federated Learning with Model Concatenation——利用模型级联的联邦学习中的标签偏移_联邦学习 标签偏移-优快云博客

Introduction（简略）

尽管现有的联邦学习（FL）方法已经在处理数据异构性问题上取得了一定进展，但它们依然面临标签偏斜问题的挑战。在标签偏斜的情况下，不同客户端之间的标签分布差异会显著降低FL模型的性能，尤其在极端的标签偏斜情况下，现有的基于模型平均的算法效果并不理想。

为了应对这一问题，本文提出了一种新的方法——FedConcat，通过模型连接而非传统的平均方法来解决标签偏斜问题。具体来说，FedConcat通过聚类将客户端根据标签分布划分为若干组，在每组内应用FedAvg训练模型，并将各组的编码器进行连接，从而充分利用不同客户端的标签分布信息。实验表明，FedConcat在多种标签偏斜设置下，相较于现有方法显著提高了准确率，尤其在极端标签偏斜情况下表现尤为突出，同时还在降低通信和计算成本方面展现了优势。

Introduction（与Method中内容重复）

问题

数据异构性是 FL 中的一个具有挑战性的问题，因为 FL 客户端之间的非独立同分布（non-IID）数据分布可能会降低 FL 模型的性能并减缓模型收敛（Karimireddy 等 2020；Li 等 2020b；Hsu, Qi, 和 Brown 2019；Li 等 2021）。根据 Li 等（2021）的研究，非独立同分布数据包括标签偏斜、特征偏斜和数量偏斜。在本文中，我们重点关注标签偏斜（即不同客户端的标签分布不同），这在现实中非常常见（例如，不同地区的疾病分布存在差异）。

相关研究

FedProx（Li et al. 2020a）使用本地模型与全局模型之间的L2距离来正则化本地训练。MOON（Li, He, and So