33、pFedV：通过带变分分布约束的个性化联邦学习缓解特征分布偏斜

pFedV：通过带变分分布约束的个性化联邦学习缓解特征分布偏斜

1. 引言

近年来，基于深度学习的方法取得了令人瞩目的成果。然而，深度学习模型的训练依赖于高质量数据的可用性和可访问性。传统的数据集中化方法会带来隐私泄露和数据主权丧失的问题。随着相关问题日益受到关注，全球各地出台了数据保护立法，如欧盟的《通用数据保护条例》（GDPR）。此外，商业竞争和复杂的行政程序也阻碍了数据集成和共享，使得数据呈现“数据孤岛”的状态。

联邦学习作为一种有前景的机器学习隐私保护范式，在学术界和工业界得到了广泛应用。它允许参与的客户端在不泄露本地私有数据的情况下协作训练全局机器学习模型，在医疗、金融和物联网等领域受到越来越多的关注。

然而，联邦学习也面临着一些新问题，其中统计异质性被认为是最具挑战性的问题，也称为非独立同分布（non - IID）问题。例如，不同医院的医学放射图像由于设备和标准不同，数据分布存在差异。研究表明，非IID数据如果没有适当的优化算法，会导致准确率低、收敛速度慢甚至发散。在实践中，非IID场景复杂，主要研究的统计异质性包括标签分布、特征分布和数量方面。

本文主要关注特征分布偏斜问题，主要贡献如下：
- 提出一种新的联邦学习训练策略pFedV，用于缓解统计异质性中的协方差偏移问题。修改神经网络中分类层之前的最后一个特征提取层，使其生成特征图的变分分布。在联邦学习的局部训练损失函数中添加KL散度项，使局部模型的变分分布接近全局模型的输出分布或预定义分布。设计了两种变分分布模型，一种是对所有客户端使用零均值、单位方差的高斯分布的强约束模型，另一种是使用全局模型分布的模型。
- 采用FedBN的思想，在每个客户端单独训练最后一个分类层，作为联