第29篇：Dynamic Personalized Federated Learning withAdaptive Differential Privacy（FedDPA）

第一部分：解决的问题

• 个性化灵活性不足：现有的个性化联邦学习方法大多通过固定分配模型参数来实现个性化，这种方法缺乏灵活性，无法充分适应不同客户端的数据分布，导致个性化效果受限。

• 差分隐私引起的收敛困难：在差分隐私机制中，为了确保隐私保护，必须在本地更新中引入噪声并进行梯度裁剪。传统方法直接对所有参数进行噪声添加和裁剪，这不仅影响了模型的收敛速度，也降低了模型的性能。

• 噪声影响问题：由于差分隐私中的噪声，部分模型参数（尤其是与本地数据密切相关的参数）会遭到噪声的干扰，导致模型性能下降。

第二部分：思路idea

• 动态Fisher个性化（DFP）：

  • 提出使用Fisher信息来衡量模型参数的重要性，并动态选择个性化参数。Fisher信息值较高的参数被保留作为个性化的本地参数，而其他参数则可以用全局参数替换，这样可以更好地适应客户端数据的特点，同时降低噪声的影响。

• 自适应约束（AC）：

  • 为了应对裁剪操作导致的梯度失真问题，论文提出了对不同参数应用不同强度的约束。个性化参数使用L2正则化来保留本地数据特征，而共享参数则通过有界正则化保证其更新不超出裁剪阈值，减少裁剪对模型性能的负面影响。