个性化联邦学习综述

OK从今天开始，我将从个性化联邦学习出发，研究如何缓解联邦学习中的模型异构性问题。
首先从《Personalized federated learning for intelligent iot applications》这篇个性化联邦学习的综述开始。这篇文章强调了个性化的必要性并对这一主题的最新研究进行了总结。

个性化联邦学习的必要性

在最初的联邦学习设计中，模型更新以及最终的模型都可能导致数据泄露进而危及客户隐私，有人提出差异隐私技术来保护全局模型中涉及的关于客户端的数据信息。但有人认为这种隐私保护机制在保护隐私和为每个客户端提供更高性能的模型之间存在矛盾。差分隐私保护的代价是模型准确性的降低，这一代价将由客户端承担，并且数据较少的参与者将承担更大的代价。
为了应对数据的Non-IID分布带来的挑战，一种有效的方法是在设备、数据和模型上进行个性化处理，以减轻异构性并为每个设备获得高质量的个性化模型，即个性化联邦学习。大多数个性化技术可以分为两步：
第一步，以协作的方式构建一个全局模型。
第二步，使用客户端的私有数据为每个客户端进行全局模型的个性化处理。

两步走的个性化方法存在的问题

《Improving federated learning personalization via model agnostic meta learning》这篇文章提出，第一步一味地对全局模型进行优化，得到的最优全局模型并不利于后续的个性化处理（类似于pre-training在联邦学习中的应用，在全局模型看似不错地参数选择，应用于局部数据并进行若干次迭代后可能收敛于局部最优解）。
因此，该文章提出，为了使联合学习地个性化具有实际意义，必须同时而不是独立地解决以下三个目标:
(1)训练有利于大多数客户的个性化模型。
(2)训练