Differentially Private Federated Learning With an Adaptive Noise Mechanism

一、研究背景

1.1联邦学习的保护机制

在联邦学习机制中，用户会因为共享模型参数而导致隐私泄露。实现隐私保护的FL（PPFL）的一种方法是利用同态加密（HE）来加密客户端的局部模型参数，并允许参数服务器在密文上执行FL聚合。HE-based PPFL协议确实保护了客户的隐私，但一个问题是HE通常引入了巨大的计算开销，这在FL中是不切实际的。另一种方法是使用数据掩码，在这些方案中，客户端向上传输的模型参数添加掩码值，其中掩码值通常包括成对的掩码以确保在聚合结果中的消除，以及自掩码以防止意外泄露客户的隐私。这种方案的问题是它们导致了巨大的通信开销。一种流行的方法是使用差分隐私对联邦学习进行保护，在本文中，作者只使用本地差分隐私联邦学习(LDP-FL)来保护隐私。

1.2LDP-FL的误差分析

在以往的LDP-FL中，由于不同模型参数之间存在异质性，当服务器分配给用户的隐私预算大于用户所需要的隐私预算时，用户的隐私信息得不到保护，模型的准确性或上升。当服务器分配给用户的隐私预算小于用户所需要的隐私预算时，用户的隐私信息得到保护，但模型的准确性下降。所以，LDP-FL会因为不同模型参数之间存在异质性而导致模型精度下降，因此，我们亟需一种方法来解决LDP-FL的问题。

1.3作者的解决方法

自适应噪声机制：根据模型参数的大小添加变化的噪声。因为灵敏度是DP中确定噪声大小的关键概念，所以自适应噪声机制的关键是对灵敏度进行紧密估计。步骤如下：
1）客户端使用上一次FL聚合得到的全局模型参数和本地历史梯度来计算逐个模型参数的阈值，并使用该阈值来截断上传的参数；
2）然后他们可以