SXxtyz的博客

提出了一种安全聚合算法，Secure Aggregation算法，可以使得在多方学习（如联邦学习）中各方client在不暴露各自梯度的情况下实现梯度的聚合。实验我们提出了安全计算向量之和的算法，它满足常数迭代轮次、低通信代价、对故障具有鲁棒性、且有一个可信度受限的server。server有两种角色：一是想其他参与方发送信息，二是计算最终结果。鉴于联邦学习系统的缺点（对于隐私的要求以及终端不同步的问题），急切需要一种安全聚合算法来解决这些问题：操作高维数据；提高通信效率；对终端用户的失联的鲁棒

摘要以神经网络为基础的机器学习在大量的领域取得了卓越的成就。通常来讲，模型训练需要大量典型的数据集，它们可能是外包的并且包含一些敏感信息。模型不该在这些数据集中暴露隐私。为了解决这一目标，我们提出了新的算法进行学习，以及差分隐私框架下隐私成本的改良分析。我们的实验证明我们可以使用非凸目标训练深度神经网络，在中等的隐私预算、可控的软件复杂度成本、训练效率和模型质量条件下。我们综合当前最新的机器学习方法和改进的隐私保护机制，在中等隐私条件下训练神经网络模型。我们训练模型使用非凸目标、多个层次、上万个参数。

摘要现代移动设备可以接触到大量可供模型学习的数据，这反过来也可以大大增强设备用户体验。例如，语言模型可以实现语音识别和文本输入，图像模型可以帮助自动挑选优良的照片。然而，这些数据往往隐私敏感且数量庞大，所以，把数据记录到数据中心并并行训练的方法不可行。我们对此作了一些改变–把训练数据分散在移动设备上并通过聚合本地计算更新来实现共享模型的学习。我们把这种分散式的方法称为联邦学习。我们提出了一种基于迭代模型平均的深度网络联邦学习的实践方法，并在555中不同的模型和四个数据集上进行了大量的模型评估。这些实验

摘要联邦学习使得可以在大量的边缘设备上进行训练。为了提高灵活性和拓展性，我们提出了一种新的异步联邦学习优化算法。我们证明了对于强凸问题和非凸问题，以及有限类非凸问题，提出的方法都具有接近线性收敛的全局最优解。实验结果表明，提出的算法在不同的场景中都能快速收敛且能容忍陈旧（这边翻译可能不合理）。简介联邦学习系统一般会有多个server和worker（即client）组成，其组成结构与参数服务器相似。worker会在当地的隐私数据上进行训练，server会聚合各个worker的学习模型并更新全局模型。联