论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning

论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning

NDSS 2021录用文章

---

---

一、机器学习

1. 机器学习(ML)中的挑战

• 为了实现健壮的机器学习模型，需要在多个数据提供者之间共享数据。

• 问题1： 数据分享是困难的。
  1.敏感数据
  2.隐私条例(HIPAA，GDPR)
  3.商业竞争

• ML模型的合作训练。

• 问题2： ML模型泄露了训练数据的信息。

• 提供机器学习作为一种服务(machine learning-as-a-service)。

• 问题3： 用于预测的个人数据是敏感的。

2. 隐私保护机器学习(PPML)

基于多个数据提供者的数据，建立分布式机器学习模型，进行隐私保护训练和推理。模型保护了数据和模型机密性。

• 中心化——集中训练
  1.将原始数据传输给可信第三方，可信第三方汇总数据到中央数据库
  2.数据保护: 中央数据库的安全
  3.需要信任中央服务器
• 去中心化——联邦学习
  1.将模型带到数据中进行本地模型更新，而不是将数据带到模型中。模型是敏感的。
  2.共享中间模型更新（梯度）会导致各种隐私攻击，比如提取各方的输入。
• 隐私保护去中心化——差分隐私
  1.在数据所有者之间交换差分隐私的中间值。
  2.效用降低。
  3.高隐私预算
  4.隐私的实际实现水平仍不清楚。
• 隐私保护去中心化——安全多方计算
  1.基于秘密共享技术的服务器模型，数量为2、3或4。
  2.在分割信任的服务器数量方面具有限制。
  3.假设在计算服务器中有诚实的大多数。
  4.高的通信开销

二、POSEIDON方案

该论文扩展了SPINDLE（针对通用线性模型的隐私保护训练和评估），通过多方同态加密建立了一个新的系统，在分布式设置中使更复杂的模型（即神经网络(NNs)）的隐私保护训练和评估成为可能，提供端到端保护：

• 各方的训练数据
• 结果模型
• 查询者的评估数据

1. 系统和威胁模型

• 系统模型
  1.