29、轻量级隐私保护学习方案：从训练到推理的隐私防护

轻量级隐私保护学习方案：从训练到推理的隐私防护

1. 差分隐私协作学习方案

1.1 方案背景

在协作学习场景中，存在一个“诚实但好奇”的云，它试图从雾节点上传的数据中推断隐私信息。为解决这一问题，我们采用 𝜖 - 差分隐私（𝜖 - DP）作为隐私定义，该定义能量化雾节点产生的不同数据向量相对于“诚实但好奇”云的不可区分性。

1.2 方案概述

1.2.1 整体架构

我们提出的方法旨在保护提取的特征的隐私，避免直接扰动原始数据导致学习性能显著下降。在协作学习系统中，使用卷积神经网络（CNN），每个参与者运行卷积层提取特征，然后将特征传输给协调器。协调器维护全连接层，并在学习阶段使用接收到的特征进行前向传播。参与者在传输特征之前会对其进行扰动。

具体流程如下：
1. 每个参与者收集数据并在本地提取特征。
2. 在隐私保护机制下，参与者将隐私保护特征和原始标签发送给协调器。
3. 协调器使用反向传播算法更新全连接层参数，并将传播损失发送回参与者，参与者相应地更新卷积层。

1.2.2 设计问题讨论

• 分类阶段 ：协作学习完成后的分类阶段，参与者可以将测试数据特征发送到云进行分类，或者协调器将全连接层分发给所有参与者，参与者可以运行完整的 CNN 进行分类，而无需传输测试数据。
• 卷积层一致性 ：为了利用大量训练数据提高卷积层的有效性，所有参与者保持相同的卷积层。协调器更新全连接层参数后，将传播损失广播给所有参与者，参与者同时更新自己的