28、轻量级隐私保护学习方案的研究与评估

轻量级隐私保护学习方案的研究与评估

在当今数据驱动的时代，隐私保护和高效学习成为了两个关键的需求。本文将介绍几种轻量级隐私保护学习方案，并通过实验评估它们的性能。

1. 随机投影与深度学习挑战

在隐私保护学习中，随机投影（GRP）是一种常用的技术。参与者独立生成高斯矩阵对数据进行投影，以保护数据隐私。然而，这种方法给深度学习带来了挑战。因为不同参与者的投影矩阵不同，聚合后的数据模式变得复杂，需要更深的神经网络和更多的训练数据来捕捉这些模式。

例如，在一个包含四个参与者的PPCL系统中构建二分类器。原始数据分为两类，遵循二维高斯分布，通过简单超平面即可分离。但每个参与者独立生成高斯随机矩阵对数据投影后，投影数据的模式各不相同，聚合后的投影数据模式高度复杂，难以用简单超平面分类。

此外，参与者独立生成投影矩阵还可能导致学习性能下降和分类错误。不过对于高维数据向量，这种情况发生的概率较低。

2. 实验示例说明

为了更直观地理解，我们来看两个示例：
- 示例一：四参与者PPCL系统 ：原始数据分为两类，投影后各参与者的投影数据模式不同，聚合后的投影数据模式复杂，难以用简单超平面分类。
- 示例二：单参与者PPCL系统 ：原始数据遵循十维高斯分布。实验发现，矩阵的条件数越大，测试准确率越低。而高斯随机矩阵大概率是良态的，这也是我们选择用其进行数据投影的依据。

3. 评估方法与数据集

我们评估了几种方法：
- GRP - DNN ：参与者进行G