30、ObfNet：轻量级隐私保护学习方案的探索与实践

ObfNet：轻量级隐私保护学习方案的探索与实践

1. ObfNet架构设计与训练

1.1 架构设计要求

ObfNet的架构设计没有通用的经验法则，和特定应用的深度神经网络（DNN）设计类似，它采用试错法，以训练过程的验证结果作为反馈。设计者需要尽量缩小ObfNet的规模，使其能在资源受限的雾节点上运行。同时，ObfNet的设计需满足以下要求：
- 输入和输出维度相同，以实现不引人注意的特性。
- 采用多对一的非线性映射激活函数（如ReLU），防止后端从混淆后的数据中估算出原始推理数据。

1.2 训练过程

ObfNet的训练步骤如下：
1. 后端用随机数初始化ObfNet的权重。
2. 后端将ObfNet与InfNet连接，形成一个连接的DNN，其中ObfNet的输出作为InfNet的输入。
3. 后端使用之前训练InfNet的训练数据集来训练这个连接的DNN。
4. 在每个训练周期的反向传播阶段，损失正常反向传播，但只更新ObfNet的权重，InfNet的权重保持固定。
5. 当连接的DNN训练收敛时，后端从连接的DNN中提取训练好的ObfNet。
6. 重复上述过程，后端生成多组不同的ObfNet。后端可以根据需要数据混淆的雾节点的可用存储容量来确定每组的数量。
7. 最后，后端将这些组传输到雾节点。

以下是ObfNet训练过程的mermaid流程图：

graph LR
    A[初始化ObfNet权重] --> B[连接ObfNet和InfNet]