9、对抗风险缓解框架：保障机器学习模型安全与稳健

对抗风险缓解框架：保障机器学习模型安全与稳健

1. 联邦学习与神经网络的潜在风险

在机器学习领域，联邦学习（FL）和神经网络虽带来了诸多便利，但也潜藏着风险。联邦学习在缺乏加密技术时，模型参数和个人身份信息（PII）可能会被对手从节点和通信接口窃取或重构。因此，需要对本地算法进行加密，并采用同态加密（HE）（可结合或不结合差分隐私DP）来安全地聚合加密算法。

神经网络的压缩表示也是一个潜在风险。这种压缩格式可通过以下机制实现：卷积层剪枝、量化、张量分解、知识蒸馏或这些方法的组合。若不加密，攻击者很容易执行模型反转或重构攻击，并高精度地获取机密模型参数。

为应对这些风险，可采用安全多方计算（SMC），让多个参与实体各自接收加密数据的一部分进行进一步处理。这种去中心化方法能降低数据完全暴露或泄露的风险，只有通过多方共识的方式才能恢复数据。不过，SMC要求各方持续进行数据传输，设备需持续在线，这会增加通信开销，可通过设计合适的设备睡眠和唤醒周期来解决。

2. 成员推理攻击（MIAs）及其评估

成员推理攻击（MIAs）可分为黑盒攻击和白盒攻击。黑盒攻击中，攻击者仅知道模型输入，只能查询模型的预测输出标签；白盒攻击中，攻击者了解模型输入、架构以及内部参数，如权重、偏置和其他系数值。MIAs的目标是推断给定数据记录是否在目标数据集中。

为构建MIA模型，可采用影子训练技术生成成员推理的真实标签。具体步骤如下：
1. 创建影子模型实例 ：

SHADOW_DATASET_SIZE = int(shadow