52、提升联邦学习鲁棒性与文本对抗样本生成技术

提升联邦学习鲁棒性与文本对抗样本生成技术

1. 联邦学习鲁棒性提升

在联邦学习中，为了增强其拜占庭鲁棒性，提出了 FLAP 这种聚合后剪枝技术。其核心在于，剪枝能够有效缓解对抗训练中学习到的不利和恶意参数。

• 局限性与未来工作
  • 扩展剪枝支持范围 ：目前 FLAP 支持全连接（FC）和卷积（Conv）层的剪枝。若能拓宽其对残差块剪枝的支持，有望实现更高程度的拜占庭鲁棒性。
  • 利用测试数据进行监督剪枝 ：服务器虽无训练集，但有分布相似的测试数据。未来可探索利用这些测试数据进行监督式的模型剪枝。
• 广泛影响
  • 创新的剪枝方式 ：这是首次由联邦学习服务器在不依赖客户端贡献的情况下进行剪枝的工作。
  • 安全性与兼容性 ：FLAP 不向客户端请求任何训练数据或训练输出，难以被恶意参与者操纵。它在聚合后进行，能与现有防御机制共存并提升其有效性，有助于研究界探索更多可用于联邦学习的防御技术，推动高效隐私保护机器学习的实现。
• 评估结果
  • 通过对不同模型评估 FLAP，衡量其在不同对抗模型下的有效性，并与现有防御技术对比。
  • 实证研究表明，FLAP 能降低错误率，在各种对抗设置下，