19、联邦学习：分布式数据分析的前沿探索

联邦学习：分布式数据分析的前沿探索

1. 调试与问题识别

将调试工作尽可能靠近设备端，这样能获取更优质的数据。利用相关指标和安全的错误摘要，通过跨设备比较来识别问题出现的模式，从而系统性地发现问题。

在处理维护隐私的分布式系统时，建议在投入生产前保持耐心，花足够的时间进行实验和调试。

2. 安全威胁及应对

在构建和部署模型时，除了要考虑部署选择、设备能力、调试选项和潜在数据问题外，还需关注模型本身的安全性。

• 防止逆向工程 ：可采用分割学习的方法，即将模型在特定层进行分割，只将部分层（微调层或基础层）部署到设备上，避免将整个模型发送到所有设备。
• 应对数据投毒攻击 ：在联邦机器学习中，数据投毒攻击也被称为拜占庭投毒攻击。为克服这一威胁，可采取以下措施：
  • 使用改进的选择标准，并行训练多个候选模型，并使用不同的用户作为测试集进行评估。
  • 对输入模型的数据进行采样，假设显示出非常大梯度的数据是异常的，拒绝或限制这些数据的贡献。但需注意，在数据并非恶意的情况下，这可能会阻碍模型的学习和收敛。
  • 其他推荐方法包括将示例转换为更接近流形，或在训练时考虑对抗和投毒攻击。

安全威胁	应对措施
逆向工程