联邦学习（Federated Learning, FL）

1. 联邦学习的背景与动机

历史背景

联邦学习的概念最早由Google在2016年提出（McMahan et al., AISTATS 2017），最初应用于移动设备上的隐私保护场景，例如Gboard键盘的输入预测。核心动机是解决大规模分布式数据训练中的隐私和效率问题。随着物联网、边缘计算和数据隐私法规（如欧盟的GDPR、中国的《个人信息保护法》）的发展，联邦学习迅速成为学术界和工业界的热点。

联邦学习与传统机器学习的对比

维度	传统机器学习	联邦学习
数据存储	数据集中存储在中央服务器	数据分布在客户端，本地存储
隐私性	数据可能暴露隐私	数据不离开本地，隐私保护更强
通信需求	数据上传到服务器，通信成本高	仅传输模型更新，通信成本较低
数据分布	假设数据IID（独立同分布）	数据通常Non-IID，分布差异大
计算资源	依赖中央服务器的强大算力	利用客户端的分布式计算能力
适用场景	通用机器学习任务	隐私敏感、分布式数据场景

推动联邦学习的外部因素

1. 隐私法规：
   • GDPR（2018）、CCPA（2020）、《个人信息保护法》（2021）等法规限制了数据集中存储和跨国传输。
   • 联邦学习通过本地化训练满足合规性要求。
2. 边缘计算的兴起：
   • 智能手机、物联网设备、边缘服务器的计算能力增强，使得分布式训练成为可能。
3. 数据爆炸：
   • 全球数据量预计到2025年达到175ZB，集中存储和处理不可行。
4. 用户隐私意识：
   • 用户对数据隐私的关注促使企业采用更安全的机器学习技术。

---

2. 联邦学习的理论基础

优化目标与数学建模

联邦学习的优化目标是最小化全局损失函数：${\min }_{w}F(w)={\sum }_{k=1}^K\frac{n_k}{n}{F}_k(w)$，其中：

• $w$：全局模型参数。
• $F_k(w)=$