【机器学习系列】一文搞懂联邦学习

目录

第一章 基础架构与核心机制

1.1 联邦学习范式与系统架构

1.1.1 集中式服务器-多客户端架构

1.1.2 本地训练-聚合-广播的闭环机制

1.1.3 跨设备与跨组织联邦

1.2 聚合算法演进

1.2.1 FedAvg：本地多轮SGD与加权平均的基础范式

1.2.2 FedProx：近端项约束下的非IID数据鲁棒训练

1.2.3 SCAFFOLD：控制变量修正客户端漂移的方差缩减方法

1.2.4 自适应优化：FedAdam与FedYogi的服务器端二阶近似策略

1.3 通信效率优化

1.3.1 模型压缩与量化

1.3.2 自适应聚合频率

1.3.3 异步通信协议

第二章 非独立同分布数据与鲁棒性挑战

Non-IID Data and Robustness Challenges

2.1 数据异质性的分类与度量

2.1.1 标签偏斜：Dirichlet分布划分、分片法与长尾分布模拟

2.1.2 特征偏斜：基于聚类、噪声注入与仿射变换的属性分布偏移

2.1.3 样本量偏斜：客户端数据规模差异与最小样本量约束

2.1.4 复合偏斜评估：多维度异质性同时存在的量化指标

2.2 非IID场景下的优化策略

2.2.1 客户端聚类：基于数据分布相似性的分组联邦训练

2.2.2 个性化联邦：全局模型与本地适配的混合架构

2.2.3 动态客户端选择：基于贡献度与系统状态的参与机制

2.2.4 分层边缘联邦：边缘节点中介下的层级非IID处理

2.3 拜占庭容错与安全聚合

2.3.1 拜占庭攻击模型：非全知攻击者下的模型投毒与梯度泄露

2.3.2 鲁棒聚合规则：坐标中位数、截断均值与迭代过滤

2.3.3 安全多方计算：秘密共享与同态加密下的隐私保护聚合

2.3.4 可信执行环境：硬件隔离与远程证明的模型验证机制

第三章 隐私保护技术与开源生态

Privacy-Preserving Techniques and Open-Source Ecosystem

3.1 差分隐私机制

3.1.1 基础原理：隐私预算、敏感度与噪声校准策略

3.1.2 自适应隐私预算：收敛阶段的动态噪声调整机制

3.1.3 本地与中央差分隐私：梯度扰动与聚合后噪声注入的权衡

3.1.4 联邦遗忘学习：基于差分隐私的数据删除与模型遗忘

3.2 密码学增强技术

3.2.1 多方同态加密：基于MPHE的安全聚合与解密阈值设计

3.2.2 分层同态加密：边缘-云协同下的CKKS方案与模型分片

3.2.3 零知识证明：计算正确性验证与公平性保证的密码学协议

3.2.4 属性基加密：访问控制与密钥托管的隐私增强机制

3.3 标准化框架与工具链

3.3.1 FEDML：支持多种非IID划分协议与解决方案的综合平台

3.3.2 Flower：灵活的分区协议库与异构环境部署能力

3.3.3 TensorFlow Federated与PySyft：隐私保护机器学习的生态集成

3.3.4 基准测试套件：NIID-Bench与LEAF的评估标准化实践

---

第一章 基础架构与核心机制

1.1 联邦学习范式与系统架构