论文笔记：联邦学习——Federated Learning: Challenges, Methods, and Future Directions

Federated Learning: Challenges, Methods, and Future Directions

论文链接: link

摘要

联邦学习包括在远程设备或孤岛数据中心上训练统计模型，如移动电话或医院，同时保持数据本地化。

在异构和潜在的大规模网络中的训练带来了新的挑战，需要从根本上背离大规模机器学习的标准方法 信息化和隐私保护的数据分析。

.在本文中，我们将讨论联邦学习的独特特点和挑战，提供了当前方法的广泛概述，并概述了未来工作的几个方向 提升到一个广泛的研究社区。

联邦学习的目标：最小化这个函数

一、联邦学习的挑战：

（1）昂贵的通信

原因：
联邦网络可能由大量的设备组成，网络中的通信可能比本地计算要慢好几个数量级。

减少通信 两个需要考虑的关键：
减少通信轮数；减少每一轮传输信息的大小

（2）系统异构

原因：
① 硬件、网络连接、电源不同；
② 每个设备上的网络大小和与系统相关的限制（计算能力、通信能力、存储能力的不同），导致活跃的设备只有一小部分；
③ 设备有可能不可靠，不稳定，可能随时退出迭代。

对开发和分析联邦学习的要求：
预测较低的参与率，容忍异构的设备；在网络中掉线的设备有鲁棒性。

（3）统计异构

原因：
① 设备经常在整个网络中生成和收集的数据通常都是独立同分布的，
② 跨设备的数据