降低联邦学习通信量一个数量集

1. 模型压缩

• 量化：将模型参数从高精度（例如32位浮点数）转换为低精度表示（如8位整数），以减少传输的数据量。
• 剪枝：去除不重要的神经元连接，从而减少需要传输的模型参数数量。

2. 选择性更新

• 稀疏更新：只传输那些权重变化较大的参数，而不是整个模型。
• 重要性采样：根据梯度的重要性来决定哪些梯度应该被上传到服务器。

3. 本地迭代

• 本地多轮训练：让设备在本地进行多个训练轮次后再与服务器同步，这样可以减少通信频率。

4. 压缩通信

• 使用更高效的通信协议：选择适合低带宽环境的网络通信协议。
• 差分压缩：只传输相对于上一轮更新的变化部分。

5. 联邦优化算法

• 使用更适合联邦学习的优化算法：一些优化算法（如FedAvg、FedProx等）设计时就考虑到了减少通信成本的问题。

架构