3、移动边缘网络中的联邦学习：通信成本与资源分配策略

移动边缘网络中的联邦学习：通信成本与资源分配策略

1. 引言

在移动边缘网络的联邦学习（FL）场景中，通信成本和资源分配是影响训练效率和模型性能的关键因素。本文将探讨降低通信成本的方法以及资源分配的相关策略。

2. 降低通信成本的方法

2.1 HierFAVG算法

HierFAVG算法通过在边缘服务器上进行中间聚合，相比FedAvg算法能有效降低通信成本，这一优势在独立同分布（IID）和非独立同分布（non - IID）数据上均成立。然而，在处理non - IID数据时，当边缘 - 云差异大或涉及多个边缘服务器时，该算法可能无法收敛到期望的精度水平（90%）。后续需要进一步研究调整本地和边缘聚合间隔的权衡，以优化算法参数。

2.2 模型压缩

为降低通信成本，可采用结构化和草图更新方法来压缩从工作节点发送到FL服务器的模型更新大小。
- 结构化更新 ：
- 低秩结构 ：将每个更新强制设为低秩矩阵，表达为两个矩阵的乘积。其中一个矩阵随机生成且在每个通信轮次保持不变，另一个进行优化，仅需将优化后的矩阵发送到服务器。
- 随机掩码结构 ：每个工作节点的更新被限制为稀疏矩阵，遵循每轮独立生成的预定义随机稀疏模式，只需发送非零元素到服务器。
- 草图更新 ：在与服务器通信前将更新编码为压缩形式，服务器在聚合前进行解码。例如子采样方法，每个工作节点仅通信更新矩阵的随机子集，服务器对这些子采样更新求平均以得到真实平均值的无偏估计。 </