联邦学习中的资源分配、隐私与安全问题解析
1. 资源分配
1.1 联合无线电和计算资源管理
传统的联邦学习(FL)研究多采用正交接入方案,如正交频分多址(OFDMA)。不过,有研究提出了多接入宽带模拟聚合(BAA)设计,旨在降低FL中的通信延迟。
BAA方案利用多址信道的信号叠加特性,将计算和通信集成在一起,与传统方案在服务器进行全局聚合时分开进行通信和计算不同。BAA方案可重用整个带宽,而OFDMA则对带宽进行正交分配。这导致正交接入方案的通信延迟与工作节点数量成正比,而多接入方案的延迟与工作节点数量无关。
在BAA传输中,信噪比(SNR)的瓶颈在于传播距离最长的参与设备,因为较近的设备需降低传输功率以与较远设备进行幅度对齐。为提高SNR,需丢弃传播距离较长的工作节点,但这会导致模型参数截断。为平衡SNR和截断问题,考虑了三种调度方案:
- 小区内部调度:不调度超过距离阈值的工作节点。
- 全包含调度:考虑所有工作节点。
- 交替调度:边缘服务器在上述两种方案之间交替。
仿真结果表明,BAA方案在实现与OFDMA方案相似测试精度的同时,可将延迟降低10到1000倍。在高移动性网络中,小区内部调度方案在测试精度上优于全包含调度方案;而在低移动性网络中,交替调度方案表现更优。
此外,还有研究在BAA方案基础上引入了误差累积和梯度稀疏化。对于因功率限制未传输的梯度向量,先存储在误差累积向量中,在下一轮训练中用于校正局部梯度估计。当存在带宽限制时,参与设备可应用梯度稀疏化,仅传输幅度最大的元素,并将未传输元素添加到误差累积向量中。仿真结果显示,该方案比不考虑误差累积和梯度稀疏化的空中计算方案具
超级会员免费看
订阅专栏 解锁全文
918

被折叠的 条评论
为什么被折叠?



