6、联邦学习优化：FedECCR算法解析

联邦学习优化：FedECCR算法解析

1. 联邦学习背景与挑战

近年来，5G技术飞速发展，数字化趋势加速，互联网数据传输速度大幅提升，终端设备大量增长，产生并存储了海量数据，为大数据的开发和利用带来了巨大机遇。智能协作计算技术与人工智能结合，在医疗、智能制造和智能物流等跨领域、跨组织的协作与创新中展现出更广泛深入的应用前景，能实现更高效准确的决策，提高生产效率。

联邦学习作为一种智能协作技术，采用客户端 - 服务器架构，可在多计算机系统协作下高效且隐私地训练全局模型。服务器聚合客户端更新的本地模型生成或更新全局模型，并将其发送回客户端，客户端利用本地数据集和接收到的全局模型训练本地模型。凭借出色的隐私保护能力，联邦学习得到了广泛应用，如谷歌在GB Board移动键盘、苹果在iOS13的QuickType键盘中都运用了该技术。

然而，在实际场景中，联邦学习面临数据异质性问题，即客户端数据分布受设备类型、用户偏好和组织等因素影响，导致各本地数据集分布不均，偏离全局数据分布，呈现非独立同分布（Non - IID）特征。这种数据异质性使本地模型差异显著，聚合后得到的全局模型与理想模型存在较大差距，且随着聚合轮次增加，差距累积，降低了全局模型的准确性。

2. 现有解决数据异质性方法及问题

目前，解决数据异质性问题主要集中在优化客户端本地训练，大致分为以下两个方向：
- 基于数据的优化方法 ：
- 数据共享 ：如Zhao等人提出在中央服务器维护一个全局共享数据集，客户端随机抽取部分数据与本地数据集混合以减少Non - IID。但生成共享数据集困难，且下载