FedECCR:基于编码器对比和分类器校正的联邦优化算法
在联邦学习领域,数据异质性导致的模型偏差是影响模型性能的关键问题。FedECCR 算法通过编码器原型对比训练和分类器无偏模拟校正两个核心阶段,有效解决了这一问题,提升了模型的准确性和可扩展性。
1. FedECCR 核心阶段概述
FedECCR 主要由以下两个核心阶段构成:
- 编码器原型对比训练 :为使不同客户端编码器的特征映射一致并提升其判别能力,在原分类损失 Lossce 基础上添加原型对比损失 Losspc 重构客户端损失函数。 Losspc 促使编码器提取的特征向量向对应类别原型聚集,远离其他类别原型,监督客户端编码器学习一致且高区分度的特征映射。
- 分类器无偏模拟校正 :为消除分类器的模型偏差、提高分类准确率,基于高斯混合模型生成类别平衡的模拟特征,用这些模拟特征重新训练全局分类器模型参数,校正分类决策。
2. 编码器原型对比训练
深度学习模型强大的数据拟合能力依赖多层模型结构,编码器特征映射的判别能力直接影响分类器的分类准确率。但在联邦学习中,数据异质性导致不同客户端编码器学习的特征映射不一致,全局编码器提取的特征判别能力低,影响模型分类准确率。
为解决上述问题,基于原型学习和对比学习技术的特征相似性对比构建原型对比损失,监督客户端特征的特征映射学习,使客户端编码器学习一致且高可分的特征映射,降低编码器的模型偏差。
原型对比损失 Losspc </
超级会员免费看
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



