第38篇：Adaptive Personalized Federated Learning（APFL）算法（个性化联邦学习）

APFL个性化联邦学习算法解析
已于 2025-03-25 22:07:56 修改
阅读量460 收藏
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 联邦学习 文章标签： 人工智能
于 2025-03-07 15:00:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_74009895/article/details/146095384

第一部分：解决的问题

  • 联邦学习的挑战：在传统的联邦学习中，主要目标是训练一个全局模型，使其在所有参与客户端上表现良好。然而，由于客户端数据的非独立同分布（non-IID）特性，全局模型可能无法很好地适应每个客户端的本地数据，导致本地模型的性能受限。

  • 个性化的需求：为了提升每个客户端的本地模型性能，研究者们开始关注个性化联邦学习。个性化的目标是让每个客户端在贡献全局模型的同时，训练出适合本地数据的个性化模型。

第二部分：idea

第三部分：效果

第四部分：具体算法讲解

（1）基本参数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
个性化联邦学习
qq_45281761的博客
01-25 4237
模型插值方法有一个简单的公式，它使用全局模型和局部模型的混合来学习个性化模型。但是，这些技术不能在FL设置下直接应用，在FL设置下，驻留在联合中的客户机上的数据是分布式的和私有的。PFL方法有四大类:1)基于数据的，2)基于模型的，3)基于体系结构的，4)基于相似性的。一般来说，基于蒸馏的FL架构有四种主要类型:(i)将知识蒸馏到每个FL客户端以学习更强的个性化模型，(ii)将知识蒸馏到FL服务器以学习更强的服务器模型，(iii)向FL客户端和FL服务器双向蒸馏，以及(iv)客户端之间的蒸馏。
个性化联邦学习(Personalized Federated Learning,PFL) 介绍（下）
Jiayyyiii的博客
11-30 1408
绝大多数PFL研究选择通过在机器学习中使用的公共基准数据集(例如MNIST， EMNIST，CIFAR-100)上执行自己的分区来模拟非iid设置，或者创建一个合成数据集。例如，在软件手机键盘中，标签分布倾斜对于来自不同人口统计特征的用户来说可能是一个问题，因为不同的语言和文化差异导致某些单词或表情符号主要由不同用户使用。为了对标签分布倾斜建模，例如，在健康监测应用中，用户的活动数据分布会因其习惯和生活方式的不同而有很大差异。在不同的客户端之间是不同的，而条件分布。在不同的客户端之间是不同的，而标签分布。
个性化联邦学习（Personalized Federated Learning）
最新发布
safasfs的博客
09-21 1142
本文参考论文：链接:​​。
【阅读笔记】联邦学习实战——联邦个性化推荐案例
HERODING23的博客
03-19 5958
联邦学习实战——用FATE从零实现纵向线性回归前言1. 引言2. 传统的集中式个性化推荐2.1 矩阵分解2.2 因子分解机9.2 联邦矩阵分解9.2.1 算法详解 前言 FATE是微众银行开发的联邦学习平台，是全球首个工业级的联邦学习开源框架，在github上拥有4000stars，可谓是相当有名气的，该平台为联邦学习提供了完整的生态和社区支持，为联邦学习初学者提供了很好的环境，否则利用python从零开发，那将会是一件非常痛苦的事情。本篇博客内容涉及《联邦学习实战》第九章内容，使用的fate版本为1.6.
【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
weixin_44270151的博客
10-21 7513
尝试记录一下最近看的论文，顺便当个笔记同步了。这篇是个性化联邦学习的综述，Towards Personalized Federated Learning。
Adaptive Personalized Federated Learning 论文解读+代码解析
qq_45478482的博客
11-27 9742
论文地址点这里 一. 介绍 联邦学习强调确保本地隐私情况下，对多个客户端进行训练，客户端之间不交换数据而交换参数来进行通信。目的是聚合成一个全局的模型，使得这个模型再各个客户端上读能取得较好的成果。联邦学习中FedAvg方法最为广泛，但由于本地数据分片之间的固有多样性和数据再客户端的高度非iid(独立同分布)，FedAvg对超参数非常敏感，不能从良好的手链保证中获益。因此在设备异质性存在的情况下，全局模型不能很好的概括每个客户单独的本地数据。 随着客户端数据的多样性增加，全局模型和个性化（客户端）模型的误差
【论文 | 联邦学习】 | Towards Personalized Federated Learning 走向个性化的联邦学习
"You are worthy! You can do it!"
12-03 1522
标题：Towards Personalized Federated Learning收录于：IEEE Transactions on Neural Networks and Learning Systems (Mar 28, 2022)作者单位：NTU，Alibaba Group，SDU，HKUST，WeBank本文提供了一个FL的概述，并讨论了PFL的关键动机。提出了一种独特的PFL技术分类法，根据PFL中的关键挑战和个性化策略进行分类，并强调了这些PFL方法的关键想法、挑战和机遇。
Towards Personalized Federated Learning（个性化联邦学习综述）文献阅读
NigeloYang
04-11 1988
数据监管领域最近的重大发展促使人们对保护隐私的人工智能的兴趣发生了翻天覆地的变化。这有助于联邦学习（FL）的普及，这是以隐私保护方式在数据孤岛上训练机器学习模型的领先范例。在本次调查中，我们探索了个性化FL（PFL）的领域，以解决FL对异构数据的基本挑战，这是所有现实世界数据集固有的普遍特征。
联邦学习框架：FedAdapt: Adaptive Offloading for IoT Devices in Federated Learning 框架的部署实现
m0_49683806的博客
01-20 1146
FedAdapt是一个全面的物联网边缘环境的框架，克服了加速联合学习资源有限的设备上的挑战，减少散兵游勇所产生的物联网设备的计算异质性和适应不同的设备和边缘服务器之间的网络带宽的影响。
个性化联邦学习的总结.pdf
07-20
包含联邦多任务学习，FedProx，FedMD，具有个性化层的联邦学习，联邦迁移学习。
阅读记录【arXiv2020】 Adaptive Personalized Federated Learning
furoto_的博客
11-21 755
对联邦学习算法个性化程度的研究表明，只有最大化全局模型的性能才会限制局部模型的个性化能力。在本文中，我们提倡自适应个性化联合学习（APFL）算法，其中每个客户端将训练其本地模型，同时为全局模型做出贡献。我们推导出局部模型和全局模型混合的泛化界限，并找到最佳混合参数。我们还提出了一种有效通信的优化方法来协作学习个性化模型并分析其在平滑强凸和非凸设置中的收敛性。大量的实验证明了我们的个性化模式的有效性，以及已建立的泛化理论的正确性。
个性化联邦学习方法
qq_44523137的博客
11-29 1501
个性化联邦学习方法综述
个性化联邦学习(Personalized Federated Learning,PFL) 介绍（上）
Jiayyyiii的博客
11-30 4826
根据数据在参与实体之间的特征和样本空间分布方式，迁移学习可以分为和。现有的PFL工作主要集中在HFL设置上，HFL的应用场景占了大部分。
个性化联邦学习综述
热门推荐
联邦学习小白
06-16 1万+
《Personalized federated learning for intelligent iot applications》
个性化联邦学习和异步联邦学习
m0_48022770的博客
05-21 1120
通过结合这两种方法，可以实现高效且个性化的联邦学习系统。- **个性化联邦学习**：主要关注如何根据各个客户端（如用户设备、机构等）的不同数据分布和需求，训练出个性化的模型，从而提高每个客户端的模型性能。- **异步联邦学习**：主要解决的是由于不同客户端的计算能力和通信延迟不同，导致的模型更新不同步的问题，从而提高整个系统的效率和模型的更新速度。- **异步联邦学习**：目标是解决同步联邦学习中的通信瓶颈和延迟问题，使得各个客户端可以在不同步的情况下，仍然有效地参与模型训练。
论文阅读——FedTP: 基于Transformer的个性化联邦学习
sca1p31的博客
07-27 3107
摘要部分文章主要说明了个性化联邦学习在解决客户端异构性的重要作用，但是在联邦学习中使用 transformer 模型的工作还不完善，没有讨论联邦学习的聚合算法对 self attention 的影响。在研究 transformer 在联邦学习中的效果的过程中，本文发现 fedavg 对 self attention 有负面影响。所以提出了基于 transformer 的联邦学习框架 FedTP，该框架在学习每个客户端的自注意力的同时，聚合客户端之间的其它参数。
个性化联邦学习PFedMe详细解读（NeurIPS 2020）
我爱计算机视觉
04-06 4022
关注公众号，发现CV技术之美本文介绍一篇NeurIPS 2020 的论文『Personalized Federated Learning with Moreau Envelopes』，对个性化联邦学习 PFedMe 进行详细解读。详细信息如下：论文链接：https://arxiv.org/pdf/2006.08848.pdf项目链接：https://github.com...
Adaptive Personalized Federated Learning
06-13
自适应个性化联邦学习（Adaptive Personalized Federated Learning, APFL）是一种结合全局模型和局部模型的方法，旨在通过优化通信效率来找到全局和局部模型的最佳组合[^1]。Deng等人提出了一种方法，其中每个客户端...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

还不秃顶的计科生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值