【联邦/元学习】个性化联邦学习论文笔记：《Improving federated learning personalization via model agnostic meta learning》

最新推荐文章于 2025-03-15 10:41:37 发布
最新推荐文章于 2025-03-15 10:41:37 发布
阅读量2.5k 收藏 16
点赞数 2
分类专栏： 联邦学习 元学习 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41933740/article/details/120996220
版权
本文探讨了联邦学习中的数据异构性问题，提出将联邦平均（FedAvg）算法视为元学习的一种形式。研究发现，通过微调全局模型可以改善个性化效果，但直接优化全局模型可能无法达到最佳个性化性能。文章提出了改进的FedAvg方案，结合模型无关元学习（MAML）思想，旨在优化个性化模型、可靠的初始模型和快速收敛。实验表明，微调阶段对于提高个性化性能至关重要，而且不同的全局模型在个性化能力上可能存在显著差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文：《Improving federated learning personalization via model agnostic meta learning》

Citation：Y. Jiang, J. Konecny, K. Rush, and S. Kannan, “Improving federated learning personalization via model agnostic meta learning,” arXiv preprint arXiv:1909.12488, 2019.

原文链接：https://arxiv.org/abs/1909.12488

0、摘要

联邦学习 FL：在不复制原始数据的情况下，基于去中心化数据存储学习高质量的全局模型。
动机：针对不同的设备（客户端），存在数据异构性。
目的：为每一个客户端，设计一个个性化全局模型。

提出方法：基于元学习模型（MAML：快速优化、基于梯度、适应于异构分布）
1）流行的联邦学习算法（联邦学习 FedAvg）可以解释为一种元学习算法；
2）微调可以得到精度更高的全局模型，同时也更容易进行个性化；但仅对全局模型优化会产生较弱的个性化结果。

1、介绍

使用联邦学习的原因：大规模数据集导致了隐私风险，联邦算法可以保护每

最低0.47元/天 解锁文章
联邦学习个性化顶刊顶会汇总
weixin_74009895的博客
04-11 58
2.Layer-wised Model Aggregation for Personalized Federated Learning无1.Personalizing Federated Medical Image Segmentation via Local Calibration。
论文笔记：联邦学习——Federated Learning: Strategies for Improving Communication Efficiency
liuzeyao_Newton的博客
09-19 2514
介绍联邦学习的思想、算法，说明通信效率的重要性。提出两种降低上行通信成本的方法： structured updates 和 sketched updates
联邦学习论文笔记——FedFair: Training Fair Models In Cross-Silo Fedrated Learning
qq_35576563的博客
11-27 877
**本文的工作：** 1）提出了一种联合估计方法，在不侵犯任何一方数据隐私的情况下，准确估计模型的公平性。 2）证明了联合估计方法比局部估计模型对单个参与者的公平性更准确，这导致在跨竖井联合学习中具有更好的公平模型训练性能。 3）构建了新的FedFair问题;开发了一个有效的联合学习框架来解决这个问题，而不侵犯任何一方的数据隐私。 4）充分的的实验
元学习：未来模型发展的关键驱动力
最新发布
XianxinMao的博客
03-15 1007
元学习作为未来基础模型发展的关键，通过学习如何学习来提升模型的适应性和泛化能力，尤其在多模态任务和特定领域（如医学、法律等）中展现出巨大应用潜力。它能够有效解决数据稀缺和分布不平衡的问题，通过从多个任务中学习，减少对大量标注数据的依赖，并提升模型在罕见事件或少数类别中的识别能力。尽管元学习面临高昂计算成本的挑战，但基于种群的进化算法（PBML）通过大种群优化长期适应性，显著降低了这些成本，并在复杂任务中表现出色。PBML允许较弱基因组繁殖，探索更大的搜索空间，从而增强算法的泛化能力，使其在面对新任务时更具适
【联邦学习论文笔记1】Label Inference Attacks Against Vertical Federated Learning
qq_39736373的博客
07-17 3077
联邦学习分类水平联邦学习(HFL)——特征空间相同，样本空间不同，如两个区域银行的协作；垂直联邦学习(VFL）——样本空间相同，特征空间不同，如一个银行和一个电商的协作。VFL典型应用场景少数参与者(通常是两个)协同训练一个机器学习(ML)模型，该模型的特征分布在参与者之间，但标签只属于其中一个参与者，因此保护其中一个参与者拥有的标签的隐私应该是VFL提供的基本保障，因为这些标签可能是高度敏感的。...............
联邦学习——FedAvg《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文笔记
weixin_45662974的博客
08-09 3695
目录论文链接一、摘要二、简介三、实验背景四、联邦优化与传统集中优化的区别五、FedAvg（FederatedAveraging） Algorithm六、实验结果1.增加并行性（每轮参与更新的用户数量）2.增加每个client的计算量3.其他模型数据集下的结果对比 最近开始了解联邦学习相关的内容，阅读了比较经典的FedAvg算法,并记录了一点笔记，如有错误，欢迎指正，感谢！ 论文链接 《Communication-Efficient Learning of Deep Networks from Dece.
【联邦学习论文笔记3】FederatedScope: A Flexible Federated Learning Platform for Heterogeneity
qq_39736373的博客
07-27 3613
结果表明，不同的模糊推理算法适用于不同的模糊推理应用，可能与数据的类型、数据分布的异质性、采用的模型的归纳偏差、抽样的客户端数量等有关，这些在联邦学习中仍然是一个有待解决的问题。提供了ModelZoo来统一FL应用中使用的骨干模型，其中包括广泛使用的模型体系结构，如用于计算机视觉任务的ConvNet和VGG，用于自然语言处理任务的LSTM，以及用于图学习的GNNs、GraphSAGE和GPR-GNN。服务器的聚合器以客户的反馈作为输入(如更新的模型和训练数据的统计数据)，输出聚合后的数据。......
联邦元学习
wohoo~
07-14 5714
联邦元学习
个性化联邦学习综述
联邦学习小白
06-16 1万+
《Personalized federated learning for intelligent iot applications》
联邦元学习笔记
联邦学习小白
07-14 2559
《Personalized Federated Learning: A Meta-Learning Approach》这篇文章利用元学习来实现联邦个性化学习，将用户看作元学习中的多个任务。和元学习一样，其目标是找到一个初始化模型，当前用户或新用户只需对他们的本地数据执行一步或几步梯度下降，便可将模型适应他们的本地数据集。这样当有一个新用户进来时，就可以通过一步或几步梯度下降快速获得一个高效的个性化模型。 文章主要内容有三点： 1、将元学习和FL进行结合，具体以FedAvg为框架，以MAML为内容，提出Per
联邦学习：论文阅读小笔记（1）
qq_44858786的博客
08-05 455
联邦学习论文学习；学习论文：《联邦学习研究综述》
联邦学习---论文汇总笔记（十四）
weixin_45671820的博客
06-03 1053
FedCD: Improving Performance in non-IID Federated Learning FedCD（克隆和删除模型动态地对相似数据的设备分组） 1.机器学习的目标是在不同的数据源下效果都很好，数据受到隐私严格约束，有限的通信带宽和内存。 2.在Non-iid下导致不同设备的更新冲突，训练轮之间明显震荡，收敛速度变慢。 创新 在指定时刻（位置），克隆全局模型，自适应更新全局的高分子模型，删除表现不佳的模型，为每个原型生成一个专门的模型，通过维护多个全局模型，优先更新在本地表现良
【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
weixin_44270151的博客
10-21 6978
尝试记录一下最近看的论文，顺便当个笔记同步了。这篇是个性化联邦学习的综述，Towards Personalized Federated Learning。
【联邦元学习】论文解读：Federated Meta-Learning for Fraudulent Credit Card Detection
BlueBlue
09-03 827
论文：Zheng W, Yan L, Gou C, et al. Federated Meta-Learning for Fraudulent Credit Card Detection[C], Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence Special Track on AI in FinTech. Pages 4654-4660. 2020: 4654-4660. 【
带个性化层联邦学习论文解读
m0_49556086的博客
11-02 1670
联邦学习，元联邦学习，个性化联邦学习，算法
联邦学习学习笔记——论文理解《Communication-Efficient Learning of Deep Networks from Decentralized Data》
热门推荐
biongbiongdou的博客
02-17 3万+
Google — Federated Learning 联邦学习Google原文：《Communication-Efficient Learning of Deep Networks from Decentralized Data》 最近研读了这篇提出了联邦学习（Federated Learning）的文章，并整理了详细的笔记，内容主要是对原文的理解和整理，希望能帮助正在了解联邦学习的小伙伴们。 ...
Per-FedAvg：联邦个性化元学习
我爱计算机视觉
04-01 2163
关注公众号，发现CV技术之美Personalized Federated Learning with Theoretical Guarantees: A Model-Agnostic Meta-Learning Approach论文链接：https://proceedings.neurips.cc/paper/2020/file/24389bfe4fe2eba8bf9aa...
基于元学习的元联邦学习
AI天才研究院
04-14 923
基于元学习的元联邦学习 1. 背景介绍 近年来，联邦学习作为一种分布式机器学习范式,在保护隐私和数据安全的同时实现了模型的高性能,引起了广泛关注。与此同时,元学习作为一种快速学习的能力,也在人工智能领域受到了广泛重视。本文将探讨如何将元学习的思想应用于联邦学习,提出基于元学习的元联邦学习框架,以期望
【联邦元学习】读懂Per-FedAvg个性化联邦学习：Personalized Federated Learning: A Meta-Learning Approach
BlueBlue
09-02 2214
论文：Fallah A, Mokhtari A, Ozdaglar A. Personalized Federated Learning: A Meta-Learning Approach[J]. arXiv pre-print server, 2020. 这篇文章提出了FedAvg的变体——Per-FedAvg，旨在解决联邦学习中的个性化问题。在联邦学习中结合元学习模型MAML，试图找出一个全局模型，使之在每个节点针对其自身的损失函数进行更新后均表现良好。 【原创，转载需标明出处】论文解析（内含论文原
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值