FedProx论文阅读笔记

最新推荐文章于 2025-11-15 10:44:33 发布
原创 最新推荐文章于 2025-11-15 10:44:33 发布 · 8.1k 阅读 · 52 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #边缘计算

《FEDERATED OPTIMIZATION IN HETEROGENEOUS NETWORKS》这篇文章提出了一个基于FedAvg的优化框架Fedprox，主要在于解决FedAvg未曾处理的联邦学习中的异构性问题，并提供了更强的鲁棒性。

FedAvg

在FedAvg中，每个设备在模型训练过程中具有相同的学习率和迭代次数。在每一轮更新中，被选中参与本轮训练的设备K在本地运行E轮SGD，每个设备将更新结果返回给服务器，服务器对得到的模型更新进行平均从而获得全局更新，并完成本轮训练。伪代码如Algorithm 1所示。
在这里插入图片描述

FedProx对FedAvg的改进之处

首先，由于FedAvg本身的设置，本地迭代次数 E 的增大虽能减少通信成本，但迭代次数过多不仅可能使一些受限于算力的设备无法完成训练，还容易使设备的本地模型偏离全局模型，影响全局收敛。导致这一问题的原因主要是联邦学习中存在的异构性问题。
FedProx主要解决了两种异构问题：
1.设备异构：设备间通信和计算能力存在差异，可能导致不同设备间更新不同步等问题。
2.数据异构：主要是设备间的non-IID问题。

FedProx

最低0.47元/天 解锁文章
FedProx 论文阅读笔记
m0_66776925的博客
04-07 1005
为何提出： 针对目前框架FedAvg进行提出，主要解决了两个问题： 1.设备异构，也就是不...
【联邦学习论文阅读】FedProx（2018）Federated Optimization in Heterogeneous Networks
热门推荐
weixin_42567789的博客
04-25 1万+
【FedProx】论文链接：https://arxiv.org/abs/1812.06127 摘要 联邦学习面临两个关键挑战：系统异构性；统计异构性。本文的FedProx可以解决联邦学习的异构性，可看作FedAvg的泛化和再参数化。理论上保证了当数据为非独立同分布时模型的收敛性，同时通过允许每个参与设备执行可变的工作量，保证了设备级别的系统约束。实验证明，广义FedProx框架相对于FedAvg，在异质网络中更具稳健性和稳定性。
推荐开源项目：FedProx - 分布式机器学习的新里程碑
最新发布
gitblog_00035的博客
11-15 553
是一个专为联邦学习（Federated Learning）设计的优化算法框架。它旨在解决在分布式环境中进行模型训练时的数据非同分布问题，以实现更高效、更稳定的学习性能。通过引入局部 prox 操作，FedProx 可以在保证全局一致性的同时，降低通信成本，提高模型精度。 ## 技术分析 ### 联邦学习 联邦学习是一种新型的分布式机器学习方法，允许设备（如手机或服务器）在本地处理数据，而无需
Scaffold 基于fedavg方法的改进，代码复现（联邦学习）
a1007942636的博客
11-30 3451
当前有个工作需要实现scaffold算法，该方法通过添加修正项c来解决客户端漂移现象， 在参考github上的相关框架后，复现了该算法。 算法分为三个模块: optimizer: 重写优化器sdg clientscaffold:客户端操作 serverscaffold:服务端操作 optimizer部分代码: import torch from torch.optim import Optimizer class SCAFFOLDOptimizer(Optimizer): def __init__
Federated Optimization in Heterogeneous Networks —— Fedprox算法
m0_46554918的博客
01-26 950
系统异构性：实验设定了局部迭代轮次E=20,再将低于E的轮次随机的分配0%，50%，90%的客户端。论文对你的启发，包括但不限于解决某个问题的技术、该论文方法的优缺点、实验设计、源码积累等。一个大的μ 会迫使更新接近起始点，减缓收敛速度，小的μ 可能不会产生任何影响。影响收敛性的关键参数为：局部迭代轮数E，是否加入近端项𝜇≠0。统计异构性：规定固定的迭代轮次E(保证系统不异构)
【FedProx】论文笔记
weixin_47754029的博客
03-15 4493
在client本地增加计算量，而通信时只进行加权聚合操作。【FedAvg论文笔记】&【代码复现】_fedavg代码_爽爽不会编程的博客-优快云博客FedAvg的缺点：1、不允许参与设备根据底层的系统执行可变的轮次（就是本地局部迭代轮次E是固定的），故算力不同的设备迭代固定E轮次的时间不同，这对后面服务区等待聚合局部模型肯定会有影响嘛。2、某些设备在规定时间位未达到收敛会被服务器“丢弃”。
pFedHN论文阅读笔记
联邦学习小白
06-25 1942
《Personalized Federated Learning using Hypernetworks》提出一种用于个性化联邦学习的方法“pFedHN” （personalized Federated HyperNetworks）。该方法通过训练中央超网络模型，实现跨客户端的参数共享，并为每个客户端生成独特的个性化模型。 该方法的创新点主要有以下两点： 1、该超网络具备较强的泛化能力，即便（a）新的客户端的数据分布不同于训练时的客户端，（b）新的客户端具备不同的计算性能（这使得不同客户端可以训练不同规模的
L2GD论文阅读笔记
联邦学习小白
07-07 1712
摘要 《Federated Learning of a Mixture of Global and Local Models》这篇论文的目的是在Local和Global之间寻找一个trade off，对全局模型和局部模型进行混合，并提出适用于这一想法的几种新的梯度下降算法，如L2GD，该算法还能改进通信复杂度。 本文的两项动机 1、全局模型在客户端的实用性问题。 2、传统的LGD在理论上，并不能改善的通信复杂度。 主要贡献 一、能够混合全局模型和局部模型的新目标函数。 通过加入一个乘以λ的惩罚项ψ(λ&gt
论文笔记 SCAFFOLD Stochastic Controlled Averaging for Federated Learning
Limeym的博客
11-14 1680
SCAFFOLD 算法笔记
[论文阅读](FedProx)Federated Optimization In Heterogeneous Networks
qq_56483157的博客
09-27 2402
FL与传统分布式学习以两个关键挑战相区别：1）系统异构性（设备间通信和计算能力的差异）2）统计异构性（用户间数据非独立同分布non-iid）为解决联邦网络中的异构性，作者提出FedProx。FedProx可以视作是FedAvg的泛化和重参数化（虽然对FedAvg的改动很微小，但是影响显著）在理论方面，FedProx保证了当数据为non-iid时模型的收敛性，并允许每个参与设备执行可变的工作量，得以保证了设备级的系统约束。
FedProx:异构网络中的联合优化（MLSys '20）
04-29
异构网络中的联合优化 该存储库包含本文的代码和实验： 联合学习是一种分布式学习范例，它具有两个与传统的分布式优化不同的关键挑战：（1）网络中每个设备的系统特性方面的显着可变性（系统异质性），以及（2）不完全相同的分布式数据跨网络（统计异质性）。 在这项工作中，我们引入一个框架FedProx，从理论上和经验上解决联邦网络中的异构性。 该存储库包含一组针对联合数据集的详细的经验评估。 我们证明FedProx比FedAvg具有更强大的收敛性。 特别是，在高度异构的环境中，FedProx展示了相对于FedAvg而言更加稳定和准确的收敛行为-将绝对测试准确度平均提高了22％。 一般准则 请注意，如果您想使用FedProx作为基准并运行我们的代码： 如果使用不同的数据集，则至少需要根据您的指标调整学习率和mu参数。 您可能希望从{0.001，0.01，0.1，0.5，1}调整mu。 没有适用于所有
【文献阅读】异构网络中的联邦优化——FedProx
一个计算机准研究生的学习博客
11-30 2284
FedProx
【论文阅读】FedProto: Federated Prototype Learning across Heterogeneous Clients
YasmineC的博客
04-10 3598
在进行联邦学习中解决异质性问题的调研，这篇文章发表于2022的AAAI，使用原型来解决这部分问题，同时还使用“模型异构“的概念（之前一般见到的都是系统异构）。 一、阅读目标 了解使用原型学习解决异质性的思路，以及可以借鉴的方向 区分模型异构与系统异构两个概念，并总结 二、问题回答 构建以类别为单位的原型，服务器端通过原型的传递代替模型的聚合，并将聚合的原型返回客户端用于训练 我认为二者是从属关系，模型异构应该属于系统异构的一个方面，但现在没有官方定义，大家仍然混用 三、摘要 动机：客户端之
FedProto:跨异构客户端的联邦原型学习(论文阅读)
m0_73195494的博客
07-17 2137
在联邦学习(FL)中，当客户端知识在梯度空间中聚集时，客户端间的异构性通常会影响优化的收敛和泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面存在差异，这很容易导致其局部梯度的不对齐。为了提高对异构的容忍度，我们提出了一种新的联邦原型学习框架(federalprototype learning, FedProto)，在该框架中，客户端和服务器端通过抽象类原型而不是梯度进行通信。
联邦学习知识初探——FedProx
qq_45478482的博客
10-19 2840
概要 Federated Optimization in Heterogeneous Networks 一文中，针对我们最长使用的FedAvg提出了一些改进，使得面对边缘设备上数据不稳定等异构问题。 核心思想 FedProx针对FedAvg算法的两个方面进行了调整。一个是不同设备计算能力存在差异,单纯的迭代会让部分设备承受压力过大。同时想让本地模型不偏离全局模型，影响全局模型收敛。 针对这两个方面，改进算法如下： 引入proximal term 其中Fk(w)F_k(w)Fk​(w)为第k个设备的损失函
Fedproto:原型聚合的联邦学习框架
weixin_47754029的博客
07-17 2392
文中说明，联邦学习通过计算传递梯度聚合模型时，客户端之间的异构性通常会阻碍模型优化收敛和泛化性能。故本文提出新的FedProto框架，将梯度替换成为原型，通过计算、聚合从不同客户端收集到的本地原型，然后将全局原型发送回所有客户端，以规范本地模型的训练。对每个客户机进行局部训练的目的是最小化对本地数据的分类损失，同时保持生成的本地原型足够接近相应的全局原型（损失函数最小+正则）。什么是原型？文中提到：“
联邦学习：FedProx框架
weixin_51306020的博客
08-13 7720
联邦学习不同于传统的分布式优化的两个关键挑战:高度的系统和统计异构性。引入了一个框架，FedProx以解决异构性难题（统计异构 系统异构）。FedProx可以看作是FedAvg的泛化、重构。对于非独立分布(统计异质性)的训练数据，框架提供收敛性保证（统计异构）；允许每个参与的设备执行可变数量的工作(系统异构性)来遵守设备级系统约束。FedProx在一组真实的联邦数据集上比FedAvg更健壮的收敛。特别是，在高度异构的环境下，FedProx表现出比FedAvg更稳定和准确的收敛行为。...
FedProx代码详解
qq_56483157的博客
09-27 2406
逐行分析代码记录所学。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

联邦学习小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值