FEDGKD ：Toward Heterogeneous Federated Learning via Global Knowledge Distillation

原创 已于 2024-03-01 22:31:29 修改 · 852 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

于 2024-03-01 22:30:28 首次发布
本文探讨了联邦学习中的client-drift问题，提出通过在本地模型训练时添加正则化来限制知识飘逸。方法利用历史全局模型作为教师，通过KL散度优化知识转移，使得全局模型的知识能有效地传递给各个客户端。

读这篇文章更主要的是对联邦学习有更多的了解。

这篇文章中主要解决了一个问题，就是 “client-drift” issue。

联邦学习的经典算法是 FedAvg。

在联邦学习中，有两个主要的问题
(1) data heterogeneity 数据异构性，每个训练节点上的训练数据并不是独立同分布的
(2) client unreliability.

client-drift 不仅会降低模型的性能，而且会增加通信的轮数

与FedDistill和FedGen不同，我们不需要从客户端传输敏感信息（标签或logits信息），并且客户端和服务器之间的通信仅涉及模型而没有任何其他敏感信息。我们的系统与许多加密算法兼容。

本文提的方法，对client本地模型训练时进行正则化。就可以限制本地训练过程中的飘逸情况。

知识蒸馏是利用一个教师模型训练学生模型。

教师模型，由 server 端最近保存的历史上M个全局模型聚合而成，聚合的方式也很粗暴，采用的求平均策略。这样得到的模型称为 “global knowledge” 将参数记为 wt‾\overline{w_t}

最低0.47元/天 解锁文章
FEDGKD: Toward Heterogeneous Federated Learning via Global Knowledge Distillation
weixin_44836762的博客
11-07 1315
客户端漂移问题 —> 全局模型收敛差 —> FedGKD融合了历史全局模型中的知识并指导局部训练以缓解“客户端漂移”问题(用全局教师（即过去的全局模型）指导局部模型训练，其中每个客户端通过自适应知识提炼技术从过去的全局模型中学习全局知识w3errr)
CCF A类会议或期刊----近两年联邦学习相关论文
Thincor的博客
03-24 5036
会议/期刊 论文 neurips2020 Lower Bounds and Optimal Algorithms for Personalized Federated Learning. neurips2020 Ensemble Distillation for Robust Model Fusion in Federated Learning. neurips2020 Personalized Federated Learning with Theoretical Guarante....
论文阅读笔记--Data-Free Knowledge Distillation for Heterogeneous Federated Learning（FEDGEN）
Shawn2134123的博客
01-19 8546
链接：https://arxiv.org/abs/2105.10056v2 这篇文章发表在ICML 2021，讲的是如何解决联邦学习中的数据异构问题。作者认为现有的知识蒸馏（Knowledge Distillation，K-D）的方法大多都需要server有一批代理数据（proxy data），协助K-D完成知识传授的过程，这有时候是做不到的。而且只修改全局模型并不能解决用户之间的异质性，反过来这还会影响全局聚合的质量。FEDGEN相比之前的算法有3个优越性： 1）不需要server拥有额外的数据； 2）K
Redis面试直通车
小鹏鹏的博客
11-03 945
关注公众号获取更多资料 文章目录Redis持久化机制缓存雪崩，缓存穿透，缓存预热，缓存更新，缓存降级缓存雪崩缓存穿透缓存预热缓存更新缓存降级热点数据和冷数据Memcache和Redis的区别Redis为什么快Redis数据类型Redis的过期策略和内存淘汰机制Redis为什么是单线程的提升Redis性能为何Redis操作是原子性的，怎么保证原子性的Redis事务哨兵机制哨兵节点之间的互相感知master的故障发现配置实现哨兵Redis集群/数据分片拓扑结构数据分区HashTag重定向客户端分片迁移新增一个
【论文阅读】异构联邦学习综述：最新进展与研究挑战
weixin_51413726的博客
09-07 8861
这是关于一篇异构联邦学习的综述，希望能从这篇文章对联邦学习有一个大致的了解。作者从一开始就呈现了文章总体的思维导图，非常具有指引效果。通俗的来说就是：允许多个设备或数据源在不共享原始数据的情况下，共同训练模型以提高预测性能。主要目的：保护隐私。联邦学习：机器学习的分布式计算方法，旨在让多个参与方共同训练模型，而无需将其原始数据集集中存储在一个地方。这种方法允许在保护数据隐私的前提下，进行模型的训练和更新。
Learn from Others and Be Yourself in Heterogeneous Federated Learning论文阅读
wyk403的博客
12-01 1554
作者受**自监督学习**的启发，**利用未标注的公共数据进行联合交叉相关学习，通过最大化相同类别在不同域的输出相似性和最小化输出冗余性，从而使模型学习到类别不变性并增强不同类别间的区分度。** **对于灾难性遗忘问题，作者提出了一种知识蒸馏方法，通过在本地更新阶段持续学习跨域和域内知识，以避免遗忘其他参与者的信息。**具体来说，作者提出在本地更新阶段，利用之前轮次中学到的跨域知识的内域（本地）模型的知识，以及使用最初预训练的本地模型（未学习其他参与者知识）作为约束，来平衡来自他人和自身的知识。
FedSeg: Class-Heterogeneous Federated Learning for Semantic Segmentation 论文笔记
weixin_50767513的博客
10-06 1924
语义分割（Semantic Segmentation）是计算机视觉中的一项基础任务，其目的是将图像中的每一个像素点进行分类，赋予每个像素一个语义标签。这意味着语义分割不仅需要识别图像中的对象，还需要将对象精确地分割出来。分类：与传统图像分类任务不同，语义分割需要对图像中的每个像素进行分类，而不仅仅是对整幅图像进行分类。分割：与目标检测任务不同，语义分割需要将对象从背景中分割出来，确保对象的边界清晰。
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6382
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
CCF A类会议或期刊----近两年对比学习相关论文
Thincor的博客
03-20 6043
会议/期刊 论文 sigmod2021 Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals. neurips2020 Adversarial Self-Supervised Contrastive Learning. neurips2020 Demystifying Contrastive Self-Supervised Learning: Invariances, Augme....
FedMD: Heterogenous Federated Learning via Model Distillation
qq_33619359的博客
05-14 1005
NeurIPS2019，通过一个全局数据集实现知识蒸馏。code: 没找到。
【论文阅读】Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation
qq_40963226的博客
08-20 802
异构联邦学习的设备采样: 理论，算法，实现一、文章介绍二、背景和目的三、建模1、边缘设备模型2、网络拓扑3、联邦学习模型4、建模总结四、方法1、数据分流2、设备采样（1）核心思想（2）GCN训练过程3、联邦学习训练过程五、总结 一、文章介绍 这篇文章被INFOCOM2021接收，解决的是异质联邦学习的设备采样问题。基于网络拓扑和设备性能限制，作者尝试在“节点采样”和“数据分流”中寻找一个最优组合。通过理论分析，作者提出了一个基于GCN的设备采样方法，探索“网络属性”、“采样节点”、“结果分流”之间的关系，最
异构联邦学习综述：最新进展与研究挑战
SmartLab307的博客
12-10 2898
联邦学习（Federated Learning, FL）因其在大规模工业应用中的潜力而受到越来越多的关注。现有的联邦学习工作主要关注模型同构的情况。然而，实际的联邦学习通常面临参与者客户端之间的数据分布、模型体系结构、网络环境和硬件设备的异构性。异构联邦学习（Heterogeneous Federated Learning, HFL）更具挑战性，其解决方案多样且复杂。因此，对该问题的研究挑战和最新进展进行系统综述是必要的。
Data-Free Knowledge Distillation for Heterogeneous Federated Learning论文阅读+代码解析
qq_45478482的博客
10-25 2984
联邦学习具有广阔的应用前景，但面临着来自数据异构的挑战，因为在现实世界中用户数据均为Non-IID分布的。在这样的情况下，传统的联邦学习算法可能会导致无法收敛到各个客户端的数据。在本文中，我们提出了一个基于无数据的知识蒸馏算法——FEDGEN。具体来说，FEDGEN学习一个仅从用户模型的预测规则派生的生成模型，给定一个目标标签，可以生成与用户预测集合一致的特征表示。该生成器随后广播给用户，在潜在空间上护送他们的模型训练与增强样本，这体现了来自其他同行用户的蒸馏知识。
【FedMD，一种利用模型蒸馏的异构FL训练方法】FedMD: Heterogenous Federated Learning via Model Distillation
热门推荐
学渣的博客
04-21 1万+
原文标题：FedMD: Heterogenous Federated Learning via Model Distillation 涉及 迁移学习、模型蒸馏。 异构FL 分为数据的异构 （statistical heterogeneity） 和 模型的异构 （the differences of local models）。 模型的异构FL 指的是 Each participant independently designs its own model. 研究意义 realistic：in a busi
FedMD: Heterogenous Federated Learning via Model Distillation论文笔记
Zoran的博客
11-12 4612
   本文提出使用迁移学习和知识蒸馏开发了一个联邦学习框架FedMD，此框架允许不同的客户端根据其计算能力设计不同的网络结构，并且保护数据集的隐私安全和模型的隐私安全条件下联合训练出一个模型。 论文地址：[FedMD: Heterogenous Federated Learning via Model Distillation 2019 NIPS](https://arxiv.org/abs/1910.03581?context=cs) 算法细节 本文设有一个共享数据集D0D_{0}D0​，每个客户端
联邦持续学习
whaosoft143ai的博客
06-23 1616
头一次听这个词是隐私计算,我们那边有个大骗子 天天忽悠第一人 所以这次搬来这贴也算给自己学习一下由于数据隐私限制，多个中心之间的数据共享受到限制，这就影响了联邦学习架构下多中心合作开发高性能深度学习模型的效果。持续学习（Continual Learning）作为点对点联合学习的一种方法，可以通过共享中间模型而不是训练数据来绕过数据隐私的限制，从而促进多中心协作开发深度学习算法。近期不断有研究人员探索联邦持续学习方法（Federated Continual Learning，FCL），即，研究持续学习在联邦学
联邦学习中的知识蒸馏
SmartLab307的博客
06-18 3869
联邦学习 (FL) 已被提议作为基于云的深度学习 (DL) 的替代方案。这种范例将训练 DL 模型的能力与收集原始数据、交替在设备上计算和定期通信的需要分离开来 [34、4]。在学习过程中，联邦中的参与者只需要披露短暂的、本地处理的有效载荷，这使得推断个人的私人信息变得更加困难。联邦平均 (FedAvg) 代表联邦学习 (FL) [34] 的基线算法。在 FedAvg 中，协作学习通过利用。
论文阅读 - FedACK: Federated Adversarial Contrastive Knowledge Distillation for Cross-Lingual
qq_40671063的博客
05-15 749
社交机器人检测对于在线社交平台的弹性和安全性至关重要。最先进的检测模型是孤立的，在很大程度上忽略了来自多个跨语言平台的各种数据特征。同时，数据分布和模型结构的异构性使得设计一个有效的跨平台和跨模型检测框架变得非常复杂。在本文中，我们提出了一个新的联邦对抗性对比知识提取框架 FedACK，用于社交机器人检测。我们设计了一种基于 GAN 的联邦知识蒸馏机制，用于在客户端之间有效地传输数据分布的知识。特别是，全局生成器用于提取全局数据分布的知识，并将其提炼到每个客户端的本地模型中。
基于知识蒸馏的的FL --＞ FedGen:Data-Free Knowledge Distillation for Heterogeneous Federated Learning
weixin_44836762的博客
01-16 2145
传统的知识蒸馏解决用户异质的问题：通过使用异构用户的聚合知识来改进服务器模型，这种方法依赖于代理数据集（不符合实际）。并且聚合的知识没有被充分利用来指导局部模型学习，这可能反过来影响聚合模型的质量。提出了一种无数据的知识蒸馏方法来解决异构 FL。服务器学习一个轻量级生成器以无数据的方式集成用户信息；然后将其广播给用户，用学到的知识调节本地训练作为归纳偏置。
STAMP: Toward subtask decomposition-based learning and benchmarking for genetic perturbation outcome prediction and beyond
最新发布
12-26
当前提供的参考资料主要集中在宏基因组学、微生物数据分析工具以及相关领域的综述文章，并未直接涉及遗传扰动结果预测的子任务分解学习和基准测试的具体内容。然而，可以基于现有资料构建一个合理的解释框架来探讨这一主题。 ### STAMP 子任务分解学习 在处理复杂的生物信息学问题时，如遗传扰动结果预测，采用子任务分解的方法有助于提高模型训练效率并增强泛化能力。通过将整个预测过程划分为多个更易于管理的小任务，每个子任务专注于特定方面或阶段的数据特征提取与模式识别[^1]。例如，在遗传扰动背景下，可能涉及到不同类型的分子机制解析，包括但不限于转录调控网络重建、蛋白质相互作用预测等。 对于这些子任务的学习，通常依赖于监督式机器学习算法，其中标签化的数据集用于指导模型参数调整直至达到最优性能表现。值得注意的是，随着深度神经网络技术的发展，端到端架构也被广泛应用于此类场景之中，能够自动完成从原始输入到最终输出之间的映射关系建立工作[^2]。 ### 基准测试的重要性 为了评估所开发方法的有效性和可靠性，必须实施严格的基准测试程序。这不仅限于内部验证（即利用同一数据集中预留部分作为测试样本），还需要考虑外部独立验证——借助其他实验室公开发布的相似性质数据来进行交叉检验。理想情况下，应当设立一系列评价指标体系，涵盖准确性、敏感度、特异性等多个维度，从而全面衡量各个候选方案的实际应用价值[^3]。 ```python from sklearn.model_selection import train_test_split, cross_val_score from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score # Example of splitting dataset and evaluating model performance using multiple metrics X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model.fit(X_train, y_train) predictions = model.predict(X_test) print(f'Accuracy: {accuracy_score(y_test, predictions)}') print(f'Precision: {precision_score(y_test, predictions)}') print(f'Recall: {recall_score(y_test, predictions)}') print(f'F1 Score: {f1_score(y_test, predictions)}') scores = cross_val_score(model, X, y, cv=5) print(f'Cross-validation scores: {scores}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值