Batch Normalization在联邦学习中的应用

最新推荐文章于 2024-05-31 09:45:14 发布
最新推荐文章于 2024-05-31 09:45:14 发布
阅读量1.5k 收藏 9
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 联邦学习 文章标签： batch 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42534493/article/details/120421453

回想一下联邦学习（FL）中的FedAvg，这个算法是将每个参与方的模型的所有参数进行加权平均聚合，包括Batch Normalization（BN）的参数。
再回顾一下BN。式中µ和 σ 2 σ^2 σ2为BN统计量，是通过每个channel的空间和批次维度计算而得的running mean和running variances。γ和β为实现"变换重构"的超参数。ε用于预防分母为零。
在这里插入图片描述
我们知道FL的一个重要意义就在

最低0.47元/天 解锁文章

200万优质内容无限畅学
FedBN总结
联邦学习小白
09-04 5815
《FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION》ICLR 2021。文章通过在局部模型中加入批量归一化层（BN）解决联邦学习数据异构性中feature shift这种情况（之前很多文章都是研究label shift或client shift），文章将这种方法名为FedBN。 什么是feature shift y为标签，x为特征，文章将feature shift定义为以下情况： 1)covariate s
联邦学习中的数据异构性问题综述
联邦学习小白
06-19 1万+
摘要 联邦学习中的数据异构性问题主要是由参与训练的各客户端的数据虽独立分布但不服从同一采样方法（Non-IID）所导致的，这一问题也导致模型精度的严重下降。如何缓解Non-IID带来的不利影响目前仍是一个开放性的问题。 目前已经有很多算法可以应用于这一问题的处理上，但由于这些算法的实验都是基于不同的数据划分策略，我们没办法系统地、直观地理解这些算法的优缺点。 为了能对各算法的性能进行一个比较，《Federated Learning on Non-IID Data Silos: An Experimental
论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题
m0_69580723的博客
08-09 1844
提出了FedBN，给出了在联邦场景下使用BN来缓解feature shift的方法，并证明了其收敛性和有效性。FedBN的方法和通信、优化器方法是正交的，在实际使用中可以组合使用。FedBN在算法是对FedAvg只做了很小的改动，在实际中还可以与其他联邦strategy进行结合使用（Pysyft、TFF等已集成）。FedBN已经在医学健康，自动驾驶等领域被证明是很有效的策略...
【亲测免费】 推荐项目：FedBN——联邦学习在非 IID 特征上的新突破
gitblog_00038的博客
05-31 624
推荐项目：FedBN——联邦学习在非 IID 特征上的新突破 在当今数据隐私日益受到重视的时代，FedBN: Federated Learning on Non-IID Features via Local Batch Normalization 开源项目成为了解决分布式异构数据挑战的明星方案。本项目由一群来自学术界和工业界的精英共同研发，并通过PyTorch实现了他们的研究成果，为联邦学习领域带...
阅读笔记2——BN层（Batch Normalization）
python_plus的博客
02-16 651
本文为阅读《深度学习之Pytorch物体检测实战》的笔记
【联邦学习论文阅读】常用算法理解（SCAFFOLD、FedPD、FedBN）-目前仅SCAFFOLD
weixin_42567789的博客
05-05 7396
SCAFFOLD（ICML-2020）：SCAFFOLD: Stochastic Controlled Averaging for Federated Learning FedPD：https://arxiv.org/abs/2005.11418 FedBN（ICLR 2021）：FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION
【BN层在多GPU训练中的应用】：多GPU环境：Batch Normalization的策略优化
[【BN层在多GPU训练中的应用】：多GPU环境：Batch Normalization的策略优化](https://img-blog.csdnimg.cn/img_convert/c2b5dad44730019108474d3aaf679d7b.png) # 1. Batch Normalization基础理论 Batch ...
联邦鲁棒性传播共享联邦学习中的对抗鲁棒性_Federated Robustness Propagation Sharing Ad
02-09
联邦学习（Federated Learning, FL）是一种新兴的分布式学习框架，它允许在不共享原始数据的情况下，从多个参与用户那里学习模型。这种学习模式的主要挑战之一来自于用户的异质性，用户的数据分布可能各不相同（非...
【BN层问题诊断】：训练难题解决者：Batch Normalization问题的识别与解决
![【BN层问题诊断】：训练难题解决者：Batch Normalization问题的识别与解决](https://img-blog.csdnimg.cn/20210420195316529.png?x-oss-process=image/watermark,type_...Batch Normalization（批量归一化）是深度
详细解读nn.BatchNorm2d——批量标准化操作
热门推荐
北国觅梦
05-18 5万+
参考链接：完全解读BatchNorm2d归一化算法原理_机器学习算法那些事的博客-优快云博客nn.BatchNorm2d——批量标准化操作解读_视觉萌新、的博客-优快云博客_batchnormal2d 写着一篇博客的目的是为了彻底弄清楚里面具体是怎么计算的，同时也是因为有了太多的博客并没有深入理解，所以特地写一篇博客记录一下。也为了防止后来者脑壳疼。 如果有用的话，请记得点赞+关注哦 一、参数解读 torch.nn.BatchNorm2d(num_features, eps=1e-05, mo
联邦学习——基于知识蒸馏的多源域适应
联邦学习小白
07-25 3681
《KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation》是一篇被ICML 2021接收的论文，论文作者来自浙江大学CAD&CG国家重点实验室。这篇文章提出一个对来自多个源域的模型进行知识蒸馏来构建可迁移的共识知识，并可应用于联邦学习的无监督多源域适应方法。 简介 传统的无监督多源域适应UMDA（Unsupervised Multi-source Domain Adaptat
联邦学习简介与2个案例详细介绍（tensorflow、numpy实现）
Python领域优质萌新学习笔记
03-22 2894
然后，我们在本地模型上训练每个设备的数据集，并保存每个设备的本地模型的权重。接下来，我们将本地模型的权重进行平均，得到全局模型参数，并更新全局模型的参数。在上述代码中，我们与前一个案例类似，使用clone_model()方法创建了每个参与方的本地模型，并使用全局模型的参数初始化本地模型。接下来，我们计算并更新全局模型的参数。联邦学习算法的核心思想是将机器学习任务分发给多个参与方（例如智能手机、传感器和云服务器等），然后对这些参与方的本地数据进行训练，最终合并更新的模型以获得全局模型。
ICLR2021 - Federated Learning Paper
柯同学要谦虚
03-01 2895
Federated Semi-Supervised Learning With Inter-Client Consistency & Disjoint Learning Problems Two practical scenarios of Federated Semi-Supervised Learning (FSSL): each client learns with only partly labeled data (Labels-at-Client scenario) 客户端有数据 用户端
联邦学习论文汇总---十六
weixin_45671820的博客
06-04 1760
Client-Edge-Cloud Hierarchical Federated Learning 客户端–云分层联邦学习 背景 1.云或边缘只有一个中心参数服务器， 2.深度学习在强大的计算平台训练，终端设备生成和分发转移到中央服务器时，违反隐私问题。 创新点 1.允许多个边缘服务器执行部分模型聚合， 2.引入中间边缘服务器，减少模型训练时间和终端设备的能量消耗 3.基于边缘的联邦学习，参数服务器位于邻近边缘（基站），但是服务器访问的客户端数量有限，训练性能损失。 4.与云边端相比，分层的联邦学习减少与云
人工智能 | ShowMeAI资讯日报 #2022.06.01
ShowMeAI研究中心
06-07 1万+
ShowMeAI资讯日报 2022-06-01 期，AI领域【工具&框架】【项目&代码】【博文&分享】【数据&资源】【研究&论文】最新动态关键词：数据标注、人脸识别、对话系统、对话数据集…点击阅读全文
联邦学习开山之作代码解读与收获
一个计算机准研究生的学习博客
10-24 6419
详细阅读FL代码
深度学习中的BatchNorm个人总结
一路狂奔的猪的博客
02-20 1386
Batchnorm想要解决的问题： 深度神经网络随着网络加深，网络收敛越来越慢，在训练过程中会出现梯度消失。（总结为网络收敛慢，梯度消失问题） 以上问题出现的原因： 随着网络加深，训练过程中每一层的输出分布逐渐发生偏移，一般整体会逐渐向非线性函数的上下限两端靠近。比如sigmoid激活函数，越往两端走，梯度越小，甚至消失。梯度太小使得训练慢，消失使得无法训练。 BatchNorm如何解决：...
联邦学习代码解读，超详细
weixin_42098322的博客
05-08 1万+
联邦学习伪代码 损失函数使用方法 1 optimizer = optim.Adam(model.parameters()) 2 fot epoch in range(num_epoches): 3 train_loss=0 4 for step,(seq, label) in enumerate(data_loader): 5 # 损失函数 6 loss = criterion(model(seq), label.to(device)
「隐语小课」联邦学习之基本方法
m0_69580723的博客
08-25 1637
联邦学习是最近两年比较热门的技术，结合隐语项目的开源，我们团队最近主要做联邦学习的研究和落地，将在「隐语小剧场」陆续分享出我们对联邦学习技术的思考、解决实际应问题的方法等内容，如：“联邦学习之通信优化”、 “联邦学习之Non-IID问题”、 “隐私保护图神经网络”，敬请期待！
大模型联邦学习
最新发布
03-12
### 联邦学习中的大型模型实现与应用场景 在联邦学习环境中部署大型模型面临诸多挑战，这些挑战不仅涉及技术层面还包括实际操作中的复杂性。尽管存在公共数据集，在某些情况下，出于隐私保护、法规遵从以及商业敏感性的考虑，并不是所有的参与方都能直接共享原始数据[^1]。 #### 技术架构支持大规模参数更新同步 为了使大型模型能够在联邦框架下有效运作，通常会采用特定的技术手段来优化参数更新过程。例如，通过引入压缩算法减少通信开销；利用差分隐私机制增强安全防护措施；或者借助于更高效的聚合策略提高收敛速度并降低延迟等问题的发生概率[^3]。 #### 应用场景实例分析 - **医疗健康领域**：不同医疗机构之间可以共同训练疾病预测或诊断辅助工具而不必暴露患者的具体病历资料给其他机构； - **金融服务行业**：银行间合作提升欺诈检测系统的准确性同时确保客户交易记录的安全保密； - **物联网设备管理平台**：智能家居产品制造商能够基于用户行为习惯改进服务质量而无需收集完整的个人使用日志。 ```python import tensorflow_federated as tff from tensorflow.keras import layers, models def create_large_model(): """创建一个较大的神经网络结构""" model = models.Sequential([ layers.Dense(512, activation='relu', input_shape=(784,)), layers.Dropout(0.2), layers.Dense(256, activation='relu'), layers.BatchNormalization(), layers.Dense(128, activation='relu'), layers.Dense(num_classes, activation='softmax') ]) return model federated_learning_process = tff.learning.build_federated_averaging_process( model_fn=create_large_model, client_optimizer_fn=lambda: tf.optimizers.SGD(learning_rate=0.02)) ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

联邦学习小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值