L2GD论文阅读笔记

最新推荐文章于 2024-11-18 08:43:11 发布
最新推荐文章于 2024-11-18 08:43:11 发布
阅读量1.6k 收藏 8
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 联邦学习 文章标签： 深度学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42534493/article/details/118496204

摘要

《Federated Learning of a Mixture of Global and Local Models》这篇论文的目的是在Local和Global之间寻找一个trade off，对全局模型和局部模型进行混合，并提出适用于这一想法的几种新的梯度下降算法，如L2GD，该算法还能改进通信复杂度。

本文的两项动机

1、全局模型在客户端的实用性问题。
2、传统的LGD在理论上，并不能改善通信复杂度。

目标函数

在这里插入图片描述
其中f(x)是全局平均损失值，λ≥0是惩罚项参数， x 1 x_1 x1​… x n x_n xn​∈ R d R^d Rd是本地模型，x:=( x 1 x_1 x1​… x n x_n xn​

最低0.47元/天 解锁文章

200万优质内容无限畅学
【图像超分】论文精读：Deeply-Recursive Convolutional Network for Image Super-Resolution (DRCN)
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-15 9784
我们提出了一种使用深度递归卷积网络 (DRCN) 的图像超分辨率方法 (SR)。我们的网络有一个非常深的递归层（最多 16 个递归）。增加递归深度可以提高性能，而无需为额外的卷积引入新的参数。尽管具有优势，但由于梯度爆炸/消失，使用标准梯度下降法学习 DRCN 非常困难。为了减轻训练的难度，我们提出了两个扩展：递归监督和跳层连接。我们的方法大大优于以前的方法。
知识蒸馏论文读书笔记
The Blog Of Uncle_Sugar
02-17 491
知识蒸馏的教育体制改革之路 突然觉得，我应该做一点笔记，梳理一下学过的东西，否则年一过，整个人就跟失忆了一样。 知识蒸馏这个名字非常高大上（不得不说大佬不仅想法清新脱俗，名字也起的情形脱俗啊）。如果直白地说老师学生模型，那就不酷了。 是的，知识蒸馏本质上 下面是论文的总结梳理， 跨种族的学习-Model Compression 就好像《三国演义》不会从魏蜀吴三国都建立之后开始写， 在2015年hi...
【L2GD】: 无环局部梯度下降
恭仔的博客
11-16 1063
本文主要摘录无环路局部梯度下降(L2GD)、L2GD的收敛理论以及对局部步骤在联邦学习中的作用的见解。
随机最速下降法 (SGD) 添加L2 范数
a8131357leo的博客
04-26 965
对于标准的SGD的loss function -> L(w)（learning rate/step size 为a） 在添加了L2 范数之后 新的 Loss function 为 新的梯度为
个性化联邦学习综述
联邦学习小白
06-16 1万+
《Personalized federated learning for intelligent iot applications》
联邦学习研究方向及论文推荐（二）
weixin_74181752的博客
07-23 3160
第二篇联邦学习论文推荐。
联邦学习——Ditto：同时提升公平性和鲁棒性
联邦学习小白
07-07 6475
《Ditto: Fair and Robust Federated Learning Through Personalization》这篇文章的作者之一Virginia Smith于2017年提出了Federated Multi-Task Learning用于实现个性化联邦学习。这篇文章提出的Ditto算法也是基于联邦多任务学习的个性化方法，目的在于同时提升联邦学习中的公平性和鲁棒性。 FL公平性和鲁棒性的定义 公平性：不同设备的本地模型具有相同性能 鲁棒性：具体指拜占庭鲁棒性，即恶意节点可以给服务器发送任
论文学习笔记：Privacy-preserving Cross-domain Recommendation with Federated Graph Learning
m0_57180439的博客
11-18 1289
然而，正如之前的研究]所指出的那样，这些用户内嵌信息已经编码了用户行为的隐私信息，出于对隐私的考虑，不能直接共享到域外。在本文中，我们提出了一种新颖的，据我们所知，用于隐私保护跨域推荐的联邦图学习方法( PPCDR )，以基于分布式多域数据捕获用户的偏好，并在不泄露隐私的情况下提高所有域的推荐性能。具体来说，对于每个领域，我们通过增加连接全局和本地用户节点(对应全局和本地用户偏好)的链接来构建特定领域的用户-项目交互图，如图1所示，然后设计了一种基于GNNs的联合图学习方法。
【论文笔记】TinyBERT: Distilling BERT for Natural Language Understanding
gjh1716718326的博客
09-16 473
To accelerate inference and reduce model size while maintaining accuracy, we first propose a novel Transformer distillation method that is specially designed for knowledge distillation (KD) of the Transformer-based models. Then, we introduce a new two-sta.
FLMix: 联邦学习新范式——局部和全局的结合
恭仔的博客
11-16 1万+
本博客从`优化函数`角度出发，学习传统联邦学习和新型联邦学习的差异。
Federated Learning 的一些基本知识和分类
小李好好学
03-14 6128
definition of federated learning 定义有N个用户 每个人所含有的私有数据为 传统的深度学习算法将每个用户的数据收集在一起得到总的数据集 再进行训练一个模型 Federated Learning的训练方法是每一个用户利用自己的数据进行模型训练 不同用户之间不进行数据共享。这时定义总数据集模型的正确率与分用户模型的正确率之差为δ-accuracy loss 一...
Federated learning联合学习（1）-基础知识
u014493140的博客
02-18 1747
摘抄 Federated learning (aka collaborative learning) is a machine learning technique that trains an algorithm across multiple decentralized edge devices or servers holding local data samples, without ex...
Federated Learning 联邦学习概述及最新工作
Always_ease的博客
06-15 1709
一、目前主流的联邦学习应用场景 Cross-silo FL Cross-device FL Setting Training a model on siloed data. Clients are from different organizations (e.g. medical or financial) or geo-distributed datacenters. The cli.
tensorflow Federated: 本地模型训练，无需上传训练数据
未来战警
03-08 7051
google 刚发布了 TFF 框架，全名是 TensorFlow Federated,它是干什么的呢,可以大概总结下： 边缘设备（比如：手机）在本地 利用本地数据 训练模型，进而把 本地训练的模型参数 上传服务器，然后 服务器对 各个边缘设备 上传 的模型参数进行 聚合。 为什么 需要这样做呢？ 目前大家 主要的 做法是 把 各种数据收集至 server,然后 利用 汇总的 数据进行模型...
（九）GD、L1和L2、MAP、MLE、Lasso
Miracle_520的博客
04-09 778
文章目录一、GD二、从LR看L1、L22.1 模型复杂度2.2 正则三、K折交叉验证四、MAP与MLE五、Lasso Regression 一、GD GD： 梯度稳定，所有样本的梯度 SGD： 梯度不稳定（一个样本，可能为噪声样本），学习率要小 mini-batch GD： 折中方案 既不考虑所有样本，节省时间成本 相对稳定，M需要去尝试 二、从LR看L1、L2 当给定的数据线性可分的...
函数最优化（局部、全局）
qq_32649321的博客
04-18 1724
basinhopping() 是 Scipy 库中的一个函数，用于在给定约束条件下寻找目标函数的全局最优点。具体来说，它采用了一个基于随机化的搜索策略，通过对坐标进行随机扰动、进行局部优化和接受或拒绝新的坐标来逼近全局最优点。Basin-hopping 是一种two-phase 方法，它将全局步进算法与每一步的局部最小相结合，会在每次随机跳跃后使用局部松弛，旨在模拟原子簇能量最小化的自然过程。optimize.minimize() 是 Scipy 库中的一个函数，用于在给定约束条件下最小化某一目标函数。
C#7.0新特性-局部函数
小目标一个亿
06-16 4632
局部函数就是函数中套函数 例如： static void Main(string[] args) { int Result = Add(5, 7) + subtract(6,2); Console.WriteLine("结果："+Result); Console.ReadKey(); ...
TRACE（）的用法总结
热门推荐
younibugudano的博客
05-04 2万+
TRACE()宏一般是用在mfc中的，用于将调试信息输出到vs的输出窗口中(这是关键), 这在使用vs作为开发工具的时候，是非常方便的。   然而在开发一般c++程序时，却貌似无法获得这样的便利，其实只要经过几个步骤同样可以实现： 一：#include        //此头文件包含ATLTRACE宏，而其实MFC做的就是#define TRACE ATLTRACE 二：使
梯度下降和多层感知器
hallobike的博客
11-10 461
梯度下降算法 致力于找到损失函数极值点，学习即是改进模型参数，以便通过大量训练步骤将损失最小化。 梯度的输出由若干偏导数构成的向量，每个分量对应于函数对输入向量的相应分量的偏导： 梯度的输出向量表明了在每个位置损失函数增长最快的方向，可以理解为函数在每个位置向哪个方向移动可以增长函数值。 随机初始化，初始化一批值，需要计算梯度值，找到损失值变化最快的方向。 每一次移动的距离，叫做学习速率。学习速率小，迭代次数多，训练慢；学习速率大，会错过极值点，后面会在极值点附近来回抖动。 不用担心局部极值点，是随机初始
L2归一化论文
最新发布
03-14
### 关于L2归一化 L2归一化是一种常见的数据预处理技术，在机器学习和深度学习领域被广泛应用于特征缩放和正则化。通过将向量的每个维度除以其欧几里得范数（即平方根下的平方和），可以确保所有样本都具有相同的长度，从而减少不同尺度特征的影响[^1]。 尽管当前引用未直接提及L2归一化的具体学术资源，但可以从以下几个方面入手查找相关材料： #### 学术论文推荐 1. **SVM中的L2正则化** 支持向量机(SVM)的研究中经常涉及L2正则化及其理论基础。例如，《Regularization Paths for Generalized Linear Models via Coordinate Descent》讨论了如何利用L2正则化优化模型参数[^3]。 2. **神经网络中的Batch Normalization与L2 Norm** 在深度学习框架下，L2归一化常用于防止过拟合并提升泛化能力。《Deep Learning with Python》提到批量标准化(Batch Normalization)可视为一种扩展形式的L2归一化方法。 3. **图像检索中的应用** 对于计算机视觉任务而言，采用L2距离度量相似性的策略已被证明有效。参见《ImageNet Classification with Deep Convolutional Neural Networks》，该文中探讨了卷积层权重初始化过程中加入L2约束的效果[^2]。 以下是实现简单版本L2归一化的Python代码片段： ```python import numpy as np def l2_normalize(vector): norm = np.linalg.norm(vector, ord=2) if norm == 0: raise ValueError("Cannot normalize zero vector.") return vector / norm ``` ### 相关工具书目建议 为了更深入理解这一主题，还可以参考以下书籍或教程链接获取更多信息： - *Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow* 提供详尽实例解析各种规范化技巧的实际运用场景； - 官方文档如TensorFlow或者PyTorch指南也涵盖了大量有关此话题的内容说明。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

联邦学习小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值