FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems

原创 已于 2023-10-31 22:39:34 修改 · 160 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #人工智能 #推荐算法 #聚类

于 2023-10-31 22:35:27 首次发布
本文提出FedFast方法，通过ActvSAMP采样和ActvAGG聚合策略，加快联邦学习中推荐系统的训练速度，同时保持高推荐质量和用户隐私。文章关注训练过程优化，展示了在轻量级模型上的效果，预示未来在更多场景的应用潜力。

超越平均水平更快训练联邦推荐系统

在这里插入图片描述

idea类似的一篇论文
参考博客

论文试图解决什么问题

该论文试图解决在联邦学习中训练推荐系统的速度和准确性问题。在传统的推荐系统中，用户的个人数据需要上传到集中式服务器进行训练，存在隐私和数据安全的风险。而联邦学习通过在用户设备上本地训练和推理，避免了数据共享和隐私泄露的问题。然而，联邦学习中的训练过程可能会导致用户性能下降、通信负载增加和训练时间延长。因此，该论文旨在提出一种更高效的方法，以加快联邦学习中推荐系统模型的训练速度，使用户能够在训练过程完成之前就享受到更准确的推荐结果。

本文主要创新点

本文引入了两种新的技术：采样技术和聚合策略。首先是采样技术，本文使用了一种名为ActvSAMP的主动采样算法，通过将客户端分为不同的群集，并使用k-means算法进行聚类，从而形成具有代表性的采样集。每个群集中随机选择一个客户端，直到采样集中包含了所需数量的客户端。这样的采样方式可以反映领域中不同用户群体的特点。其次是聚合策略，本文使用了一种名为actvagg的聚合策略。该策略通过更新从属嵌入来改进模型的训练。对于每个群集，计算委派给该群集的代表的用户嵌入之间的差异的平均值。然后将这些平均差异乘以一个衰减因子，并添加到从属嵌入中。这样的聚合策略可以提高模型的训练速度和准确性。通过采样技术和聚合策略的结合，FedFast方法能够在

最低0.47元/天 解锁文章
推荐系统+FL论文学习(1)：FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems
weixin_62196703的博客
10-04 1061
联邦学习(FL)正在迅速成为深度推荐模型分布式训练的事实上的标准，它使用设备上的用户数据并降低服务器成本。在典型的FL流程中，中央服务器要求最终用户使用其本地数据训练共享推荐模型。本地模型在用户的设备上经过几轮训练，服务器将它们组合成一个全局模型，该模型被发送到设备以提供建议。标准的FL方法在每一轮使用随机选择的用户进行训练，并简单地平均他们的局部模型来计算全局模型。得到的联邦推荐模型需要客户投入大量精力进行训练，并进行多次通信，才能收敛到令人满意的精度。直到培训的最后阶段，用户才会得到低质量的建议。
【论文解读】FedFast: Going Beyond Average for Faster Training of Federated 推荐系统遇上联邦学习
MonkeyCatFox的博客
03-04 2353
3
论文阅读：FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems
三金samkam的博客
03-13 716
论文名字 FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems 来源 会议 The 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining（KDD 20） 年份 2020.8 作者 ...
FedFast: Going Beyond Average for Faster Training论文观后感
weixin_45942265的博客
03-22 607
FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems——论文观后感传统方法vs本文方法本文贡献：系统概述算法流程ActvSAMP更好的选择每轮的训练参与者ActvAGG更好的方法合并训练模型从而加速模型收敛ActvSAMP和ActvAGG的个体影响分析总结 传统方法vs本文方法 标准的FL方法使用随机选择的用户在每一轮进行训练，并简单地平均他们的局部模型来计算全局模型。由此产生的联合模型需要大量的
论文阅读笔记1:FedFast
weixin_47251523的博客
09-15 360
本文选择训练GMF模型，其中的参数为w\ ww，将参数分为三部分：非embedding部分、item_embedding和user_embedding部分，算法一共训练t轮，每轮使用ActvSAMP选择一个代表用户集St\ S_tSt​St\ S_tSt​中有来自p个用户簇的m个代表用户。
【论文笔记】FasterNet：Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks
JehanRio's Private Blog
05-16 3816
为了设计快速神经网络，许多工作都集中在减少浮点运算（FLOPs）的数量上。然而，作者观察到FLOPs的这种减少不一定会带来延迟的类似程度的减少。这主要源于每秒低浮点运算（FLOPS）效率低下。为了实现更快的网络，作者重新回顾了FLOPs的运算符，并证明了如此低的FLOPS主要是由于运算符的频繁内存访问，尤其是深度卷积。因此，本文提出了一种新的partial convolution（PConv），通过同时减少冗余计算和内存访问可以更有效地提取空间特征。
论文笔记：Depth-supervised NeRF: Fewer Views and Faster Training for Free
blueag1e的博客
02-08 1960
Depth-supervised NeRF: Fewer Views and Faster Training for Free
EfficientNetV2 Smaller Models and Faster Training
weixin_37958272的博客
12-13 2519
EfficientNetV2: Smaller Models and Faster Training https://arxiv.org/pdf/2104.00298.pdf 本文介绍了一种新的卷积网络族EfficientNetV2，它具有比以往的模型更快的训练速度和更好的参数效率。为了开发这些模型，我们结合使用training-aware神经结构搜索和缩放，共同优化训练速度和参数效率。该模型在搜索空间中加入了新的操作，如fusion - mbconv。我们的实验表明，effecentnetv2模型的训练速
LayoutLM: Pre-training of Text and Layout for Document Image Understanding
没有期待的日子反而会顺顺利利
02-21 2265
1. Introduction 提出LayoutLM来联合建模扫描文档图像中文本和布局信息之间的交互。此外，在fine-tune阶段利用图像特征将单词的视觉信息整合到LayoutLM中。 2.1 The LayoutLM Model 在模型输入层面，LayoutLM在Bert采用的文本与位置特征的基础上，新增了两个输入embedding： (1)2D position embedding...
2023 联邦推荐系统综述
SmartLab307的博客
06-24 2143
2023 联邦推荐系统综述 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS,
KDD 2020 推荐系统论文一览
abcdefg90876的博客
08-22 4509
作者 |学派链接 |https://zhuanlan.zhihu.com/p/161705748编辑 | 深度传送门KDD是推荐领域一个顶级的国际会议。本次接收的论文按照推荐系统应用...
KDD2020推荐系统论文聚焦
张小磊的博客
06-28 2988
前言ACM SIGKDD（国际数据挖掘与知识发现大会，简称KDD）是数据挖掘领域的最高级别的学术会议，由ACM的数据挖掘及知识发现专委会（SIGKDD）主办，是CCF A类会议。其中今年...
【KDD 2020】推荐系统领域论文汇总
深度学习技术前沿
07-09 3448
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要9分钟Follow小博主，每天更新前沿干货【导读】本文为大家收集整理了KDD 2020 会议上推荐系统方面的一些论文汇总。ACM ...
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
最新发布
子午的博客
11-30 499
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
深度学习实战（基于pytroch）系列（四十）长短期记忆（LSTM）从零开始实现
echo的博客
11-28 1443
LSTM（长短期记忆网络）是一种改进的循环神经网络，通过引入输入门、遗忘门和输出门三个控制单元，以及记忆细胞结构，有效解决了传统RNN的梯度消失问题。其核心计算包括：三个门控单元通过sigmoid函数调节信息流动，候选记忆细胞使用tanh函数生成，最终记忆细胞由遗忘门和输入门共同决定。实验使用周杰伦歌词数据集进行训练，从零实现了LSTM模型的参数初始化和前向传播过程，包括状态初始化、门控计算和隐藏状态更新。该结构能更好地捕捉长距离依赖关系，适用于序列建模任务。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1025
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
深度学习实战（基于pytroch）系列（四十四） 优化与深度学习
echo的博客
11-30 998
本文探讨了优化与深度学习的关系及优化在深度学习中的挑战。优化算法通过最小化训练误差来降低损失函数值，而深度学习更关注降低泛化误差。文中重点分析了深度学习中常见的两个优化挑战：局部最小值和鞍点。通过数学函数示例和可视化图表，展示了这些特征点的特性，并指出在高维参数空间中，鞍点比局部最小值更为常见。最后强调虽然全局最优解难以获得，但现有优化算法已能有效训练深度学习模型。
Bayes-CNN-LSTM、Bayes-CNN-BiLSTM、Bayes-CNN-GRU、B...
2503_94130034的博客
11-24 435
无需手动调参，运行即出结果，特别适合刚接触时序预测的新手。Bayes-CNN-LSTM、Bayes-CNN-BiLSTM、Bayes-CNN-GRU、Bayes-CNN-BiGRU回归(四选一)(可以更换为分类/单、多变量时序预测，前)，Matlab代码，可直接运行，适合小白新手。Bayes也可以优化CNN-LSTM-Attention,CNN-BiLSTM-Attention，CNN-GRU-Attention,CNN-BiGRU-Attention模型回归，分类，时序预测()[电力负荷预测结果对比图]
Python连接云端Linux服务器进行远程 （后端开发/深度学习）时候的注意事项
少年何妨梦摘星，敢挽桑弓射玉衡。 他时若遂凌云志，敢笑黄巢不丈夫。
11-29 806
Python云端远程开发，遇到的相关的知识点。比如Linux以及shell的常用的命令，使用pyenv管理pyhton的版本！类似Vue使用nvm管理的！编写 `setup.py`？（配合 `-e .` 使用）Python连接云端Linux服务器进行远程 （后端开发/深度学习）时候的注意事项。深度学习，AI，神经网络，入门教程
Run, don′t walk: Chasing higher FLOPS for faster neural networks
04-01
# Example of mixed precision training setup using TensorFlow Keras API. policy = tf.keras.mixed_precision.Policy('mixed_float16') tf.keras.mixed_precision.set_global_policy(policy) model.compile...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值