论文解读--------FedMut: Generalized Federated Learning via Stochastic Mutation

FedMut:利用平坦区域的联邦学习框架提升多客户端推理性能
原创 已于 2024-05-12 19:56:33 修改 · 427 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#安全 #深度学习

于 2024-05-10 20:22:31 首次发布

论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/29146

动机

Many previous works observed that the well-generalized solutions are located in flat areas rather than sharp areas of the loss landscapes.
在这里插入图片描述
通常，由于每个本地模型的任务是相同的，因此每个客户端的损失情况仍然相似。直观上，与尖锐的最佳区域相比，不同客户端的平坦最佳区域部分重叠的可能性更大。换句话说，当模型收敛到重叠区域时，它可以在大多数客户端中实现高推理性能。

怎么做能达到效果？

在这里插入图片描述

FedMut框架

在这里插入图片描述

global model ：
ω g l b = { l a y e r 1 , l a y e r 2 , . . . , l a y e r L } . \omega_{glb} = \{ layer_1, layer_2,..., layer_L \}. ωglb​={ layer1​,layer2​,...,layerL​}.

最低0.47元/天 解锁文章
【FedMut】Generalized Federated Learning via Stochastic Mutation
Yudiannann的博客
07-01 746
当所有变异模型都位于相同区域时，我们可以获得一个泛化良好的全局模型，其邻域是平坦的。如图2(b)所示，由于由变异模型组成的邻域大于平坦区域，三个变异模型位于另一个区域而不是初始全局模型所在的尖锐区域。由于由变异模型组成的邻域小于初始全局模型所在的平坦区域，所有变异模型仍然位于这个平坦区域内。通过本地训练，所有变异模型都朝着平坦区域的中心优化，聚合后的全局模型相应地更新到平坦区域的中心。FedAvg 将相同的全局模型派发给客户端进行本地训练，容易陷入尖锐解，导致训练出性能低下的全局模型。
联邦学习论文笔记——FedFair: Training Fair Models In Cross-Silo Fedrated Learning
qq_35576563的博客
11-27 1001
**本文的工作：** 1）提出了一种联合估计方法，在不侵犯任何一方数据隐私的情况下，准确估计模型的公平性。 2）证明了联合估计方法比局部估计模型对单个参与者的公平性更准确，这导致在跨竖井联合学习中具有更好的公平模型训练性能。 3）构建了新的FedFair问题;开发了一个有效的联合学习框架来解决这个问题，而不侵犯任何一方的数据隐私。 4）充分的的实验
FedMD: Heterogenous Federated Learning via Model Distillation
qq_33619359的博客
05-14 1019
NeurIPS2019，通过一个全局数据集实现知识蒸馏。code: 没找到。
联邦学习论文汇总---十五
weixin_45671820的博客
06-03 783
FedMD: Heterogenous Federated Learning via Model Distillation 背景 1.深度学习可以自动感知和推理，需要大型数据，系统异构性（本地异步解决了一部分)，统计异质性性，需要创建自己的模型满足不同的规范， 现有工作 1.为凸问题的多任务学习提供一种框架 2.基于贝叶斯、元学习和迁移学习 创新 1.迁移学习+知识蒸馏开发框架，每个用户有私有数据和私有模型 2. 异构：局部模型的差异，参与者转化知识 迁移内容 1.每个模型对公有训练集训练，对私有数据集训练
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）
夏栀的博客
04-26 1901
论文解读：Task Agnostic Meta-Learning for Few-shot Learning（TAML）   通常的，元学习可以被在多个任务（task）上训练以期望能够泛化到一个新的task。然而当在现有的task上过度地学习（过拟合），在新的task泛化能力会变差。换句话说，初始的meta-learner在现有的task上会学习到有偏的知识（bias），特别是样本数量非常少的情况下。为了避免在样本数量非常少时，meta-learner会学习到有偏的信息，本文提出一种Task-Agnosti
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 8万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
Learning Generalized Spoof Cues for Face Anti-spoofing
language_zcx的博客
06-01 2523
Learning Generalized Spoof Cues for Face Anti-spoofing paper PDF https://blog.youkuaiyun.com/fuwenyan/article/details/77769224
LIO-sam：安装 - 运行 - 论文介绍 - 源码阅读
非晚非晚的博客
12-30 6769
一. 相关背景介绍 二. 安装和运行 2.1 安装gtsam 4.0.2 2.2 安装lio-sam 2.3 运行 三. 论文介绍 3.1 背景 3.2 方法 3.2.1 Lidar和IMU坐标系 3.2.1 因子图框架介绍 3.2.3 IMU因子 3.2.4 激光里程计因子 3.2.5 GPS因子 3.2.6 回环因子 四. 源码阅读 4.1 源码的整体框架 4.2 源码解读
精选资源
2025北京大学：DeepSeek-R1及类强推理模型开发解读.pdf
03-07
北京大学研究人员在人工智能领域取得突破，开发了名为DeepSeek-R1的模型，它代表了强化学习（Reinforcement Learning, RL）在强推理与慢思考范式中应用的新边界。DeepSeek-R1模型不仅在推理能力上展现出显著的优势，...
论文研究-Quantum teleportation and state sharing via a generalized seven-qubit Brown state.pdf
08-20
基于广义七-粒子布朗态的量子隐形传态和量子态共享，康双勇，陈秀波，在这篇文章中,一个新颖的量子隐形传态和量子态共享方案被提出,广义的七-粒子布朗态$|B_{7}angle$被用作量子信息载体。首先,对于任意单�
Generalized-pooling-functions-CNN:机器学习
04-30
通用池化功能：CNN中的混合池和门控池 实验正在实施，并且基于Chen Lee，PWGallagher，Z.Tu，“卷积神经网络的通用化池功能：混合，门控和树化”，2015年进行。我的工作用于满足研究课程“机器学习实践”的课程最终...
OpenHarmony Flutter 分布式安全与隐私保护：跨设备可信交互与数据防泄漏方案
2501_93721151的博客
12-11 663
在开源鸿蒙（OpenHarmony）全场景分布式生态中，跨设备安全与隐私保护是实现多设备协同的生命线。随着设备间数据流通与交互频率的提升，数据泄露、身份伪造、权限滥用等安全风险也随之加剧；传统单设备安全方案难以适配分布式场景下的可信交互需求。基于开源鸿蒙的分布式安全服务（DSS）与 Flutter 的跨端安全开发能力，能够构建一套 **“设备可信认证、数据加密传输、权限动态管控、隐私数据脱敏”** 的分布式安全与隐私保护解决方案，赋能金融支付、健康医疗、智能家居等高敏感场景的跨设备协同。本文聚焦。
安全审查--跨站请求伪造--双重提交Cookie模式
petunsecn的专栏
12-12 577
本文详细讲解了双重提交Cookie模式防御CSRF攻击的原理与实现。首先通过网上银行转账案例展示了CSRF攻击的危害性，解释了攻击者如何利用浏览器自动携带Cookie的特性发起恶意请求。随后深入剖析了双重提交Cookie的核心理念：利用同源策略，要求请求同时携带Cookie中的token和请求头/体中的token进行双重验证。 文章从零开始演示了实现步骤：1)服务器设置可被JavaScript读取的CSRF Token Cookie；2)前端获取Cookie中的token并添加到请求头；3)服务器验证两个t
第十一篇：Day31-33 前端安全与性能监控——从“能用”到“安全可靠”（对标职场“系统稳定性”需求）
2402_87628679的博客
12-11 1157
对于小型项目或特定业务场景，可通过自定义埋点实现核心指标监控，无需接入复杂工具。// src/utils/monitor.js（自定义监控工具） import axios from 'axios';// 监控数据上报接口（后端提供） const MONITOR_UPLOAD_URL = '/api/monitor/upload';
App反诈骗：一场面向移动生态的深度安全战争（接上文短信反诈）
最新发布
xixixi7777的博客
12-12 1106
App反诈骗的最终目标是构建一个安全、可信、透明技术支柱：持续创新的检测与防御技术制度支柱：完善的法律法规与行业标准治理支柱：跨平台、跨行业的协同治理机制教育支柱：提升开发者和用户的安全意识经济支柱：建立正向激励与惩罚机制与短信反诈相比，App反诈的战场更广、链条更长、对抗更复杂。这是一场技术、法律、经济、社会的综合性战役，其成功不仅需要先进的技术手段，更需要生态系统各方的共同责任和长期投入。真正的App反诈不是简单的"查杀"，而是通过纵深防御、主动狩猎、生态治理。
DNS协议安全
weixin_61562383的博客
12-12 790
许多企业的防火墙会拦截内部员工直接访问外部网站的 HTTP/TCP 连接，但通常会放行 DNS 流量，因为员工需要解析域名才能工作。阴影域名：黑客攻破了合法网站（如 example.com）的管理权，创建了恶意的子域名（如 bad.example.com）。DNS 协议在设计之初就像是在“明信片”上写字，任何人都可以拦截、修改（中间人攻击），或者伪造一张新的明信片发给你（欺骗/投毒）。：为了防止命令控制服务器（C&C）的域名被封杀，僵尸程序会内置一套算法，每天自动生成成千上万个随机域名。
AI安全威胁：对抗样本到数据隐私全解析（13种安全威胁及防护）
m0_62396717的博客
12-11 547
本文系统梳理了大模型面临的安全与隐私威胁，包括常规安全威胁（对抗样本攻击、后门攻击、投毒攻击）和新型安全威胁（内容安全问题、恶意使用风险、资源消耗攻击等）。同时分析了数据隐私风险（成员推断、数据提取等）和知识产权威胁（模型萃取、提示词窃取）。针对这些威胁，提出了包括对抗训练、数据清洗、差分隐私等在内的多层次防御体系，强调需要技术、法规等多角度协同应对。随着攻击手段不断演进，防御措施也需持续更新完善。
指挥中心 “协同密码”：KVM 坐席协作系统如何破解数据壁垒与安全难题？
2409_89316373的博客
12-09 936
KVM 坐席协作系统普遍采用全 IP 或光纤架构，以分布式技术为核心支撑，通过 KVM 坐席输入节点、KVM 坐席输出节点、网络交换机（或 KVM 主机）、显示终端及一套键盘鼠标的组合部署，实现跨系统、跨设备的数据汇集管理、高效协调、实时操控、信息沟通与安全管控，最终达成 “人机分离”“一人多机” 的智能化应用模式，适配指挥中心多场景业务需求。未来，指挥中心将持续作为单位信息化建设的核心，朝着 “远程可控、现场可视、信息互链、决策智能、应用宽泛” 的方向升级，成为支撑单位高效运转的指挥中枢。
悬镜安全通过可信AI云 大模型安全扫描产品能力评估
分享软件供应链安全最新技术与最佳实践
12-09 534
在人工智能驱动的未来，安全不再是可选项，是企业生存和发展的基石。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值