Pysyft学习笔记三：分布式模型实现（Fed_avg算法整合模型）

最新推荐文章于 2024-11-15 17:50:39 发布
原创 最新推荐文章于 2024-11-15 17:50:39 发布 · 1.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #算法 #python

本文介绍了一个使用PySyft实现的简单分布式隐私保护训练流程。通过将数据分散在虚拟工作者Bob和Alice之间，利用Federated Learning的方式，在保护数据隐私的同时进行模型训练。文章详细展示了模型的构建、数据分布、训练过程及最终评估。

导入包

导入包，并初始化Hook

import torch 
import syft as sy

from torch import nn
from torch import optim

hook = sy.TorchHook(torch)

构建客户机

Bob = sy.VirtualWorker(hook,id='Bob')
Alice = sy.VirtualWorker(hook,id='Alice')

构建数据集

自己随便想了一些数据来训练

data = torch.tensor([[0,0],[0,1], [1,0], [1,1.]],requires_grad=True)
targe = torch.tensor([[0],[0],[1], [1.]],requires_grad
最低0.47元/天 解锁文章
联邦学习与联邦数据库的结合：AI原生应用的数据治理
AI天才研究院
07-13 755
随着《个人信息保护法》《数据安全法》等法规落地，以及医疗、金融等敏感行业对数据本地化的强制要求，“数据不能出域”成为AI训练的新约束。传统“数据搬家”的集中式训练模式（把分散数据拉到中心服务器训练）已无法满足合规要求，而AI原生应用（如智能医疗诊断、银行反欺诈模型）又亟需跨机构、跨设备的协同数据能力。本文将聚焦“联邦学习”与“联邦数据库”的技术融合，探讨如何在不移动原始数据的前提下，实现AI模型的协同训练与数据的高效治理。
联邦学习快速入门知识点总结，超详细FedAvg算法解读学习笔记
2301_80397661的博客
07-11 1739
FedAvg算法解读，联邦学习快速入门，学习笔记
分布式机器学习原理及实战(Pyspark)
算法进阶
06-07 3324
一、大数据框架及Spark介绍 1.1 大数据框架 大数据（Big Data）是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。 自2003年Google公布了3篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储（BigTable），并奠定了现代大数据技术的理论基础，而后大数据技术便快速发展，诞生了很多日新月异的技术。
联邦学习——学习笔记1：FedAvg算法
m0_57180439的博客
06-20 1185
联邦学习FedAvg算法学习笔记
Pysyft学习笔记四：MINIST数据集下的联邦学习（并行训练与非并行训练）
一只懒猫的博客
01-19 5045
目录手写数字识别模型（非并行训练）概述图导入基本包创建客户机设置训练参数初始化数据集搭建神经网络模型定义训练与测试函数定义主函数训练效果手写数字识别模型（并行训练）概述图 经过前面几篇笔记的学习，基本上已经知道了联邦学习的基本代码框架。联邦学习也有两种实现方式，一种是C/S架构，服务器整合模型，一种是P2P架构，不需要第三方。现在先实现C/S架构下的横向联邦学习模型。 大概处理过程如下： 1.数据预处理，得到data_loader 2.建立虚拟机，分配数据集 3.初始化模型 4.将模型发送给虚拟机 5.指导
【联邦学习】FedAvg 过程简介
热门推荐
weixin_44211968的博客
03-25 1万+
文章目录一、FedAvg 简介二、联邦训练过程参考链接 一、FedAvg 简介 FedAvg是一种分布式框架，允许多个用户同时训练一个机器学习模型。在训练过程中并不需要上传任何私有的数据到服务器。本地用户负责训练本地数据得到本地模型，中心服务器负责 加权聚合本地模型 从而得到全局模型，经过多轮迭代后最终得到一个趋近于集中式机器学习结果的模型，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。 二、联邦训练过程 首先用户从服务器中下载模型参数，更新本地模型参数，进行本地机器学习训练。 其次在用
拟合模型
weixin_34381687的博客
11-07 1758
2019独角兽企业重金招聘Python工程师标准>>> ...
论文学习笔记：Personalized Federated Graph Learning on Non-IID Electronic Health Records
m0_57180439的博客
08-27 1092
Personalized Federated Graph Learning On Non-IID Electronic Health Records 论文学习笔记
顶会论文笔记：联邦学习——ATPFL: Automatic Trajectory Prediction Model Design under Federated Learning Framework
liuzeyao_Newton的博客
09-15 2091
【联邦学习×计算机视觉】ATPFL帮助用户联合多源轨迹数据集，自动设计和训练强大的TP轨迹预测模型。 ATPFL: Automatic Trajectory Prediction Model Design Under Federated Learning Framework
Pysyft学习笔记二：伪分布式模型训练的实现
一只懒猫的博客
01-17 1339
不熟悉send和get机制的小伙伴可以看一下我的上一篇博客：Pysyft学习笔记一：dome思路，然后再看这篇博客，效果会更好哦。 导入基本库 import torch #分布式训练 import syft as sy #用于搭建神经网络 from torch import nn #用于构造优化器 from torch import optim #在torch上使用hook技术 hook = sy.TorchHook(torch) 创建客户机 id可以理解为客户机的名称 Bob = sy.Virtu
联邦学习（1）- FedAvg算法学习
qq_45893591的博客
07-10 5258
FedAvg是一种常用的联邦学习算法，它通过加权平均来聚合模型参数。FedAvg的基本思想是将本地模型的参数上传到服务器，服务器计算所有模型参数的平均值，然后将这个平均值广播回所有本地设备。这个过程可以迭代多次，直到收敛。
fedavg学习（个人学习笔记）
jeazim的博客
12-16 2764
联邦学习（Federated Learning）是一种分布式机器学习方法，旨在训练模型而不需要将原始数据集传输到中央服务器上。在传统的机器学习方法中，通常会将所有数据集中到一个中央服务器进行训练，但这样做可能涉及到数据隐私和安全的问题。相比之下，联邦学习通过保持数据在本地设备或边缘设备上进行训练，将机器学习的计算推向数据而不是将数据传输到中央服务器。这意味着个体的隐私和数据安全得到了更好的保护。
FedAvg的简单实现(详解)
m0_73195494的博客
07-13 1884
这部分不在此赘述, 不明白的可移步主页。
联邦学习的未来：深入剖析FedAvg算法与数据不均衡的解决之道
最新发布
平凡程序猿~的博客
11-15 5879
随着数据隐私和数据安全法规的不断加强，传统的集中式机器学习方法受到越来越多的限制。为了在分布式数据场景中高效训练模型，同时保护用户数据隐私，联邦学习（Federated Learning, FL）应运而生。它允许多个参与方在本地数据上训练模型，并通过共享模型参数而非原始数据，实现协同建模。
随机样本一致性：一种用于图像分析和自动制图的模型拟合模型（5）--（P4P的解析解）
Jensen Lee的博客
10-28 674
（一）P4P问题的解析解 条件：已知物平面和像平面中的四对同名像点；透视中心到像平面的距离（即摄影系统的焦距）；像平面中主光点的位置（位置，也就是像平面中的坐标，该点是主光轴在像平面上的焦点）； 求解：透视中心相对于物方坐标系统下的3维位置。 符号说明： (1)像点坐标被标记为{Pi}并且对应的物点坐标被标记为{Qi}。 (2)假设2-D像平面的坐标系统的原点的位置为主光点（PPI）...
PySyft中model.get()方法解释
飞奔的菜猪的博客
08-27 1117
最近在看联邦学习相关内容，上手了PySyft框架。该框架相当于是在Pytorch深度学习框架上扩展的第三方API，对我经常使用Pytorch深度学习框架的人来说再合适不过。然后在网上找各种帖子学习了一点基础的东西，其中有一篇比较经典的帖子是：Pysyft实战4：使用pysyft在MNIST数据集上训练CNN网路。当然，我没完全复现这篇帖子上的代码，我的代码精简了，如下所示： import torch import syft as sy from torch import nn from torch im
Python实现分布式服务器部署维护
哈利路亚的收藏夹
11-25 1465
现在项目负载太大，上线了30台服务器，一旦需要重新发布项目，那是真的麻烦，特别是前端vue的碎文件。Git上找了一个python的脚本，调整了一下，实现了目录备份，重新推送文件，自动启动springboot项目。 修改后文件如下： #!/usr/bin/env python3 # -*- coding: utf-8 -*- # 脚本用途：上传并部署SpringBoot项目: # 1. kill 旧的jar进程 # 2. 备份旧文件到jar所在目录下的子目录（目录名：yymmdd），删除nohup文件。
【联邦学习新手必看】手把手教你读懂FedAvg代码，并顺利运行
wuxusanren的博客
06-14 9882
联邦学习小白，怎样快速跑通经典的FedAvg算法呢？小葵花妈妈开课了
Pysyft学习笔记
Yohuna的博客
03-28 7295
关于联邦学习框架Pysyft的学习笔记
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值