
联邦学习笔记
文章平均质量分 88
以论文为目的,整理联邦学习代码编写的整个流程,早日发论文早日毕业
young_monkeysun
应 润 尽 润,华 润 万 家
展开
-
联邦学习笔记(六)实现自己的联邦学习算法
联邦学习平均算法(FAVG)TFF平台还是挺难用,光是那些API就很难用熟练。所以在借鉴这位老哥代码的基础上改出来这份代码。横向联邦学习-IID联邦平均算法代码架构如下所示:数据集预处理将mnist数据集处理成IID类型import randomimport numpy as npfrom ter。原创 2021-04-01 14:15:04 · 7791 阅读 · 30 评论 -
联邦学习笔记(一):Federated Core API学习笔记
Federated Core API学习笔记自定义联邦数据类型联邦计算联邦学习装饰器装饰器的使用限制TFF数据集的处理总结自定义联邦数据类型在联邦学习中,采样的本地设备中数据的类型对于外界是不可知的如果所有本地设备中的数据类型都一样,则被称为第一好的数据联邦数据类型有两种定义方式,假设本地设备中的所有数据都一样定义所有设备上的数据类型都为32位浮点型,如果联邦数据只有一种类型,则不管该数据是不是联邦数据类型都可以认为是完全等价的。只有一种数据类型代码:federated_float_on_原创 2021-01-21 07:48:16 · 2089 阅读 · 17 评论 -
联邦学习笔记(二):使用低阶API构造联邦学习神经网络模型
使用低阶API构造TFF神经网络模型写在前面实验内容数据处理构造TFF神经网络模型自定义前向计算自定义模型评估评估本地模型效果全局评估构建模型类定义模型聚合测试代码实验结果总结写在前面由于要写联邦学习的论文,所以相关的实验必不可少,其中必定涉及到需要自己去定义模型、定义计算方法、定义聚合方法等。虽然使用keras简单不少,但是其内部的相关计算都已经固定了,没办法实现自己想要的计算方式。所以这一部分至关重要。实验内容实验目的: 学习使用TFF的低阶API自定义联邦学习的神经网络模型,其中涉及前向计算、原创 2021-01-21 07:48:57 · 1657 阅读 · 12 评论 -
联邦学习笔记(三): 使用高阶keras API设计联邦学习神经网络模型
使用底层API设计联邦学习神经网络模型写在前面数据预处理创建客户端数据TFF神经网络模型设计实现神经网络tf构造函数TFF封装TF神经网络代码函数实现联邦平均算法联邦平均算法初始化训练与测试测试结果训练准确率训练loss值测试准确率测试loss值总结写在前面TFF框架是使用的时函数式编程,不要使用类对象去实现某些功能。在构建神经网络模型时与在TF中有很大不同。具体在下面TFF神经网络模型设计会详细阐述。实验内容: 使用TFF框架实现对mnist数据集的联邦学习分类任务,并检测联邦学习效果。联邦学习中设原创 2021-01-21 07:49:48 · 2086 阅读 · 5 评论 -
联邦学习笔记(四):使用底层API设计联邦学习平均算法
设计联邦学习平均算法写在前面联邦平均算法流程数据处理加载数据集数据集预处理获取处理后的数据集前向运算和损失函数获取代码输入类型创建初始模型联邦学习训练和梯度下降单batch梯度下降整个数据集梯度下降计算联邦学习评估函数本地模型评估联邦学习全局评估联邦平均算法训练实验结果loss值总结写在前面使用TFF框架实现联邦学习算法,与tf有很大差别。由于tff框架设计之初是为了能够在现实设备中部署,所以底层设计语言用的不是python。因此,使用python或者tf代码编写的算法,不能直接在TFF框架中使用。这是原创 2021-01-21 07:50:47 · 3442 阅读 · 11 评论 -
联邦学习笔记(五):联邦学习模型压缩提升通讯效率
联邦学习模型压缩联邦学习流程数据处理模型构造模型压缩函数模型广播和聚合函数模型训练其他函数结果模型准确率和loss值模型准确率模型loss值联邦学习传输数据量广播时需要传输的数据量聚合时需要传输的数据量实验总结写在前面: 该联邦学习系列博客,均来自于google官方文档的整理和理解。个人能力有限,错误之处请指出。先看该系列博客,再看官方文档会更轻松一点。如果有英文阅读能力可以直接快进到官方文档。这个系列博客公开应该是在两年之后了。权当做笔记了,如果有帮助请点个赞和收藏。联邦学习流程在实验之前,首先要安原创 2021-01-21 07:55:42 · 8282 阅读 · 25 评论