联邦学习框架flower案例——Quickstart TensorFlow

最新推荐文章于 2025-06-07 09:05:24 发布
最新推荐文章于 2025-06-07 09:05:24 发布
阅读量924 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： tensorflow 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42475691/article/details/131767441
本文演示了如何使用TensorFlow的KerasAPI和Flower框架，在20行代码内建立一个简单的联邦学习系统。首先介绍了安装Flower和TensorFlow的步骤，然后加载CIFAR10数据集，使用MobilNetV2模型进行训练。接着，实现了Flower的客户端接口NumPyClient，最后启动服务器和多个客户端进行分布式训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

翻译自Quickstart TensorFlow - Flower 1.5.0

Quickstart TensorFlow

用不到20行的代码构建一个联邦学习系统

在import Flower框架前，需要先安装它：

$ pip install flwr

因为我们想使用TensorFlow (TF)的Keras API，我们也必须安装TF:

$ pip install tensorflow

Flower Client

接下来，在名为client.py的文件中，导入Flower和TensorFlow

import flwr as fl
import tensorflow as tf

我们使用TF的Keras实用程序来加载CIFAR10，这是一个流行的用于机器学习的彩色图像分类数据集。调用tf.keras.datasets.cifar10.load_data()来下载CIFAR10，在本地缓存它，然后将整个训练集和测试集作为NumPy数组返回。

(x_train, y_train), (x_test, y_test) = tf.keras.datasets.cifar10.load_data()

接下来，我们需要一个模型。为了本教程的目的，我们使用带有10个输出类的MobilNetV2

model = tf.keras.applications.MobileNetV2((32, 32, 3), classes=10, weights=None)
model.compile("adam", "sparse_categorical_crossentropy", metrics=["accuracy"])

Flower server通过一个名为Client的接口与client交互。当server选择一个特定的client端进行训练时，它会通过网络发送训练指令。client接收这些指令并调用client方法之一来运行你的代码(即，训练我们之前定义的神经网络)。

Flower提供了一个名为NumPyClient的方便类，当您的工作负载使用Keras时，它使实现Client接口变得更容易。NumPyClient接口定义了三个方法，可以通过以下方式实现:

class CifarClient(fl.client.NumPyClient):
    def get_parameters(self, config):
        return model.get_weights()

    def fit(self, parameters, config):
        model.set_weights(parameters)
        model.fit(x_train, y_train, epochs=1, batch_size=32, steps_per_epoch=3)
        return model.get_weights(), len(x_train), {}

    def evaluate(self, parameters, config):
        model.set_weights(parameters)
        loss, accuracy = model.evaluate(x_test, y_test)
        return loss, len(x_test), {"accuracy": float(accuracy)}

现在我们可以创建一个类CifarClient的实例，并添加一行来实际运行这个客户端:

fl.client.start_numpy_client(server_address="[::]:8080", client=CifarClient())

对客户端来说就这样了。我们只需要实现Client或NumPyClient并调用fl.client.start_client()或fl.client.start_numpy_client()。字符串“[::]:8080”告诉客户端要连接到哪个服务器。在我们的示例中，我们可以在同一台机器上运行服务器和客户机，因此我们使用“[::]:8080”。如果我们运行一个真正的联邦工作负载，服务器和客户机在不同的机器上运行，那么需要更改的只是我们指向客户机的server_address。

Flower Server

对于简单的工作负载，我们可以启动一个Flower server，并保留所有配置可能性的默认值。在一个名为server.py的文件中，导入Flower并启动server

import flwr as fl

fl.server.start_server(config=fl.server.ServerConfig(num_rounds=3))

Train the model, federated!

客户机和服务器都准备好了，我们现在可以运行所有内容，并看到联邦学习的实际效果。FL系统通常有一个服务器和多个客户端。因此，我们必须首先启动服务器:

$ python server.py

一旦服务器开始运行，我们就可以在不同的终端上启动客户端。打开一个新终端并启动第一个客户端:

$ python client.py

打开另一个终端，启动第二个客户端:

$ python client.py

每个客户端都有自己的数据集。

现在，您应该看到在第一个终端(启动服务器的终端)中训练是如何进行的:

INFO flower 2021-02-25 14:15:46,741 | app.py:76 | Flower server running (insecure, 3 rounds)
INFO flower 2021-02-25 14:15:46,742 | server.py:72 | Getting initial parameters
INFO flower 2021-02-25 14:16:01,770 | server.py:74 | Evaluating initial parameters
INFO flower 2021-02-25 14:16:01,770 | server.py:87 | [TIME] FL starting
DEBUG flower 2021-02-25 14:16:12,341 | server.py:165 | fit_round: strategy sampled 2 clients (out of 2)
DEBUG flower 2021-02-25 14:21:17,235 | server.py:177 | fit_round received 2 results and 0 failures
DEBUG flower 2021-02-25 14:21:17,512 | server.py:139 | evaluate: strategy sampled 2 clients
DEBUG flower 2021-02-25 14:21:29,628 | server.py:149 | evaluate received 2 results and 0 failures
DEBUG flower 2021-02-25 14:21:29,696 | server.py:165 | fit_round: strategy sampled 2 clients (out of 2)
DEBUG flower 2021-02-25 14:25:59,917 | server.py:177 | fit_round received 2 results and 0 failures
DEBUG flower 2021-02-25 14:26:00,227 | server.py:139 | evaluate: strategy sampled 2 clients
DEBUG flower 2021-02-25 14:26:11,457 | server.py:149 | evaluate received 2 results and 0 failures
DEBUG flower 2021-02-25 14:26:11,530 | server.py:165 | fit_round: strategy sampled 2 clients (out of 2)
DEBUG flower 2021-02-25 14:30:43,389 | server.py:177 | fit_round received 2 results and 0 failures
DEBUG flower 2021-02-25 14:30:43,630 | server.py:139 | evaluate: strategy sampled 2 clients
DEBUG flower 2021-02-25 14:30:53,384 | server.py:149 | evaluate received 2 results and 0 failures
INFO flower 2021-02-25 14:30:53,384 | server.py:122 | [TIME] FL finished in 891.6143046000007
INFO flower 2021-02-25 14:30:53,385 | app.py:109 | app_fit: losses_distributed [(1, 2.3196680545806885), (2, 2.3202896118164062), (3, 2.1818180084228516)]
INFO flower 2021-02-25 14:30:53,385 | app.py:110 | app_fit: accuracies_distributed []
INFO flower 2021-02-25 14:30:53,385 | app.py:111 | app_fit: losses_centralized []
INFO flower 2021-02-25 14:30:53,385 | app.py:112 | app_fit: accuracies_centralized []
DEBUG flower 2021-02-25 14:30:53,442 | server.py:139 | evaluate: strategy sampled 2 clients
DEBUG flower 2021-02-25 14:31:02,848 | server.py:149 | evaluate received 2 results and 0 failures
INFO flower 2021-02-25 14:31:02,848 | app.py:121 | app_evaluate: federated loss: 2.1818180084228516
INFO flower 2021-02-25 14:31:02,848 | app.py:125 | app_evaluate: results [('ipv4:127.0.0.1:57158', EvaluateRes(loss=2.1818180084228516, num_examples=10000, accuracy=0.0, metrics={'accuracy': 0.21610000729560852})), ('ipv4:127.0.0.1:57160', EvaluateRes(loss=2.1818180084228516, num_examples=10000, accuracy=0.0, metrics={'accuracy': 0.21610000729560852}))]
INFO flower 2021-02-25 14:31:02,848 | app.py:127 | app_evaluate: failures [] flower 2020-07-15 10:07:56,396 | app.py:77 | app_evaluate: failures []

恭喜你!您已经成功构建并运行了第一个联邦学习系统。完整的源代码可以在github.com中找到。

风风催风
关注
联邦学习~吴恩达《联邦学习|Federated Learning》（使用flower框架）
weixin_74009895的博客
01-21 209
1.设置模型参数# 将参数设置到模型中params_dict = zip(net.state_dict().keys(), parameters) # 将模型的状态字典键值与参数进行绑定{k: torch.tensor(v) for k, v in params_dict} # 将参数转换为 PyTorch 张量net.load_state_dict(state_dict, strict=True) # 严格加载模型参数2.获取模型参数客户端将局部模型参数返回给服务器# 从模型中提取参数。
基于联邦学习的隐私保护推荐框架
AI天才研究院
10-20 729
基于联邦学习的隐私保护推荐框架 关键词：联邦学习，隐私保护，推荐系统，协同过滤，矩阵分解，深度学习 摘要： 本文深入探讨了基于联邦学习的隐私保护推荐框架，首先介绍了联邦学习的基本概念、关键技术和隐私保护
深入探索联邦学习框架 Flower
易迟的专栏
07-09 3003
通过上面的内容，将 Flower 框架的动手实践以及对应的实现细节都介绍到了，主要涉及到 Flower 三大核心组件中的 Strategy 与 FL loop，而 ClientManager 目前没有过多展开，这部分主要用于管理客户端的连接，有兴趣的可以自行去探索下。从目前来看，Flower 基本上是一个最精简的横向联邦学习的实现方案了，通过必要的抽象简化，Flower 将横向联邦用简单易用的方式进行了封装，对于了解横向联邦学习有很大的帮助。
flower联邦学习框架学习笔记
weixin_44779936的博客
02-22 2538
Flower联邦学习框架学习笔记
Flower项目中的物联网(IoT)与联邦学习技术解析
最新发布
gitblog_01128的博客
06-07 316
Flower项目中的物联网(IoT)与联邦学习技术解析 物联网基础概念 物联网(Internet of Things，IoT)是指通过互联网或其他通信网络将具有传感器、处理能力、软件等技术的设备相互连接并交换数据的系统网络。在技术实现上，物联网也被称为机器对机器(M2M)连接。 物联网的典型应用场景包括： 嵌入式系统 无线传感器网络 控制系统 自动化系统(家庭和楼宇自动化) 消费市场的智能家居产...
Flower 联邦学习 - 小记
AI工程化、开源分享、文档翻译、代码笔记
04-07 738
关于 联邦学习 相关教程 相关论文 联邦学习 起源： 相比传统分布式学习 分类 关于 Flower 安装 Flower 使用 - PyTorch 1、client.py 2、server.py 使用 - HuggingFace 1、client.py 2、server.py
联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10
ZJQ的博客
09-26 680
分享一种实现联邦学习的方法，它具有以下优点：不需要读写文件来保存、切换Client模型不需要在每次epoch重新初始化Client变量内存占用尽可能小（参数量仅翻一倍，即Client端+Server端）切换Client只增加了一些赋值操作Python 3.7tqdm（一个Python模块）接下来本文会分成Client端、Server端代码设计与实现进行讲解。
联邦学习开源平台Flower：在移动设备上运行联邦学习
小白（啥都学）
08-22 2200
联邦学习开源平台Flower构建简单的联邦学习场景
无人驾驶汽车系统入门（二十九）——使用TensorFlow Object Detection API分别在GPU和Google Cloud TPU上训练交通信号灯检测神经网络
AdamShan的博客
03-17 7741
本文将解决如何使用TensorFlow Object Detection API训练交通信号灯检测网络，使用Lisa数据集，通过简单脚本将数据集整理为tf record格式，我们将分别在本地的GPU和Google Cloud提供的TPU上进行训练，最后导出网络的protocbuf权重，在jupyter notebook中进行模型验证。 首先感谢谷歌TensorFlow Research Clo...
TensorFlow 2.0 实现深度学习项目实战
AI天才研究院
08-03 1802
2017 年末，深度学习领域爆发了一场革命性的变革。随着开源社区对 TensorFlow 的崛起，深度学习开发者们发现它易于上手，能够快速解决复杂的问题并取得优秀效果，促使许多公司纷纷转向 TensorFlow 框架。TensorFlow 提供了端到端的深度学习平台，其中包括 TensorFlow、Keras 和 PyTorch 等框架。
Tensorflow Federated Framework 谷歌联邦学习框架
ZJQ的博客
09-26 1204
因此，编写TFF代码时会遇到非常多“反Python逻辑”的要求，例如：要求提供函数的输入参数的类型、要求使用它规定的几种数据类型、要求确定value的存放位置（S端/C端），原生Python逻辑不会在训练时执行等等。如果我们编写的一些函数使用到了不同端的数据，在真正执行的时候，一个函数甚至会被拆分到不同的机器上执行。在编写模型、训练代码的时候，clients和server应当是看作一个整体（也就是“联邦”的含义），不需要分割开S端和C端的代码，完全可以写入同一个文件里，C端和S端的区分是在代码逻辑层面的。
Flower框架学习和设计模式
02-24
Flower是一个构建在Akka上的反应式微服务框架，开发者只需要针对每一个细粒度的业务功能开发一个Service服务，并将这些Service按照业务流程进行可视化编排，即可得到一个反应式系统。Flower实现异步的基础是AKKA的Actor。基于消息驱动，反应式编程，不会发生线程阻塞的情况，线程比传统模式少很多Actor内部不能阻塞，否则所有请求都会阻塞每个ACTOR对应一个线程，后续线程进入MailBox，业务对象不会发生线程并发Flower核心代码架构服务调用时序图Flower微服务解决方案面向对象设计的目标：强内聚、低耦合面向对象设计的原则：五个基本原则面向对象设计的模式：工厂、单例、
flower:React式微服务框架Flower
05-13
React式微服务框架Flower Flower是一个构建在Akka上的React式微服务框架，开发者只需要针对每一个细粒度的业务功能开发一个Service服务，并将这些Service按照业务流程进行可视化编排，即可得到一个React式系统。 即时响应：服务流程的调用者可以得到即时响应，无需等待整个Service流程执行完毕；Service之间无调用阻塞，即时响应。 回弹性：当Service失效、服务器失效，系统能够进行自修复，依然保持响应，不会出现系统崩溃。 弹性：能够对调用负载压力做出响应，能够自动进行资源伸缩适应负载压力，能够根据系统负载能力控制请求的进入速度（回压）。 消息驱动：Service之间通过消息驱动，完成服务流程，Service之间没有任何调用耦合，唯一的耦合就是消息，前一个Service的返回值，必须是后一个Service的输入参数，Flower框架负责将前一个Serv
联邦学习（三）：Tensorflow2.0 实现联邦学习
cocofisher的博客
04-21 4279
文章目录项目说明代码实现1、导入需要的库2、定义相关的类2.1 Data2.2 Aggregator2.3 Model2.4 Bank3、导入并处理原始数据4、联邦学习4.1 划分数据并重采样4.2 模型训练4.2.1 仅使用 Data_Global 训练服务器模型4.2.2 联邦学习训练服务器模型4.3 模型测试5、非联邦学习模型对比5.1 建立模型5.2 模型训练5.2.1 使用不平衡数据训练5.2.2 使用平衡数据训练5.3 非联邦学习模型效果5.4 联邦学习模型效果 项目说明 数据集：creditc
联邦学习框架Flower-快速入门（PyTorch）
xiaoyan9538的博客
05-09 5385
在本教程中，我们将学习如何使用 Flower 和 PyTorch 在 CIFAR10 上训练卷积神经网络首先，建议创建一个虚拟环境并在其中运行所有内容。我们的示例由一台服务器和两个具有相同模型的客户端组成。客户端负责根据其本地数据集为模型生成单独的权重更新。然后将这些更新发送到服务器，服务器将聚合它们以生成更好的模型。最后，服务器将此改进版本的模型发送回每个客户端。权重更新的完整周期称为回合。现在我们对正在发生的事情有了大致的了解，让我们开始吧。我们首先需要安装 Flower。
[tensorflow]联邦学习框架TFF安装记录(基于docker)
condom10010的博客
09-06 1406
tensorflow federated (下面简称为TFF) 是谷歌开发的一款开源联邦学习框架,该框架基于tensorflow (下面简称为TF) 运行.安装这个框架花了我两天时间,现在对安装过程进行总结. 本帖子总共分为3章,第一章介绍TFF的基本资源.第二章介绍安装的步骤,第三章遇到的问题及其解决方法.
联邦学习
datacreating的博客
12-02 5278
“联邦学习（Federated Learning）”作为一种加密的分布式机器学习范式，可以使得各方在不披露原始数据的情况下达到共建模型的目的，即在不违反数据隐私保护法规的前提下，连接数据孤岛，建立性能卓越的共有模型。
联邦学习简介与2个案例详细介绍（tensorflow、numpy实现）
Python领域优质萌新学习笔记
03-22 2899
然后，我们在本地模型上训练每个设备的数据集，并保存每个设备的本地模型的权重。接下来，我们将本地模型的权重进行平均，得到全局模型参数，并更新全局模型的参数。在上述代码中，我们与前一个案例类似，使用clone_model()方法创建了每个参与方的本地模型，并使用全局模型的参数初始化本地模型。接下来，我们计算并更新全局模型的参数。联邦学习算法的核心思想是将机器学习任务分发给多个参与方（例如智能手机、传感器和云服务器等），然后对这些参与方的本地数据进行训练，最终合并更新的模型以获得全局模型。
利用谷歌的联邦学习框架Tensorflow Federated实现FedAvg（详细介绍）
KI的博客
02-12 8179
利用谷歌的联邦学习框架Tensorflow Federated实现FedAvg（详细介绍）
tensorflow 入门案例
03-13
### TensorFlow 初学者教程 TensorFlow 提供了一系列针对初学者的教程，帮助开发者快速上手深度学习框架。以下是基于官方文档和其他资源整理的内容。 #### 官方入门教程 TensorFlow 官网提供了详细的入门指南，适合新手了解如何构建简单的神经网络模型[^1]。具体来说，可以从以下链接获取完整的入门教程： - [TensorFlow Quickstart for Beginners](https://tensorflow.google.cn/tutorials/quickstart/beginner) 此教程涵盖了以下几个方面： - **环境搭建**：推荐使用 Google Colab，在线环境中已经预装了 TensorFlow 运行库[^2]。 - **数据加载与处理**：通过 MNIST 数据集演示如何准备训练和测试数据。 - **模型定义**：利用 Keras API 构建一个简单的全连接神经网络。 - **损失函数与优化器**：介绍交叉熵作为损失函数以及梯度下降法的应用。 - **评估与预测**：展示如何计算模型精度并对新样本做出分类预测。 #### 示例代码解析 下面是一个典型的 TensorFlow 初学实例，用于解决 MNIST 手写数字识别问题： ```python import tensorflow as tf # 加载MNIST数据集 mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() # 归一化图像数据到[0, 1]范围 x_train, x_test = x_train / 255.0, x_test / 255.0 # 构建顺序模型 model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), # 将二维数组展平为一维向量 tf.keras.layers.Dense(128, activation='relu'), # 隐藏层，激活函数ReLU tf.keras.layers.Dropout(0.2), # Dropout防止过拟合 tf.keras.layers.Dense(10, activation='softmax') # 输出层，Softmax多分类 ]) # 编译模型 model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', # 使用稀疏交叉熵损失函数 metrics=['accuracy']) # 训练模型 model.fit(x_train, y_train, epochs=5) # 测试模型性能 test_loss, test_acc = model.evaluate(x_test, y_test) print(f'Test accuracy: {test_acc}') ``` 上述代码展示了如何使用 TensorFlow 和 Keras 创建一个多层感知机（MLP），并通过 Adam 优化算法调整权重来最小化误差。 #### 常见错误提示及其解决方案 对于提到的 `input_data` 错误情况，这是因为较新的版本中移除了对该模块的支持。建议改用内置方法下载并读取 MNIST 数据集合[^3]。另外需要注意的是，不同版本间可能存在接口差异，请确认所依赖的具体版次是否匹配当前开发需求[^4]。 #### 关于 MNIST 数据结构说明 每张图片尺寸均为 \(28 \times 28\) 像素点阵形式呈现灰阶影像资料；经过转换后成为长度等于784的一维特征向量输入至网络之中参与运算过程。而目标输出则由十个独立节点构成的概率分布矢量表示各类别可能性大小关系[^5]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值