《联邦学习实战》杨强读书笔记二——联邦学习概述

最新推荐文章于 2025-10-16 07:05:57 发布

原创

最新推荐文章于 2025-10-16 07:05:57 发布 · 1.8k 阅读

·

1

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#机器学习 #人工智能 #深度学习 #神经网络 #pytorch

本文探讨了联邦学习的基本定义，包括其分类依据数据样本和特征空间的关系，以及按协调方式划分的集中式和对等网络。重点介绍了横向、纵向和迁移联邦学习的应用场景，并深入解析了联邦学习的性能损失定义，以及其在数据隐私保护方面的优势。

目录

联邦学习的定义

联邦学习的分类

按照数据样本空间以及特征空间的关系

根据协调方式

联邦学习的定义

联邦学习是利用分散在各参与方的数据集，通过隐私保护技术融合多方数据信息，协同构建全局模型的一种分布式训练方式。

在Federated Learning中概述的、关于联邦学习描述的一些共同特征，可以概括为：

有两个(或以上)的联邦学习参与方协作构建一个共享的机器学习模型。每一个参与方都拥有若干各自希望能够用来训练模型的训练数据。
在联邦学习模型训练过程中，每一个参与方拥有的数据都不会离开该参与方,即数据不离开数据拥有者。
与模型相关的信息(如模型参数、模型结构、参数梯度等)能够以加密方式在各方之间传输和交换，并且需要任何一个参与方在接收到这些信息时都不能推测出其本地的原始数据。
联邦学习模型的性能要能够充分逼近理想模型(理想模型是指通过将所有训练数据集中在一起并训练获得的机器学习模型)的性能。
联邦学习模型的构建不影响客户端设备的正常使用，即客户端在本地训练的过程中，应能够保证该设备其他进程的正常运行(如控制CPU占用率、内存使用率等)。

下面给出联邦学习的定义。设当前有N位数据拥有者共同参与训练，记为 $\{\mathcal{F}_i\}^N_{i=1}$ ，他们各自拥有的数据集分为 $\{\mathcal{D}_i\}^N_{i=1}$ 。传统的训练方法是将所有参与方的数据 $\{\mathcal{D}_i\}^N_{i=1}$ 收集起来，存储在中心服务器中，并在该服务器上使用集中后的数据集训练一个机器学习模型 $\mathcal{M}_{SUM}$ 。这种训练范式也被称为

最低0.47元/天解锁文章

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

超威橘猫 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。