Federated Graph Neural Networks

已于 2022-09-13 21:21:01 修改
阅读量388 收藏
点赞数
文章标签： 深度学习 算法 机器学习
于 2022-09-01 21:20:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43845649/article/details/126569903
版权

Federated Graph Neural Networks

Survey:Federated Graph Neural Networks: Overview, Techniques and Challenges

1.Taxonomy in FedGNN

Taxonomy

2.Data Owners Related by a Graph

FedGNNs with a Central Server
如何聚合不同client上的图结构信息是关键。
（1）通过FL server来实现GNN的跨client的聚合
（2）更新局部图结构

FedGNNs without a Central Server
（1）Weighted Summation of FL Model Parameters
（2）Graph Regularization on FL Model Parameters

3.Data Owners Related by a Graph

The assumption is that graphs from different domains are stored by different data owners.

Clients with No Overlapping Nodes
Clients with Partially Overlapping Nodes
Clients with Completely Overlapping Nodes

Mainly focus on Clients with No Overlapping Nodes.

  1. Federated graph classification over non-iid graphs.
    Main question: whetherreal-world graphs from heterogeneous sources (e.g., different datasets or even divergent domains) can provide useful common information among each other?
    Solution: cluster the similar clients.

GNN pretrain
1.GPT-GNN: generate the input graph.

zclfe
关注
联邦图神经网络（Federated Graph Neural Networks）综述与经典算法介绍
database_bug768的博客
09-25 893
联邦图神经网络是一种结合了联邦学习和图神经网络的框架，用于处理分布式图数据的学习和推理任务。这些算法通过联邦学习的方式，在保护数据隐私的同时，实现了分布式图数据的学习和推理。在本文中，我们将综述联邦图神经网络（Federated Graph Neural Networks，简称Federated GNN）的相关概念，并介绍一些经典的算法。接着，全局模型的更新又传播回参与方，以确保各方的模型保持同步。联邦图神经网络结合了联邦学习和图神经网络的优势，能够在保护数据隐私的同时，对分布式的图数据进行学习和推理。
【综述阅读】Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions
发现问题，并解决问题，批判性思维
11-11 2739
学习总结 文章目录学习总结一、Inroduction二、Background2.1 Recommender Systems2.2 Graph Neural Networks2.3 GNNs在推荐系统的必要性三、Challenges of applying GNNs to recommender systems3.1 Graph Construcion3.2 Network Design3.3 Model Optimization3.4 Computation Efficiency四、Existing Mth
论文笔记：Federated Graph Neural Networks: Overview, Techniques and Challenges
qq_44452377的博客
10-01 1065
1、论文提出一种关于联邦图神经网络的三层分类法。2、论文分析了图数据在联邦学习情景下的不同表现形式，以及不同联邦学习系统架构和数据孤岛之间图数据不同重合程度情境下GNN的训练方式。3、论文预测了FedGNN未来的研究方向。
【论文导读】- Federated Graph Neural Networks: Overview, Techniques and Challenges（联邦图神经网络：概述、技术和挑战）
1+1=王的博客
09-13 1万+
图神经网络( GNNs )凭借其强大的处理实际应用中广泛存在的图数据的能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNNs面临着适应这种新常态的需要。这导致了近年来联邦图神经网络( FedGNNs )研究的快速发展。虽然前景广阔，但这一跨学科领域感兴趣的研究者来说是极具挑战性的。对这一领域缺乏深入的调查只会加剧这一问题。在本文中，我们通过提供对这一新兴领域的全面调查来弥补这一差距。
阅读笔记：FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation
橙子姑娘
12-05 1322
FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation ICML’21 | 隐私保护下的图神经网络推荐系统 (qq.com). 重点是看GNN与联邦学习怎么结合的？？ 1. What does literature study? a. 提出基于GNN的隐私保护联邦推荐框架，在隐私保护下利用高阶user-item交互协同训练GNN模型。 2. What’s the innovation? Past shortco
论文学习笔记:Federated Graph Neural Networks: Overview, Techniques, and Challenges
m0_57180439的博客
07-03 1333
FedGNNs论文综述
【论文导读】- Federated Graph Neural Networks Overview, Techniques and Challenges（联邦图神经网络：概述、技术和挑战(2)
2401_84181108的博客
05-06 607
图神经网络( GNNs )凭借其强大的处理实际应用中广泛存在的图数据的能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNNs面临着适应这种新常态的需要。这导致了近年来联邦图神经网络( FedGNNs )研究的快速发展。虽然前景广阔，但这一跨学科领域感兴趣的研究者来说是极具挑战性的。对这一领域缺乏深入的调查只会加剧这一问题。在本文中，我们通过提供对这一新兴领域的全面调查来弥补这一差距。
【论文笔记】FedGraph：Federated Graph Learning with Intelligent Sampling
weixin_43747691的博客
09-20 1906
FedGraph：Federated Graph Learning with Intelligent Sampling
图联邦学习（Federated Graph Learning）
weixin_44458771的博客
02-15 9326
联邦学习（Federated Learning, FL）是一种分布式学习方案，通过多个参与方（即客户端）协作训练一个模型而无需共享他们的隐私数据，以解决数据隔离问题。图联邦学习(Federated Graph Learning，FGL)是联邦学习在图数据上的应用，通过以联邦方式训练图神经网络，来解决图数据隐私保护的问题。
【论文导读】- Federated Graph Neural Networks Overview, Techniques and Challenges（联邦图神经网络：概述
2401_84159688的博客
05-15 844
再然后，将联邦学习与图神经网络相结合，引出联邦图神经网络技术。这两种发展趋势的交汇激发了联邦图神经网络( FedGNNs )领域在最近几年的出现，并在2021年迎来了快速发展。一份立场文件总结了这一趋势，设想了四种可能的联邦图神经网络场景，其基础是如何在数据所有者之间划分图形数据。由于当时对这些设想情景的技术研究并不广泛，因此这些情景之间的界限存在重叠。例如，当重构由不同数据所有者存储的图之间的缺失链接时，"水平联邦图神经网络 "可以与"图结构联邦学习 "混淆。
【论文导读】- Federated Graph Neural Networks Overview, Techniques and Challenges（联邦图神经网络：概述、技术和挑战
2301_76379606的博客
05-03 819
在现有的去中心化FedGNN研究中，仅对1跳邻居的模型参数进行聚合，为每个数据拥有者生成个性化的FL模型。然而，在图相关的FL客户机的设置中，客户机之间的关系也可以随着时间的推移而演变。然而，为了将FedGNNs扩展到大规模图数据(例如,知识图谱)，通信开销可能是一个重要的瓶颈，因为数据拥有者往往采用具有大量模型参数的多层GNN模型进行传输。客户端的本地数据不一定需要是图形数据。将可解释性融入到FedGNN中，需要联合考虑所涉及的利益相关者对可解释性的需求，同时有效平衡保护隐私和训练模型的目标。
Federated Learning with Non-IID Data 论文笔记
GJ_007的博客
03-10 4230
Federated Learning with Non-IID Data 论文笔记 论文通过实验验证了，在non-IID数据中，使用FedAvg算法训练的模型会使准确率降低。 从图中可以看出在non-IID使用FedAvg算法训练的模型准确率有了明显的下降，但是对于IID数据的准确率几乎没有影响。 为了探究原因，原文采用了两种不同程度分布的数据：non-IID1和non-IID2。从图中...
2022年最新3篇GNN领域综述！
张小磊的博客
02-18 1332
嘿，记得给“机器学习与推荐算法”添加星标本文分享3篇关于图神经网络（GNN）的相关综述：第1篇是对联邦图神经网络的调研，将目前的工作根据三层分类法进行了划分，即根据数据的原始存在形式、联邦...
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5707
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
Graph Neural Networks for Recommender Systems Challenges, Methods, and Directions论文阅读笔记
Andre_Jan的博客
12-08 3387
本文首先介绍了推荐系统和图形神经网络的发展背景和历史。对于推荐系统来说有四个方面: 阶段、情景、目标和应用。对于图形神经网络，现有的方法包括谱模型和空间模型两大类。然后讨论了图神经网络应用于推荐系统的动机，主要包括高阶连通性、数据的结构特性和增强的监督信号。然后系统地分析了图构造、嵌入传播/聚合、模型优化和计算效率方面的挑战。然后，我们根据上面的分类法，对大量现有的基于图形神经网络的推荐系统的工作进行了全面的概述。最后，对该领域尚未解决的问题和未来的发展方向进行了讨论
时空数据建模的跨节点联邦图神经网络：KDD21 Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling
qq_56027260的博客
05-08 1477
前言 联邦学习（FL）虽然已经被广泛研究，但是对复杂的时空依赖关系进行建模以提高预测能力仍然是一个开放的问题。此外目前最优的时空预测模型假定对数据的访问不受限制，忽略了对数据共享的限制。基于此，本文提了一个基于图联邦学习的时空数据模型 Cross-Node Federated Graph Neural Network (CNFGNN)，该模型在跨节点联邦学习的约束下，使用基于图神经网络（GNN）的架构对底层图结构进行编码，属于结构化联邦的一种，每个本地模型利用私有数据进行学习，并保持分散性。CNFGNN
几种图神经网络方法总结（Graph Neural Network）
热门推荐
图灵是我
03-08 7万+
概要 今年来图神经网络受到大家越来越多的关注，在文本分类(Text classification)，序列标注（Sequence labeling）, 神经机器翻译（Neural machine translation）,关系抽取（Relation extraction），事件抽取（Event extraction）, 图像分类（Image Classification），视觉推理（Visual R...
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning
WINCJS的博客
07-03 2019
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning NDSS 2021录用文章 目录论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning一、机器学习1. 机器学习(ML)中的挑战2. 隐私保护机器学习(PPML)二、POSEIDON方案1. 系统和威胁模型2. 方案总览多方同态加密(MHE)联邦学习主要挑战和解决方法3. 方案CKKS
联邦图神经网络
最新发布
03-08
### 联邦图神经网络概述 #### 原理 联邦图神经网络（Federated Graph Neural Networks, FGNNs）是一种结合了联邦学习和图神经网络的技术。联邦学习允许多个参与方在不共享本地数据的情况下协作训练机器学习模型，从而保护用户隐私并满足法规要求。FGNNs特别适用于处理分布式图结构化数据集的情况。 具体来说，在联邦设置下，各个客户端持有部分子图的数据片段而不是完整的全局视图。这些局部子图可能来自不同机构或设备上的独立部署环境。为了使GNN能够在这种分布式的环境中有效工作，需要解决几个挑战： - **异构性和稀疏性**：由于各节点之间的连接模式差异较大以及边的数量相对较少，这增加了跨站点聚合参数时的一致性难度； - **通信开销**：频繁上传下载权重更新会消耗大量带宽资源，因此设计高效的压缩算法至关重要； 针对上述问题，研究人员提出了多种解决方案，比如采用分层聚类的方法减少冗余计算、引入量化技术降低传输成本等措施来优化整个系统的性能表现[^2]。 #### 实现方式 构建一个成功的联邦图神经网络通常涉及以下几个关键技术组件： 1. **安全多方计算协议** 安全多方计算(Secure Multi-party Computation, SMPC)用于保障参与者之间交互的安全性。它使得各方可以在不知道其他任何一方输入的前提下共同完成特定函数运算。 2. **差分隐私机制** 差分隐私(Differential Privacy, DP)作为一种强大的统计工具被广泛应用于防止敏感信息泄露的风险之中。通过对原始梯度加入噪声扰动可以有效地抵御潜在攻击者试图从最终输出反推出个体样本属性的行为。 3. **高效同步策略** 针对大规模复杂网络拓扑特性所特有的长程依赖关系难以捕捉这一难题，开发人员探索出了诸如FedProx之类的改进型SGD变体作为默认优化器选项之一。此外还有基于元学习思路定制化的自适应步长调整方案可供选择。 以下是Python中简单模拟联邦图神经网络的一个例子： ```python import torch from torch_geometric.nn import GCNConv class FederatedGCN(torch.nn.Module): def __init__(self): super(FederatedGCN, self).__init__() self.conv1 = GCNConv(16, 32) self.conv2 = GCNConv(32, 64) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index).relu() x = self.conv2(x, edge_index) return x ``` 此代码定义了一个两层的图形卷积网络(GCN)，并通过`torch_geometric`库实现了基本功能。实际应用中还需要考虑更多细节如加密通讯接口搭建等问题。 #### 应用场景 随着物联网(IoT)的发展和个人移动终端普及程度不断提高，越来越多的真实世界现象可以用带有时间戳标记的空间位置记录下来形成时空序列图表征形式。这类特殊类型的图非常适合用来做如下几方面的分析任务: - **社交平台好友推荐**: 利用用户的兴趣爱好标签建立关联矩阵进而挖掘潜在联系人; - **医疗健康监测预警**: 对患者生理指标变化趋势建模预测疾病爆发可能性大小; - **智慧城市交通流量调控**: 结合道路网布局规划公交线路提高出行效率; 综上所述，联邦图神经网络不仅继承和发展了传统集中式架构下的优势特点，同时也克服了一些固有的局限之处，在众多新兴领域展现出了广阔的应用前景.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值