【图神经网络】Graph Neural Network详解:处理非欧几里得数据

几种图神经网络方法总结(Graph Neural Network) 概要 今年来图神经网络受到大家越来越多的关注,在文本分类(Text classification),序列标注(Sequence labeling), 神经机器翻译(Neural machine translation),关系抽取(Relation extraction),事件抽取(Event extraction), 图像分类(Image Classification),视觉推理(Visual R... 阅读详情

【图神经网络】Graph Neural Network详解:处理非欧几里得数据


一、引言

Graph Neural Network (GNN) 是专门用于处理图结构数据的神经网络。社交网络、分子结构、知识图谱等都是典型的图数据。GNN的出现让我们能够对这类复杂关系进行深度学习建模。

本文将详细介绍GNN的核心原理、消息传递机制以及主流变体。

nn_blogs_imgs%2Fgnn_architecture.png


二、GNN核心原理

2.1 消息传递机制

GNN的核心是**消息传递(Message Passing)**机制:

h v ( l + 1 ) = U P D A T E ( h v ( l ) , A G G ( { h u ( l ) : u ∈ N ( v ) } ) ) h_v^{(l+1)} = UPDATE\left(h_v^{(l)}, AGG\left(\{h_u^{(l)} : u \in \mathcal{N}(v)\}\right)\right) hv(l+1)​=UPDATE(hv(l)​,AGG({hu(l)​:u∈N(v)}))

其中:

  • h v ( l ) h_v^{(l)} hv(l)​:节点 v v v 在第 l l l 层的嵌入
  • N ( v ) \mathcal{N}(v) N(v):节点 v v v 的邻居节点集合
  • U P D A T E UPDATE UPDATE:更新函数
  • A G G AGG AGG:聚合函数(通常使用SUM/MEAN/MAX)

2.2 图卷积操作

Graph Convolutional Network (GCN) 的核心公式:

H ( l + 1 ) = σ ( D ~ − 1 2 A ~ D ~ − 1 2 H ( l ) W ( l ) ) H^{(l+1)} = \sigma\left(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}\right) H(l+1)=σ(D~−21​A~D~−21​H(l)W(l))

其中:

  • A ~ = A + I \tilde{A} = A + I A~=A+I:带自环的邻接矩阵
  • D ~ \tilde{D} D~:度矩阵
  • W ( l ) W^{(l)} W(l):可学习的权重矩阵

2.3 聚合操作对比

聚合方式公式特点
SUM ∑ u ∈ N ( v ) h u \sum_{u \in \mathcal{N}(v)} h_u ∑u∈N(v)​hu​保留全部信息
MEAN$\frac{1}{\mathcal{N}(v)
MAX max ⁡ u ∈ N ( v ) h u \max_{u \in \mathcal{N}(v)} h_u maxu∈N(v)​hu​保留最显著特征
Attention ∑ u ∈ N ( v ) α v u h u \sum_{u \in \mathcal{N}(v)} \alpha_{vu} h_u ∑u∈N(v)​αvu​hu​加权聚合

三、实验结果

我们在多个图数据集上进行了节点分类实验:

nn_blogs_imgs%2Fgnn_accuracy.png

数据集CoraCiteseerPubmedogbn-arxiv
GCN81.5%70.3%79.0%71.7%
GAT83.0%72.5%79.0%72.1%
GraphSAGE80.2%71.8%78.8%71.8%
MoNet81.7%71.4%78.8%-

nn_blogs_imgs%2Fgnn_training.png


四、代码实现

4.1 消息传递GNN层

import torch
import torch.nn as nn
import torch.nn.functional as F
import math

class MessagePassing(nn.Module):
    """Message Passing Neural Network Layer"""
    def __init__(self, in_ch, out_ch):
        super().__init__()
        self.lin = nn.Linear(in_ch, out_ch)
    
    def propagate(self, edge_index, size=None, **kwargs):
        """Message passing step"""
        pass
    
    def message(self, x_j):
        """Construct messages from neighbor nodes"""
        return x_j

class GCNConv(MessagePassing):
    """Graph Convolutional Network Layer"""
    def __init__(self, in_ch, out_ch, bias=True):
        super().__init__(in_ch, out_ch)
        self.lin = nn.Linear(in_ch, out_ch, bias=False)
        if bias:
            self.bias = nn.Parameter(torch.Tensor(out_ch))
        else:
            self.register_parameter('bias', None)
        self.reset_parameters()
    
    def reset_parameters(self):
        nn.init.xavier_uniform_(self.lin.weight)
        if self.bias is not None:
            nn.init.zeros_(self.bias)
    
    def forward(self, x, edge_index):
        # Compute degree matrix
        row, col = edge_index
        deg = torch.zeros(row.size(0), device=edge_index.device)
        deg.scatter_add_(0, row, torch.ones_like(row))
        deg_inv_sqrt = deg.pow(-0.5)
        deg_inv_sqrt[deg_inv_sqrt == float('inf')] = 0
        
        # Normalize
        norm = deg_inv_sqrt[row] * deg_inv_sqrt[col]
        
        # Message passing
        x = self.lin(x)
        out = self.propagate(edge_index, x=x, norm=norm)
        
        if self.bias is not None:
            out = out + self.bias
        return out
    
    def message(self, x_j, norm):
        return norm.view(-1, 1) * x_j
    
    def propagate(self, edge_index, x, norm):
        out = torch.zeros(x.size(0), x.size(1), device=x.device)
        row, col = edge_index
        out.index_add_(0, row, norm.view(-1, 1) * x[col])
        return out

class GATConv(MessagePassing):
    """Graph Attention Network Layer"""
    def __init__(self, in_ch, out_ch, heads=8, concat=True, negative_slope=0.2):
        super().__init__(in_ch, out_ch)
        self.heads = heads
        self.concat = concat
        self.out_ch = out_ch // heads if concat else out_ch
        
        self.lin = nn.Linear(in_ch, self.heads * self.out_ch, bias=False)
        self.att = nn.Parameter(torch.Tensor(1, heads, 2 * self.out_ch))
        self.bias = nn.Parameter(torch.Tensor(self.heads * self.out_ch if concat else self.out_ch))
        
        self.negative_slope = negative_slope
        self.reset_parameters()
    
    def reset_parameters(self):
        nn.init.xavier_uniform_(self.lin.weight)
        nn.init.xavier_uniform_(self.att)
        nn.init.zeros_(self.bias)
    
    def forward(self, x, edge_index):
        x = self.lin(x).view(-1, self.heads, self.out_ch)
        
        # Compute attention coefficients
        row, col = edge_index
        x_i = x[row]
        x_j = x[col]
        
        cat = torch.cat([x_i, x_j], dim=-1)
        att = (cat * self.att).sum(dim=-1)
        att = F.leaky_relu(att, self.negative_slope)
        
        # Mask attention coefficients
        mask = torch.full_like(row, -9e15, dtype=torch.float)
        mask.scatter_(0, row, att)
        
        # Softmax
        att = F.softmax(mask, dim=0)
        
        # Message passing
        out = att.view(-1, self.heads, 1) * x_j
        out = out.view(-1, self.heads * self.out_ch)
        
        if self.concat:
            out = out + self.bias
        else:
            out = out.mean(dim=1) + self.bias
        
        return out

4.2 完整GNN模型

class GraphNetwork(nn.Module):
    """Complete Graph Neural Network"""
    def __init__(self, in_ch, hidden_ch, out_ch, num_layers=3, dropout=0.5):
        super().__init__()
        self.convs = nn.ModuleList()
        self.norms = nn.ModuleList()
        
        # Input layer
        self.convs.append(GCNConv(in_ch, hidden_ch))
        self.norms.append(nn.LayerNorm(hidden_ch))
        
        # Hidden layers
        for _ in range(num_layers - 2):
            self.convs.append(GCNConv(hidden_ch, hidden_ch))
            self.norms.append(nn.LayerNorm(hidden_ch))
        
        # Output layer
        self.convs.append(GCNConv(hidden_ch, out_ch))
        self.norms.append(nn.LayerNorm(out_ch))
        
        self.dropout = dropout
        self.reset_parameters()
    
    def reset_parameters(self):
        for conv in self.convs:
            if hasattr(conv, 'reset_parameters'):
                conv.reset_parameters()
    
    def forward(self, x, edge_index):
        for i, (conv, norm) in enumerate(zip(self.convs, self.norms)):
            x_prev = x
            x = conv(x, edge_index)
            x = norm(x)
            x = F.relu(x)
            x = F.dropout(x, p=self.dropout, training=self.training)
            
            # Residual connection for hidden layers
            if i > 0 and i < len(self.convs) - 1:
                x = x + x_prev
        
        return F.log_softmax(x, dim=1)

五、GNN变体总结

5.1 空间域方法

模型聚合方式特点
GraphSAGE采样+聚合可归纳学习,支持minibatch
GATAttention自适应邻居权重
PINN偏执不变旋转不变性
GEN边特征支持边信息

5.2 频谱域方法

模型滤波器特点
GCN切比雪夫多项式一阶近似
ChebNet高阶多项式K-局部化
AGCN自适应图学习距离度量

六、总结与展望

GNN的优势

✅ 统一处理各种图结构数据
✅ 可扩展性强,支持mini-batch训练
✅ 表达能力强大,超越传统图算法

挑战与未来方向

  • 深层次GNN:如何避免过平滑
  • 动态图:处理时序变化的图
  • 大规模图:如何高效计算
  • 异构图:统一处理多类型节点和边

参考论文:


💡 您的点赞和关注是我创作的动力!

【Graph Neural Network 图神经网络】1.Recurrent Graph Neural Network 循环图神经网络 图神经网络概述 神经网络的成功推动了模式识别和数据挖掘的研究,产生了若干种端到端的深度学习方法:卷积神经网络CNN、循环神经网络RNN、自动编码器。其中卷积神经网络CNN能够利用图像数据的平移不变性、局部连通性和可组合型,提取与整个数据集共享的局部有意义的特征,以进行各种图像分析任务。 但是在应用场景中依然有大量的数据以图Graph的形式表示,例如电子商务中的用户与产品的交互、化学中的分子结构、引文网络中的论文关系等。因为图结构可能是不规则的,图中的节点可能具有不同数量的邻居,图中实例彼此关联不独立,所以现 阅读详情

相关推荐

《The Graph Neural Network Model 》

《The Graph Neural Network Model 》AbstractAbstractAbstractIntroductionIntroductionIntroductionThe Graph Neural Network ModelThe\ Graph\ Neural\ Network\ ModelThe Graph Neural Network Model符号A. The Model[Banach′s 

qq_45312141的博客 1836

图神经网络(Graph Neural Networks)简单介绍

图神经网络(Graph Neural Networks, GNN)是一类用于处理图结构数据的神经网络模型,与传统的神经网络(例如卷积神经网络、循环神经网络等)处理规则数据结构(如图像、时间序列)不同,图神经网络专门处理不规则的图结构数据,如社交网络、知识图谱等。图结构数据是一种由节点和边组成的复杂关系网络,其中节点代表实体,边代表实体之间的关系。与传统的神经网络不同,图神经网络需要考虑节点之间的关系,因此需要一种新的方式来表示节点和边。

百年孤独百年的博客 2万+

Introduction to Graph Neural Network (GNN) 图神经网络入门详解

文章目录往期文章链接目录NoteBackground and IntuitionIntro to Graph Neural NetworksGNNs FrameworkDefinitionRecurrent graph neural networks (RecGNNs)Introduction to RecGNNsBanach's Fixed Point TheoremRecGNNs v.s. RNNsLimitation of RecGNNsGated Graph Neural Networks (GGN

Jay_Tang的博客 4067

图神经网络(Graph Neural Networks)

图神经网络是以邻接点Embedding的浅层传播来训练Embedding。改变Aggregation和update的方式,可以构造不同的图神经网络;既可以用无监督的方式获得Embedding,也可以用有监督的方式直接训练分类任务。

Mr___WQ的博客 1800

Graph Neural Network——图神经网络

本文简要的介绍了Graph Neural Network——图神经网络,从图的定义开始,一直到整个GNN的工作流程。

FavoriteStar的博客 3108

Graph Wavelet Neural Network

论文标题 Graph Wavelet Neural Network 论文来源 ICLR 2019, 论文PDF 论文代码 https://github.com/benedekrozemberczki/GraphWaveletNeuralNetwork 1 背景梳理 对于自然界中广泛存在的非欧式拓普数据,即图(Graph),的研究得到了广泛关注,为了有效提取图的特征表达,图神经网络(GNN)等一类优秀的模型被提出,并适用于广泛的应用场景,如社交网络、推荐系统、智慧医疗以及城市规划。谱域卷积网络(Spectra

FengF2017的博客 5018

图神经网络:Graph Neural Networks

每天给你送来NLP技术干货!来自:Smarter本文参照以下两篇blog,这两篇应该是目前介绍GNN和GCN最好的blog了。https://distill.pub/2021/gnn-in...

zenRRan的博客 1101

WWW'19 Graph Neural Network for Social Recommendation 图神经网络用于社交推荐

Graph Neural Network for Social Recommendation 图神经网络用于社交推荐 个人总结: 文章发表在WWW19,虽然创新不大,但都是较为可行的方案,可以直接拿来引用; 主要亮点: 1、对用户特征使用用户历史交互过的项目聚合,作为用户的表示; 2、将评分量化(1~5),加入用户表示 3、对项目的建模,使用其交互过的用户聚合,+ Attention...

枫色的专栏 1万+

【有啥问啥】图神经网络(Graph Neural Networks)是什么?

在数据科学和机器学习的广阔领域中,图结构数据以其独特的复杂性和丰富性成为了一个重要的研究方向。从社交网络中的用户关系,到生物信息学中的蛋白质交互网络,再到交通网络中的道路连接,图结构数据无处不在。为了有效地处理和分析这些图数据,图神经网络(Graph Neural Networks, GNNs)应运而生,它们为理解和利用图结构数据中的复杂模式提供了强大的工具。

Chauvin的博客 4234

图机器学习(7)——图神经网络 (Graph Neural Network, GNN)

图神经网络 (Graph Neural Network, GNN) 是一类专门处理图结构数据的深度学习方法。这类方法也被称为几何深度学习 (geometric deep learning),在社交网络分析、计算机图形学等众多领域正受到日益广泛的关注。在本节中,我们介绍了 GNN 的核心原理,将卷积等经典深度学习范式拓展至非欧几里得图空间,实现了局部结构与全局特征的层次化提取。

盼小辉丶的博客 1万+

PyTorch实战(12)——图神经网络(Graph Neural Network,GNN)

在本节中,我们首先简要概述了图神经网络 (Graph Neural Network, GNN) 的核心概念与应用,GNN 通过构建计算图分层聚合节点特征,解决了传统神经网络处理图数据时的四大局限:信息深度不足、节点顺序敏感、动态扩展困难和特征稀疏性问题。了解了不同类型的图学习任务(包括节点级、边级和图级三大类)。接着我们研究了几种流行的 GNN 模型,包括:GCN (通过权重共享实现图卷积)、GAT (引入注意力机制区分邻居重要性)和 GraphSAGE (采用随机采样应对大规模图)。

盼小辉丶的博客 3730

图神经网络模型 The Graph Neural Network Model

Abstract 数据包含许多潜在关系可以表示为图,这些数据存在于科学和工程的众多领域,比如计算机视觉、分子化学、分子生物、模式识别以及数据挖掘。本文提出了一种新型的神经网络模型,称为图神经网络(GNN)模型,对现有的神经网络模型进行了拓展,适用于处理可以表示为图的数据。GNN模型通过一个函数τ(G,n)∈Rm\tau(G,n) \in \mathbb{R}^mτ(G,n)∈Rm将图GGG和其中的...

明远 3万+

用74LS160和74LS194搭个复古流水灯:从Multisim仿真到面包板实战(附完整电路图)

本文详细介绍了如何使用74LS160和74LS194芯片搭建复古流水灯电路,从Multisim仿真到面包板实战的全过程。通过解析核心器件特性、提供完整材料清单、仿真验证电路逻辑,以及实际搭建中的布局规划和调试技巧,帮助电子爱好者掌握这一经典数字电路设计项目。

weixin_28736355的博客 389

Introduction to Graph Neural Network(图神经网络概论)翻译:目录总览

前言:最近对图神经网络部分比较感兴趣,偶尔看到清华大学刘知远老师在今年3月份发表的一本书:Introduction to Graph Neural Network,于是将该书内容进行翻译,记录阅读中自己的感悟。如翻译有不准确或者错误的地方,请指正。 在原文中,不可避免的会有大量的人名、专业词汇等,本文翻译时将其保留,便于日后对其他文献的阅读与理解 翻译进展: Chapter1:Introduction Chapter2:Basic of Math and Graph Chapter3:Bas.

Melvin Dong的博客 1990

Win11上从零跑通Carla自动驾驶仿真:保姆级环境配置与避坑指南(Python 3.7+)

本文详细介绍了在Win11系统上从零配置Carla自动驾驶仿真环境的完整流程,包括Python 3.7+环境搭建、依赖安装、常见问题排查及性能优化技巧。通过保姆级教程帮助开发者快速避坑,实现稳定的自动驾驶仿真测试环境部署。

weixin_33488239的博客 421

用友U8自定义按钮开发:从基础配置到实战业务集成

本文详细介绍了用友U8自定义按钮开发的完整流程,从基础配置到实战业务集成。通过实际案例演示如何在U8系统中添加和替换功能按钮,包括数据库配置、SQL脚本编写和VB组件开发等关键技术点,帮助企业用户实现业务场景的深度定制。

weixin_29698641的博客 261

Graph Neural Network(GNN)概述

什么是GNN GNN是Graph Neural Network的简称,是用于学习包含大量连接的图的联结主义模型。当信息在图的节点之间传播时GNN会捕捉到图的独立性。与标准神经网络不同的是,GNN会保持一种状态,这个状态可以代表来源于人为指定的深度上的信息。 图神经网络处理的数据就是图,而图是一种非欧几里得数据。GNN的目标是学习到每个节点的邻居的状态嵌入(embedding),这个状态嵌入是向量且...

I‘m Frank Lee 1万+

统信UOS系统网络服务异常排查:WIFI图标消失与网络设置缺失的解决方案

本文详细解析了统信UOS系统WIFI图标消失与网络设置缺失的常见问题,提供了从基础修复到进阶排查的完整解决方案。重点分析了NetworkManager服务异常的根本原因,包括系统更新中断、权限配置错误等,并给出实用的命令行操作指南和预防措施,帮助用户快速恢复网络功能。

weixin_29234239的博客 625

Graph Neural Network(GNN)图神经网络

Graph Neural Network(GNN) 图神经网络

weixin_44746091的博客 1061

低成本实现webhook接收端[python]

Webook本质上也是API,只不过是反向调用,即前端不主动发送请求,完全由后端推送。简单来说,Webhook是一个接受HTTP POST或是GET,PUT,DELETE的URL,一个实现了Webhook的API提供商就是在当事件发生的时候会向配置的URL发送信息,与请求-响应式不同,使用Webhook可以实时接收到变化。Ps:Webhook可能会发出大量的请求,确保接受的URL不被泄露或者应用能及时处理这些请求。

锡城小凯的博客 1万+

信奥赛csp初赛高频考点【位运算】(详细解析)

信奥赛csp初赛高频考点【位运算】(详细解析)

王老师青少年编程 376

探索Graph Neural Network: FighterLYL的实现详解与应用

探索Graph Neural Network: FighterLYL的实现详解与应用 在机器学习和人工智能领域,图神经网络(Graph Neural Networks, GNN)已经成为处理复杂非欧几里得数据结构的重要工具。 项目为我们提供了一个深入了解和实践GNN的平台。本文将深入探讨该项目的内容、技术实现、应用场景及特点,帮助更多的开发者和研究者加入到GNN的世界。 项目简介 GraphNeu...

gitblog_00069的博客 743

【Python音频处理】syncstart 计算媒体文件同步时间偏移

syncstart是一个强大的工具,它简化了多媒体文件的音视频同步过程,特别适用于多设备录制的媒体内容。在使用命令行工具时,可以根据实际需求灵活调整参数,如归一化、降噪、低通滤波等,以提高同步的精度和效率。通过本文介绍的基本操作和应用示例,可以快速掌握syncstart的使用方法,并将其应用到日常的音视频处理工作中。

Mr数据杨 820

Introduction to Graph Neural Network(图神经网络概论)翻译:Chapter1:Introduction

文章目录1、Introduction1.1 MOTIVATIONS1.1.1 CONVOLUTIONAL NEURAL NETWORKS1.1.2 NETWORK EMBEDDING1.2 RELATED WORK 1、Introduction 图是一种数据结构,它对一组对象(nodes)及其关系(edges)进行建模。近来,用机器学习分析图的研究受到越来越多的关注,因为图具有巨大的表达能力,即图可以作为大量系统的表征,横跨各个领域,包括社会科学(social network)[Hamilton et al

Melvin Dong的博客 1446

使用ESP32设计嵌入式蓝牙游戏手柄

通过使用ESP32开发板和相关的库,我们可以设计和实现嵌入式蓝牙游戏手柄。连接到该设备后,您可以使用控制器模块的按钮和摇杆等元件来模拟游戏手柄的输入。根据您使用的具体模块和引脚分配,连接按钮和摇杆等控制元件到ESP32的GPIO引脚。ESP32是一款功能强大的微控制器,集成了Wi-Fi和蓝牙功能,非常适合用于开发物联网和嵌入式应用。请注意,本文仅提供了一个基于ESP32的嵌入式蓝牙游戏手柄设计示例,具体实现可能因硬件和需求而有所不同。确保开发板正确连接到计算机,并选择正确的开发板和端口。

CodeMaven的博客 1643

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Graph Neural Network(GraphSAGE,GAT)

Graph 图论问题。如生成树算法,最短路径算法,BFS,DFS。 概率图模型。将条件概率表达为图结构,如马尔可夫链,条件随机场。 图神经网络。结合深度学习,如博主已经整理过的Graph Embedding,Graph LSTM/CNN等结合。基本上Graph+Neural Network,即使用了深度学习技术解决图问题就都是GNN的范畴了。而GNN主要是为了解决Non-Euclidean结构的...

nakaizura 5709

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 【3D重建】NeRF:神经辐射场详解与实践
下一篇: 【生成模型】Diffusion Model(扩散模型)原理与代码实现
MATLAB代码顾问
博客等级 码龄20年 4万+粉丝 441原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MATLAB代码顾问

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值