基于频谱的GCN 图卷积神经网络数学原理

最新推荐文章于 2025-05-19 14:27:46 发布
最新推荐文章于 2025-05-19 14:27:46 发布
阅读量2.1k 收藏 10
点赞数
CC 4.0 BY-SA版权
分类专栏： 神经网络基础 文章标签： 神经网络 机器学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/goto_past/article/details/108093815

以下内容多为个人理解，如有错误感谢批评指正。

参考链接：
如何理解GCN？知乎回答：从热传导模型到GCN
从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi）

GCN问题本质

图中的每个结点无时无刻不因为邻居和更远的点的影响而在改变着自己的状态直到最终的平衡，关系越亲近的邻居影响越大。

GCN的实质

是在一张Graph Network中特征（Feature）和消息（Message）中的流动和传播！

研究GCN的原因

  1. CNN无法处理非欧几里得结构数据，因为此种结构没有平移不变性，卷积核的大小无法固定不变。
  2. 拓扑图中包含许多重要的信息，可以通过图谱论进行挖掘。
  3. 拓扑连接是一种广义的数据结构，且一般来说任何数据在赋范空间内都可以建立拓扑关系。例如谱聚类（谱聚类原理总结）

进入到应用层面，具体来说。
GCN的目的

提取拓扑图的空间特征。

核心理论： Sepectral graph theory 图谱论
图谱论简述

核心思想：

  • 借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质。
  • 借助于图谱的理论来实现拓扑图上的卷积操作。

为什么GCN要用拉普拉斯矩阵？
（1）拉普拉斯是对称矩阵，可以进行特征分解（谱分解），这和GCN的Spectral domain对应。
（2）拉普拉斯矩阵只在中心顶点和一阶相连的顶点上（1-hop neighbor）有非0元素，其余之处均为0.
（3）拉普拉斯算子和拉普拉斯矩阵之间的关系。

拉普拉斯矩阵的谱分解（特征分解）

  • 矩阵的谱分解，特征分解，对角化都是同一概念。特征分解
  • 不是所有矩阵都可以特征分解，充要条件为n阶方阵存在n个线性无关的特征向量。
    线性无关与线性相关
  • 拉普拉斯矩阵是半正定对称矩阵，有如下三个性质：
  1. 对称矩阵一定有n个线性无关的特征向量
  2. 半正定矩阵的特征值一定非负
  3. 对称矩阵的特征向量相互正交，及所有的特征向量构成的矩阵为正交矩阵。正交矩阵

在这里插入图片描述

由上可知拉普拉斯矩阵一定可以谱分解，且分解后有特殊的形式。对于拉普拉斯矩阵其谱分解为：

L = U ( λ 1 . . . λ n ) U − 1 L=U\begin{pmatrix} \lambda_1 & & \\ &...& \\ & &\lambda_n\\ \end{pmatrix}U^{-1} L=U⎝⎛​λ1​​...​λn​​⎠⎞​U−1

其中 U = ( u ⃗ 1 , u ⃗ 2 , . . . , u ⃗ n ) U=(\vec u_1 , \vec u_2, ... ,\vec u_n) U=(u 1​,u 2​,...,u n​)是列向量为单位特征向量的矩阵，也就说 u ⃗ 1 \vec u_1 u 1​是列向量。

( λ 1 . . . λ n ) \begin{pmatrix} \lambda_1 & & \\ &...& \\ & &\lambda_n\\ \end{pmatrix} ⎝⎛​λ1​​...​λ

最低0.47元/天 解锁文章
GNN-频域-2014：Spectral Networks and Locally Connected Networks on Graphs（频谱图卷积神经网络）【第一篇从频域角度分析】
u013250861的博客
10-31 1357
空域卷积非常直观地借鉴了图像里的卷积操作，但缺乏一定的理论基础。而频域卷积则不同，相比于空域卷积而言，它主要利用的是**图傅里叶变换(Graph Fourier Transform)**实现卷积。简单来讲，它利用图的**拉普拉斯矩阵(Laplacian matrix)**导出其频域上的的拉普拉斯算子，再类比频域上的欧式空间中的卷积，导出图卷积的公式。虽然公式的形式与空域卷积非常相似，但频域卷积的推导过程却有些艰深晦涩。接下来我们将攻克这部分看起来很难的数学公式，主要涉及到。
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 11万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
图解：卷积神经网络数学原理解析
小白学视觉
01-02 585
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达 作者丨Piotr Skalski来源丨AI有道@微信公众号翻译| 通夜（中山大学）、had_i...
一文搞懂卷积神经网络（CNN）的原理（超详细）
最新发布
weixin_42953422的博客
05-19 1151
CNN的发明不仅是技术的突破，更是对人类视觉系统的致敬。通过层层递进的特征抽象，它教会机器如何“看见”世界。正如Yann LeCun所说：“深度学习是一场革命，而CNN是这场革命的第一声枪响。”掌握CNN的原理，便是拿到了开启计算机视觉大门的钥匙。
图神经网络（Graph Neural Networks，GNN）综述
喜欢打酱油的老鸟
11-29 4547
2019-11-28 16:02:43 一、什么是图神经网络？ 在过去的几年中，神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务，如目标检测、机器翻译和语音识别，曾经严重依赖手工的特征工程来提取信息特征集，最近被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。在许多领域中，深度学习的成功部分归因于快速发展的计算资源（如GPU）...
GNN学习—卷积图神经网络(谱域)
bujiatang的博客
11-24 5899
第3篇—卷积图神经网络-Spectral引言背景知识谱域图卷积实现思路数学知识模型介绍SCNNChebNetGCN 上一篇介绍了卷积图神经网络的空间域模型，本篇总结谱域的方法及模型。 引言 经典卷积网络处理的对象是欧式空间中的数据，他们有着序列有序性和维数一致性的特点，即该类网络只能处理固定输入维度的数据并且局部输入数据必须有序，语音、图像、视频等（规则结构）数据满足以上要求，但是并不适用于图结构数据（非欧空间数据）。 因为图结构的数据的特点是序列无序性和维数可变性。其中序列无序性是指：下图中红色节点的邻居
gcn 图卷积神经网络_回顾频谱图卷积的经典工作：从ChebNet到GCN
weixin_39609752的博客
11-29 695
从2018年起，图神经网络(GNN)开始受到了额外的关注，成为了一个新的热点。在2019年CVPR所有录用的论文中，关键字graph出现的次数就从2018年的15次增长到了45次，增长态势凶猛。其中许多工作都与GCN相关(比如之前解读过的IGCN)，这是一篇被ICLR2017会议录用的频谱图卷积工作，非常经典。而GCN又来源于对ChebNet的进一步简化与近似，他们都属于在频域上定义的图卷积网络。...
图神经网络——(2)图卷积神经网络
Ma Sizhou
04-11 3700
初入图神经网络，记录其中的一些理论知识。        上一篇文章中简单的介绍了几种与图数据相关的名词以及它们之间的联系与区别，这篇文章中主要介绍图卷积神经网络（GCN）的实现原理。 一、卷积VS图卷积        图卷积操作的思想实际上是直接受到卷积...
一切皆是映射：卷积神经网络(CNNs)在图像处理中的应用
AI天才研究院
06-28 1254
卷积神经网络（Convolutional Neural Networks，简称CNNs）是深度学习领域中最成功的模型之一，特别是在图像处理任务中表现出色。本文旨在全面介绍CNNs的理论基础、核心组件和实际应用，帮助读者深入理解这一强大的图像处理工具。我们将从基本概念出发，逐步深入到复杂的网络结构和算法实现，最终通过实际的代码案例，展示CNNs在图像分类、目标检测等任务中的应用。背景介绍：阐述文章的目的、范围和预期读者核心概念与联系：介绍CNNs的基本概念和相关理论。
GNN图神经网络梳理
goto_past的博客
08-17 1504
一、GCN 图卷积神经网络： Semi-Supervised Classification with Graph Convolutional Networks 基于频谱域的图卷积神经网络，原理是通过独立于节点embedding的图拓扑结构定义用于聚集(过滤)邻居节点的权值。 ：本质仍是聚合邻居节点的信息，只不过可以通过数学变换得到如下的式子统一表示聚合邻居信息的过程。 这样可能提高了速度但固定了GCN的聚合邻居信息的方式，导致了直推式学习的弊端。 1、GCN的本质确实是利用全图进行节点的特征学习（参考：G
【Pytorch神经网络理论篇】 25 基于谱域图神经网络GNN：基础知识+GNN功能+矩阵基础+图卷积神经网络+拉普拉斯矩阵
小李的研究生学习日记
03-29 8693
图神经网络（Graph Neural Network，GNN）是一类能够从图结构数据中学习特征规律的神经网络，是解决图结构数据（非欧氏空间数据）机器学习问题的最重要的技术。 1 图神经网络的基础知识 图神经网络（Graph Neural Network，GNN）是一类能够从图结构数据中学习特征规律的神经网络，是解决图结构数据（非欧氏空间数据）机器学习问题的最重要的技术之一。 前面章节中主要介绍了神经网络的相关知识。接下来，让我们了解一下图神经网络相关的基础知识。 1.1 欧氏...
【Graph Neural Network 图神经网络】2.Spectral-based Graph Convolutional Networks 基于谱域的图卷积网络
TsingM
06-22 2518
GCN(Semi-Supervised Classification with Graph Convolutional Networks, ICLR 2017) 该文为基于谱域的图卷积网络的代表作，为图神经网络模型引入一个简单且表现好的分层传播规则，该规则直接在图上运行，展示了它是如何从谱图卷积的一阶近似中获得增益的，并演示了如何将这种形式的基于图的神经网络模型用于图中节点的快速和可扩展的半监督分类。 0. 基本概念 图用G=(V,E)G=(V,E)G=(V,E)表示，VVV中元素为节点（vertex），E
卷积神经网络 图像处理,卷积神经网络图片识别
super67269的博客
08-12 2676
卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。...
图卷积神经网络解密-谱方法-GNN（上）
致大尽微 家国天下
01-30 1443
图卷积神经网络（Graph Convolutional Networks，GCN）是一种专门用于处理图形数据的神经网络架构。图形数据指的是由节点V（vertices）和边E（edges）组成的图形结构，常见于社交网络、分子结构、交通网络等领域。GCN 的核心在于能够直接在图结构上运行，捕捉节点之间的复杂关系和结构特征。卷积运算实际上就是两个函数fff和ggg的数学操作，产生第三个函数hhh。连续情况卷积定义为两个函数乘积的积分，其中一个函数反转并移位。htf∗gt∫ft−。
频域图卷积Spectral Convolution前提知识补充
timmy___的博客
12-25 627
文章参考GCN对图进行卷积的主要思想是把图转换到频域(Frequency Domain)进行乘积运算后再转换回空间域(Spatial Domain)。所以核心问题在于如何把图转换到频域，再从频域转换回空间域。
李宏毅机器学习笔记(十一)——图神经网络(GNN)
Unique13的博客
08-12 1907
文章目录一.与图相关的问题二.基于空间特征的图神经网络(spatial-based)1.NN4G2.DCNN/DGC3.MoNET/GAT4.GIN三.基于频谱的图神经网络   前言：这部分是比较新兴的内容，内容杂且难度较大，这里只是根据课上所讲加上自己的理解去总结一小部分最浅显的内容，主要用于科普，不能用于GNN的入门 一.与图相关的问题   这里的图，指的不是现实中的图片，图片我们使用CNN即可；这里指的是数据结构中的图。这种图是非常结构化的数据，而且由于数据是多对多的关系，因此具有最高的普适性。然而很
图神经网络模型介绍（1）
m0_63860007的博客
09-09 1201
在实际应用中，我们通常可以叠加多层图卷积，得到一个图卷积网络。我们以H¹ 表示第L层的节点向量，W¹表示对应层的参数，定义。参数是没办法迁移的，因此谱域图神经网络通常只作用在一个单独的图上，这大大限制了这类模型的跨图学习和泛化能力。接下来，我们从切比雪夫网络的公式(3.12)出发，对图卷积网络进行推导。下面，我们以一个常用的两层图卷积网络来解释图卷积网络是怎么对节点。从图信号分析的角度考虑，我们希望这个过滤函数g 能够有比较好的局部化，常作用在图拉普拉斯矩阵的特征值矩阵上，在换到另一个图上时，这些卷积核。
基于空间的图卷积网络和基于谱的图卷积网络（spectral-based GCN and spatial-based GCN)
qq_44689178的博客
03-10 8484
基于空间的图卷积网络和基于谱的图卷积网络（spectral-based GCN and spatial-based GCN)的介绍
图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导
热门推荐
知行合一，止于至善
08-24 16万+
文章目录1. 为什么会出现图卷积神经网络？2. 图卷积网络的两种类型2.1 vertex domain(spatial domain)：顶点域（空间域）2.2 spectral domain：频域方法（谱方法）3. 什么是拉普拉斯矩阵？3.1 常用的几种拉普拉斯矩阵普通形式的拉普拉斯矩阵对称归一化的拉普拉斯矩阵（Symmetric normalized Laplacian）随机游走归一化拉普拉斯矩...
图卷积网络详细介绍
03-23
### 图卷积网络 (Graph Convolutional Network, GCN) 的详细介绍 #### 1. 背景与动机 图卷积网络是一种用于处理图数据的深度学习方法。传统的神经网络主要适用于欧几里得空间中的网格化数据（如图像和序列），而图数据是非欧几里得的，节点之间的关系复杂多变。因此，为了有效地提取图结构中的特征，研究者提出了基于图的卷积操作。 在实际应用中，图数据通常由两部分组成：节点特征和图的拓扑结构[^2]。然而，如何将这两类信息结合起来是一个挑战。GCN的核心思想是通过设计一种能够同时考虑节点特征和邻域结构的学习机制，从而实现高效的图表示学习。 --- #### 2. 数学基础 ##### 卷积定理的应用 传统意义上的卷积可以通过傅里叶变换简化计算过程。具体来说，函数 \(f(t)\) 和 \(h(t)\) 的卷积可以被看作它们各自傅里叶变换后的乘积再经过逆变换得到的结果[^3]。这一理论同样可以推广到图领域，在图上定义类似的频谱卷积运算。 假设给定一个图 \(G=(V,E)\)，其中 \(V\) 是节点集合，\(E\) 是边集合，则可以用拉普拉斯矩阵 \(L=D-A\) 来描述该图的性质，这里 \(D\) 表示度矩阵，\(A\) 表示邻接矩阵。进一步地，标准化拉普拉斯矩阵的形式为： \[ L_{sym} = I - D^{-\frac{1}{2}}AD^{-\frac{1}{2}} \] 通过对 \(L_{sym}\) 进行特征分解，我们可以获得一组正交基向量以及对应的特征值，这些构成了图信号的频谱表示。 --- #### 3. GCN 的核心原理 GCN 的基本形式是对每个节点及其一阶邻居执行加权平均聚合操作，并引入非线性激活函数以增强表达能力。其更新公式如下所示： \[ H^{(l+1)}=\sigma(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}) \] - \(\tilde{A}=A+I_N\) 表示自环加入后的邻接矩阵； - \(\tilde{D}_{ii}=\sum_j{\tilde{A}_{ij}}\) 是新的度矩阵； - \(W^{(l)}\) 是第 \(l\) 层的权重参数； - \(\sigma(\cdot)\) 是非线性激活函数，比如 ReLU。 这种层叠式的传播规则允许模型逐步捕获更广范围内的上下文信息[^1]。 --- #### 4. 实现细节 以下是使用 PyTorch 实现的一个简单版本的 GCN 模型： ```python import torch import torch.nn as nn import torch.nn.functional as F class GraphConvLayer(nn.Module): def __init__(self, input_dim, output_dim): super(GraphConvLayer, self).__init__() self.linear = nn.Linear(input_dim, output_dim) def forward(self, X, A_hat): # X: node features; A_hat: normalized adjacency matrix propagation = torch.mm(A_hat, X) return self.linear(propagation) class GCNModel(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(GCNModel, self).__init__() self.gc1 = GraphConvLayer(input_dim, hidden_dim) self.gc2 = GraphConvLayer(hidden_dim, output_dim) def forward(self, X, A_hat): out = F.relu(self.gc1(X, A_hat)) out = self.gc2(out, A_hat) return out ``` 上述代码展示了如何构建一个双层的 GCN 结构，每一层都涉及一次消息传递和特征转换的过程。 --- #### 5. 应用场景 由于 GCN 可以很好地融合局部特征与全局结构信息，它广泛应用于多个领域，包括但不限于： - **半监督分类**：当训练样本数量有限时，GCN 利用了未标注数据的关系辅助提升性能。 - **推荐系统**：建模用户-物品交互行为，挖掘潜在兴趣模式。 - **生物信息学**：分析蛋白质相互作用网络或者基因调控路径。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值