关于时空图卷积神经网络（ST-GCN）的卷积核及其运算

最新推荐文章于 2025-03-31 13:41:53 发布
最新推荐文章于 2025-03-31 13:41:53 发布
阅读量4.2k 收藏 14
点赞数 2
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_33764934/article/details/103463079
版权
本文详细解析了ST-GCN中图卷积核的构造过程，包括邻接矩阵的权重求和、对角矩阵初始化及更新，以及卷积核的最终形成。通过具体代码示例，阐述了图卷积操作的实现细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

st-gcn中图卷积的卷积核

卷积核构造步骤如下：
1.对邻接矩阵A中的所有权重(Aij为节点i与节点j的权重)进行axis=0的求和，形成[1,number_node]的向量V。
2.初始化一个[number_node,number_node]的矩阵Dn
3.依次遍历每个元素，若第i个元素大于0，则我们为Dn的对角元素Dn_ii赋值为V**-1。
4.在st-gcn中卷积核返回为:A左乘Dn（实际上在图卷积过程中，使用的爱因斯坦求和策略中，已经把卷积核转换成(Dn^(-1))A）.

STGCN中的构造卷积核的代码如下：

def normalize_digraph(A): #A为节点邻接矩阵
    Dl = np.sum(A, 0) #按照axis=0对A进行所有特征向量的求和
    num_node = A.shape[0] #节点数
    Dn = np.zeros((num_node, num_node)) #初始化对角矩阵
    for i in range(num_node): #遍历DI中的每个元素
        if Dl[i] > 0:#若当前元素>0
            Dn[i, i] = Dl[i]**(-1) #求逆后赋值为Dn的对角元素
    AD = np.dot(A, Dn) #卷积核
    return AD

实际上，图卷积的卷积操作应如下:
在这里插入图片描述
其中D(-1)A才是卷积核，在st-gcn的图卷积操作中，作者已经利用爱因斯坦求和约定表示把上述代码中返回的AD转为D(-1)A.
该代码在tgcn.py中，对应的代码段如下:

    def forward(self, x, A):
        assert A.size(0) == self.kernel_size
        x = self.conv(x)
        n, kc, t, v = x.size()
        x = x.view(n, self.kernel_size, kc//self.kernel_size, t, v)
        x = torch.einsum('nkctv,kvw->nctw', (x, A))

        return x.contiguous(), A
ST-GCN 论文解读
一杯水果茶！足矣~
04-09 3411
通过将图神经网络扩展到时空图模型，设计一种用于动作识别的骨架序列的通用表示，称为时空图卷积网络(ST-GCN)。
ST-GCN论文简读以及复现
如果想成为中心，那么就到中心去吧。
10-14 3800
code: https://github.com/yysijie/st-gcn 文章目录普通卷积与图卷积普通卷积图卷积数据输入数据结构数据预处理图划分策略网络结构复现 普通卷积与图卷积 普通卷积 在理解图卷积之前，需要认识一下传统的卷积。对于一个3×3的卷积操作而言，相当于把3×3的卷积核在图像上滑动。每一次会有对应的9个数字相乘之后相加，然后得到一个最终的值。 在这里，换一个角度来看，图像上的每一个数字都是一个特征，而卷积的操作，是以一个像素点为中心，将其周围的8个点连同它自己的特征加权（卷积核的值）后.
st-gcn时空图卷积神经网络
12-11
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition. 图卷积神经网络，2018年AAAI论文代码。
时空因果卷积神经网络(ST-CausalConvNet)提出的模型的显著特征是模型架构中的卷积是因果的
dUvSAODNuH的博客
03-01 855
此外，该模型还考虑了多个监测站之间的空间相关性，通过时空相关分析选择与目标站相关性高的监测站的相关信息，并将来自目标和相关站点的信息作为输入并馈送到模型中。在负荷预测、空气质量预测、光伏预测等领域，时序数据的准确预测是至关重要的，而时空因果卷积神经网络通过其独特的架构设计，提供了一种有效的解决方案。时空因果卷积神经网络(ST-CausalConvNet)提出的模型的显著特征是模型架构中的卷积是因果的，其中某个时间步长的输出仅与前一层中相同或更早时间步长的元素进行卷积。
ST-GCN 源码复现
最新发布
2401_83365752的博客
03-31 787
进入虚拟环境，进入st-gcn目录，用conda安装pytorch。安装 Torchlight（ST-GCN 的辅助工具）解压后，将文件夹中的内容复制到 CUDA 安装目录。本实验在anaconda prompt中进行操作。下载 Kinetics-skeleton 数据。，直接加载预处理骨架数据，而不是调用。安装 cuDNN（8.9.2.26）验证 Pytorch 是否安装正确。训练代码中自带了数据转换代码。安装 CUDA（11.8）数据集转换为训练使用的。下载 ST-GCN 源码。安装 Pytorch。
深度时空3D卷积神经网络用于交通预测
zuiyishihefang的博客
02-23 1111
点击上方蓝字关注我1、文章信息《Deep Spatial–Temporal 3D Convolutional Neural Networks for Traffic Data Fore...
深度学习算法中的 时空卷积网络（Spatio-Temporal Convolutional Networks）
牛肉胡辣汤
09-21 6351
在网络的前向传播过程中，时空卷积核在整个视频序列上进行滑动，从而提取出时序和空间上的特征。然而，对于一些涉及到时序和空间信息的任务，如视频分析、动作识别和人体姿态估计等，传统的CNNs存在一定的局限性。我们相信，在不久的将来，时空卷积网络将在更多领域展现出强大的能力，并为我们带来更多的惊喜和突破。尽管时空卷积网络在时序和空间信息处理方面取得了显著的成果，但仍存在一些挑战和改进的空间。这是一个简单的示例代码，实现了一个时空卷积网络模型，并在MNIST数据集上进行了训练和评估。
Graph Convolutional Network (GCN) 图卷积网络
酒酿小圆子呀～
07-03 8628
基本原理： 强烈推荐： 从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi） 主要内容：CNN，拉普拉斯矩阵，Graph上的傅里叶变换及卷积，Graph Convolution 第一代GCN 第二代GCN 第三代GCN 利用切比雪夫多项式来进行近似，降低前向传播高复杂度的问题。 Semi-supervised Classification with Graph Convolutional Networks 一文中的GCN形式，其实是二阶Chebyshev多项式推导出的特例。 参考博客
STGCN(时空图卷积网络)详解
一去不复返的通信er
11-19 4536
STGCN详解
ST-GCN行为识别论文学习笔记
silencekp的博客
09-11 2069
从输入视频到动作分类的整个流程，包括使用姿势估计算法从视频中提取骨架数据，构建时空图，然后应用多层时空图卷积，最后通过Softmax分类器进行动作分类。
STGCN时空图卷积网络:用于交通预测的深度学习框架
lwera的博客
09-28 6518
提出了一种新的深度学习架构——时空图卷积网络，用于交通预测任务。该架构包括几个时空卷积块，它们是图卷积层[Defferrard等人，2016]和卷积序列学习层的组合，以建模空间和时间依赖性。据我们所知，在交通研究中应用纯卷积结构同时从图结构时间序列中提取时空特征尚属首次。我们在两个真实世界的交通数据集上评估我们提出的模型。实验表明，该框架在具有多个预估长度和网络规模的预测任务中性能优于现有的基线。
基于深度时空卷积神经网络的人群异常行为检测和定位
04-06
针对公共场合人群异常行为检测准确率不高和训练样本缺乏的问题，提出一种基于深度时空卷积神经网络 的人群异常行为检测和定位的方法。首先针对监控视频中人群行为的特点，综合利用静态图像的空间特征和前后帧 的时间特征，将二维卷积扩展到三维空间，设计面向人群异常行为检测和定位的深度时空卷积神经网络；为了定位 人群异常行为，将视频分成若干子区域，获取视频的子区域时空数据样本，然后将数据样本输入设计的深度时空卷 积神经网络进行训练和分类，实现人群异常行为的检测与定位。同时，为了解决深度时空卷积神经网络训练时样本 数量不足的问题，设计一种迁移学习的方法，利用样本数量多的数据集预训练网络，然后在待测试的数据集中进行 微调和优化网络模型。
基于四元数时空卷积神经网络的人体行为识别.pdf
09-20
基于四元数时空卷积神经网络的人体行为识别.pdf,传统卷积神经网络（CNN）只适用于灰度图像或彩色图像分通道的特征提取，忽视了通道间的空间依赖性，破坏了真实环境的颜色特征，从而影响人体行为识别的准确率。为了解决上述问题，提出一种基于四元数时空卷积神经网络(QST CNN)的人体行为识别方法。首先，采用码本算法预处理样本集所有图像，提取图像中人体运动的关键区域;然后将彩色图像的四元数矩阵形式作为网络的输入，并将CNN的空间卷积层扩展为四元数空间卷积层，将彩色图像的红、绿、蓝通道看作一个整体进行动作空间特征的提取，并在时间卷积层提取相邻帧的动态信息；最后，比较QST CNN、灰度单通道CNN（Gray CNN)和RGB 3通道CNN(3Channel CNN)3种方法的识别率。实验结果表明，所提方法优于其他流行方法，在Weizmann 和 UCF sports 数据集分别取得了85.34% 和80.2%的识别率。
深入理解时空图卷积（ST-GCN）
weixin_51450749的博客
11-04 2万+
深入理解时空图卷积（ST-GCN）整体描述空间上的图卷积举个例子回归ST-GCN时间上的卷积 前言：本文试图从代码角度解读ST-GCN（不包含图卷积理论知识），希望对研究行为识别的同学有所帮助，不正确的地方请指正。 整体描述 Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition ST-GCN的文章着实不好理解，但是当读懂代码之后，再返回来对应论文会有豁然开朗的感觉。 整体结构：时空图卷积分为空间
时空图卷积神经网络（STGCN）：一个用于交通预测的神经网络框架
myblog
08-17 3万+
论文简介 北大发表在IJCAI 2018的一篇论文，论文题目：Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting，谷歌学术被引量296。 论文背景 实时交通预测是一个重要而复杂的问题，因为其不仅存在高度非线性和复杂的交通流，传统的预测方法经常忽视了时间和空间上的依赖。 交通预测研究中，通常选择速度、流量、密度来显示和监视当前的交通状态，根据预测的长度，可以分为短期交通预
GCN的卷积核尺寸
weixin_43279911的博客
08-08 2039
ChebyNet中卷积核大小是什么？ Defferrard 及其团队，在NIPS.2016的上的文章 《Convolutional neural networks on graph with fast localized spectral fiftering》是学习GCN的入门必读文章。文章的核心要点是将谱域GCN的卷积核，使用chebyshev多项式截断，然后经过迭代，绕开了原有对Laplacian的特征分解所需要的大量计算。因此计算复杂度大量下降，加快了卷积的过程。 原文中给出的代码使用了多个类相互继承
GCN：使用大卷积核+全局卷积来改进语义分割
AI数据工厂
01-17 3689
本文主要是通过分析分类和定位任务之间的矛盾，提出了GCN模块使用大卷积核来解决。消融实验表明，该结构能够很好的平平衡有效感受野和参数量，同时达到很好的效果。并为了进一步细化边界，提出了边界细化模块（BR）。 该文通过类似深度可分离卷积的方式，既获得了大感受野，又平衡了参数量，并融合了多尺度信息，是一个不错的语义分割思路。
TCN（Temporal Convolutional Network，时间卷积网络）
热门推荐
weixin_39910711的博客
05-10 10万+
1 前言 实验表明，RNN 在几乎所有的序列问题上都有良好表现，包括语音/文本识别、机器翻译、手写体识别、序列数据分析（预测）等。 在实际应用中，RNN 在内部设计上存在一个严重的问题：由于网络一次只能处理一个时间步长，后一步必须等前一步处理完才能进行运算。这意味着 RNN 不能像 CNN 那样进行大规模并行处理，特别是在 RNN/LSTM 对文本进行双向处理时。这也意味着 RNN 极度地计算密集，因为在整个任务运行完成之前，必须保存所有的中间结果。 ...
基于时空注意和残差学习的卷积神经网络多步预测PM2.5和PM10浓度
qq_59482564的博客
10-11 2093
准确可靠的PM2.5和PM10浓度预测对公众合理避免空气污染和政府的政策反应非常重要。
在实验中，将数据进行正则化在输入到batch normalization。ST-GCN模型由九层时空图卷积组成。前三层输出64通道数，中间三层输出128通道，最后三层输出256层通道数。一共有9个时间卷积核，在每一个ST-GCN使用残差链接，使用dropout进行特征正则化处理，将一半的神经元进行dropout处理。第4、7层的时间卷积层设置为poling层。最后将输出的256个通道数的输出进行全局pooling,并由softmax进行分类。是由SGD进行优化
03-23
### ST-GCN 模型架构详解 #### 正则化与 Batch Normalization 的应用 ST-GCN（Spatio-Temporal Graph Convolutional Network）是一种针对时空数据建模的深度学习框架，广泛应用于动作识别等领域。为了提高模型稳定性并减少过拟合现象，Batch Normalization 被引入每一层卷积操作之后[^3]。具体而言，BN 层通过标准化激活函数前的输入值来加速收敛过程，并缓解梯度消失或爆炸问题。 此外，Dropout 技术也被采用作为一种显式的正则化手段。通常情况下，在全连接层之前会加入一定比例的 Dropout 来随机丢弃部分神经元，从而增强泛化能力[^4]。 #### 各层通道数的设计原理 关于通道数设置方面，一般遵循从小到大逐渐增加的原则。例如初始几层可能设定为64个滤波器，随后逐步提升至128甚至更高如256等数值。这种渐增模式有助于先提取低级局部特征再过渡向更高级别的抽象表达形式。这样的设计可以有效捕捉不同尺度下的空间与时序关联特性。 #### 时间卷积核数量 对于时间维度上的处理，则主要依赖一维卷积运算完成。这些卷积核负责沿着时间轴滑动扫描节点间相互作用规律。其大小往往依据实验效果调整优化得出最佳参数组合。 #### Residual Connection 实现方式 残差连接允许较深网络仍能保持良好性能表现的关键因素之一就是它解决了深层网络训练过程中可能出现的退化解难题。在实际编码实现当中可以通过简单加法操作将未经变换或者仅经过线性投影转换过的原始输入叠加回最终输出端口处达成目标。 #### Pooling Layer 配置详情 池化层主要用于降低特征地图的空间分辨率进而达到降维目的同时保留最重要信息成分不丢失过多细节内容。按照惯例会在特定层次比如第四七两阶段安排相应操作步骤执行最大值选取策略(Max-Pooling)。 #### 全局平均池化(Global Average Pooling) 及 Softmax 分类环节说明 当所有先前预处理完毕后进入最后决策判断时刻时,全局平均池化将会把整个序列压缩成固定长度表示向量供后续SoftMax分类器利用计算各类别概率分布情况以便做出最有可能的选择结果. #### 优化方法(SGD Optimizer Usage) 至于求解算法选择上，默认推荐使用带momentum项的标准随机梯度下降法(Stochastic Gradient Descent with Momentum),因为它具备较快收敛速度又能较好避开局部极小点陷阱的优势特点. ```python import torch.nn as nn class Model(nn.Module): def __init__(self): super(Model,self).__init__() self.st_gcn_networks = nn.Sequential( st_gcn(in_channels=3,out_channels=64,kernel_size=(9,1)), ... st_gcn(in_channels=128,out_channels=256,kernel_size=(9,1)) ) self.fc = nn.Linear(256,num_class) def forward(self,x): out = self.st_gcn_networks(x) out = F.avg_pool2d(out,(1,T)) # Global average pooling over time dimension T. out = out.view(N,-1) predict_score = self.fc(out) return predict_score ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值