Spatial Temporal Graph Convolutional Networks (ST-GCN) 代码调试，实现+论文阅读

最新推荐文章于 2025-06-19 09:12:09 发布
原创 最新推荐文章于 2025-06-19 09:12:09 发布 · 5.8k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ST-GCN #caffe #论文阅读

本文详细介绍了在调试Spatial Temporal Graph Convolutional Networks (ST-GCN) 代码过程中遇到的问题，包括opencv宏定义、编译caffe等，并提供了解决方案。同时，解释了ST-GCN如何利用人体骨骼信息进行动作识别，展示了其在NTU-RGB+D和Kinetics-skeleton数据集上的效果。在论文阅读部分，讨论了行为识别的关键点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

仓库地址：https://github.com/yysijie/st-gcn
论文：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition Sijie Yan, Yuanjun Xiong and Dahua Lin, AAAI 2018.
基于骨架的动作识别的时间空间图卷积网络

效果：
ST-GCN能够利用人类骨骼的局部模式和相关性。 下图显示了我们ST-GCN最后一层中每个节点的神经反应幅度。
效果图
上图第一行为NTU-RGB+D数据集，第二行为Kinetics-skeleton数据集。

代码调试过程中的问题
  1. 自己先编译安装caffe
    可能的问题：
    a) opencv的一些宏定义头文件没有include，这个时候可以在python终端下查看宏的值，在源码中将宏直接改为常数就行。
    b) 需要把opencv的路径添加到CPLUS_INCLUDE_PATH环境中。
    c) 编译caffe可以不使用opencv，这样会避免很多问题。
    d) 查找某个宏所在位置
find /proj_root_dir -name "*.hpp" -exec grep -in "MACRO_YOU_WANT"
find /usr/include/ -name *.h | xargs grep 'ORIG_EAX'

e) caffe.pb.h丢失问题，然后将生成的caffe.pb.h拷贝到~/caffe/include/caffe/proto路径下

~/caffe/src/caffe/proto$ protoc -
最低0.47元/天 解锁文章

200万优质内容无限畅学
【论文精读】STIDGCN-基于交互学习的时空动态图卷积网络
打酱油的葫芦娃
05-30 1311
STIDGCN是一种先进的交通预测模型，利用 Spatial-Temporal Interactive Dynamic Graph Convolutional Networks 来捕获交通数据的复杂时空特征。通过动态图生成和卷积，模型能适应性学习节点间随时间变化的关联，强化对长期依赖的理解，从而在多个真实交通数据集中显著提升预测准确性，尤其擅长处理交通流量的未来趋势预测。其核心价值在于结合动态图结构与交互学习，实现高效时空特征提取，且代码开源，促进领域研究。
Spatial Temporal Graph Convolutional Networks
02-10
时空图卷积网络用于基于骨架的动作识别，Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition，2018年AAAI论文
ST-GCN 调试
weixin_41883450的博客
05-24 706
原程序是在命令行界面运行，如果想要在程序内进行调试需要做以下修改。
基于MMSkeleton项目的骨骼数据预处理指南
最新发布
gitblog_00985的博客
06-19 405
基于MMSkeleton项目的骨骼数据预处理指南 骨骼动作识别数据概述 在动作识别领域，基于骨骼数据的方法因其对背景、光照等环境因素的鲁棒性而受到广泛关注。MMSkeleton项目支持两种主流骨骼数据集的处理：Kinetics-skeleton和NTU RGB+D。本文将详细介绍这两种数据集的获取与预处理流程。 Kinetics-skeleton数据集处理 数据集背景 Kinetics原本是一个基...
Spatial Temporal Graph Convolutional Network for Skeleton-Based Action Recogonition
Milkha的博客
03-04 673
文章目录1 前言2 问题定义3 DySAT思路3.1 Skeleton Graph Construction3.2 Spatial Graph Convolutional Neural Network4 方法的优势与局限性4.1 优势4.2 局限性 论文地址：https://arxiv.org/pdf/1801.07455.pdf 源码：st-gcn 来源：AAAI, 2018 关键词：Action Recogonition, GCN 1 前言 该论文针对人体动作识别问题提出了解决方案。以Skelet
【论文学习】ST-GCN：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
LoveKKarlie_的博客
03-02 2119
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition；AAAI2018；基于skeleton动作识别的时空图卷积网络；提出了一种基于图的神经网络动态骨架建模方法时空图卷积网络ST-GCN；针对骨架建模的具体要求，提出了ST-GCN中卷积核的设计原则。
[paper]Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
vinciblack的博客
03-06 5812
一.基本思想 提出了一种新的 ST-GCN，即时空图卷积网络模型，用于解决基于人体骨架关键点的人类动作识别问题。动作是基于时间关系以及不同部位关键点之间的联系的。考虑到以上因素提出Spatial Temporal的卷积网络。 1.空间上：将骨架之间的关键点作为空间关系的输入（存在着不同点之间邻域大小不定的困难，考虑到用基于Graph的CNN网络模型）； 2.时间上：使用视频数据，利用图片之间...
[论文阅读]Spatial Temporal Graph Convolutional Networks for Skeleton-Based ActionRecognition
qq_60272314的博客
10-29 1825
目录 一.概括 二.传统GCN与本文ST-GCN之间的区别 三.实现ST-GCN的细节 一.概括 传统的a骨骼建模方法通常依靠手工制作部分或遍历规则，从而导致表达能力有限和泛化困难.过往方法能力的限制在于不能精确的提取关节之间的空间关系，而这些空间关系对于理解人类活动是重要的。 本文旨在开发一种有原则的、有效的动态骨骼建模方法，并将其用于动作识别。提出了一种新的 ST-GCN，即时空图卷积网络模型，用于解决基于人体骨架关键点的人类动作识别问题。通过自动从数据中自动学习空间和时间...
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting
02-08
本篇研究论文的标题为《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》，其核心内容是提出了一种基于注意力机制的空间-时间图卷积网络模型（Attention Based ...
(STGCN学习笔记)Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
热门推荐
qq_38959366的博客
05-12 1万+
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition ------STGCN论文解读STGCN论文学习笔记1.摘要2.引言3.相关工作3.1 Neural Networks on Graphs3.2 Skeleton Based Action Recognition4.时空图卷积网络4.1bady parts4.2数据来源4.3骨架图的构造5.STGCN的原理新的甘特图功能，丰富你的文章UML
论文笔记：Spatial-temporal Graphs for Cross-modal Text2Video Retrieval
missgrass的博客
11-24 1872
用于跨模态Text2Video检索的时空图摘要 摘要 跨模态文本到视频检索旨在通过文本查询找到相关视频，这对于各种现实世界的应用是至关重要的。解决这个问题的关键是建立视频和文本之间的对应关系，这样来自不同模式的相关样本就可以对齐。由于文本(句子)包含表示对象及其交互的名词和动词，因此检索相关视频需要对视频内容进行细致的理解——不仅是语义概念(即对象)，还需要理解它们之间的交互。然而，目前的方法多采用聚合帧级特征的视频进行关节空间的学习，忽略了对象交互信息，导致检索性能不佳。为了提高跨模式视频检索的性能，本文
Spatial-Temporal Synchronous Graph Convolutional Networks: A New
qq_41451283的博客
10-21 418
1.文章概述 当前的一些方法使用不同的模块对不同关系进行建模，本文作者为了同时提取时空关系提出了一个新的模型STSGCN，该模型通过设计了一个时空同步建模机制 和 对不同时间周期设置不同模块分别捕捉时空依赖性和异构性（不同时间阶段有不同的依赖性）。 作者认为在时空预测任务中存在三种关系：空间依赖性，时间依赖性，时空依赖性。当前大部分方法通过同模块捕捉前两种依赖性，第三种依赖性在网络中间接捕捉，作者认为如果可以直接同时捕捉时空依赖对数据的预测非常有效。此外作者认为时空网络数据通常在空间和时间维度上都表现出异
ST-GCN基于图卷积的行为识别修改模型文件
10-28
ST-GCN官方代码模型，下载后有误，在github上找到的修改版模型，实测可以使用，测试结果与论文中基本一致
时空图学习笔记：Structural-RNN: Deep Learning on Spatio-Temporal Graphs
zcsdn1996的博客
10-18 6277
论文链接：https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Jain_Structural-RNN_Deep_Learning_CVPR_2016_paper.pdf 此为原创笔记，如需转载请注明 时空图和结构化RNN: st-graph and str...
行人重识别阅读笔记之Spatial-Temporal Graph Convolutional Network for Video-based Person Re-identification
weixin_51138870的博客
12-08 2276
行人重识别阅读笔记之Spatial-Temporal Graph Convolutional Network for Video-based Person Re-identification摘要介绍模型PreliminaryPatch Graph ConstructionTemporal GCN ModuleStructural GCN ModuleModel and Loss Functions 论文连接：Spatial-Temporal Graph Convolutional Network for V
Dynamic Spatial-Temporal Graph Convolutional Neural Networks forTraffic Forecasting
小蚂蚁与大象
08-31 1228
将时空信息与动态拉普拉斯矩阵相融合，与两种最先进的基于图cnn的模型相比，该模型具有更高的容错性，平均精度提高10% ~ 25%。为了以较低的复杂度实现实时学习，创造性地将张量分解融入深度学习框架，将实时交通数据分解为稳定且依赖于长期时空交通关系的全局分量和捕捉交通波动的局部分量。其次张量用来模拟不同时间槽下的交通流量，这类划分时间段的办法也值得怀疑，虽然很多时空数据挖掘中也采用这类方法，但是交通流量的长期或者短期的依赖关系，不同时间粒度的划分，很难模拟依赖关系。本文将c设置为1，重点关注交通速度的监测。.
【论文阅读】Spatio-Temporal Graph Convolutional Networks:...Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（4）
weixin_43360025的博客
05-11 4443
【论文阅读】Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[时空图卷积网络: 用于交通预测的深度学习框架]（4）4. Experiments（实验）4.1 Dataset Description（数据集描述）4.2 Data Preprocessing（数据预处理）4.3 Experimental Settings（实验设置）4.4 Experiment Resul
论文翻译：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
com_fang_bean的博客
07-23 1302
人体骨骼的动力学特性为人体动作识别提供了重要的信息。传统的骨架建模方法通常依赖于手工制作的部件或遍历规则，从而导致表达能力有限，难以泛化。在这项工作中，我们提出了一个新的动态骨架模型，称为时空图卷积网络(ST-GCN)。它通过自动学习数据的空间和时间模式，超越了以往方法的局限性。这个公式不仅带来了更大的表达能力，而且更强的泛化能力。在两个大数据集动力学和NTU-RGBD上，它实现了对主流方法的实质性改进。 人的动作识别在视频理解中起着重要的作用，近年来成为一个活跃的研究领域。一...
论文学习：2022 KST-GCN
松松的博客
12-19 812
一种基于时空图卷积网络的知识表示驱动的交通预测方法。
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting (ASTGCN)
03-19
<think>嗯，用户想了解ASTGCN模型的结构和实现。首先，我得回忆一下这个模型的相关信息。根据引用中的内容，ASTGCN结合了注意力机制和图卷积来处理时空特征。交通数据有时间和空间上的复杂性，所以模型需要同时捕捉这两方面。 模型架构应该分为空间和时间两个部分。空间方面，图卷积网络（GCN）可以处理路网的结构，但交通流量是动态变化的，所以需要注意力机制来调整节点间的关系。引用3提到不同位置的历史数据对未来预测的影响不同，这说明空间注意力是必要的。时间方面，引用4指出过去的交通流会影响未来，所以时间注意力也很重要，用来捕捉不同时间点的重要性。 接下来，模型的具体模块可能包括时空块的堆叠。每个块可能有空间注意力图卷积和时间注意力卷积，再加上门控机制。比如，空间注意力层动态调整邻接矩阵，时间注意力层处理序列中的关键时间点。然后，多组件融合部分可能需要处理不同时间尺度的数据，如最近、日周期、周周期，引用4中的X_h应该对应最近时段的输入。 实现细节方面，图卷积可能用切比雪夫多项式近似，注意力机制通过可学习的参数计算权重。时间卷积可能用一维卷积或LSTM，但结合注意力的话，可能采用自注意力机制。代码示例部分需要展示这些组件的实现，比如定义空间注意力层、时间卷积层，以及如何整合它们。 还要注意引用的内容，比如引用2说明模型在长期预测中的优势，引用5澄清节点特征的组成，每个节点在时间t有F个特征。因此，输入数据的维度应该是N×F×T，其中N是节点数，F是特征数，T是时间步长。 可能还需要考虑如何将多个时空块的输出融合，以及最终的预测层设计。损失函数通常用MAE或RMSE。用户可能需要具体的代码示例，所以需要用PyTorch或TensorFlow框架展示关键层的实现。 最后，相关问题部分要涵盖模型组件的作用、与传统模型的区别、注意力机制的具体应用、数据预处理和实际部署挑战。这能帮助用户更全面地理解ASTGCN的应用和优化方向。</think>### 基于注意力机制的空间-时间图卷积网络（ASTGCN）模型架构及实现 #### 1. 核心设计目标 ASTGCN旨在通过融合图卷积网络（GCN）和注意力机制，捕捉交通数据中的**动态时空关联性**。交通流具有以下特点： - **空间动态性**：路网节点间的关系随时间变化（如早晚高峰拥堵传播）[^3] - **时间动态性**：不同历史时段对预测的影响权重不同（如最近5分钟与1小时前数据的重要性差异）[^4] #### 2. 模型架构 ``` 输入层 → 多组件时空块堆叠 → 融合层 → 输出层 ``` ##### 2.1 空间-时间块（Spatio-Temporal Block） 每个模块包含三层结构： ```python 时空注意力层 → 空间图卷积 → 时间卷积 → 残差连接 ``` - **空间注意力层** 动态计算节点间关联权重矩阵： $$S = \text{softmax}\left( \sigma(\mathbf{X}W_1) \cdot (\mathbf{X}W_2)^T \right)$$ 其中$W_1, W_2$为可学习参数，$\sigma$为激活函数[^2] - **时间注意力层** 计算时间维度权重： $$E = \text{softmax}\left( \text{tanh}(\mathbf{X}U_1) \cdot (\mathbf{X}U_2)^T \right)$$ 通过调整历史时间步的重要性增强时间建模能力 - **门控时序卷积** 使用一维空洞卷积提取多尺度时序特征： ```python class TemporalConv(nn.Module): def __init__(self, in_channels, filters, kernel_size=3): super().__init__() self.conv = nn.Conv1d(in_channels, 2*filters, kernel_size, padding='same') self.tanh = nn.Tanh() self.sigmoid = nn.Sigmoid() def forward(self, x): conv_out = self.conv(x) gate, filter = torch.split(conv_out, split_size, dim=1) return self.tanh(filter) * self.sigmoid(gate) # 门控机制 ``` ##### 2.2 多组件融合 同时处理三种时间模式的数据输入： - **最近时段数据**：$\mathcal{X}_h \in \mathbb{R}^{N \times F \times T_h}$（直接关联当前状态） - **日周期数据**：$\mathcal{X}_d \in \mathbb{R}^{N \times F \times T_d}$（捕捉早晚高峰模式） - **周周期数据**：$\mathcal{X}_w \in \mathbb{R}^{N \times F \times T_w}$（识别工作日/周末差异） #### 3. 关键实现细节 ```python class ASTGCN(nn.Module): def __init__(self, node_num, feat_dim, pred_len): super().__init__() # 空间注意力层 self.spatial_att = SpatialAttention(feat_dim) # 时间卷积层 self.temporal_conv = TemporalConv(feat_dim, 64) # 图卷积层（使用切比雪夫多项式近似） self.gconv = ChebConv(64, 64, K=3) # K为多项式阶数 # 多组件融合 self.fusion = nn.Linear(3*64, pred_len) def forward(self, x_h, x_d, x_w): # 处理最近时段数据 s_att = self.spatial_att(x_h) x_h = F.relu(self.gconv(x_h, s_adj_matrix)) # 动态调整邻接矩阵 x_h = self.temporal_conv(x_h.transpose(1,2)).transpose(1,2) # 类似处理日周期、周周期数据 ... # 特征融合 fused = torch.cat([x_h, x_d, x_w], dim=-1) return self.fusion(fused) ``` #### 4. 模型优势分析 1. **动态空间建模**：通过注意力机制自动学习节点间动态权重，优于传统GCN的固定邻接矩阵 2. **多粒度时间建模**：同时捕捉短期波动和长期周期模式[^4] 3. **并行化处理**：不同时间组件可并行计算提升效率
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值