《Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition》论文阅读笔记

最新推荐文章于 2024-11-08 15:03:11 发布
原创 最新推荐文章于 2024-11-08 15:03:11 发布 · 363 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种新的骨骼识别模型——双流自适应图卷积网络(2s-AGCN)，该模型通过BP算法统一学习图的拓扑结构，能够同时考虑骨骼的一阶和二阶信息，显著提升了识别精度。

提出问题：目前的GCN方法，图的拓扑结构都是手动设置的，固定在所有层和输入样本。此外，现有方法很少研究骨骼数据的二阶信息（骨骼的长度和方向）
本文提出：

  • Dual-stream adaptive graph convolutional network (2s-AGCN)；
  • 模型中的图的拓扑结构可以由BP算法统一学习，也可以由BP算法以端到端的方式单独学习；
  • 对骨骼一阶和二阶信息建模，提高了识别精度。
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition--论文笔记
mei1318874404的博客
03-19 3491
论文题目《基于双流结构的自适应图卷积网络的骨骼姿态识别》引言 1.引言 作者提出了双流自适应图卷积（2s-AGCN），在两个2个数据集上进行了大量的实验，都实现了最先进的性能。 贡献 1.提出了自适应的图卷积网络结构针对不同的图卷积层和端到端的骨骼样本能够更好的学习其拓扑结构，也能够更好的适用于识别任务和其层次结构。 2.二阶信息通过双流结构和一阶信息联合起来，对提高性能起到了很好地作用 3.在两...
【论文学习】2s-AGCN：Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
LoveKKarlie_的博客
03-04 3414
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition；CVPR2019；基于骨架的动作识别的两流自适应图卷积网络。2s-AGCN
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition的阅读笔记
k_james_tger的博客
01-28 603
主要工作：提出使用双流方法的**2S-AGCN **模型，改进了ST-GCN 主要内容 文章首先提出ST-GCN的几个问题 在动作识别中，骨头的方向和长度是很有用的特征，但ST-GCN的模型没有应用这方面的信息。 ST-GCN更多是应用预先设定好的、自然状态下的人的骨架结构，对于某些特定场景下的识别并不适用。 GCN网络不同的层应该是包含着不同级别的信息的，但ST-GCN的每一层的图的拓扑结构是固定的，缺乏灵活性。 对于这三个问题，作者提出2S-AGCN的模型 为了提取骨骼的信息，将靠近重心的节点作为
【阅读文献笔记】Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
qq_46460379的博客
11-08 891
但是，原始的注意力矩阵 Mk 与 Ak 点乘，这意味着如果 Ak 中的某个元素为 0，它将始终为 0，而与 Mk 的值无关。然而，在现有的基于 GCN 的方法中，图的拓扑结构是手动设置的，并且在所有层和输入样本中都是固定的。例如，给定一个骨骼，其源关节为 v1 = (x1, y1, z1)，目标关节为 v2 = (x2, y2, z2)，则该骨骼的向量计算为 ev1,v2 = (x2 − x1, y2 − y1, z2 − z1)。第三部分 (Ck) 是一个数据相关的图，它为每个样本学习一个唯一的图。
【2s-AGCN】Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition论文笔记
weixin_43887183的博客
12-31 3953
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition摘要1 Introduction2 相关工作2.1 基于骨骼的动作识别2.2 图卷积神经网络3 图卷积网络3.1 图的构造3.2 图卷积3.3 实现4 双流自适应图卷积网络4.1 自适应图卷积层4.2 自适应图卷积块4.3 自适应图卷积网络4.4 双流网络5 实验5.1 数据集5.2 训练细节5.3 消融研究5.3.15.3.2 对所学习
【论文阅读笔记】（2s-AGCN）Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognit
qq_36627158的博客
03-22 2978
写在前面 很久之前就出了这篇文章的代码讲解博客：解读 2s-AGCN 代码_小吴同学真棒的博客-优快云博客_2s-agcn代码 意外发现还挺多人阅读和收藏的，那我借着今天再复习这篇论文的时候再补充一下论文的方法笔记吧。 Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition （2019 CVPR） Lei Shi, Yifan Zhang, Jian Cheng, H..
翻译：Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
zahidzqj的博客
07-14 6698
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition 双流自适应图卷积网络用于基于骨架的动作识别 论文地址：https://arxiv.org/abs/1805.07694 源码：https://github.com/lshiwjx/2s-AGCN 作者：Lei Shi，...
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action基于双流结构的自适应图卷积网络的骨骼姿态识别
weixin_46945052的博客
02-28 1430
（空间维度的图卷积公式）在空间维度上，对每一个顶点vi，计算它在下一层的向量值的方式为：所有跟vi相邻为1的点vj一起组成一个采样面积Bi，w是权重向量。输入为Cin*T*N，用两个可训练的卷积核θ、φ（都是1*1）转化为两个Ce*T*N，reshape成N*CeT和CeT*N，得到N*N的相似矩阵Ck，用softmax标准化为0~1之间。自适应图卷积网络（AGCN）由9个上面的自适应图卷积块组成（输出通道数：64，64，64，128，128，128，256，256，256）空间和时间的图卷积是分开的。
《Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition》论文阅读之2s-AGCN
Gavinmiaoc的博客
06-17 6109
paper：2s-AGCN code :2s-AGCN 摘要 在基于骨架的动作识别中，将人体骨架建模为时空图的图形卷积网络（GCN）取得了显著的效果。然而，在现有的基于GCN的方法中，图的拓扑结构是手动设置的，并且它固定在所有层和输入样本上。对于行动识别任务中的分层GCN和不同的样本，这可能不是最佳选择。此外，在现有的方法中，很少研究骨骼数据的二阶信息（骨骼的长度和方向），这对于动作识...
【点云处理之论文狂读经典版13】—— Adaptive Graph Convolutional Neural Networks
yuanmiyu6522的博客
06-14 1632
本文所参考的方法将 one-hop local kernel 扩展到了 KKK-hop 连接的情况上。根据graph Fourier transform，如果UUU是LLL的graph Fourier basis集合，那么： xk+1=σ(gθ(LK)xk)=σ(Ugθ(ΛK)UTxk). x_{k+1}=\sigma\left(g_{\theta}\left(L^{K}\right) x_{k}\right)=\sigma\left(U g_{\theta}\left(\Lambda^{K}\right)
GCN代码超详解析Two-stream adaptive graph convolutional network for Skeleton-Based Action Recognition（一）
Beryl的博客
04-19 3172
代码地址：https://github.com/lshiwjx/2s-AGCN 这个图用于说明人体关键节点的定义及其连接方式 这个文件是根据NTURGB-D中关键点的定义计算骨骼长度 所以最终得到的数据结构 N=sample数量，C=（channel，3固定），T=帧，V=（关节数，固定25），M=（最大人数，固定2） 上述文件合并了关节和骨骼信息 下面对2s-AGCN/data_gen/pre...
论文阅读笔记 Convolutional Networks with Adaptive Computation Graphs
weixin_38168907的博客
10-21 1475
一、内容介绍 深度卷积网络可以用来解决很多计算机视觉问题，其中对于图像分类问题网络深度对于分类性能很重要，ResNet网络通过添加恒等映射解决梯度消失的问题以允许训练更深的网络，但是这些网络模型架构对于任何输入图像都是固定的，然而有研究表明ResNet的每一层都可以被移除而性能几乎不受影响，也就是几乎没有一个单独的层对性能至关重要，所以在各个层之间存在高度的冗余。所以一个固定的网络架构可能是不需要...
GCN代码超详解析Two-stream adaptive graph convolutional network for Skeleton-Based Action Recognition（三）
Beryl的博客
04-21 2523
代码地址https://github.com/lshiwjx/2s-AGCN 本篇解析对应 2s-AGCN/graph/ntu_rgb_d.py ，用于创建NTURGB-D对应的图结构，以及2s-AGCN/main.py import sys sys.path.extend(['../']) from graph import tools num_node = 25#图中节点总个数 self_...
[paper]Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
vinciblack的博客
03-06 5908
一.基本思想 提出了一种新的 ST-GCN，即时空图卷积网络模型，用于解决基于人体骨架关键点的人类动作识别问题。动作是基于时间关系以及不同部位关键点之间的联系的。考虑到以上因素提出Spatial Temporal的卷积网络。 1.空间上：将骨架之间的关键点作为空间关系的输入（存在着不同点之间邻域大小不定的困难，考虑到用基于Graph的CNN网络模型）； 2.时间上：使用视频数据，利用图片之间...
人体动作识别论文（骨骼信息，GCN）
chenitu的博客
06-13 1147
1、论文题目：Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition 时间：2019 2、论文题目：Predictively Encoded Graph Convolutional Network for Noise-Robust Skeleton-based Action Recognition 时间：2020 创新点： 在NTU数据集的基础上增加带有骨骼噪声
GCN代码超详解析Two-stream adaptive graph convolutional network for Skeleton-Based Action Recognition（二）
Beryl的博客
04-20 4295
代码地址：https://github.com/lshiwjx/2s-AGCN 本篇解析代码为[2s-AGCN/model/aagcn.py] import math import numpy as np import torch import torch.nn as nn from torch.autograd import Variable def import_class(name):...
图卷积网络（Graph Convolutional Network）
热门推荐
lijunweiyhn的博客
02-25 2万+
转载+整理：https://blog.youkuaiyun.com/qq_41727666/article/details/84622965 序 — 图简介，图卷积网络的出现。 图（graph）是一种数据格式，它可以用于表示社交网络、通信网络、蛋白分子网络等，图中的节点表示网络中的个体，连边表示个体之间的连接关系。许多机器学习任务例如社团发现、链路预测等都需要用到图结构数据，因此图卷积神经网络的出现为这些...
2s-AGCN复现
duoduohair的博客
04-07 2231
论文没有特别仔细看，大致看了整体。主要是采取了双特征points和bone进行训练。加了自适应。 关注cs结果：作者的原结果在RGB+D是： 我在训练joints得到的是85.69 数据处理直接根据给定代码 仅更改yaml文件的显卡id，使用两张3090显卡 ...
探秘2s-AGCN：一个高效的动作识别框架
gitblog_00096的博客
04-15 682
探秘2s-AGCN：一个高效的动作识别框架 项目简介 在人工智能领域，特别是计算机视觉中，动作识别是一个关键的研究方向。 是这样一个项目，它由开发者lshiwjx贡献，旨在提供一种更快、更准确的动作识别模型。此项目基于Two-stream Attention-based Graph Convolutional Network (2s-AGCN)，可以在实时视频流中高效地识别人体运动模式。 技术分析...
Skeleton-based Action Recognition via Adaptive Cross-Form Learning
最新发布
12-27
### Skeleton-Based Action Recognition Using Adaptive Cross-Form Learning In the realm of skeleton-based action recognition, adaptive cross-form learning represents a sophisticated approach that integrates multiple modalities to enhance performance. This method leverages both spatial and temporal information from skeletal data while adapting dynamically across different forms or representations. The core concept involves constructing an end-to-end trainable framework where features extracted from joint coordinates are transformed into various intermediate representations such as graphs or sequences[^1]. These diverse forms capture distinct aspects of human motion patterns effectively: - **Graph Representation**: Models interactions between joints by treating them as nodes connected via edges representing bones. - **Sequence Modeling**: Treats each frame's pose estimation results as elements within time-series data suitable for recurrent neural networks (RNN). Adaptive mechanisms allow seamless switching among these forms based on their suitability at different stages during training/inference processes. Specifically designed modules learn when and how much weight should be assigned to specific transformations ensuring optimal utilization of available cues without overfitting any single modality. For implementation purposes, one might consider employing Graph Convolutional Networks (GCNs) alongside Long Short-Term Memory units (LSTMs). GCNs excel in capturing structural dependencies present within graph structures derived from skeletons; meanwhile LSTMs handle sequential modeling tasks efficiently handling long-range dependencies found along video frames' timelines. ```python import torch.nn as nn class AdaptiveCrossFormModule(nn.Module): def __init__(self): super(AdaptiveCrossFormModule, self).__init__() # Define components responsible for processing individual form types here def forward(self, input_data): # Implement logic determining which transformation path(s) will process 'input_data' pass def train_model(model, dataset_loader): criterion = nn.CrossEntropyLoss() optimizer = ... # Initialize appropriate optimization algorithm for epoch in range(num_epochs): running_loss = 0.0 for inputs, labels in dataset_loader: outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() running_loss += loss.item() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值