[骨架动作识别]STA-LSTM: Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data

最新推荐文章于 2025-07-05 14:31:06 发布
最新推荐文章于 2025-07-05 14:31:06 发布
阅读量7k 收藏 19
点赞数
CC 4.0 BY-SA版权
分类专栏： paper阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013608336/article/details/81075837
本文介绍了微软亚洲研究院的研究成果——STA-LSTM，一种针对骨架数据的人体动作识别的时空注意力模型。网络包含空间和时间注意力子网络，通过优化分类性能自动学习注意力，并使用正则项增强模型训练。实验在SBU NTU-RGBD数据集上取得良好效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data 这是来自微软亚洲研究院的一篇文章，兰翠玲老师组的，他们在骨架动作识别方面出过不少佳作，微软毕竟是kinect亲妈。只是代码不开源，略坑。

网络结构

网络（Main LSTM Network）用于对特征进行提取、时域相关性利用和最终的分类。时域注意力子网络 （Temporal Attention）用于给不同帧分配合适的重要性。空域注意力子网络（Spatial Attention）用于给不同关节点分配合适的重要性。
这里写图片描述
序列中的空域注意力和时域注意力具体为多大是没有参考的(不知道Groundtruth)。网络是以优化最终分类性能来自动习得注意力，以及加上一些正则项。

Spatial Attention with Joint-Selection Gates

就是普通的soft-attention 机制
这里写图片描述
这里写图片描述
这里写图片描述

Temporal Attention with Frame-Selection Gate

与空间注意力不同的是，这里用了relu作为激活函数，没用softmax,而且是直接与lstm输出

最低0.47元/天 解锁文章

200万优质内容无限畅学
论文翻译：Pose-conditioned Spatio-Temporal Attention for Human Action Recognition
com_fang_bean的博客
08-02 516
我们解决了从多模态视频数据的动作识别涉及到铰接姿势和RGB帧，并提出了一种两流的方法。以保存子序列数据的三维张量作为输入，卷积模型对位姿流进行处理。特定的联合排序遵循人体的拓扑结构，确保不同的卷积层对应于有意义的抽象级别。 原始RGB流由一个时空软注意机制处理，该机制以姿态网络的特征为条件。一个LSTM网络在每个瞬间接收来自一组图像位置的输入。一个可训练的瞥见传感器从一组预定义的位置上提取特征，这些位置由位姿流指定，即参与活动的两个人的4只手。外观特征提供手部运动和每只手所持物体的重要线索。我们发现，根据
人体识别_基于人体骨架的行为识别【附PPT与视频资料】
weixin_42591908的博客
01-13 1664
关注文章公众号回复"司晨阳"获取PPT资料视频资料可点击下方阅读原文在线观看导读基于人体骨架的行为识别是一个重要而且具有挑战性的计算机视觉任务。人体图像视频不仅包含了复杂的背景，还有光照变化、人体外貌变化等不确定因素，这使得基于图像视频的行为识别具有一定的局限性。相比图像视频，人体骨架视频可以很好地克服这些不确定因素的影响，所以基于人体骨架的行为识别受到越来越多的关注。人体骨架序列不仅包...
利用LSTM进行人类活动识别的实战项目
最新发布
weixin_36149538的博客
07-05 873
长短期记忆网络（LSTM）是为了解决传统递归神经网络（RNN）在处理长序列数据时存在的梯度消失和梯度爆炸问题而特别设计的一种循环神经网络。LSTM通过引入一种复杂的“门”结构来调节信息的流入、留存和流出，能够有效地学习序列中的长期依赖关系。时间序列数据是按时间顺序排列的一系列数据点，通常以固定的时间间隔记录，例如每秒、每天或每月。这类数据在金融、经济、工程和自然科学等众多领域都非常重要，因为它们可以帮助我们理解随时间变化的现象和模式。
spatial/temporal attention
zjxuan_longyue的博客
06-25 702
在看的论文是基于spatial-temporal attention的，查阅资料，发现几篇写的比较好和全面的博文。
论文阅读：An end-to-end spatio-temporal attention model for human action recognition from skeleton data
qq_36627158的博客
04-27 1188
目录 创新点（Main Contributions） Proposed Method Spatial Attention Temperal Attention Joint Training of the Networks Regularized Objective Function 论文名称：An end-to-end spatio-temporal attention model for human action recognition from skeleto（2017 AAA..
Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition
qq_52902529的博客
12-06 1091
视频的动作识别取得了重大进展 ，这在很大程度上得益于三维卷积神经网络（3D - CNN）及其分解版本的发展，包括 I3D、Slowfast、P3D、TSM。随着基于 Transformer 的方法在图像分类、分割和检测等基于图像的任务中取得成功 ，研究人员一直试图将 Transformer 在图像任务上的成功复制到视频任务中。具体来说，视频被标记化为三维图像块，然后利用多头自注意力（SA）和前馈网络（FFN）进行时空特征学习。
MS-G3D：基于骨架的行动识别中的多尺度图卷积统一
"Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition" 是一篇在CVPR 2020发表的论文，由Liu Z, Zhang H, Chen Z等人撰写，旨在改进基于骨架数据的行为识别技术。该研究的核心是...
行为识别：让机器学会“察言观色”第一步
优快云 人工智能
02-15 8791
电影短片《Changing Batteries》讲了这样一个故事：独居的老奶奶收到儿子寄来的一个机器人，这机器人善于察言观色，很快就跟老奶奶“心有灵犀”，不仅能在老奶奶口渴时为她端水、在老奶奶扫地时接过老奶奶的扫把，做力所能及的家务活，如果老奶奶在椅子上看电视睡着了，机器人还为她轻轻盖上踏足。有了它，老奶奶又重新感受到久违的快乐，过上了更轻松的生活[1]……咳咳，催泪的故事讲完了，接下来...
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7066
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
Spatio-Temporal Attention Models for Grounded Video Captioning
人工智能
06-11 1258
Spatio-Temporal Attention Models for Grounded Video Captioning Mihai Zanfir, Elisabeta Marinoiu, Cristian Sminchisescu (Submitted on 17 Oct 2016 (v1), last revised 18 Oct 2016 (this version, v
浅谈对Pose-conditioned Spatio-Temporal Attention for Human Action Recognition论文感悟
com_fang_bean的博客
08-03 301
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
02-11
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
【2019 ITIP】Spatial-Temporal Attention-Aware Learning for Video-Based Person Re-Identification
weixin_40607428的博客
04-17 2079
文章目录1 介绍2 方法2.1 整体结构2.2 全局特征提取网络2.3 局部特征提取 1 介绍 本文提出了一种时空注意力模型，来解决基于视频的行人重识别问题中一段视频个别帧遮挡情况严重从而干扰整段序列的行人表达的问题。整个模型主要包含三个部分： global representation branch： CNN网络提取行人的全局特征 local representation branch: 根据...
综述：基于骨骼（skeleton）的动作识别方法
Airs-Gao的博客
05-24 5483
Deep learning‐based action recognition with 3D skeleton: Asurvey1. 简介1.1 3D Skeleton‐based Action Recognition 1. 简介 1.1 3D Skeleton‐based Action Recognition 用途：基于骨骼的人体动作识别是计算机视觉领域的一个热门研究课题，已广泛应用于视频理解、视频监控、人机交互、机器人视觉、自动驾驶、虚拟现实等领域。 获取方式：近年来，随着三维骨骼数据采集的快速发展，
基于骨架的动作识别AGC-LSTM网络（一）
qq_36852840的博客
10-02 6571
最近自己在一边看机器学习视频的同时一边在看最近关于基于骨骼的动作识别的论文，An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition这篇是CVPR2019的一篇论文，上周把这篇论文看了一遍（差不多就是单纯的翻译了一遍），今天又没事翻看了一下，下面我把我自己在阅读的过程自己...
基于骨骼的动作识别：DD-Net
Airs-Gao的博客
03-19 7977
Make Skeleton-based Action Recognition Model Smaller, Faster and Better论文解读概述1. 简介2. related works3. 方法2.1 基于关节的位置视点不变特征建模集合的距离（Joint Collection Distances (JCD)） 论文链接：https://arxiv.org/pdf/1907.09658.pdf 论文代码（Keras 版本）：https://github.com/fandulu/DD-Net 论文
基于骨骼信息的行为识别论文汇总-skeleton-based action recognition papers， since 2015
bianxuewei1238的博客
12-10 2685
以下论文是我搜集的一些基于骨骼的行为识别的论文，起始年份为2015年，并不是很全面，供需要者查看。 CVPR 2018 Deep Progressive Reinforcement Learning for Skeleton-Based Action Recognition          Yansong Tang, Yi Tian, Jiwen Lu, Peiyang Li, Jie ...
图卷积网络进行骨骼识别代码_基于骨架的动作识别的圣域图卷积网络
weixin_42514432的博客
01-30 278
hallow Graph Convolutional Network for Skeleton-Based Action RecognitionGraph convolutional networks (GCNs) have brought considerable improvement to the skeleton-based action recognition task. Existin...
STAN: Spatio-Temporal Attention Network for Next Location Recommendation
靖待的优快云博客
02-25 1630
STAN：基于时空注意力网络的下一个兴趣点推荐
sta-lstm
05-27
### STA-LSTM 的定义与背景 STA-LSTM 是一种专门设计用于时间序列分析的模型，全称为 Spatio-Temporal Attention Long Short-Term Memory Network（时空注意力长短时记忆网络）。它结合了 LSTM 和注意力机制来捕捉时间和空间上的特征依赖关系。这种架构特别适用于处理具有复杂动态特性和长期依赖的时间序列数据。 在时间序列建模中，LSTM 已经被广泛应用于捕获时间维度上的隐藏状态变化[^2]。然而，在许多实际场景下，仅考虑时间特性可能不足以描述完整的模式。因此，STA-LSTM 引入了额外的空间注意模块，使得模型能够更有效地关注重要的输入变量及其相互作用。 以下是关于如何实现和使用 STA-LSTM 进行时间序列分析的具体说明： --- ### 实现细节 #### 1. **核心组件** STA-LSTM 主要由以下几个部分组成： - **Temporal Encoder**: 使用标准 LSTM 单元提取时间序列中的时间特征。 - **Spatial Attention Mechanism**: 应用自注意力机制计算不同位置之间的关联权重，从而增强对重要信号的关注度。 - **Fusion Layer**: 将来自 Temporal Encoder 和 Spatial Attention Module 的输出融合起来形成最终表示向量。 这些组成部分共同协作以提高预测精度并减少过拟合风险。 ```python import tensorflow as tf from tensorflow.keras.layers import Input, Dense, LSTM, AdditiveAttention, Concatenate from tensorflow.keras.models import Model def build_sta_lstm(input_shape): inputs = Input(shape=input_shape) # Time encoder with LSTM layer lstm_output = LSTM(64, return_sequences=True)(inputs) # Apply spatial attention mechanism over last hidden states from all timesteps query_value_attention_seq = AdditiveAttention()([lstm_output]*2) concat_layer = Concatenate(axis=-1)([query_value_attention_seq,lstm_output]) dense_out = Dense(units=32, activation='relu')(concat_layer[:,-1,:]) output = Dense(1)(dense_out) model = Model(inputs=[inputs], outputs=output) return model ``` 此代码片段展示了一个简单的 STA-LSTM 架构构建过程。其中 `AdditiveAttention` 被用来实施空间层面的关注操作；而常规的 LSTM 则负责管理顺序信息流。 #### 2. **训练流程** 为了优化该神经网络参数集合 {W}, 可采用梯度下降法最小化损失函数 L(y_hat,y)，这里 y 表示真实标签值，y_hat 对应于我们的估计结果。通常情况下会选择均方误差(MSE)作为回归任务的目标衡量指标: \[ \text{MSE}=\frac{\sum_{i}(y_i-\hat{y}_i)^2}{n}\] 另外还可以加入正则项防止过度拟合现象发生. --- ### 使用案例 假设我们现在有一组传感器记录下来的温度读数构成的数据集 D={X,Y}. X=(x_0,...,x_T), Y=y_T+1 。我们可以按照如下方式调用上面定义好的函数完成整个实验设置 : ```python # Example Usage of STA_LSTM for Temperature Prediction Task. model = build_sta_lstm((sequence_length,num_features)) model.compile(optimizer="adam", loss="mse") history=model.fit(train_data_x, train_labels_y , epochs=num_epochs, batch_size=batch_sz, validation_split=val_ratio) ``` 在这里 , 我们指定 Adam optimizer 来更新权值 w 并且 MSE 成为我们评估好坏的标准 . 同样也可以通过调整其他超参比如 epoch 数目或者批量大小进一步提升效果 . --- ### 结论 综上所述 ，STA-LSTM 提供了一种强大的工具去解决那些既存在明显时间演变规律又涉及多个相关联因素影响下的预测难题 。 它巧妙地把传统 RNN 扩展到了更高维数域内同时保留其原有优点即擅长刻画长时间跨度内的因果联系特点 。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值