【阅读文献笔记】STAR-Transformer: A Spatio-temporal Cross Attention Transformer forHuman Action Recognition

原创

于 2024-11-12 16:37:31 发布 · 582 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#笔记 #transformer #深度学习

主要工作

在动作识别中，虽然时空视频和骨架特征的结合可以提高识别性能，但需要一个单独的模型和平衡的跨模态数据的特征表示。

跨模态学习：提出了一种将时空视频的跨模态数据和骨架聚合成多类令牌的方法，以解决组合跨模态动作数据的问题。

STAR-Transformer：提出了一个Spatio-TemporAl cRoss (STAR)-Transformer的注意机制，它可以有效地表示两个交叉模态特征作为一个可识别的向量。

动作识别模型的总体架构

跨模态学习

首先提出了一种跨模态学习方法，可以结合视频帧和骨架特征。16个视频帧和相应的骨架序列作为输入，每个帧都被馈送到ResNet MC 18，并从中间层和最后一层提取两个特征图。由于中间层的特征图包含比最后一层更详细的局部特征，因此它与联合热图组合用于联合地

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

梨V_v

关注关注

6
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Raki的读paper小记：Star-Transformer

Raki_J的博客

12-27

1076

Reference：arXiv:1902.09113v2 [cs.CL] 28 Feb 2019 摘要为了减少transformer的模型复杂度，提出了一种名为star-transformer的模型，可以在大幅减少参数的同时效果跟transformer相接近在四个任务（22个数据集）上的实验表明，对于中等大小的数据集，star-transformer比标准transformer有显著的改进模型 Radical Connections 每个star-transformer网络有n个外围节点和一个根节点

Transformer变体（Star-Transformer，Transformer-XL）

nakaizura

05-02

3325

Star-Transformer 来自NAACL 2019的论文。问题： Transformer的自注意力机制每次都要计算所有词之间的注意力，其计算复杂度为输入长度的平方，结构很重在语言序列中相邻的词往往本身就会有较强的相关性，似乎本来就不需要计算所有词之间解决： Star-Transformer用星型拓扑结构代替了全连通结构如上图左边是Transformer，而右边是Star-Tra...

参与评论您还未登录，请先登录后发表或查看评论

ECCV 2020 | STAR:基于Transformer的行人轨迹预测模型（二）

周周周周周大帅的博客

06-08

4152

在（一）中简单的对全文进行了翻译，实际上很多句子并不能靠翻译来理解，所以只能将自己的想法融入在译文里面。今天我们记录一下代码与论文。以前我认为将代码逐行解析就是“懂了”，实际上能用自然语言将代码要做的事情讲出来，这才是真的明白论文与代码在表达什么。所以接下来我不会涉及到具体代码，我将以自然语言的方式叙述STAR算法在做一件怎样的事情，希望看博客的朋友从算法的角度思考问题。1. 数据是怎样被处理的？STAR模型架构以ETH、UCY两个数据集作为输入，其中ETH数据集包含两个子集，UCY数据集包含三个子集。我们

star- Transformer

真的是个瘦子

05-04

3459

摘要虽然transformer在很多NLP任务上都取得了很大的成功，但是它的结构很重，注意力连接是完全连接的，这导致了它对大量训练数据的依赖。为了降低模型的复杂性，我们用星型拓扑结构代替了全连通结构。其中每两个相邻节点通过一个共享中继节点进行连接。因此，复杂性从二次降低到线性，同时保留捕获局部成分和长期依赖关系的能力。介绍 star-transformer核心思想是通过将完全连接的拓扑结构移动...

【Transformer改进】解决Transformer复杂度较大问题的变体模型Star Transformer

这个博客太懒了什么都没说

01-12

751

【文献分享】解决Transformer复杂度较大问题的变体模型Star Transformer

论文翻译：A Spatio-temporal Transformer for 3D Human Motion Prediction 用于3D人体运动预测的时空Transformer

qq_41021141的博客

07-20

605

2020.4 arxiv 原文链接：[2004.08692] A Spatio-temporal Transformer for 3D Human Motion Prediction (arxiv.org)摘要我们提出了一个用于3D人体运动生成式建模任务的新颖的Transfomer结构。之前的工作主要依赖RNN模型，它考虑更短的预测视野，很快地达到一个静止且不太合理的状态。最近地研究表明在频率域隐式的时间表征对于在一个预先定义的视野里做预测也是有效的。我们的关注点在于自回归地学习时空表征，因而在长期和短期上

[骨架动作识别]STA-LSTM: Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data

liudiudiu

07-17

7094

An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data 这是来自微软亚洲研究院的一篇文章，兰翠玲老师组的，他们在骨架动作识别方面出过不少佳作，微软毕竟是kinect亲妈。只是代码不开源，略坑。网络结构网络（Main LSTM Network）用于对特征进行提取...

2023(TranSkeleton):TranSkeleton: Hierarchical Spatial-Temporal Transformer for Skeleton-Based Action

weixin_45662626的博客

01-05

1116

存在问题：时间卷积很难有效地捕获远程依赖。同时，常用的多分支图卷积具有较高的复杂度。本文提出了 TranSkeleton，它统一了骨架序列的空间和时间建模。对于时间建模，本文提出了一种新颖的分区聚合时间 Transformer。它适用于分层时间的分区和聚合，可以有效地捕获远程依赖和微妙的时间结构。设计了一种差分感知聚合方法来减少时间聚合过程中的信息丢失。对于空间建模，本文提出了一种拓扑感知空间转换器，它利用人体拓扑的先验信息来促进空间相关性建模。

【论文学习】ST-GCN：Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition

LoveKKarlie_的博客

03-02

2116

Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition；AAAI2018；基于skeleton动作识别的时空图卷积网络；提出了一种基于图的神经网络动态骨架建模方法时空图卷积网络ST-GCN；针对骨架建模的具体要求，提出了ST-GCN中卷积核的设计原则。

Transformer-Based Spatio-Temporal Network for Human Action Recognition

最新发布

12-31

### 基于Transformer的空间时间网络在人体动作识别中的...此代码片段展示了如何定义一个简单的Spatio-Temporal Transformer模型来进行分类任务。实际应用时还需要考虑更多细节优化以及针对具体场景调整参数配置等问题。

运动建模A Spatio-temporal Transformer for 3D Human Motion Prediction

02-23

A Spatio-temporal Transformer for 3D Human Motion Prediction

pytorch unsqueeze_Transformer后生仔：Star-Transformer 剖析和pytorch实现

weixin_39753616的博客

11-25

282

Transformer后生仔：Star-Transformer 剖析和pytorch实现Transformer作为目前"地表最强"特征抽取器，风头正盛，不乏有人对其进行改进,最出名的便是XLNET使用到的Transformer-XL。 vanilla Transformer的时间复杂度为，N为序列长度，可见处理长序列耗时会急速增加。Transformer-XL将长序列分割成K个segment，...

Transformer的七十二变

Paper weekly

03-31

1118

论文阅读笔记：Spatiotemporal Adaptive Gated Graph Convolution Network for Urban Traffic Flow Forecasting

myblog

01-16

2071

标题论文标题：Spatiotemporal Adaptive Gated Graph Convolution Network for Urban Traffic Flow Forecasting 摘要城市交通流预测是智能交通系统中的一个关键问题。由于动态城市交通条件所带来的复杂的时空依赖性和本质的不确定性，这是一个相当具有挑战性的问题。在现有的大多数方法中，基于局部空间邻近性，利用图神经网络（GNNs）在一个固定的图中获取空间相关性。然而，城市道路条件复杂多变，因此道路之间的相互作用也应该是动态的。此外，

ECCV 2020 | STAR:基于Transformer的行人轨迹预测模型（一）

周周周周周大帅的博客

05-25

8365

这是一篇ECCV 2020 行人轨迹预测的文章，在这里对论文进行浅浅的翻译。当然，由于水平的局限，有些地方只能意译。论文链接：Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction Abstract 理解人群动态运动对真实世界的一些应用，例如监控系统、自动驾驶来说是非常重要的。这是具有挑战性的，因为它（理解人群动态运动）需要对具有社会意识的人群的空间交互和复杂的时间依赖性进行建模。我们认为，注.

基于Spatial-Temporal Transformer的城市交通流预测

zuiyishihefang的博客

07-13

5498

文章信息本周阅读的论文是题目为《Spatial-Temporal Transformer Networks for Traffic Flow Forecasting》的一篇2021年发布在arXiv网站上的使用时空Transformer网络（STTNs）预测交通流的文章。摘要交通预测已成为智能交通系统的核心组成部分。然而，由于交通流的高度非线性特征和动态的时空依赖性，及时...

2023 CIKM 时空数据论文总结

suzukiwudi的博客

09-09

639

2023 CIKM 将在2023 年 10 月 21 日星期六 - 25 日星期三于英国伯明翰举办。本次会议共提交了1472篇文章，录用率约为24%本文主要统计了2023 CIKM中时空数据相关的文章做一个简单的汇总，方便大家学习。如有疏漏，欢迎大家补充。参考文章：知乎@叶底藏花。

论文阅读-PoseFormer：《3D HumanPose Estimation with Spatial and Temporal Transformers》

zyd_994264926326的博客

05-11

2531

这篇论文提出了PoseFormer，一个基于纯变换器架构的3D人体姿态估计模型，它通过空间变换器模块捕捉视频中每帧内2D关节的局部关系，以及时间变换器模块处理帧间的全局时间依赖性。在Human3.6M和MPI-INF-3DHP两个标准数据集上的实验结果表明，PoseFormer在多个评估指标上达到了最先进的性能，并且通过消融研究验证了模型各组件的有效性。此外，PoseFormer在小规模数据集上的泛化能力测试显示，使用大规模数据集进行预训练后微调可以显著提升模型性能。该模型不仅准确度高，而且推理速度快，适合

ICLR 2024时空数据（Spatial-Temporal）论文汇总

suzukiwudi的博客

01-30

3461

ICLR（International Conference on Learning Representations）在5月7日-11日在奥地利维也纳举行。今年，ICLR共收到7262篇投稿，总体录用率在31%。本文总结了ICLR 24有关时空数据的相关论文，如有疏漏，欢迎大家补充。其中包含时空预测，气象预测，因果推断，时空图神经网络，地理大模型等的应用。供大家学习，欢迎大家补充。