浅谈对Pose-conditioned Spatio-Temporal Attention for Human Action Recognition论文感悟

最新推荐文章于 2025-04-22 17:30:54 发布
原创 最新推荐文章于 2025-04-22 17:30:54 发布 · 324 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

 

 

 

论文翻译：Pose-conditioned Spatio-Temporal Attention for Human Action Recognition
com_fang_bean的博客
08-02 557
我们解决了从多模态视频数据的动作识别涉及到铰接姿势和RGB帧，并提出了一种两流的方法。以保存子序列数据的三维张量作为输入，卷积模型对位姿流进行处理。特定的联合排序遵循人体的拓扑结构，确保不同的卷积层对应于有意义的抽象级别。 原始RGB流由一个时空软注意机制处理，该机制以姿态网络的特征为条件。一个LSTM网络在每个瞬间接收来自一组图像位置的输入。一个可训练的瞥见传感器从一组预定义的位置上提取特征，这些位置由位姿流指定，即参与活动的两个人的4只手。外观特征提供手部运动和每只手所持物体的重要线索。我们发现，根据
[骨架动作识别]STA-LSTM: Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data
liudiudiu
07-17 7201
An End-to-End Spatio-Temporal Attention Model for Human Action Recognition from Skeleton Data 这是来自微软亚洲研究院的一篇文章，兰翠玲老师组的，他们在骨架动作识别方面出过不少佳作，微软毕竟是kinect亲妈。只是代码不开源，略坑。 网络结构 网络（Main LSTM Network）用于对特征进行提取...
STAN: Spatio-Temporal Attention Network for Next Location Recommendation
靖待的优快云博客
02-25 1692
STAN：基于时空注意力网络的下一个兴趣点推荐
spatial/temporal attention
zjxuan_longyue的博客
06-25 844
在看的论文是基于spatial-temporal attention的，查阅资料，发现几篇写的比较好和全面的博文。
论文阅读笔记：STAN: Spatio-Temporal Attention Network for Next Location Recommendation
qq_40206371的博客
11-13 4203
1 摘要 基于地点的移动端服务商，譬如Yelp、Uber，要从大量的用户签到和轨迹信息中学习用户的行程习惯，对用户下一个访问地点进行预测，并以此为用户的下一步行程需求进行规划和推荐。然而，现有模型对时空信息的利用存在局限性，譬如只利用前后一步的时间和空间差[1,2]，人为划分空间区域[3]或者只聚合距离较近的地点[4]，并对访问地点的频率不加考虑。本文旨在提出一种基于注意力机制的神经网络架构，考虑用户访问轨迹中每个访问点相较于整个过往访问轨迹的时空关系，以此对不相邻非连续但功能相近的访问点进...
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5865
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
【ECCV2020】接收论文列表part1
TomRen
07-18 7347
ECCV2020 接收论文完整列表 看论文学CV
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【ECCV2020】完整论文集part2
TomRen
07-18 8013
ECCV2020 接收论文完整列表 看论文学CV
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
02-11
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition
qq_52902529的博客
12-06 1259
视频的动作识别取得了重大进展 ，这在很大程度上得益于三维卷积神经网络（3D - CNN）及其分解版本的发展，包括 I3D、Slowfast、P3D、TSM。随着基于 Transformer 的方法在图像分类、分割和检测等基于图像的任务中取得成功 ，研究人员一直试图将 Transformer 在图像任务上的成功复制到视频任务中。具体来说，视频被标记化为三维图像块，然后利用多头自注意力（SA）和前馈网络（FFN）进行时空特征学习。
论文解读：STAN: Spatio-Temporal Attention Network for Next Location Recommendation
renqinggo的博客
04-22 835
通过自注意力层显式建模轨迹中所有签到点的相对时空信息，实现非相邻位置和非连续访问的点对点交互。地图显示了访问位置的空间分布，这些位置以 0 到 6 的数字命名。这里，我们将查询和关键字乘积的 softmax 值作为相关矩阵，并传入自注意力聚合层，用于更新签到的表征。通过掩码矩阵保留有效轨迹长度，计算查询-键-值注意力并融入时空矩阵（式6-7），更新签到点表示 ( S(u) )。将候选位置与更新后的轨迹表示匹配，计算概率分布 ( A(u) )（式8-9），保留PIF信息。
论文及源码阅读：STAN_ Spatio-Temporal Attention Network for Next Location Recommendation
qq_43472612的博客
10-25 911
论文及源码阅读：STAN: Spatio-Temporal Attention Network for Next Location Recommendation
[论文精读]Spatio-temporal directed acyclic graph learning with attention mechanisms on brain functional
Sherlily的博客
11-08 429
计算机-人工智能-脑科学与类脑智能
【2019 ITIP】Spatial-Temporal Attention-Aware Learning for Video-Based Person Re-Identification
weixin_40607428的博客
04-17 2124
文章目录1 介绍2 方法2.1 整体结构2.2 全局特征提取网络2.3 局部特征提取 1 介绍 本文提出了一种时空注意力模型，来解决基于视频的行人重识别问题中一段视频个别帧遮挡情况严重从而干扰整段序列的行人表达的问题。整个模型主要包含三个部分： global representation branch： CNN网络提取行人的全局特征 local representation branch: 根据...
论文翻译：A Spatio-temporal Transformer for 3D Human Motion Prediction 用于3D人体运动预测的时空Transformer
qq_41021141的博客
07-20 690
2020.4 arxiv 原文链接：[2004.08692] A Spatio-temporal Transformer for 3D Human Motion Prediction (arxiv.org)摘要我们提出了一个用于3D人体运动生成式建模任务的新颖的Transfomer结构。之前的工作主要依赖RNN模型，它考虑更短的预测视野，很快地达到一个静止且不太合理的状态。最近地研究表明在频率域隐式的时间表征对于在一个预先定义的视野里做预测也是有效的。我们的关注点在于自回归地学习时空表征，因而在长期和短期上
论文笔记5 --（ReID）Diversity Regularized Spatiotemporal Attention for Video-based Person Re-id
对角巷
12-20 2775
https://arxiv.org/pdf/1803.09882.pdf Abstract
Learning Spatio-Temporal Transformer for Visual Tracking（STARK）学习笔记
qq_43437453的博客
05-31 660
论文地址：https://arxiv.org/pdf/2103.17154。
pose-conditioned cropping strategy
最新发布
06-18
### 姿态条件裁剪策略的技术实现与研究 姿态条件裁剪策略（Pose-Conditioned Cropping Strategy）在计算机视觉和图像处理领域中被广泛应用于人体姿态估计、动作识别以及目标检测等任务。这种策略的核心思想是利用姿态信息（如关键点坐标或骨骼结构）对图像进行智能裁剪，从而减少背景干扰并提高模型对目标区域的关注度。 在实际应用中，姿态条件裁剪策略通常结合深度学习框架实现。以下是一个典型的实现流程： 1. **姿态估计**：首先使用姿态估计模型（如OpenPose[^2]或HRNet[^3]）提取图像中的人体关键点。这些关键点可以表示为二维坐标集合。 ```python import cv2 import numpy as np # 使用预训练的HRNet模型进行姿态估计 def estimate_pose(image): # 假设pose_model是一个加载好的HRNet模型 keypoints = pose_model.predict(image) return keypoints ``` 2. **裁剪区域计算**：根据提取的关键点坐标，计算一个包围框（Bounding Box），该包围框覆盖所有关键点并保留一定的上下文信息。可以通过计算关键点坐标的最小外接矩形来实现。 ```python def calculate_crop_box(keypoints, margin=0.2): x_coords = [point[0] for point in keypoints if point[0] > 0] y_coords = [point[1] for point in keypoints if point[1] > 0] min_x, max_x = min(x_coords), max(x_coords) min_y, max_y = min(y_coords), max(y_coords) width = max_x - min_x height = max_y - min_y # 添加额外的边界以保留上下文信息 expanded_min_x = max(0, min_x - margin * width) expanded_max_x = min(image.shape[1], max_x + margin * width) expanded_min_y = max(0, min_y - margin * height) expanded_max_y = min(image.shape[0], max_y + margin * height) return (expanded_min_x, expanded_min_y, expanded_max_x, expanded_max_y) ``` 3. **图像裁剪**：利用计算出的包围框对原始图像进行裁剪，生成专注于人体的姿态裁剪图像。 ```python def crop_image(image, crop_box): min_x, min_y, max_x, max_y = crop_box cropped_image = image[int(min_y):int(max_y), int(min_x):int(max_x)] return cropped_image ``` 通过上述方法，可以有效减少背景噪声对后续任务的影响，同时保留足够的上下文信息以支持复杂场景下的分析。此外，姿态条件裁剪策略还可以与其他技术结合，例如数据增强[^4]或注意力机制[^5]，以进一步提升模型性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值