动作预测之On human motion prediction using recurrent neural networks

最新推荐文章于 2024-04-26 09:53:20 发布
最新推荐文章于 2024-04-26 09:53:20 发布
阅读量1.4k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文精解 文章标签： 循环神经网络 人体运动预测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cike0cop/article/details/79319251
本文探讨了人体运动建模及预测技术，特别是在虚拟现实与增强现实应用中的关键作用。文章重点介绍了使用深度循环神经网络进行人体动作预测的研究进展，并针对现有模型存在的问题提出了相应的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

人体运动建模是图形和计算机视觉交叉的经典问题。在虚拟现实与增强现实的应用中，包含人机交互，运动合成和运动预测。随着深度学习理论在一些计算机视觉任务成功，当前的工作集中于使用深度循环神经网络来进行人体运动建模，目的在于学习时间相关性的任务，例如短时动作预测和长时的动作合成。我们阅读最近的相关工作，重点关注文献中普遍采用的评估方法，发现最优秀的效果是通过一条基线达到而不是试图进行运动建模。我们研究这一成果，同时通过最好的研究成果的网络结构，损失函数和训练过程，分析循环神经网络的方法。我们提出标准循环神经网络模型应用于动作预测的三点改进，用一个简单的以及可伸缩的循环神经网络结构在人体动作预测中取得最好的效果。

Method

1、Proplems

（1）首帧非连续性

（2）超参数调整

（3）模型的深度和复杂性

（4）具体行动网络

2、Solutions

（1）序列对序列结构

（2）基于采样损失

（3）残差结构

（4）多运动模式

百度学术：点击打开链接

CVPR 2017 On human motion prediction using recurrent neural networks 论文解读
UniSerj的博客
07-25 3077
论文: On human motion prediction using recurrent neural networks 论文地址: https://arxiv.org/abs/1705.02445 通过对mocap数据的学习，基于recurrent neural network提出新的模型， 实现对于人物运动的后几帧预测，相比于LSTM-3LR（3 layers of LSTM），ERD...
CVPR2018 human action/motion prediction (人体姿势预测)
热门推荐
姚太平的博客
01-06 1万+
‘’‘很久之前就想写这篇文章，自己的工作已投CVPR2018，想总结一下。更新：CVPR2018已被接收，有时间会在下一篇博客里介绍。’‘’比较早的方法有很多，HMM，CRBM， 高斯过程等。本文主要总结一下最近顶会文章采取的方法。Forecasting Human Dynamics from Static Images （CVPR2017）这篇文章主要是在 Hourglass network上加...
Human motion prediction research 人体运动预测研究
zhh_hhz的博客
10-08 1368
Temporal Attention + MHU 论文：【2018IJCAI】Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic 创新点1：MHU 创新点2：gram matrix loss 网络总体分为两部分：skeleton embedding layer 将骨骼轴角数据映射到嵌入空间，recurrent prediction layer产生预测姿势。 预测部分又分为两块，时
以深度学习预测人类运动：Human Motion Prediction项目详解
gitblog_00071的博客
04-26 1279
以深度学习预测人类运动：Human Motion Prediction项目详解 项目地址:https://gitcode.com/gh_mirrors/hu/human-motion-prediction 本文将向您介绍一个令人兴奋的开源项目——。这是一个基于深度学习的人体动作预测框架，旨在利用机器学习的力量预测人体未来运动轨迹。 项目简介 Human Motion Prediction项目致力于...
HP-GAN: Probabilistic 3D human motion prediction via GAN 论文解读
UniSerj的博客
08-03 1404
论文: HP-GAN: Probabilistic 3D human motion prediction via GAN 论文地址:https://arxiv.org/pdf/1711.09561.pdf 作者的模型是大多人体运动预测都会用到的sequence-to-sequence model，但是在训练过程中给定相同的输入，通过GAN网络学习多种可能的未来姿势，即通过深度神经网络做概率性运...
Deep learning_CNN_Review：A Survey of the Recent Architectures of Deep Convolutional Neural Networks—...
Alliswell_WP
11-08 2613
CNN综述文章的翻译 [2019 CVPR] A Survey of the Recent Architectures of Deep Convolutional Neural Networks 翻译 综述深度卷积神经网络架构：从基本组件到结构创新 目录 摘要 1、引言 2、CNN基本组件 2.1 卷积层 2.2 池化层 2...
python 轨迹预测_轨迹预测(Trajectory Prediction)相关资源列表
weixin_39908758的博客
12-09 1913
Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction, 2020 CVPR, Paper, CodeThe Garden of Forking Paths: Towards Multi-Future Trajectory Predictio...
NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)
hestendelin的专栏
05-11 951
[1]Complex Gated Recurrent Neural NetworksMoritz Wolter,Angela YaoUniversity of Bonn,Natio...
siMLPe：Human Motion Prediction
Airs-Gao的博客
08-10 916
本文解决了人体运动预测的问题，包括从历史上观察到的序列预测未来的身体姿势。然而，最先进的方法提供了良好的结果，它们依赖于任意复杂性的深度学习架构，例如RNN，Transformers或GCN，通常需要多个训练阶段和超过200万个参数。在本文中，我们表明，结合一系列标准实践，如应用离散余弦变换(DCT)，预测关节的残余位移和优化速度作为辅助损失，基于多层感知器(mlp)的轻量级网络只有14万个参数可以超越最先进的性能。对Human3.6MAMASS和3DPW数据集进行了验证，显示了我们的方法（
History Repeats Itself: Human Motion Prediction via Motion Attention
weixin_46945052的博客
02-29 639
表示历史子序列加其对应的未来序列的DCT编码（因为后面预测器采用的是GCN作用域DCT编码的方式，为了Attention的输出和GCN的输入一致，value用DCT编码）。：选取最后M帧，即[N-M+1:N]，把最后一帧（[N]）复制T次，组成长度为M+T的序列，将其与Motion Attention的输出结果的DCT表达（长度也是M+T）concat起来变成K*2（M+T）作为GCN的输入。长度为N帧的子序列[1:N]，分成N-M-T+1个长度为M+T的子序列（子序列从头往后滑动）。
数据拟合方法实现飞行物体运动轨迹预测
08-14
运动物体的轨迹预测，分别使用卡尔曼滤波、扩展卡尔曼滤波、无迹卡尔曼滤波以及数据拟合方法实现。本例代码仅含数据拟合部分代码。 本例仅为本人在研究轨迹预测问题时为理解算法原理所写，针对具体问题请自行斟酌算法适用性。 本例代码详解后续会在本人博客中做具体说明，欢迎讨论！
CVPR 2017 Deep representation learning for human motion prediction and classification 论文解读
UniSerj的博客
07-24 1539
论文: Deep representation learning for human motion prediction and classification 论文地址: https://arxiv.org/abs/1702.07486 通过对mocap数据的学习，基于三种不同的 temporal encoder structures， 实现对于人物运动的后几帧预测 Table of Con...
A Spatio-temporal Transformer for 3D Human Motion Prediction
qq_39820716的博客
12-02 1274
A Spatio-temporal Transformer for 3D Human Motion Prediction Author: Emre Aksan、Peng Cao Chinese Title: 《用于3D人体运动预测的时空Transformer》 Classification: Motion Prediction Progress: Finished Publication: ArXiv 2020 Reading Date: October 15, 2021 Intro: 短范围预测已经取得了
IJCAI 2018 Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic
UniSerj的博客
08-01 1512
论文: Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic 论文地址: https://arxiv.org/pdf/1805.02513.pdf 作者针对很多模型长期预测方面的不足，提出了一种新的模型改进人体运动的长期预测。通过motion context总结之前所有...
Recurrent Neural Networks
冲冲冲
04-26 239
1. Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs2. 循环神经网络教程第一部分-RNN简介
CVPR2017部分论文简介
Eternity的博客
05-28 2347
文献 概述 研究内容 数据集 年份 运动物体检测内容 Learning Motion Patterns in Videos 学习视频中的运动模式,建立运动模式网络输入图像光流图输出视频中运动的物体，即使相机是移动的 运动相机检测运动物体 DAVIS 2017 Learning Features by Watching Objects Move 我们在视频中使用无监督的基于模式的分...
【开源】对基于图像背景的字体生成、人体姿势预测、关键点检测、超分辨率等探讨...
我爱计算机视觉
05-21 625
本文推荐本周值得关注的已开源论文，包含文本识别、关键点检测、人体姿势预测、Transformer、图像超分辨率等 10 篇。 01 Font Style that Fi...
基于深度神经网络的动作检测：问题与解决方案
寒冰屋的专栏
03-31 1758
目录 介绍 使用DNN进行动作检测 平衡准确性和性能 准备数据集 配置网络 结论 介绍 动作检测是视频处理中最具挑战性的任务之一。它可用于安全系统和闭路电视（CCTV），情感和手势跟踪，体育赛事分析，行为观察，统计数据收集等。 在我们最近的一个项目中，我们面临的挑战是在高分辨率视频中检测特定的人体动作。在本文中，我们讨论了在准确性和性能之间找到平衡的重要性，我们在数据集准备和网络...
ICCV 2023 | 清华&西电提出HumanMAC：人体动作预测新范式
阿木寺的博客
07-16 1977
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信交流群作者：Evan CHEN |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/643860730我们一篇关于人体动作预测的研究工作被计算机视觉国际顶级会议ICCV 2023录用，代码[1]开源，demo讲解[2]、项目主页[3]、中文文档[4...
human motion prediction
最新发布
12-31
### 人类动作预测方法与模型 #### 基于社交互动的动作预测 当人群密集时，个体的行为受到周围环境和其他行人运动模式的影响。具体来说，在复杂环境中行走的人们能够动态调整其路径以避开障碍物或其他人，这表明单个行人的未来位置不仅取决于当前速度和方向，还涉及更高层次的社会交互规则[^1]。 为了捕捉这些复杂的群体效应并提高预测精度，研究人员开发了多种先进的算法和技术框架： - **基于图结构的数据表示**：利用图形网络（Graph Neural Networks, GNNs），特别是图卷积神经网络（Graph Convolutional Networks, GCNs），可以有效地建模多主体之间的关系及其随时间演变的过程。这类方法允许系统学习到不同实体间潜在的空间关联性和依赖性，从而更好地理解整体场景中的微观行为特征[^4]。 -Attention Layers）来处理连续帧间的长期依赖问题，使得模型能够在更广泛的时空范围内识别规律性的变化趋势。这种方法对于解决诸如突然转向、加速减速等瞬态事件具有显著优势。 - **混合动力学模拟器**：结合物理法则和社会心理学理论构建仿真平台，旨在重现真实世界里可能出现的各种情况。通过反复训练和优化参数配置，最终得到既能反映自然属性又能体现人文特性的综合评估体系。 ```python import torch from torch_geometric.nn import GCNConv class HumanMotionPredictor(torch.nn.Module): def __init__(self, num_features, hidden_channels=64): super(HumanMotionPredictor, self).__init__() self.conv1 = GCNConv(num_features, hidden_channels) self.conv2 = GCNConv(hidden_channels, 2) # Predicting next position (dx, dy) def forward(self, data): x, edge_index = data.x, data.edge_index h = self.conv1(x, edge_index).relu() out = self.conv2(h, edge_index) return out ``` 上述代码展示了如何使用PyTorch Geometric库实现一个简单版本的基于GNN的人类动作预测器。该模型接收节点特征矩阵`data.x`以及边索引列表`edge_index`作为输入，并输出每个节点在未来时刻的位置偏移量(dx,dy)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

coplin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值