Two-Stream SR-CNNs for Action Recognition in Videos

最新推荐文章于 2024-09-30 18:16:23 发布
原创 最新推荐文章于 2024-09-30 18:16:23 发布 · 1.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该博客介绍了用于视频动作识别的两流SR-CNNs框架，通过Faster R-CNN提取场景、人和物体的特征，并使用多种融合策略进行得分整合。实验在UCF101和JHMDB数据集上取得高准确率。详细内容包括框架设计、语义通道、实现细节和评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

paper：http://www.bmva.org/bmvc/2016/papers/paper108/index.html
code：https://github.com/yifita/action.sr_cnn
三作主页：http://wanglimin.github.io/

Two-Stream SR-CNNs for Action Recognition in Videos

dataset : UCF101 JHMDB(split 1)
accuracy: 92.6 53.77

framework

输入仍然是双流，但是将RGB和flow都经过了faster-rcnn，得到不同的区域分为了场景、人、物体三类，分别输入网络进行训练。
这里写图片描述

The inputs are first passed through standard convolutional and pooling layers.We replace the last pooling layer with a RoiPooling [2] layer, which separate features for different semantic cues into parallel fully connected layers (called channels) using bounding boxes proposed from a Faster R-CNN [18] object detector (see subsection 3.2).

每个channel都会得到独立的分数，由于有多个物体，作者采用了MIL（(Multiple Instance Learning）来结合最有用的信息。最后所有的score都通过一个fusion layer，得到最终的预测结果。

Fusion

fusion的策略，作者提出了4个：

  • Max fusing takes the maximum score value among all channels for each class, essentially picking the strongest channel.
  • Sum fusion directly adds up the scores from different channels, i.e. each channel is treated equal.
  • Category-wise weighted fusion (Weighted-1) combines channel scores via weighted sum, aiming to represent varied relative contribution of each channel for different classes using their corresponding weights.
  • As for correlationwise weighted fusion (Weighted-2), the scores of other classes are also taken into consideration
最低0.47元/天 解锁文章

200万优质内容无限畅学
Two-Stream Convolutional Networks for Action Recognition in Video
leek1727
09-06 2071
Two-Stream Convolutional Networks for Action Recognition in Video 我们提出了一种有区分训练的卷积网络来识别视频中的动作。挑战是从视频帧中获取外观和运动的互补的信息。我们的三个贡献：第一，提出了时间和空间分离的两路卷积网络结构。第二，证明了在多帧密集光流上训练，能够实现很好的性能。第三，多任务学习，应用在两个不同的动作分类数据集
论文翻译：MARS: Motion-Augmented RGB Stream for Action Recognition
com_fang_bean的博客
08-14 1076
最先进的动作识别方法包括一个具有3D卷积的双流架构:RGB帧的外观流和光流帧的运动流。虽然将流与RGB相结合提高了性能，但计算准确的光流的成本较高，并增加了动作识别延迟。这限制了在需要低延迟的实际应用程序中使用两流方法。在本文中，我们介绍了两种培训标准的学习方法3 d CNN ...
笔记【Two-Stream Convolutional Networks for Action Recognition in Videos】
源码森林
03-11 2876
关于视频中的动作识别，挑战在于从静止帧和帧之间的运动中捕获关于外观的补充信息。 本文研究了经过区别训练的深度卷积网络（ConvNets）的体系结构，用于视频识别中。还旨在在数据驱动的学习框架中概括性能最优手动调节参数。 文章有主要三点贡献： 1.提出结合时间和空间网络的双流ConvNet网络结构。 2.证明在缺少训练集的情况下，ConvNet在多帧密集光流中依然能取得非常好的训练效果。 ...
【论文学习】Two-Stream Convolutional Networks for Action Recognition in Videos
I am what i am
10-28 7737
Two-Stream Convolutional Networks for Action Recognition in Videos原文地址粗略翻译摘要：我们研究了视频中用于训练动作识别的深度卷积网络的架构。这个挑战是捕捉静止帧中的外表和连续帧间中的运动之间的互补信息。我们也志在推广在数据驱动的学习框架中表现最好的手工特征。一共做出了3个贡献：首先，提出了一个two-stream卷积网络架构，这个架
Two-Stream Convolutional Networks for Action Recognition in Videos
paranoid_CNN的博客
11-21 5892
总概本篇文章提出了三点： 1、propose一个two-stream卷积神经网络框架，时间流和空间流。 2、表明提出的光流神经网络在action recognition上有较好的结果。 3、multi-task learning，用于data argument。所有的训练和评估bendmark：UCF101和HMDB-51。设计成two-stream的原因：Video can naturall
【行为识别】论文阅读笔记1|Two-Stream Convolutional Networks for Action Recognition in Videos
Cheungleilei的博客
10-28 2741
参考山水之间2018的文章， 行为识别（Action Recognition） 的目的是对一个给定的视频片段进行分类。 行为检测（Action Detection） 的目的是知道一个动作在视频中是否发生，以及动作发生在视频中的开始时间和结束时间。 行为识别和行为检测的关系类似于图片分类和目标检测的关系。 目前行为识别有两个主流的结构，一个是Two-Stream，一个是C3D，本文阅读了Two-St...
颜色分类leetcode-CNNs-Audio-Emotion-Recognition:CNNs-Audio-Emotion-Recognit
07-06
颜色分类leetcode 出版物 @article{papakostas2017deep, title={多域语音情感识别上的深度视觉属性与手工制作的音频特征}，作者={...CNNs-音频-情绪-识别 火车： python trainCNN.py *有关更多培训选项，请
ocular-disease-recognition-with-CNNs
03-29
本项目聚焦于“ocular-disease-recognition-with-CNNs”，其核心目标是利用CNNs从眼底图像中识别各种眼部疾病，从而实现更高效、准确的医疗诊断。 眼底图像是检查视网膜病变的重要手段，包含了丰富的血管和神经结构...
论文翻译：Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks
com_fang_bean的博客
07-21 1821
摘要： 抽象图卷积网络(GCNs)将神经网络推广到更一般的非欧几里得结构，在基于骨架的动作识别方面取得了显著的性能。但是，以往基于gc的模型仍然存在一些问题。首先，图形的拓扑被启发式地设置并固定在所有模型层和输入数据上。这可能不适用于GCN模型的层次结构和动作识别任务中的数据多样性。第二，骨架数据的二阶信息，即。骨骼的长度和方向，这对人类行为识别来说，自然是更具信息性和鉴别性的。在这项工作中，我们提出了一种新的多流注意力增强自适应图卷积神经网络(MS-AAGCN)用于基于骨架的动作识别。我们的模型中的图形
CNN-Action-Recognition:使用卷积神经网络（CNN）的动作识别
05-14
使用CNN进行动作识别 在该项目中，对卷积神经网络（CNN）进行了训练，以使用Pytorch对图像和视频进行分类。 数据集 使用过的UCF101数据http://crcv.ucf.edu/data/UCF101.php但仅接受了10个班级（共101个班级）。 每个剪辑有3帧，每帧为64 * 64像素。 片段的标签位于q3_2_data.mat 。 trLb是训练剪辑的标签，而valLb是验证剪辑的标签。 首先对CNN进行训练以对每个图像进行分类。 然后，使用3D卷积训练CNN，将每个剪辑分类为视频而不是图像 Kaggle比赛 CNN对图像的动作识别-排名第10- http://www.kaggle.com/c/cse512springhw3 CNN对视频的动作识别-排名32- http://www.kaggle.com/c/cse512springhw3video
【CV论文阅读】Two stream convolutional Networks for action recognition in Vedios
weixin_30425949的博客
08-07 429
论文的三个贡献 （1）提出了two-stream结构的CNN，由空间和时间两个维度的网络组成。 （2）使用多帧的密集光流场作为训练输入，可以提取动作的信息。 （3）利用了多任务训练的方法把两个数据集联合起来。 Two stream结构 视屏可以分成空间与时间两个部分，空间部分指独立帧的表面信息，关于物体、场景等；而时间部分信息指帧间的光流，携带着帧之间的运动信息。相应的，所提出的网...
READING NOTE: Two-Stream Convolutional Networks for Action Recognition in Videos
joshua_1988
11-06 2683
READING NOTE: Two-Stream Convolutional Networks for Action Recognition in Videos
【论文&模型讲解】Two-Stream Convolutional Networks for Action Recognition in Videos
Friedrichor的博客
10-22 2267
论文 Two-Stream Convolutional Networks for Action Recognition in Videos 讲解，收录于 2014 年的 NIPS (NeurIPS)，是在视频领域中应用深度学习的开山之作。
【论文阅读笔记】Two-Stream Convolutional Networksfor Action Recognition in Videos
bbp94_github的博客
09-26 402
主题：行为识别 摘要： 本篇文章提出了使用深度学习进行视频人物的行为识别，结合了静止画面和帧间的运动信息。所做的贡献主要有三： 1.提出了双流CNN来合并时间和空间网络； 2.证明l了在训练数据有限的情况下，经过多帧密集光流训练的CNN依然能够实现非常好的性能； 3.证明了应用于两个不同数据集的多任务训练可以增加数据量且提升网络在两个数据集上的分类性能。     光流特征表示方式：...
[论文阅读笔记]Two-Stream Convolutional Networks for Action Recognition in Videos
时光机 °的博客
11-10 1191
Introduction  识别视频中的人类动作行为是一个富有挑战性的任务，在研究界得到了极大关注。与静态图像分类相比，视频的时间分量为识别提供了额外的（重要的）线索，因为可以基于运动信息可靠地识别多个动作。另外，视频为单一图像（视频帧）分类提供自然数据增强（抖动）。   在本文中，作者的目的是扩展一种最先进的静态图像表示的深层卷积神经网络—ImageNet。李飞飞使用堆叠视频帧作为网络的输入，但
【论文笔记-视频行为识别】Two-Stream Convolutional Networks for Action Recognition in Videos
qq_45057749的博客
04-04 1629
论文：Two-Stream Convolutional Networks for Action Recognition in Videos 这篇文章是NIPS 2014年牛津大学提出的一个双流网络来做视频行为识别，比较经典。论文的三个贡献：（1）提出了two-stream结构的CNN，由空间和时间两个维度的网络组成；（2）使用多帧的稠密光流场作为训练输入，可以提取动作的信息；（3）利用了多任务学习...
论文笔记之Two-Stream Convolutional Networks for Action Recognition in Videos
加油
05-30 1388
双流网络的开篇之作，使用图像和光流两个分支训练，最终综合两个分支得到最终结果。 被NIPS 2014接收 论文地址：https://arxiv.org/abs/1406.2199 1. 摘要 我们研究了用于训练视频中行为识别的深度卷积网络架构。这个挑战是捕捉静态帧中的外观和连续帧间的运动的互补信息。我们也旨在推广这个在数据驱动的学习框架中表现得最好的手工特征。 本文一共做出了3个贡献： 首先，本文提出了一个two-stream卷积网络架构，这个架构由时间和空间网络构成。 然后，我们验证了，尽管是有限的.
论文精读--Two-Stream Convolutional Networks for Action Recognition in Videos
m0_73202283的博客
09-30 1236
我们研究了用于视频动作识别的判别性训练深度卷积网络（ConvNets）的架构。挑战在于捕捉静态帧的外观信息和帧间运动信息的互补性。我们还旨在将表现最佳的手工设计特征推广到数据驱动的学习框架中。我们的贡献有三个方面。首先，我们提出了一个双流ConvNet架构，它结合了空间和时间网络。其次，我们证明了一个在多帧密集光流上训练的ConvNet能够取得非常好的性能，尽管训练数据有限。最后，我们展示了多任务学习，应用于两个不同的动作分类数据集，可以用来增加训练数据量，并提高两者的性能。
Transformer-Based Spatio-Temporal Network for Human Action Recognition
最新发布
12-31
### 基于Transformer的空间时间网络在人体动作识别中的研究论文与实现 #### 研究背景与发展现状 近年来，随着深度学习技术的发展，基于Transformer架构的空间时间网络逐渐成为人体动作识别领域的重要方法之一。这类模型通过引入自注意力机制来捕捉视频序列中复杂的时空关系，显著提升了动作识别的效果。 #### 关键技术特点 - **多尺度特征提取**：利用卷积神经网络(CNNs)对输入帧进行初步处理，获取不同层次的视觉特征表示[^1]。 - **空间编码器**：采用标准的ViT(Visual Transformer)结构作为骨干网，在单个图像上构建强大的局部感知能力的同时保持全局理解力。 - **时间建模模块**：不同于传统的RNN/LSTM单元，这里设计了一种特殊的Temporal Encoder Layer用于表征相邻帧间的关系变化规律，从而增强对于动态行为的理解程度。 #### 实现框架概述 一种典型的基于Transformer的人体姿态估计方案可以概括如下： ```python import torch.nn as nn class SpatialTemporalTransformer(nn.Module): def __init__(self, num_classes=400): super(SpatialTemporalTransformer, self).__init__() # 定义CNN层以获得基础特征图谱 self.backbone = BackboneNet() # 构造一系列堆叠起来的时间维度上的transformer blocks self.temporal_transformers = nn.Sequential(*[ TemporalBlock() for _ in range(num_layers)]) # 分类头部分 self.classifier = ClassifierHead(num_classes) def forward(self, x): batch_size, seq_len, c, h, w = x.shape # 提取每帧的基础特征向量 features = [] for t in range(seq_len): feature_t = self.backbone(x[:,t,:,:,:]) features.append(feature_t.unsqueeze(dim=1)) spatial_features = torch.cat(features,dim=1) # 序列化后的数据送入temporal transformer做进一步加工 temporal_output = self.temporal_transformers(spatial_features) # 获取最终预测结果并返回 logits = self.classifier(temporal_output.mean(dim=1)) return logits ``` 此代码片段展示了如何定义一个简单的Spatio-Temporal Transformer模型来进行分类任务。实际应用时还需要考虑更多细节优化以及针对具体场景调整参数配置等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值