Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks

最新推荐文章于 2022-02-21 19:51:30 发布
最新推荐文章于 2022-02-21 19:51:30 发布
阅读量708 收藏 1
点赞数
分类专栏： paper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010106759/article/details/78724136
版权

团队介绍

作者：

Alberto Montes, Amaia Salvador, Santiago Pascual, Xavier Giro-i-Nieto

作者都来自Universitat Politècnica de Catalunya (UPC)的一所西班牙大学，理工科挺强的，发表在NIPS workshop的一篇文章. 在ActivityNet Challenge 2016取得了不错的

动机

利用C3D[1]能捕捉短时间的空时特征，然后LSTM处理长时间的信息，Untrimmed Videos对进行分类和定位

框架

这里写图片描述

C3D首先在sports-1M上进行预训练，之后对预处理好的每16帧视频（相邻的视频片段没有交叉）离线提取时空特征，将这些固定的特征作为LSTM的输入，进行每一个片段的分类，每一类对应于一个动作类别（增加background作为一类）。作者在文中也探讨了不同深度，不同宽度的LSTM网络。发现1x512的最浅最窄的最好。The simplest is the best.

tricks

  1. 对LSTM输出的概率进行均值滤波，使其更平滑，消除异常概率值
  2. 为了应对背景数据较多的情况，在计算loss时候，给其相对较小的权重

思考改进

如果C3D和LSTM一起训练，微调C3D，重新训练LSTM，效果应该会好一点，但用于参数众多，也可能导致参数过多，导致过拟合

引用

  1. D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, Learning Spatiotemporal Features with 3D Convolutional Networks, ICCV 2015
cvpr2015papers
ZhangPY的专栏
03-02 9225
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf
Multimodal Gesture Recognition Using 3-D Convolution and Convolutional LSTM
Journey to the West
12-06 2857
前言因为最近再看C3D+LSTM手势识别方面的文章，故记录一下，一方面来加深理解记忆，另一方面以备后面回顾复习团队介绍作者来自西安电子科技大学软件学院Motivation１：利用三维卷积网络学习较短的时空特征，然后利用卷积LSTM构建长时的时空特征。这个套路很熟悉，在上一篇笔记《Temporal Activity Detection in Untrimmed Videos with Recurren
ICMR 19：Temporal Activity Localization by Language
黄鑫的博客
06-04 1749
介绍一下我之前在校，独立完成的一项工作，已被ACM ICMR 2019 接收为oral paper 论文：《Cross-Modal Video Moment Retrieval with Spatial and Language-Temporal Attention》 代码：https://github.com/BonnieHuangxin/SLTA 一、论文任务 Examples: ...
R-C3D：Region Convolutional 3D Network for Temporal Activity Detection
qq1145520074的专栏
03-19 4686
原论文连接：R-C3D：Region Convolutional 3D Network for Temporal Activity Detectionmotivationtemporal action detection是要在视频序列中确定动作发生的时间区间（包括开始时间与结束时间）以及动作的类别。类似于图像中的目标检测任务，时序动作检测也可以分为生成时间区域提名（temporal action ...
论文阅读：R-C3D: Region Convolutional 3D Network for Temporal Activity Detection
qq_36627158的博客
02-24 1012
写在前面 由于这是一篇比较经典的论文，网上相关讲解的文章比较多，我这里就不重复了，主要记录一些自己遇到的问题。 论文详解 参考链接： https://blog.youkuaiyun.com/gentelyang/article/details/80483841 https://zhuanlan.zhihu.com/p/34439558 以下引用快内容均参考上面两个链接，有对其中的内容进行调整： R-C3D(Region 3-Dimensional Convolution...
论文阅读：Action Recognition from Single Timestamp Supervisionin Untrimmed Videos
qq_40760171的博客
07-15 1352
Action Recognition from Single Timestamp Supervision in Untrimmed Videos作者贡献从单个时间戳监督中识别采样分布初始化模型更新分布参数 作者贡献 提出了一种从单个时间戳初始化的采样分布，以选择相关的帧来训练行为识别分类。（因为时间戳的粗糙定位和每个行为有不同的时长，所以最初的抽样分布可能与实际情况不完全相符，如下图第一行） 提...
Online Detection of Action Start in Untrimmed, Streaming Videos论文阅读笔记
Hia_Hia_Hia的博客
10-09 946
这篇文章解决的问题是，识别视频中动作的开始。 作者对应于ODAS（在线识别动作开始）的三个问题提出了对应的解决方案： （1）在动作开始的前后，场景和物体都极为相似 —— 用GAN生成hard negative样本，即动作开始前的样本； （2）动作开始窗口是背景帧和动作帧的混合，开始窗口的特征可能会与动作开始前的背景帧更接近，而不是与动作开始后的动作帧更接近 —— 在训练中学习开始窗口和f...
AD_Untrimmed_A Hybrid Temporal Convolutional a 2017-5-22
04-21
5. 循环神经网络（Recurrent Neural Networks, RNNs）： 循环神经网络擅长处理序列数据，能够学习和记忆序列中元素间的时间依赖关系。对于视频动作分割任务，RNN可以在编码阶段之后，进一步处理动作之间的长期依赖...
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
时序行为检测和分类
qq_33330524的博客
04-01 6889
一 数据集 ActivityNet 发展简介 ActivityNet是15年年cvpr，16年年开始举办的竞赛。 16-19年， 16:只有detection和classification(untrimmed) - 17:classification(trimmed和untrimmed) proposals captioning 18:从-18年年开始去掉了了untrimmed的分类， 任务A...
论文浏览(16) A Novel Online Action Detection Framework from Untrimmed Video Streams
清欢
07-07 383
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题 0. 前言 相关资料： arxiv github 论文解读 论文基本信息 领域：在线行为检测 作者单位：高丽大学 发表时间：2020.3 1. 要解决什么问题 在Untrimmed Videos中做Online Action Detection主要的挑战在于： 在Untrimmed Videos中，可能会发生的动作不止一种。 在Online的限制下，只能获取当前以及过去的数据。 2.
Temporal Action Localization在THUMOS14上精度总结
qq_40178291的博客
10-05 1183
Efficient Action Detection in Untrimmed Videos via Multi-Task Learning 2016 WACV THUMOS14 mAP @0.5=19.0% CDC: Convolutional-De-Convolutional Networks for Precise Temporal Action Localizati...
专注于业务编排的工作流引擎Temporal框架技术Java实践（SpringBoot）
邪恶八进制
02-21 5874
Temporal 是一个微服务编排平台，使开发人员能够在不牺牲生产力或可靠性的情况下构建可扩展的应用程序。临时服务器以弹性方式执行应用程序逻辑单元工作流，自动处理间歇性故障并重试失败的操作。 ​ Temporal 是一项成熟的技术，是 Uber 的 Cadence 的一个分支。Temporal由 Cadence 的创建者初创公司Temporal Technologies开发。 ​ 若你还不了解Temporal基础结构，点此跳转。本文专为实践受...
Video Analysis 相关领域解读之Temporal Action Detection(时序行为检测)
Will Lin的博客
04-27 1万+
本文投稿于极视角公众号，链接为文章链接.也欢迎大家关注我的知乎专栏CV论文笔记及其他。上一篇笔记介绍了 Action Recognition 领域的研究进展。Action Recognition主要是用于给分割好的视频片段分类，但实际中大部分视频都是未分割的长视频。所以这就引出了今天要介绍的领域：Temporal Action Detection
【深度学习论文翻译】Weakly Supervised Action Localization by Sparse Temporal Pooling Network全文翻译
唐申庚的博客
08-02 3026
Phuc Nguyen（University of California Irvine, CA, USA） Ting Liu，Gautam Prasad（Google Venice, CA, USA） Bohyung Han（Seoul National University Seoul, Korea） 目录 目录 摘要 1.介绍 2.相关工作（略） 3.提出算法 3.1.动作...
深度学习之视频入门经典+视频分类+视频行为识别+行为检测+视频事件识别+事件检测--附带源码和作者主页
WJ_MeiMei的博客
11-22 2万+
视频研究入门经典   Labor-Free Video Concept Learningby Jointly Exploiting Web Videos and Images     intro: CVPR 2016     intro: Lead–Exceed Neural Network (LENN), LSTM     paper: https://www.microsoft.c...
Temporal Action Detection (时序动作检测)综述
热门推荐
qq_33278461的博客
06-17 3万+
最近几年由于网络上视频量的急剧增多和神经网络的飞快发展，这项任务得到了更多的关注。目前这项任务的主要数据集有THUMOS2014、ActivityNet。评价指标为IOU，目前2017的大多数工作在IOU=0.5的情况下达到了20%-30%的MAP，虽然较2016年提升了10%左右，但是在IOU=0.7时直接降低到了10%以下，2018年IOU=0.5有34%的MAP。 目前的趋势是寻找视频内活...
Video Analysis 入门
Wayne2019的博客
12-27 5277
总结一些入门资料。
Real-world anomaly detection in surveillance videos
最新发布
12-31
### 关于监控视频中真实场景异常检测的方法和技术 #### 方法与技术综述 在处理监控视频的真实场景异常检测时，主要方法可以分为基于传统机器学习的技术和基于深度学习的技术。对于前者而言，在特征提取阶段通常依赖手工设计的特征，比如HOG (Histogram of Oriented Gradients)[^3]；而对于后者，则更多利用卷积神经网络(CNNs)自动从数据集中学习到有用的表征。 一种先进的解决方案涉及到了时空记忆对比模型(Spatio-Temporal Memory Contrastive Model)，该方案通过构建正样本对来增强表示能力，并且能够有效地捕捉长时间序列内的动态变化模式[^1]。这种方法不仅提高了准确性还增强了系统的鲁棒性。 属性恢复框架(Attribute Restoration Framework, ARF)也被应用于解决这一挑战。ARF旨在修复被遮挡或低质量图像中的物体特性，从而改善异常事件识别的效果。此框架结合了生成对抗网络(GANs)以及循环神经网络(RNNs)，实现了对复杂环境下的有效监测[^2]。 #### 应用实例 这些先进技术已经被广泛部署于多个实际应用场景之中： - **交通管理**：实时分析道路上的行为以预防交通事故并优化流量控制； - **公共安全**：快速响应突发事件如暴力冲突、火灾报警等紧急情况； - **零售行业**：防止偷窃行为的发生并通过顾客流动统计辅助店铺布局调整。 ```python import torch from torchvision import models # 加载预训练好的ResNet用于特征提取 model = models.resnet50(pretrained=True) def extract_features(video_frames): """Extract features from video frames using ResNet.""" model.eval() with torch.no_grad(): features = [] for frame in video_frames: feature = model(frame.unsqueeze(0)) features.append(feature) return torch.stack(features).squeeze() video_data = ... # 假设这是输入的一系列帧组成的张量列表 features = extract_features(video_data) print("Feature shape:", features.shape) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值