机器学习笔记 - 用于动作识别的网络TSN/TSM/SlowFast/R(2+1)D/3D MobileNetV2

最新推荐文章于 2024-06-17 09:50:50 发布
最新推荐文章于 2024-06-17 09:50:50 发布
阅读量837 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 动作识别 3D MobileNetV2 TSN TSM SlowFast 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/133706285
本文概述了动作识别的重要性，特别是在无人机应用中。文章深入探讨了几种主流的深度学习网络，包括Temporal Segment Networks (TSN)、Temporal Shift Module (TSM)、SlowFast和R(2+1)D，以及轻量级的2D和3D MobileNetV2，分析了它们在动作识别任务中的优缺点和适用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简述

        动作识别是在视频序列中检测和分类人类动作的过程。 近年来，由于其广泛的应用，它已成为一项越来越重要的技术，例如监控、人机交互以及视频索引和检索。 特别是，动作识别对于无人驾驶飞行器 (UAV) 或无人机来说变得至关重要，因为它们越来越多地用于各种应用，例如搜索和救援、环境监测和军事行动。

缺少最近几年的，但是可以参考

        近年来，利用深度学习技术的动作识别领域取得了重大进展。人们已经提出了许多方法，包括双流 CNN、3D CNN 和基于注意力的模型。 这些方法在各种动作识别基准上都取得了最先进的性能。

二、一些主流网络

        这里讨论模型在动作识别任务中实现高精度方面都显示出巨大的前景，但由于其体积大和计算要求高，它们可能不适合部署在边缘设备上。因为边缘设备上的动作识别模型需要轻量级和计算效率高，同时仍保持高精度（个人见解）。

1、Temporal Segment Netw

了解本专栏 订阅专栏 解锁全文
【七.三维视觉与视频分析】【3.动作识别：3D CNN/TSN】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-17 113
想让AI看懂《复仇者联盟》的打斗场面？空间+时间=三维视觉土豪选3D CNN，平民用TSN数据预处理比模型更重要下次再看到广场舞大妈，系统会准确识别出这是"中国式健身"而不是群体事件——这才是科技应有的温度。
机器学习笔记 - 基于PaddleVideo PP-TSN + 自定义数据集进行手势识别的训练
学以致用 知行合一
10-13 585
PaddleVideo旨在打造一套丰富、领先且实用的Video工具库，旨在帮助开发者更好的进行视频领域的学术研究和产业实践。PaddleVideo包含视频分类和动作定位方向的多个主流领先模型。其中TSN, TSM和SlowFast是End-to-End的视频分类模型，Attention LSTM是比较流行的视频特征序列模型，BMN是视频动作定位模型。
行为识别笔记：C3D network-用于视频特征提取的3维卷积网络
热门推荐
Will Lin的博客
03-10 5万+
注：本文首发在微信公众号-极市平台。如需转载，请联系微信Extreme-Vision卷积神经网络（CNN）近年被广泛应用于计算机视觉中，包括分类、检测、分割等任务。这些任务一般都是针对图像进行的，使用的是二维卷积（即卷积核的维度为二维）。而对于基于视频分析的问题，2D convolution不能很好得捕获时序上的信息。因此3D convolution就被提出来了。3D convolution 最早应
行为识别模型R(2+1)D的模型结构
填坑
10-04 5381
行为识别模型R( 2+1)D的模型结构R(2+1)D代码链接R(2+1)D模型结构SpatioTemporalConv结构SpatioTemporalResLayer结构SpatioTemporalResBlock结构 R(2+1)D代码链接 链接: https://github.com/jfzhang95/pytorch-video-recognition. 建议对照代码看 R(2+1)D模型结构 R(2+1)D模型结构图 Created with Raphaël 2.2.0inputs:(N,3,16,
【行为识别】TSN/TRN/TSM/SlowFast/Non-local
qq_43257640的博客
05-24 7142
前言 记录视频理解领域的几篇文章吧，由于每篇值得记录的东西不多，所以合在一起。关于开源框架，目前已知的有Facebook的SlowFast和商汤的X-Temporal，有设备的就尽量多跑跑模型吧 视频相对于静态图像多了时间维度。静态图像的分类、检测、分割做得相对完善了，视频方面的工作想有创新必须在时间这个维度上钻研。 预备知识 时空卷积 文章标题：A Closer Look at Spatiotemporal Convolutions for Action Recognition 首先探讨一下几种形式的
[行为识别论文详解]TSN(Temporal Segment Networks)
Can的博客
03-19 5万+
摘要 本文旨在设计有效的卷积网络体系结构用于视频中的动作识别，并在有限的训练样本下进行模型学习。TSN基于two-stream方法构建。 论文主要贡献： 提出了TSN（Temporal Segment Networks），基于长范围时间结构（long-range temporal structure）建模，结合了稀疏时间采样策略（sparse temporal sampling strat...
【论文阅读】动作识别-2016-TSN
hhhwlw的博客
07-25 369
1）如何设计一个有效和高效的视频级框架，用于学习能够捕捉长期时间结构的视频表示。（2）如何在有限的训练样本下学习ConvNet模型。在时间结构建模方面，关键的观察是连续帧是高度冗余的。因此，通常导致高度相似的帧的密集时间采样是不必要的。相反，在这种情况下，稀疏时间采样策略将更有利。受此观察的启发，我们开发了一个视频级框架，称为时间段网络（TSN）。网络架构ConvNet实验数据集。...
TSN(Temporal Segment Networks)和TSM（Temporal Shift Module）SlowFast对比
taoqick的专栏
03-22 3183
简单来说，TSN（Temporal Segment Networks）是2D卷积，融合了Temporal（比如光流信息）和Segment（视频抽帧）双流的信息；TSM（Temporal Shift Module）是3D卷积，作者管自己设计的3D卷积方式叫作Temporal Shift Module，可以在效果和开销中间取一定的平衡。 Temporal Segment Networks 论文主要思想仍然是Two-Stream 的结构，以下是算法主要流程图。 所谓Two-Stream，就是两种输入。T
[论文笔记]ACTION-Net
qq_37747189的博客
03-24 3383
ACTION-Net: Multipath Excitation for Action Recognition 摘要 时空、信道、运动模式为视频动作识别的互补关键信息 2D不能捕捉时间信息，3D计算量大 ACTION嵌入模块 包括三部分 时空激励STE路径 单通道三维卷积 表征时空特征 通道激励CE 自适应校准通道特征响应 显示建模通道之间的时间依赖 运动激励ME 计算特征级别的时间差异 激发运动敏感通道 ACTION优于（resnet50、MobileNet v2、BNInception） 1.Int
基于桑迪古洛娃数据集的儿童行为性别识别研究
2. "测试结果"文件夹：包含了TSN、TSM和SlowFast模型在测试集上的结果，包括混淆矩阵和准确度数据。 本项目的研究结果将有助于推动儿童行为识别技术的发展，并可能为相关应用提供理论和技术支持。
行为识别算法TSN介绍
02-10
自己总结的Temporal Segment Network（TSN）用到的技术，是前几年较好的行为识别方法，希望和大神多交流
TSM华为网络安全认证工具
08-07
TSM华为防火墙管理认证工具。只要在华为防火墙内配置帐户密码，然后就可以使用了。
视频动作分类网络《TSM: Temporal Shift Module for Efficient Video Understanding》学习笔记
weixin_42907473的博客
11-12 1万+
全文按照原文的结构来描述（你可以当做是翻译，但不是谷歌翻译，是加入理解的翻译），尽可能保持作者原文想表达的意思，里面会穿插自己的想法(会注明)。 Abstract 问题： 视频流的爆炸增长带来了对高准确度和低成本计算的视频理解挑战。常规的2D CNN 在计算上是相对廉价的，但其无法捕获时间维度的关系。而基于3D CNN 的方法可以达到良好的效果性能，但计算量大，因此部署成本很大。 解决方案： 结...
动作识别算法的比较：TSN、TRN和ECO
TuoGroovy的博客
09-18 635
本文将介绍三种常用的动作识别算法：时序网络（Temporal Segment Networks，TSN）、时序关系网络（Temporal Relational Networks，TRN）和时序卷积网络（Efficient Convolutional Networks，ECO），并提供相应的源代码示例。本文介绍了三种常用的动作识别算法：TSN、TRN和ECO，并给出了相应的源代码示例。这些算法在动作识别任务中取得了显著的成果，可以根据实际需求选择适合的算法进行应用和改进。希望本文对您有所帮助！
TSM动作识别模型【详解】
qq_23022733的博客
09-27 794
然后需要等大概十多分钟，就解压完成，得到一个包含所有SSv2视频数据的文件夹，将文件夹名字改为20bn-something-something-v2-frames方便之后的数据集划分。由于该压缩数据进行了分卷操作，需要合并后才能进行解压。本文使用的是somethingv2数据集，解压后是如下形式；
推荐开源项目：TSN-Pytorch —— 动作识别的重实施
gitblog_00048的博客
05-15 448
推荐开源项目：TSN-Pytorch —— 动作识别的重实施 在计算机视觉领域，理解和解析视频中的动作是核心任务之一。为此，我们向您推荐一个基于PyTorch重新实现的Temporal Segment Networks (TSN)项目——TSN-Pytorch。这个项目不仅提供了与原Caffe版本相同设置的代码，还为研究和开发人员提供了一个易于使用的平台。 项目介绍 TSN-Pytorch是一个专...
【亲测免费】 推荐项目: 视频动作识别——Video Action Transformer Network
最新发布
gitblog_00044的博客
06-17 679
???? 推荐项目: 视频动作识别——Video Action Transformer Network 在深度学习领域，视频理解是一个极其活跃的研究方向，尤其是视频中的动作识别任务，它涉及到复杂的时间和空间模式的捕捉与解析。近期，在GitHub上发现了一款值得关注且值得尝试的开源项目：Video-Action-Transformer-Network-Pytorch-，它是基于PyTorch实现的“视频动...
C3D、Two-stream、TSN等动作识别方法简介
胖胖大海的博客
07-14 1534
《Large-scale Video Classification with Convolutional Neural Networks》 核心思想： 使用2D卷积神经网络对视频帧进行分析，为了捕获temporal维度的特征，提出了3中特征融合方法，Late Fusion，Early Fusion和Slow Fusion。 为了提升训练速度，使用更低分辨率的图像进行训练。 数据预处理方法：裁剪每帧图像的中间区域，然后缩放到20...
行为动作识别（一）：TSM 和 TRN
qq_41131535的博客
08-13 8109
1 TSM算法论文和Github 2 参考https://blog.youkuaiyun.com/qq_18644873/article/details/89305928 3 如今行为动作识别，都是在探讨如何更好的描述时域信息特征。该文章在TSN基础上，提出Temporal Shift Module (TSM)，既能保持高效又能有高性能。TSM模块是参考《Shift: A Zero FLOP, Zero Pa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值