基于VGG-Net的人体行为识别(Action Recognition)

最新推荐文章于 2023-09-22 10:39:33 发布
最新推荐文章于 2023-09-22 10:39:33 发布
阅读量3k 收藏 25
点赞数 3
分类专栏： 行为识别 深度学习 文章标签： 人工智能算法 视频识别 two-stream
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/small_ARM/article/details/78283205
版权
该文介绍了对'Towards Good Practices for Very Deep Two-Stream ConvNets'的复现工作，重点是采用two-stream卷积方法进行人体行为识别。研究者使用了ImageNet预训练模型进行fine-tune，采取更小的学习率，以及多种数据增强策略，如多尺度crop，以防止过拟合。在测试阶段，使用UCF101数据集，通过光流图和RGB图像进行识别，但光流图的选取对结果影响显著，使用TVL1光流算法能提高准确性。最终在UCF101上达到90%左右的准确率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract:

本文对论文’Towards Good Practices for Very Deep Two-Stream ConvNets’的复现。该论文采用了two-stream的卷积方法，该方法的鼻祖是VGG团队，该团队的论文是14年的’Two-Stream Convolutional Networks for Action Recognition in Videos’ ,从此开创了新的一派，可以战胜C3D一派。Yuanjun Xiong的VGG未防止数据量太小导致过拟合，实现two-stream的创新点如下:

  • 采用了ImageNet预训练的模型进行fine-tune。

  • 更小的学习率

  • 新的数据增广的方式。

  • 使用了多GPU并行训练的策略。

网络特点

  • 该网络首先将视频转换成rgb和灰度的光流图存储起，因此，输入网络的不是视频，而是视频提前转好的图片。
  • 采用ImageNet的model进行finetune。当在spatial Stream时，输入RGB图，RGB图的选取方法是：在视频中随机抽取一帧作为RGB图。因此，ImageNet训练的model可以直接在spatial stream使用。而temporal stream，由于输入的是光流图，而输入的光流图在视频中得到的光流图集合中，随机选取某一帧光流图作为第一张图，而训练的图是10帧光流图的堆叠，(有x方向和y方向，通道数为1*2*10=20），temporal stream第一层卷积的参数量与spa
最低0.47元/天 解锁文章
action recognition/activity recognition/行为识别/动作识别+经典论文/网络框架+阅读小总结
Lujiahao98689的博客
02-20 7992
【论文小结】action recognition/行为识别经典论文/网络小结基于2D图像和视频的行为识别1. two-stream related(双流方法)1）Two-stream convolutional networks for action recognition in videos2）Convolutional Two-Stream Network Fusion for Video A...
视频行为识别检测综述 IDT TSN CNN-LSTM C3D CDC R-C3D
热门推荐
万有文的博客
06-20 14万+
本文github地址 Video Analysis之Action Recognition(行为识别) 行为识别就是对时域预先分割好的序列判定其所属行为动作的类型，即“读懂行为”。 [行为检测|论文解读]行为检测调研综述 较新 基于Deep Learning 的视频识别技术 科研成果—-中国科学院深圳先进技术研究院 面向人体姿态行为理解的深度学习方法 CVPR 2014 Tut...
人行为识别代码，需要的过来看看，多提宝贵意见。
05-13
一段异常行为识别的代码，可以判断出除正常行走外的其他行为，标为异常。
人体行为识别数据集
weixin_62273462的博客
09-22 821
人体行为识别数据集
VGGNet
一行一生
08-10 477
VGGNet
【行为识别】基于差影法实现三维人体姿态行为识别附matlab代码
matlab_dingdang的博客
05-10 423
1 简介 2 部分代码 function pointsVisualize(vals,skel,varargin)%function pointsVisualize(vals,skel)[color,type,person,connect,missing,gt,texton,textsize,linewidth,showlines,marker]=process_options(varargin,'color','r','type',1,'person',1,'c
行为检测代码
03-17
选用背景差分法和形态学算法提取目标骨架，骨架提取经历九步：图像灰度化，背景差分法提取目标轮廓，使用CLAHE算法增强对比度，高斯滤波，Solel算子进行边缘检测，小波去噪，最大类间误差法二值化，形态学运算和中值滤波。然后用基于人体比例的方法初步判断跌倒情况，再用基于运动趋势的精准判断跌倒情况。算法总体效果可以，误检较少。
ActionRecognition——基于深度学习的动作识别综述
01-27
早期的动作识别多采用2D卷积神经网络（CNNs），如经典的AlexNet、VGG、GoogLeNet等，这些模型在图像分类任务中取得了巨大成功。但是，由于动作具有时域特征，单纯使用2D CNNs很难捕捉到时间维度上的信息。为了解决这...
人体行为识别：Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset
huangyiping12345的博客
06-23 1636
参考文献：https://arxiv.org/abs/1705.07750 pytorch代码实现：https://github.com/MRzzm/action-recognition-models-pytorch Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset 摘要 由于目前动作分类数据集（UCF-101和HMDB-51）中视频的缺乏，大多数方法在小规模数据集基础上的性能相似，很难得到识别效果好的网络结构，本文根据最
人体行为识别
03-11
人体行为识别概述，特别适合文献综述，和总体的了解
视频监控中人体行为识别的研究
10-23
提出一种人体行为识别模型和前景提取方法。针对人体运动过程中产生新的行为问题，该模型用分层Dirichlet过程聚类人体特征数据来判断人体运动过程中是否有未知的人体行为模式；用无限隐Markov模型对含有未知行为模式的特征向量进行行为模式的有监督的学习，由管理者将其添加到规则与知识库中。当知识库的行为模式达到一定规模时，系统便可以无监督地对人体行为进行分析，其分析采用Markov模型中高效的Viterbi解码算法来完成。对于前景的提取，提出了基于背景边缘模型与背景模型相结合的前景检测方法，此方法能够有效避免光照、阴影等外部因素的影响。仿真实验证明，本文提出的方法在实时视频监控中的人体行为识别方面有独特的优势。
DMM行为识别算法代码
03-14
DMM行为识别算法代码，matlab实现算法，DMM行为识别算法代码，matlab实现算法，DMM行为识别算法代码，matlab实现算法
人体行为识别与理解
04-27
人体行为识别与理解逐渐成为如图像分析、人机交互、视频检索以及智能监控等领域的基础保障，其广泛的应用前景以及潜在的社会、经济价值，已使其成为计算机视觉分析领域中备受关注的前沿方向。在各种人体行为识别方法中，基本特征都具有不可替代的作用，基于目前已有的研究成果，对基本特征进行改进，并选择合适的分类器进行分类识别。
MATLAB视频人体异常行为检测识别（GUI，论文）
matlabBBQ的博客
12-30 2199
课题介绍本文设计了一款人体行为异常监控系统，主要适用人群是老年人，在摄像头固定的情况下，自动检测人体运动轨迹，并与提前设定好的行为库进行匹配，分析判断是否具有异常行为。在数字图像预处理部分采用了图像二值化，腐蚀与膨胀等几种方法为人体目标的跟踪和检测做准备。为了克服在实际操作中遇到的问题，采用了帧差法和ViBe算法，帧差法即利用帧间变化与当前帧、背景算法来判断它是否大于阈值，并分析视频中序列的运动特...
深度学习人脸识别实验---VGG模型
weixin_33756418的博客
10-15 801
特别说明：本次实验步骤大部分来源于http://blog.csdn.net/wjmishuai/article/details/50658670 1、caffe环境配置 　　主要参考：《深度学习 21天实战Caffe》 2、VGG人脸识别模型资料（提供论文和以及训练完的人脸模型） 　　http://www.robots.ox.ac.uk/~vgg/software/vgg_face/ 3...
MATLAB视频人体异常行为识别
matlabBBQ的博客
02-29 1606
本系统为人体异常行为检测系统 本文件夹下共包含12个文件 其中matlab代码文件9个，视频源文件夹1个（内含4个视频），指导视频一个，说明文档一个 其中仅需要打开Main_Test.fig文件，点击运行即可使用 ...
描述如何设一个基于 VGG-16 的水杯识别神经网络模型
最新发布
12-18
设置一个基于VGG-16的水杯识别神经网络模型通常需要几个步骤： 1. **下载预训练的VGG-16模型**：VGG-16是一个预先在大规模图像数据集上（如ImageNet）训练过的卷积神经网络。你可以从Keras库或者TensorFlow Hub等资源获取预训练好的权重。 2. **加载VGG-16结构**：使用Keras的`applications.vgg16.VGG16()`函数加载预定义的VGG-16模型，并指定`include_top=False`来移除顶部的全局平均池化层和全连接分类层，因为我们打算添加自定义的输出层。 ```python from keras.applications.vgg16 import VGG16 base_model = VGG16(weights='imagenet', include_top=False, input_shape=(224, 224, 3)) ``` 3. **冻结部分或全部层**：由于VGG-16的前几层已经学习了通用的特征提取，我们通常会冻结它们，只训练新增加的部分。可以使用`base_model.trainable = False`来锁定这些层。 4. **添加新层**：在预训练的VGG-16基础上，添加一层或几层全连接层（Dense），以及一个合适的激活函数（如softmax用于多类别分类）来生成特定于水杯识别的预测。 ```python x = base_model.output x = Flatten()(x) # 将卷积层输出展平 x = Dense(4096, activation='relu')(x) # 添加第一个全连接层 x = Dropout(0.5)(x) # 防止过拟合 predictions = Dense(num_classes, activation='softmax')(x) # 根据水杯种类数定义 num_classes model = Model(inputs=base_model.input, outputs=predictions) ``` 5. **编译模型**：设置损失函数、优化器和评估指标。对于分类任务，交叉熵损失（`categorical_crossentropy`）很常见。 ```python model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) ``` 6. **准备数据**：收集并预处理水杯相关的图像数据，将其调整为VGG-16所需的输入大小，并进行归一化。将数据划分为训练集、验证集和测试集。 7. **训练模型**：使用训练数据对模型进行训练，可能需要调整学习率、批量大小和其他超参数以提高性能。 8. **评估和微调**：在验证集上测试模型，如果性能不佳，可以选择解冻一部分预训练层进行微调。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值