本文探讨了3D卷积神经网络（3D CNN）在视频分析中的不同实现，包括C3D、3D ResNet的两个版本以及3D Inception系列。研究发现，3D ResNet在适当的时间跨度和采样率下，相比C3D表现出更好的性能和效率。同时，3D Inception模型利用光流信息增强了时空特征学习。文中还提到了预训练模型的可用性和转换方法。
1. 3D CNN
1.1. C3D16
直接将vgg扩展为3d形式，参数较多。
1.2. 3D Resnet v117
将resnet直接扩展为3d，未预训练的模型在小训练集（activitynet）上效果不好，大训练集（kinetics）上效果好。
Resnet3d与2d结构主要区别在于时间维度上的缩减要慢一些
细节：采用16帧，均值采样后在附近随机采样进行augmented，空间上在四个角和中间采crop，并使用multiscale技术18，将原图多尺寸crop后scale到最终需求。
在文章19中有一个对这些技术的对比，同时，这篇文章提出clip length对结果影响很大。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
