Pseudo-3D Residual Networks 算法笔记

最新推荐文章于 2025-04-07 16:45:25 发布
最新推荐文章于 2025-04-07 16:45:25 发布
阅读量1.7w 收藏 51
点赞数 9
分类专栏： 深度学习 计算机视觉 视频分类/理解/分析 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014380165/article/details/78986416
版权
Pseudo-3D Residual Networks（P3D ResNet）是ICCV2017提出的一种优化3D卷积的方法，用于视频分类。通过1*3*3和3*1*1卷积代替3*3*3卷积，降低计算成本，提高速度，同时在Sports-1M和UCF101数据集上表现出优于传统3D卷积网络和ResNet的性能。P3D ResNet通过不同结构的组合实现性能提升，其速度和准确率的平衡使其成为视频理解领域的有效解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文：Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
论文链接：http://openaccess.thecvf.com/content_ICCV_2017/papers/Qiu_Learning_Spatio-Temporal_Representation_ICCV_2017_paper.pdf
官方代码：https://github.com/ZhaofanQiu/pseudo-3d-residual-networks
第三方代码：https://github.com/qijiezhao/pseudo-3d-pytorch

ICCV2017的文章。在视频分类或理解领域，容易从图像领域的2D卷积联想到用3D卷积来做，虽然用3D卷积进行特征提取可以同时考虑到spatial和temporal维度的特征，但是计算成本和模型存储都太大，因此这篇文章针对视频领域中采用的3D卷积进行改造，提出Pseudo-3D Residual Net (P3D ResNet)，思想有点像当年的Inception v3中用1*3和3*1的卷积叠加代替原来的3*3卷积，这篇文章是用1*3*3卷积和3*1*1卷积代替3*3*3卷积（前者用来获取spatial维度的特征，实际上和2D的卷积没什么差别；后者用来获取temporal维度的特征，因为倒数第三维是帧的数量），毕竟这样做可以大大减少计算量，而如果采用3D卷积来做的话，速度和存储正是瓶颈，这也使得像C3D算法的网络深度只有11层，参看Figure1。该文章的网络结构可以直接在3D的ResNet网络上修改得到。顺便提一下，除了采用3D卷积来提取temporal特征外，还可以采用LSTM来提取，这也是当前视频研究的一个方向。

Figure1是几个模型在层数、模型大小和在Sports-1M数据集上的视频分类效果对比，其中的P3D ResNet是在ResNet 152基础上修改得到的，深度之所以不是152，是因为改造后的每个residual结构不是原来ResNet系列的3个卷积层，而是3或4个卷积层，详细可以看Figure3，所以最后网络深度是199层。官方github代码中的网络就是199层的。ResNet 152是直接在Sports-1M数据集上fine tune得到的。可以看出199层的P3D ResNet虽然在模型大小上比ResNet-152（此处ResNet-152是在sports-1M数据集上fine tune得到的）大一些，但是准确率提升比较明显，与C3D（此处C3D是直接在sports-1M数据集上从头开始训练得到的）的对比在效果和模型大小上都有较大改进，除此之外，速度的提升也是亮点，后面有详细的速度对比。
这里写图片描述

既然想用1*3*3卷积和3*1*1卷积代替3*3*3卷积，那么怎样组合这两

最低0.47元/天 解锁文章
【论文阅读笔记】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
bbp94_github的博客
10-16 2436
代码地址：https://github.com/ZhaofanQiu/pseudo-3d-residual-networks 主要贡献：以经济且有效的方式构建了仿3D卷积神经网络模型：P3D ResNet 出发点：3D 卷积神经网络能够同时学习到视频的时间和空间特征，但是存在所需内存大和计算成本高的问题，导致难以构建更深层的3D CNN，因此提出了用二维空间卷积和一维时间卷积来模拟3D卷积的想...
论文笔记《Spatio-Temporal Graph Structure Learning for Traffic Forecasting》
mintminty的博客
12-15 2600
【论文】 Zhang Q, Chang J, Meng G, et al. Spatio-Temporal Graph Structure Learning for Traffic Forecasting[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(01): 1177-1185. 【代码】 暂无 本篇文章主要是解决如何建模复杂、动态的空间依赖性问题，作者认为现在用的图卷积神经网络存在以下几个问题：.
Pseudo-3D Residual Networks
woyuanzuonideyikeya的博客
07-31 1685
在视频分类或者理解领域， 容易从图像领域的2D卷积联想到3D卷积来做。虽然采用3D卷积进行特征去可以同时考虑空间和temporal维度的特征，但是计算成本和模型存储的都太大，因此这篇文章针对视频采用3D卷积进行改造，提出了Pseudo-3D Residual Net（P3D ResNet）思想类似为当年的Inception V3 中用1*3 和3*1 的卷积叠加代替原来的3*3卷积。这篇文章是采...
关于3D卷积
最新发布
qq_45670407的博客
04-07 1184
关于深度学习中的3D卷积
3D图象算法
waterflier's BLOG
12-20 3919
 转载自http://www.gameres.com3D简介　　我们首先从坐标系统开始。你也许知道在2D里我们经常使用Ren?笛卡儿坐标系统在平面上来识别点。我们使用二维(X,Y):X表示水平轴坐标,Y表示纵轴坐标。在3维坐标系，我们增加了Z，一般用它来表示深度。所以为表示三维坐标系的一个点，我们用三个参数(X,Y,Z)。这里有不同的笛卡儿三维系统可以使用。但是它们都是左手螺旋或右手螺旋的
《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》算法详解
Michael’s Blog
08-08 1107
论文: Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks 官方代码(caffe): https://github.com/ZhaofanQiu/pseudo-3d-residual-networks 非官方(pytorch): https://github.com/qijiezhao/pseudo-3d-pytorch 由微软和中科大提出 被ICCV2017收录 一、核心创新 提出将3D卷积进行时间和空间的.
（ICCV-2017）使用伪 3D 残差网络学习时空表示
顾道长生的科研笔记
04-16 2208
使用伪 3D 残差网络学习时空表示 paper题目：Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks paper是中国科学技术大学发表在ICCV 2017的工作 paper链接：地址 Abstract 卷积神经网络 (CNN) 是用于图像识别问题的一类强大的模型。然而，使用 CNN 学习时空视频表示，这并非易事。一些研究表明，执行 3D 卷积是一种捕获视频中空间和时间维度的有益方法。然而，从头开始开发
Pseudo-3D Residual Networks算法的pytorch代码
guifeng93的博客
11-12 780
作者：AI之路 原文：https://blog.youkuaiyun.com/u014380165/article/details/78986430 本篇博客是对第三方实现的Pseudo-3D Residual Networks算法的pytorch代码进行介绍，介绍顺序为代码调试顺序，建议先阅读论文或相关博客。 论文：Learning Spatio-Temporal Representation with ...
异常检测经典论文：《Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection》阅读笔记-1
gaooolianggg的专栏
09-05 1061
综合：在训练过程中，已知异常被送入head1和head3, 生成异常被送入head2和head3，正常样本被送入head1,head2,head3,head4，经过训练后，我的理解是，head1输出一个样本属于已知异常的分数，head2输出该样本为合成异常的分数，head3输出该样本为异常的分数（通过与参考样本做差得到的残差特征），head4输出该样本为合格样本的分数。这部分就有很多的类似方式了，有一系列的异常检测算法就是通过生成伪缺陷图像进行训练的，我觉得这里也可以换成其他的类似方式。
论文笔记 | graph pre-training 系列论文
Firmiana1220的博客
01-17 1840
图预训练论文笔记1. Strategies for pre-training graph neural networks2. Multi-stage self-supervised learning for Graph Convolutional Networks on graphs with few labeled nodesMotivation具体方法3. GPT-GNN: Generative Pre-training of Graph Neural Networks4. Pre-training G
图像超分辨率综述：Deep Learning for Image Super-resolution: A Survey 阅读笔记
weixin_43514766的博客
11-06 6945
图像超分辨率综述：Deep Learning for Image Super-resolution: A Survey 阅读笔记Deep Learning for Image Super-resolution: A Survey简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML
3d算法:3D图象算法
06-27
3D介绍 　　 我们首先从坐标系统开始你也许知道在2D里我们经常使用Ren?笛卡儿坐标系统在平面上来识别点我们使 用 2维(X,Y):X表示水平轴坐标,Y表示纵轴坐标在3维坐标系我们增加了Z般用它来表示深度所以为表示 3维坐标 系个点我们用 3个参数(X,Y,Z)这里有区别笛卡儿 3维系统可以使用但是它们都是左手螺旋或右手螺旋右手螺旋 是右手手指卷曲方向指向Z轴正方向而大拇指指向X轴正方向左手螺旋是左手手指卷曲方向指向Z轴负方向实际 上我们可以在任何方向上旋转这些坐标系而且它们仍然保持本身特性在计算机图形学常用坐标系为左手坐标系 所以我们也使用它: X 正轴朝右 Y 正轴向上 Z 正轴指向屏幕里
pseudo-3d-tensorflow:伪 3d 残差网络的 Tensorflow 实现
05-30
伪3d张量流 用于伪 3d 残差网络的 Tensorflow 实现。 作者 yfxc 电子邮件 张量流 1.10+（不支持2.0） 介绍 Pseudo-3d-residual-network 主要用于动作识别，论文网址： : 这是张量流版本。 准备自己的数据集。 假设您将要使用 UCF 数据集。首先需要将视频转换为图像。 为此，您可以运行如下代码：（假设 UCF-101 数据集与代码文件位于同一目录中。） ./process_video2image.sh UCF101 下一步，您应该获得 train.list 和 test.list，之后您将分别从中获取训练数据和测试数据：（数字“5”表示所有数据的五分之一是测试数据。） ./process_gettxt.sh UCF101 5 注意：由于'train.list'和'test.list'中存在视频片段的Relative
3D图像算法从入门到进阶(包含C实现)
03-02
矢量计算 向量计算 3d算法 gis算法 矩阵原理 图形学知识
2D转3D算法
12-02
2D转3D算法，能够实现2D图像转成具有3D效果
[转] 3D算法
weixin_30635053的博客
08-14 241
1、三维图像算法　　1.13D简介　　我们首先从坐标系统开始。你也许知道在2D里我们经常使用笛卡儿坐标系统在平面上来识别点。我们使用二维（X，Y）：X表示水平轴坐标，Y表示纵轴坐标。在3维坐标系，我们增加了Z，一般用它来表示深度。所以为表示三维坐标系的一个点，我们用三个参数（X，Y，Z）。这里有不同的笛卡儿三维系统可以使用。但是它们都是左手螺旋或右手螺旋的。右手螺旋是右手手指的...
【论文阅读】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
zzmshuai的博客
12-20 3600
【论文阅读】Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks 虽然这是一篇17年ICCV的论文，但是这篇论文里没有使用kinetics数据集，可能应该是作者做相关实验的时候kinetics数据集还没有发布吧，作者关注当时的3D卷积网络计算效率低、参数量大的问题。所以从减少参数量的角度切入，想到了将 3D...
3D图形学算法
wkyb608的专栏
10-24 934
3D图形学算法 http://blog.youkuaiyun.com/popy007
Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
LYKymy的博客
09-21 1532
Abstract 卷积神经网络（cnn）被认为是一类有效的图像识别模型。然而，当利用CNN学习时空视频表示时，这并非不平凡。一些研究表明，执行3D卷积是一种捕获视频中时空维度的有益方法。然而，从头开始开发非常深的3d cnn会导致昂贵的计算成本和内存需求。一个有效的问题是，为什么不为3D CNN回收现成的2D网络。在本文中，我们通过在空间域（相当于2D CNN）上模拟3×3×3卷积滤波器（相当于...
Learning spatio-temporal representation with pseudo-3D residual networks
04-03
### 伪3D残差网络用于时空特征表示学习 伪3D残差网络（Pseudo-3D Residual Networks, P3D）是一种通过分解3D卷积操作来高效学习视频数据中时空特征的方法。这种方法的核心在于将复杂的3D卷积运算分为时间维度上的1D卷积和空间维度上的2D卷积，从而显著降低计算复杂度和内存需求。 #### 核心原理 传统的3D卷积可以直接捕捉视频中的时空信息，但由于其高计算成本和内存占用，难以扩展到深层网络结构。P3D网络通过引入三种不同的模块化设计——即 **Type A**, **Type B**, 和 **Type C** ——实现了对3D卷积的有效近似[^1]。这些模块分别对应于不同的时空建模策略： 1. **Type A**: 首先应用一个单独的时间卷积 (1×3×3)，随后是一个标准的空间卷积 (3×1×1)。 2. **Type B**: 将时间卷积与空间卷积融合为单一的操作单元，其中时间卷积嵌入在两个空间卷积之间。 3. **Type C**: 反转顺序，首先执行空间卷积 (3×3×1)，再接续时间卷积 (1×1×3)。 这种模块化的设计允许灵活调整模型的复杂性和性能表现，同时保持较低的资源开销。 #### 实现细节 为了进一步理解如何构建P3D网络，以下是其实现的关键部分： 1. **基础架构继承自ResNet** P3D网络的基础框架来源于经典的二维残差网络（ResNet）。它通过对原始ResNet层进行修改，加入额外的时间维度处理能力，形成适合视频分析的新组件。 2. **多尺度特征提取** 利用堆叠的不同类型的P3D块，可以在多个尺度上捕获丰富的动态特性。例如，在高层级上关注长期依赖关系；而在低层级则更注重局部运动模式。 3. **优化目标函数** 训练过程中通常采用交叉熵损失作为分类任务的主要指标，并可能结合其他正则项以提升泛化能力和防止过拟合。 下面展示了一段简单的PyTorch代码示例，演示如何定义基本的P3D Type B Block: ```python import torch.nn as nn class P3DBlockB(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(P3DBlockB, self).__init__() # Spatial Convolution self.spatial_conv = nn.Conv3d(in_channels, out_channels, kernel_size=(1, kernel_size, kernel_size), stride=stride, padding=(0, padding, padding)) # Temporal Convolution self.temporal_conv = nn.Conv3d(out_channels, out_channels, kernel_size=(kernel_size, 1, 1), stride=1, padding=(padding, 0, 0)) def forward(self, x): identity = x # Apply spatial convolution first out = self.spatial_conv(x) # Followed by temporal convolution out = self.temporal_conv(out) return out + identity ``` 此代码片段展示了如何创建一个基于Type B配置的小型P3D块实例。 #### 特征可视化 文章还探讨了通过DeepDraw工具对学到的行为类别进行可视化的过程[^3]。尽管生成的结果质量有限，但它揭示了网络确实能够识别特定动作的相关视觉线索。例如，“摩托车竞赛”的案例显示出了清晰的比赛场景特征。 --- ### 总结 综上所述，伪3D残差网络提供了一种高效的解决方案，能够在减少硬件负担的同时保留强大的时空表达能力。这对于实时视频处理以及大规模数据集的应用尤为重要。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值