卷积神经网络中间计算结果的大小（内存占用）

原创 已于 2022-04-15 20:31:19 修改 · 958 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能 #网络 #dnn

于 2022-04-15 20:30:26 首次发布
本文解释了如何计算神经网络接收图片时，输入大小的计算方法，以及卷积操作后中间特征图的大小。重点介绍了位深度对计算的影响，并提供了PyTorch中查找像素位数的方法。

一张图片输入到神经网络中时，不断经过卷积层的卷积，中间特征结果的大小如何计算呢？

1.输入图片大小的计算

图片的长*宽 *位深（一个像素点的位数）

位深：8位，16位，24位，32位

位深是不同的，与图片的后缀形式有关系

2.中间卷积结果的大小计算

中间特征图大小的计算不同于原始图片大小的计算

中间特征张量有（W,H,C）宽、高、信道数

中间特征图大小计算= W*H*C*像素点位数

至于像素点的位数，在pytorch中比较常用的是torch.float32类型，即一个像素点用32bits存储

可以通过输出中间tensor的类型查找自己网络的像素点的位数

查找代码：

print(x.dtype) # x是中间张量

计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-11 14万+
计算机视觉卷积神经网络（CNN）基础：从LeNet到ResNet，在计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已然成为推动众多任务发展的核心力量。从早期简单的图像识别，到如今复杂的目标检测、语义分割、图像生成等任务，CNN 都展现出了卓越的性能。CNN 的发展历程见证了一系列经典模型的诞生，其中 LeNet 作为开山之作，为 CNN 的发展奠定了基础，而 ResNet 则通过创新性的设计，突破了传统神经网络的限制，使得网络能够构建得更深、性能更优。
PyTorch实战：常用卷积神经网络搭建结构速览
master_hunter的博客
09-25 1535
PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架可以类比为编程语言，仅为我们实现项目效果的工具，也就是我们造车使用的轮子，我们重点需要的是理解如何使用Torch去实现功能而不要过度在意轮子是要怎么做出来的，那样会牵扯我们太多学习时间。以后就出一系列专门细解深度学习框架的文章，但是那是较后期我们对深度学习的理论知识和实践操作都比较熟悉才好开始学习，现阶段我们最需要的是学会如何使用这些工具。
AlexNet卷积层、池化层的输出图像尺寸计算
m0_46352350的博客
11-16 3327
AlexNet2012年时计算机的算力还不足以支持这么深层的模型，所以AlexNet当时是把模型并行放在两个GPU上，而这篇文章是合并计算的。值得注意的是，AlexNet模型中输入图像是224×224×3，实际上应该是227×227×3，这样才能计算第一层的feature map。 AlexNet模型 先看模型代码： net = nn.Sequential( nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1), nn.Re...
如何判断神经网络中间层的输出参数（大小）？
开飞机的小毛驴儿
12-02 1493
先根据视频写一个简单的Lenet5作为例子： import torch from torch import nn class Lenet5(nn.Module): def __init__(self): super(Lenet5,self).__init__() self.conv_unit=nn.Sequential( ...
CNN卷积神经网络内存占用计算
haima1998的专栏
08-07 8724
转自：http://cs231n.github.io/convolutional-networks/#case http://n2value.com/blog/memory-requirements-for-convolutional-neural-network-analysis-of-brain-mri/ VGGNet in detail. Lets break dow
深度学习基础知识干货 | 卷积模型的Memory, Params, Flop是如何计算的?
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
10-31 445
（乘法 + 加法）= 每一层输出的元素个数 * 每一个元素的运算量 = (c_out * H * W) * (c_in * K * K) = (64 * 56 * 56) * (3 * 11 * 11) = 72855552。权重的形状 = c_out * (c_in * k * k) = 64 * 3 * 11 * 11。= C * H * W = 64 * 56 * 56 = 200704 个元素。KB = 输出元素的个数 * 每个元素的大小 / 1024。偏差 = c_out = 64。
神经网络占用内存（显存）的计算
liu13364876993的博客
11-21 3849
所占用内存 KB = 参数x4 / 1024 所占用内存 MB = 参数x4 / 1024 / 1024 比如：某网络权重参数量106073，那么他占用的内存是106073x4/1024=414.34kb。 乘4是因为float32占用4字节。 ...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 11万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
卷积神经网络结构优化综述
m0_62870606的博客
02-14 4632
卷积神经网络结构优化综述 人工智能技术与咨询 来源：《自动化学报》，作者林景栋等 摘 要近年来,卷积神经网络(Convolutional neural network,CNNs)在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展,其强大的特征学习能力引起了国内外专家学者广泛关注.然而,由于深度卷积神经网络普遍规模庞大、计算度复杂,限制了其在实时要求高和资源受限环境下的应用.对卷积神经网络的结构进行优化以压缩并加速现有网络有助于深度学习在更大范围的推广应用,目前已成为深度学习社区的...
CNN-卷积神经网络-基本知识点总结
最新发布
m0_59402094的博客
04-18 1528
CNN-卷积神经网络基本知识点总结
深度学习-卷积神经网络CNN计算输出特征大小以及参数数量
weixin_44992225的博客
05-09 2372
链接：https://blog.youkuaiyun.com/sinat_42239797/article/details/90646935。
卷积神经网络参数量和计算量内存计算
bblingbbling的博客
11-17 4774
神经网络常用模型参数量一级目录二级目录 一级目录 二级目录
卷积神经网络系列之卷积/池化后特征图大小怎么计算？？
橙子Blue不加冰
12-16 1万+
1.卷积后的大小： W：矩阵宽，H：矩阵高，F：卷积核宽和高，P：padding（需要填充的0的个数），N：卷积核的个数，S：步长 width：卷积后输出矩阵的宽，height：卷积后输出矩阵的高 width = （W - F + 2P）/ S + 1 height = （H - F + 2P） / S + 1 当conv2d(), max_pool() 中的 padding=SAME时，width=W，height=H，则保证输入输出尺寸图片大小相等，当padding=‘valid’时，P=0，相当于不填
【TensorFlow】神经网络中间层截取、可视化中间层结果
qq_41340996的博客
09-13 3521
在预测的过程中，想要将神经网络模型的中间层结果获取到，并进行可视化。 训练过程中搭建的模型代码如下： class_num = 3 base_model = tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE, include_top=False, weights=
卷积神经网络(CNN)张量(图像)的尺寸和参数计算(深度学习)
kyle1314608的博客
06-02 6782
卷积神经网络(CNN)张量(图像)的尺寸和参数计算(深度学习) 分享一些公式计算张量（图像）的尺寸，以及卷积神经网络（CNN）中层参数的计算。 以AlexNet网络为例，以下是该网络的参数结构图。 AlexNet网络的层结构如下： 1.Input:图像的尺寸是227*227*3. 2.Conv-1:第1层卷积层的核大小11*11，...
卷积神经网络（详细解说题）
dong-技术驱动人生
05-27 2809
经典的多层感知机由一系列全连接层组成，卷积神经网络中除全连接层外，还有卷积层和汇合（pooling）层。 （1）卷积层 为什么要用卷积层 输入图像通常维数很高，例如：1000×1000大小的彩色图像对应于三百万维特征。因此，继续沿用多层感知机中的全连接会导致庞大的参数量。大参数量需要繁重的计算，而更重要的是，大参数量会有更高的过拟合风险。卷积是局部连接、共享参数版的全连接。这俩个特性使参数...
神经网络训练数据集大小,神经网络输入图片大小
Supermen333的博客
09-16 3379
卷积神经网络有以下几种应用可供研究：1、基于卷积网络的形状识别物体的形状是人的视觉系统分析和识别物体的基础，几何形状是物体的本质特征的表现，并具有平移、缩放和旋转不变等特点，所以在模式识别领域，对于形状的分析和识别具有十分重要的意义，而二维图像作为三维图像的特例以及组成部分，因此二维图像的识别是三维图像识别的基础。另外是输入的问题，图象一般会先提取特征，再将特征作为输入。然而，这些特征的提取太过依赖人的经验和主观意识，提取到的特征的不同对分类性能影响很大，甚至提取的特征的顺序也会影响最后的分类性能。
卷积神经网络中各个卷积层的设置及输出大小计算的详细讲解
sinat_42239797的博客
05-28 10万+
我将从以下几个方面来进行解说： 1.卷积神经网络的结构 2.卷积神经网络的计算 3.以AlexNet为例进行详细讲解 4.常见的两个卷积层设置的问题 1.卷积神经网络的结构 卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层） 我们用一个图进行展示： 2.卷积神经网络的计算 ...
卷积神经网络[CNN]笔记（七）—— 层参数的经验值设置及网络内存问题分析
zeeq的博客
03-16 1684
到目前为止，我们还没有提到ConvNet中每个层中使用的公共超参数。我们将首先说明确定体系结构大小的常用经验法则，然后按照这些法则讨论表示方法： 输入层（input layer）应该可以被2整除很多次。常用数字包括32（例如CIFAR-10）、64、96（例如STL-10）或224（例如Common ImageNet ConvNets）、384和512。 conv层应使用小的过滤器（例如3x3或最多5x5），使用S=1的步长，最关键的是，用零填充输入卷，这样conv层就不会改变输入的空间维度。也就是说，当
基于Matlab的卷积神经网络手写数字识别实现
卷积神经网络（Convolutional Neural Network, CNN）作为深度学习领域中最具代表性的模型之一，广泛应用于图像识别、目标检测、语音处理和自然语言处理等任务。尤其在计算机视觉方向，CNN凭借其独特的局部感知、权值...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值