对于CNN卷积神经网络的前向传播和反向传播的理解

最新推荐文章于 2025-04-11 22:35:44 发布
最新推荐文章于 2025-04-11 22:35:44 发布
阅读量6.1k 收藏 51
点赞数 3
分类专栏： python # tensorflow实战 DeepLearning 文章标签： 神经网络 卷积 深度学习 人工智能 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/acceptedday/article/details/104416383
版权

对于CNN卷积神经网络的前向传播和反向传播的理解

前向传播示意图：

在这里插入图片描述

​ 咋一看这张图，作为初学者可能会不知所云(￣ω￣=)？但是想要很好的理解前向传播的原理，我们得从这张图细说。

文章目录

1.首先我们从x，w的参数组成说起？

​ 如图左下角所示，x[编号n,通道c,高h,宽w]，这里需要的注意的是通道c和编号n的作用。如图，这里输入的图片格式采用3通道，即R，G，B可以看作是输入图片的深度为3。

​ 在这里插入图片描述
这里的0,1,2分别代表R,G,B三种颜色层，而w[…,0/1/2,…,…]也是同理。而编号n的作用在于识别是否为同一张照片，即如图，x[0,0,…],x[0,1,…],x[0,2,…]代表他们同属于某一张图片，采用编号0。

2.filter滤波器与图片的对应关系是什么？

​ 在这里插入图片描述
接着，我们思考右上角的计算式？对于不断变换的h,w对应是什么意思呢？结合上图，我们发现是filter滤波器窗口w在x上不断的移动的结果，而h，c对应的位置发生了变化(即滤波器窗口在向右移动)。

​ 在这里插入图片描述
而上述计算式中的out[编号n,x,y]中x，y对应的是最终输出的out中的坐标。

3.共享权重和偏重机制

​ 还是上述的计算式，对于同一张图(R/G/B，而不是RGB三张图共享)，采用共享filter滤波器权重w和偏重b。

​ 当filter窗口扫描完一张图的所有像素位置，得到最终输出的out。这里需要的注意的是，滤波器的个数取决于上一层输入图的深度，即通道数。

​ 换一种角度理解就是，输入图有多少层，便需要多少个filter滤波器去提取特征。

反向传播示意图:

在这里插入图片描述

4.反向传播的式子怎么得来的？

​ 前向传播的关系式为：out=x*w+b，而反向传播时则需求解出dw是什么？

​ 反向传播的目的：更新参数w。因此要先算出dw。假设上一层会传过来一个梯度dj/dout（j对out的求导），根据链式求导法则，因此dw = dj/dout * dout/dw =dj/dout * x ，在计算机中方便为变量命名的缘故，将dj/dout记为dout，dj/dw记为dw，即图中的情况。

​ 即dw=dout*x；将dout反向乘以x得到dw。

前向传播和反向传播_卷积神经网络(CNN)反向传播算法推导
weixin_39636333的博客
11-20 1547
在之前的文章中我介绍了多层感知机反向传播的数学推导，主要是用数学公式来进行表示的，在全连接神经网络中，它们并不复杂，即使是纯数学公式也比较好理解。而卷积神经网络相对比较复杂，在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反向传播算法的推导。南柯一梦宁沉沦：神经网络中反向传播算法数学推导​zhuanlan.zhihu.com首先我给大家介绍一下我分析delta误差反向传播过程的简单方法，如...
cnn卷积神经网络反向传播,cnn正向传播和反向传播
m0_54846070的博客
08-15 1936
下面我尽可能地用简单的语言来阐述下我的看法（叙述中假设你已经大致知道什么是深度学习和神经网络：大数据和高性能计算在如今的互联网时代，都让神经网络有了前所未有的“更深”的可能，一批新方法被发明出来（DenoiseAutoencoder、图像识别中，他提出了利用RBM预训练的方法。几年后人们发现？3，抛砖引玉。在这个框架下？...
卷积神经网络(CNN)前向传播算法
weixin_34195546的博客
03-02 519
　　　　在卷积神经网络(CNN)模型结构中，我们对CNN的模型结构做了总结，这里我们就在CNN的模型基础上，看看CNN的前向传播算法是什么样子的。重点会和传统的DNN比较讨论。 1. 回顾CNN的结构 　　　　在上一篇里，我们已经讲到了CNN的结构，包括输出层，若干的卷积层+ReLU激活函数，若干的池化层，DNN全连接层，以及最后的用Softmax激活函数的输出层。这里我们用一个彩色的汽车样本的图...
【深度学习实践】卷积神经网络前向传播和反向传递的详细推导过程：公式与代码对应
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
04-11 1215
通过逐层给出显式数学公式并用纯 NumPy 手写梯度，我们完整展示了 CNN 从前向到反向的全部细节。掌握这些推导后，再使用框架的自动求导时就能精准定位数值误差与性能瓶颈，为调参与模型创新奠定坚实基础。
前向传播和反向传播_CNN前向传播与反向传播优化（Python）
weixin_39908082的博客
11-27 502
CNN前向传播与反向传播基本原理参考​blog.youkuaiyun.comCNN前向传播与反向传播优化干货|（DL~3）deep learning中一些层的介绍​www.zybuluo.com个人理解：1、对输入图像进行采样，采样尺寸根据filter的尺寸进行设定； 2、将采样后的像素块拉伸为一个列向量；（3*3*3=27）3、根据步长及filter的size计算出，原图可以分割为多少个patch（像素块）...
深度学习（四）：卷积神经网络(CNN)模型结构，前向传播算法和反向传播算法介绍。
热门推荐
anshuai_aw1的博客
12-03 1万+
在前面我们讲述了DNN的模型与前向反向传播算法。而在DNN大类中，卷积神经网络(Convolutional Neural Networks，以下简称CNN)是最为成功的DNN特例之一。CNN广泛的应用于图像识别，当然现在也应用于NLP等其他领域。 本文我们就对CNN的模型结构做一个总结。然后在此基础上，介绍CNN的前向传播算法和反向传播算法。 在学习CNN前，推荐大家先学习DNN的知识。如果不熟悉...
卷积神经网络CNN过程（前向和反向）
I‘m Frank Lee
07-17 6103
简介 卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。 卷积神经网络与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一...
卷积神经网络前向及反向传播过程数学解析.pdf
04-14
本文主要针对卷积神经网络的前向传播和反向传播过程进行了详细的数学解析，适合于深度学习初学者理解和掌握CNN的工作原理，为其搭建网络模型提供理论支持。 卷积神经网络的核心组成部分包括卷积层、激活函数、池化...
cnn卷积神经网络反向传播,卷积神经网络维度变化
神经网络爱好者
08-07 772
深度学习框架，尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机[2]，而人工神经网络的历史更为久远。1989年，燕乐存（YannLeCun）等人开始将1974年提出的标准反向传播算法[3]应用于深度神经网络，这一网络被用于手写邮政编码识别。尽管算法可以成功执行，但计算代价非常巨大，神经网路的训练时间达到了3天，因而无法投入实际使用[4]。...
卷积神经网络的基础构建：从前向传播到反向传播实现卷积层与池化层的Python代码实例及其在手势识别任务中的应用
02-11
内容概要：本文档详尽介绍了如何通过Python和NumPy从头搭建卷积神经网络（CNN），并探讨了其中的核心概念和技术细节。具体内容包括：卷积层、池化层的基础原理与实际编程实现；卷积操作的关键组件如边框填充、卷积核...
卷积神经网络的反向传播,卷积反向传播过程
aifamao3的博客
08-20 2186
卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。
卷积神经网络中卷积运算的前向传播与反向传播推导
SnailTyan
05-21 2733
文章作者：Tyan 博客：noahsnail.com  |  优快云  |  [简书](http://www.jianshu.com/users/7731e83f3a4e/latest_articles 0. 必备基础知识 卷积以及卷积的运算过程 微分相关知识，包括求偏导及链式法则 1. 卷积运算的前向传播 数学符号定义： 输入： 卷积核： ...
007-卷积神经网络03-前向传播-反向传播
weixin_30622107的博客
10-17 150
前向传播： 前向传播就是求特征图的过程 通常x和w有四个维度[编号，深度，高度，宽度] 反向传播： 先来复习一下反向传播的知识： 反向传播回来的是梯度，也就是偏导数 反向传播力有一个链式法则：对于反向传播（反着看），本层要往后面一层穿的的偏导=本层自身的偏导×上一层传过来的偏导 红色代表反向传播，绿色代表正向传播 out = wx+b out对w求倒数：（wx...
花书+吴恩达深度学习（十三）卷积神经网络 CNN 之运算过程（前向传播、反向传播）
今天你学习了吗
12-20 2045
目录 0. 前言 1. 单层卷积网络 2. 各参数维度 3. CNN 前向传播反向传播 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~ 花书+吴恩达深度学习（十）卷积神经网络 CNN 之卷积层 花书+吴恩达深度学习（十一）卷积神经网络 CNN 之池化层 花书+吴恩达深度学习（十二）卷积神经网络 CNN 之全连接层 花书+吴恩达深度学习（十三）卷积神经网...
卷积神经网络前向及反向传播过程数学解析
恩泽君的博客
05-14 9406
卷积神经网络前向及反向传播过程数学解析 文章目录卷积神经网络前向及反向传播过程数学解析1、卷积神经网络初印象2、卷积神经网络性质3、前向传播3.1、卷积层层级间传递3.2、池化操作3.3、卷积层到全连接层传递4、卷积神经网络的反向传播过程4.1、全连接层误差公式4.2、全连接层向池化层反向传递公式4.3、池化层到卷积层的误差公式4.4、卷积层之间的误差传递4.5、参数w和b的梯度公式5、总结5.1...
神经网络的前向传播与反向传播
qq_44182694的博客
11-11 3201
神经网络的前向传播和反向传播 相信一开始，大家可能都对神经网络的前向传播和反向传播很头疼，我之前也是一样，后来慢慢懂了，现在深感知识传递的重要性。因此现在我就把我的一点点对两者的理解表达一下，希望能帮助到大家！ 闲话不多说，直接开整！ 前向传播公式推导： 我们可以以下图这个神经网络为例： 为了推导公式时表示更加简洁一点，我们在这里规定： 信号是怎样从输入层传输到隐藏层的，我们通过网络图可以看到，a,b节点的箭头都指向了c节点，而且每个箭头都有对应的权重。那么c节点的输入简单来说就是各节点的输入再乘以相应
【python】卷积神经网络：前向传播与反向传播的原理 & 仅使用numpy的CNN实现
四轩茶屋
11-19 2756
一、概述 之前我们已经了解了普通的神经网络——使用前向传播和反向传播来进行训练。以MNIST数据集为例，在该网址中已经进行了推导，并得到了超过96%的准确率。但是由于其自身的缺陷，想要更进一步提高准确率很困难。这是因为虽然三层的神经网络可以逼近任意的函数，但是我们的输入不能表征样本的全部特征——因此无法在“任意函数”中找到最好的，只能在“任意函数”中找到最适合输入的。最适合输入的不一定是最好的，...
前向传播和反向传播_反向传播之六：CNN 卷积层反向传播
weixin_39939918的博客
11-30 502
最好的学习方法就是把内容给其他人讲明白。如果你看了我的文章感觉一头雾水，那是因为我还没学透。CNN卷积层的反向传播相对比较复杂一点。一、首先来看看前向传播算法(1)单通道---极简情况为了简单起见，设输入X为3* 3，单通道，卷积核K为2*2，输出Y为2*2，单通道。 ，即 这里 所以，卷积运算最终转化为矩阵运算。即X、K、Y变形在之后对应矩阵变为XC、KC、YC，则 Y和K只要reshape一下...
神经网络理解：前向传播与反向传播
weixin_42301220的博客
04-02 8828
文章目录参考资料神经网络前向传播**输入层->隐含层****隐含层->输出层**反向传播1. **计算总误差**2. **隐含层与输出层之间的权重更新**3. 输入层与隐层之间的权重更新4. 梯度下降 参考资料 神经网络基础: 反向传播推导与卷积公式 神经网络前向传播与反向传播 神经网络 神经网络通俗地可以理解成一个函数近似器，它需要近似一个输入x到输出y的映射函数。我们所要训练的网络参数其实就是在拟合这个映射函数的未知量。神经网络的训练可以分为两个步骤：一个是前向传播，另一个是反向传播。 前
卷积神经网络前向传播反向传播原理
12-30
### 卷积神经网络的前向传播 卷积神经网络（CNN）是一种专门用于处理具有网格结构的数据（如图像数据）的深度学习模型。其核心操作是卷积层，该层通过应用一系列滤波器来提取输入特征的不同方面。 在前向传播过程中，输入数据经过多个卷积层和池化层的操作逐步被转换成更高层次的抽象表示形式[^1]。具体来说： - **卷积运算**：对于每一个位置，计算局部区域内的加权求和并加上偏置项； - **激活函数**：通常采用ReLU作为非线性变换单元； - **池化操作**：减少空间维度的同时保留重要信息； 这些过程共同作用使得原始像素级的信息逐渐转化为语义级别更强的表现形式，从而有利于后续分类或其他任务执行。 ```python import torch.nn as nn class ConvNet(nn.Module): def __init__(self, num_classes=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential( nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) def forward(self, x): out = self.layer1(x) return out ``` ### 卷积神经网络的反向传播 为了训练一个有效的卷积神经网络，在定义好损失函数之后还需要实现参数更新机制——即所谓的“反向传播”。这一阶段的目标是从最后一层开始逐层向前传递误差梯度，并据此调整各层权重以最小化整体预测错误。 针对每一层而言，主要涉及两个方面的计算工作: - 计算当前层相对于上一层输出的变化率 (δ)，这一步骤依赖于链式法则以及具体的激活/聚合方式; - 更新对应的可调参量 w 和 b ，一般会利用随机梯度下降(SGD) 或者其他优化方法来进行迭代改进; 值得注意的是，由于存在共享权重特性，因此同一组过滤器会在不同位置重复使用相同的参数集，这也意味着在整个网络范围内只需维护少量独立变量即可完成全局最优解搜索[^2]. ```python loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate) def backward_pass(output, target): loss = loss_fn(output, target) optimizer.zero_grad() # 清除之前的梯度 loss.backward() # 反向传播计算梯度 optimizer.step() # 使用SGD更新参数 ```
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Super__Tiger

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值