深度学习--卷积神经网络（含链式反向梯度传导）

最新推荐文章于 2024-12-08 00:00:00 发布
原创 最新推荐文章于 2024-12-08 00:00:00 发布 · 1.2k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文深入探讨卷积神经网络（CNN），对比其与传统神经网络的区别，详细阐述卷积层的参数如卷积核大小、步长、边界扩充等，并解析链式反向梯度传导的数学原理，包括链式求导法则的应用。同时，介绍了CNN的功能层，如非线性激励、池化层和归一化层，以及整体架构中的感受野概念。

链式反向梯度传导的数学

在这里插入图片描述

链式求导法则手算

例1

在这里插入图片描述

例2

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

链式求导法则总结

在这里插入图片描述

-------------------------------------------------------

概述

卷积神经网络和传统神经网络的区别

最低0.47元/天 解锁文章
反向传播算法推导-卷积神经网络
SIGAI_优快云的博客
08-08 8092
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 导言– 在SIGAI之前的公众号文章“反向传播算法推导-全连接神经网络”中，我们推导了全连接神经网络的反向传播算法。其核心是定义误差项，以及确定误差项的递推公式，再根据误差项得到对权重矩阵、偏置向量的...
卷积神经网络的梯度求解
loki2018的博客
11-15 1829
在一些对神经网络可解释性的研究中，总是会利用到损失函数对最后一层特征图进行求梯度的操作，例如著名的Grad CAM，因此对于卷积神经网络的理解不能仅仅停留在调包的阶段，我们需要拆解开它求梯度的黑盒。以下是以上计算过程的代码，可以发现计算结果和推导是一致的。的每个元素对最终输出的贡献大小，就需要计算出。最后将结果整合之后，再将形状变换与。操作之后，得到一个新的特征图。如图所示，假设有一个特征图。得到一个长度为2的输出向量。因此根据链式求导法则，中每个元素的偏导，即。我们整理一下从特征图。
深度学习-链式求导
花开花落，人走茶凉
07-02 5280
链式法则是微积分中的求导法则，用于求一个复合函数的导数 假设 a，b，c，d，ea，b，c，d，ea，b，c，d，e 存在下面的关系 存在等式： a+b=cb+1=dc×d=c a+b=c \\ b+1=d \\ c\times d=c a+b=cb+1=dc×d=c 假设 a=2，b=1a=2，b=1a=2，b=1 那么 c=a+b=3d=b+1=2c=a+b=3\\d=b+1=2c=a+b...
Deep learning---------------Back propagation Algorithm（BP algorithm)
精锐小庄的专栏
12-02 1814
假设我们有一个固定样本集 ，它包含  个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为： 这是一个（二分之一的）方差代价函数。给定一个包含  个样例的数据集，我们可以定义整体代价函数为： 以上公式中的第一项  是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。 [注：通常权重衰减
基于Notes on Convolutional Neural Networks的卷积神经网络反向求导的理解
keke he的专栏
03-12 272
多次阅读cnn_tutorial 后，结合其他作者的博客后。重要对CNN反向求导明白了点，在此写下对反向求导的理解。 1. CNN的最终目标是以数据驱动的模式，去学习filters..，也称为kernel（filter正是从input中抽取特征）。 bp 算法，即反向传播算法的思想大概是:将当前网络的输出与期望的输出做比较。然后从后往前，调节每层的参数。 根据梯度下降算法，通过计算
全连接层与链式求导法则在神经网络中的应用
ciweic的博客
12-08 1577
通过这些详细的代码实现，我们可以更深入地理解全连接层和链式求导法则在神经网络中的作用和重要性。例如，在卷积神经网络（CNN）中，全连接层通常用于网络的末端，以将学习到的特征映射到最终的输出类别。全连接层负责将特征从一种形式转换为另一种形式，而链式求导法则则是反向传播算法的核心，用于计算神经网络参数的梯度。在神经网络的背景下，链式求导法则被用来计算损失函数关于网络参数的梯度，这是反向传播算法的核心。在这段代码中，我们定义了ReLU激活函数的导数，并在全连接层的反向传播中使用它。，计算损失函数关于输入。
Tensorflow学习笔记----损失函数、链式法则、反向传播
weixin_43580130的博客
08-17 966
一．损失函数（LossFunction） MSE：loss = 1/NΣ( y - out )2 #MSE y = tf.constant([1,2,3,0,2]) y = tf.one_hot(y,depth=4)#独热编码指的是在分类问题中，将存在数据类别的那一类用X表示，不存在的用Y表示，这里的X常常是1， Y常常是0。 y = tf.cast(y,dtype = tf.float32) out = tf.random.normal([5,4]) #以下三种方式是求loss的不同方式 print("
IDL神经网络与深度学习导论+神经网络与深度学习基础
K_savo的博客
01-01 1550
常见的深度学习框架包括：TensorFlow、PyTorch、Caffe、MxNet、Keras、PaddlePaddle一般地，人工神经网络中的激活函数都选用非线性函数。原因如下：人工神经网络主要由大量的神经元以及它们之间的有向连接构成。人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。前馈神经网络（全连接神经网络、多层感知器）定义网络——>损失函数——>优化训练的过程就是不断更新权重w和偏置b的过程，直到找到稳定的w和b使得模型的整体误差最小。池化层也叫子采样层(Subs
深度学习之——反向传播
GWENGJING的博客
09-10 1593
我们就将利用前向计算所得到损失函数进行反向传播。
神经网络梯度是什么意思,神经网络中梯度下降法
m0_54846070的博客
08-15 402
累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。根本原因是sigmoid函数的缺陷。方法：1、好的初始化方法，逐层预训练，后向传播微调。2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。避免梯度消失和梯度爆炸的方案：使用新的激活函数Sigmoid函数和双曲正切函数都会导致梯度消失的问题。ReLU函数当x...
深度学习之卷积神经网络（6）梯度传播
weixin_43360025的博客
10-02 1221
深度学习之卷积神经网络（6）梯度传播  在完成手写数字图片识别实战后，我们对卷积神经网络的使用有了初步的了解。现在我们来解决一个关键问题，卷积层通过移动感受野的方式实现离散卷积操作，那么它的梯度传播是怎样进行的呢？  考虑一简单的情形，输入3×33×33×3的单通道矩阵，与一个2×22×22×2的卷积核，进行卷积运算，输出结果打平后直接与虚构的标注计算误差，如下图所示。我们来讨论这种情况下的梯度更新方式。 卷积层梯度传播举例  首先推导出张量O\boldsymbol OO的表达形式: o00=x00w00
卷积神经网络反向求导详解
格物致知
05-10 6071
在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP)1. 回顾DNN的反向传播算法　　　　我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的δLδL:δL=∂J(W,b)∂zL=∂J(W,b)∂...
卷积神经网络反向传播推导
TonLP的博客
12-22 3607
以TensorFlow的卷积神经网络为例卷积-池-卷积-池-全连接-softmax 前向传导C1层：卷积神经网络的输入是28×28的矩阵AA，经过F1F_1个5×5的卷积核K1i(i=1,2,...,F1)K_i^1(i=1,2,...,F_1)的卷积生成F1F_1个24×24大小的feature maps： C1i=conv2(A,K1i,′VALID′)+b1iC_i^1=conv2(A,
卷积神经网络(CNN)反向传播算法公式详细推导
热门推荐
walegahaha的博客
07-18 4万+
在看本篇博文之前，你需要对卷积神经网络有一定的理解，并且能够自主推导出经典BP神经网络反向传播的相关公式。
CNN 卷积神经网络 笔记 通俗讲解
雪的期许
10-09 1147
文章目录1. 卷积的数学定义1.1 举例：离散卷积1.2 举例：连续卷积2. 二维离散卷积2.1 二维卷积的简单案例2.2 卷积神经网络中的卷积3. 卷积神经网路3.1 卷积层（特征提取）3.2 池化层（特征压缩）3.3 激活函数3.4 归一化3.5 全连接层3.6 卷积神经网络的前向传播3.7 目标函数与反向传播4. 总结
【Python实现卷积神经网络】：反向传播推导卷积层对输入数据的求导
Jack_Kuo的博客
08-23 2258
0.前言 　　通过之前的学习【Python实现卷积神经网络】：卷积层的正向传播与反向传播+python实现代码，我们知道卷积层的反向传播有三个梯度要求： 1.对输入数据的求导 2.对W的求导 3.对b的求导 　　这篇博客推导第一个公式：对输入数据求导。如下公式是怎么来的： 1.【对输入数据求导】计算方法一 　　我在之前的博客中举了正向传播输入数据不带p...
卷积神经网络的卷积操作及其梯度
fsdfasfawre的博客
06-08 7808
1. 卷积层（Convolutional Layer）卷积层，也可以称之为特征提取层，是CNNs最重要的部分。卷积层需要训练的参数是一系列的过滤器（我更喜欢卷积核这个词），这些过滤器的大小一致，通常都是正方形。假设我们有n个过滤器，每个过滤器的大小为kxk（k通常取3或5），那么这一层我们需要训练的参数就有nxkxk+n/c个（这里的c表示通道数，如果是灰度图像c=1，如果是彩色图像c=3）。权值...
深度学习-链式求导法则
09-06 2879
假设有两个函数 ( f ) 和 ( g )，其中 ( f ) 是 ( g ) 的函数，即 ( f ) 和 ( g ) 的复合函数为 ( h(x) = f(g(x)) )。ddxfgxdfdg⋅dgdxdxd​fgx))dgdf​⋅dxdg​也就是说，复合函数 ( h(x) ) 的导数等于外层函数 ( f ) 对中间函数 ( g ) 的导数，乘以中间函数 ( g ) 对 ( x ) 的导数。
【Python实现卷积神经网络】：推导卷积层的W,b的梯度
Jack_Kuo的博客
08-21 4552
通过之前的学习【Python实现卷积神经网络】：卷积层的正向传播与反向传播+python实现代码，我们知道卷积层的反向传播有三个梯度要求： 1.对输入数据的求导 2.对W的求导 3.对b的求导 当时，我写2.对w求导时，参考的是这篇文章：CNN卷积神经网络和反向传播，而他的对w求导是需要将卷积层的输入数据做180度翻转，下图是摘自这个博客： 所以，我依照这个说法，...
卷积神经网络的梯度爆炸和梯度弥散
最新发布
01-04
### 卷积神经网络中的梯度爆炸和梯度弥散问题 #### 原因分析 在网络训练过程中，无论是前馈还是反馈阶段，都会遇到梯度计算的问题。当网络过深时，在反向传播算法中，误差通过链式求导法则逐层向前传递，此时会出现两种极端情况： - **梯度爆炸**：如果各层之间的权重较大，则在反向传播过程中，随着层数增加，累积的梯度会呈指数级增长，最终导致数值溢出或模型参数剧烈波动，影响收敛稳定性[^3]。 - **梯度弥散（即梯度消失）**：相反地，若每层间相乘因子较小（通常小于1），则经过多轮迭代后，这些微小值不断累加的结果会使整体梯度趋向于零，使得深层部分难以得到有效更新，从而阻碍了整个系统的正常学习过程[^4]。 这两种现象的根本原因在于深度神经网络内部复杂的非线性映射关系以及由此引发的梯度信号衰减/放大特性。 #### 解决方案概述 为了应对上述挑战，研究者们提出了多种策略来改善这一状况： - 对于**梯度爆炸**而言，一种有效的处理方式是采用**梯度裁剪技术**。具体做法是在每次执行参数更新之前先检测当前批次下的最大绝对梯度值；一旦发现超出预设的安全界限，则对该批数据对应的全部梯度实施统一缩放操作，使其保持在一个合理的范围内，以此避免过大梯度带来的负面影响。 - 针对更为常见的**梯度消失问题**，可以从以下几个方面入手加以缓解： - 调整网络结构设计，比如引入跳跃连接机制（ResNet）、使用门控单元（LSTM/GRU）等特殊组件，它们能够有效打破传统全连接模式下固有的信息流瓶颈，促进远距离依赖性的建立； - 更换合适的激活函数类型，像ReLU及其变体相比Sigmoid/Tanh具有更好的梯度传导性能，有助于维持稳定的学习动态； - 利用正交初始化方法设定初始权重矩阵，确保早期训练阶段不会因为不当配置而加剧梯度失真程度[^2]。 综上所述，通过对症施治并综合运用不同层面的技术手段，可以在很大程度上克服卷积神经网络中存在的梯度异常难题，进而提升模型的整体表现力。 ```python import torch.nn as nn class GradientClipping(nn.Module): def __init__(self, clip_value=1.0): super(GradientClipping, self).__init__() self.clip_value = clip_value @torch.no_grad() def forward(self, model_parameters): for param in model_parameters: if param.grad is not None: param.grad.clamp_(-self.clip_value, self.clip_value) # 使用示例 clipper = GradientClipping(clip_value=5) for epoch in range(num_epochs): ... optimizer.step() # 更新参数 clipper(model.parameters()) # 应用梯度裁剪 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值