（深度学习）CNN和RNN，LSTM公式推导

最新推荐文章于 2025-06-03 11:15:38 发布
最新推荐文章于 2025-06-03 11:15:38 发布
阅读量1.8k 收藏 9
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Rudy95/article/details/96481972
本文介绍了CNN、RNN及LSTM的前向传播和反向传播过程，重点讨论了LSTM如何缓解梯度消失问题。内容包括CNN的池化层和卷积层误差传播公式，RNN的权重共享导致的梯度问题，以及LSTM的门控机制和参数计算。还探讨了LSTM的多种应用场景及其变种。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

BP的流程：
在这里插入图片描述

CNN

前向：
在这里插入图片描述
在这里插入图片描述
反向：
问题一：池化层误差的传播
如果是max池化，则按照前向传播记录的最大值位置，还原此前大小的矩阵，如下图所示：
第一个是误差传播到池化层的误差矩阵
第二个矩阵将误差矩阵的尺寸还原到未池化之前的矩阵大小
第三个矩阵按照max池化，传播梯度
第四个矩阵是按照average池化，传播梯度
在这里插入图片描述
最终得到，未池化前的误差梯度。
公式可以写成：
在这里插入图片描述

问题二：卷积层的误差传播
卷积层误差的传播包括两个部分：误差传播到上一层，以及推导本层的权重W和b的梯度

  1. 传播到上一层

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
RNN介绍及梯度详细推导
ait2018
01-31 6206
RNN梯度详细推导1. RNN的几种常见结构结构一结构二欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流...
深度学习算法之CNN、RNN、LSTM公式推导
sinat_22336563的博客
05-05 6478
整个推导过程首先一定对网络的结构有清醒的认知，所有变量的下角标都能一一对应到网络结构上；然后就是链式求导了。一、CNN公式推导1、前向传播假设CNN共三层，第一层为输入层，第二层为隐藏层，第三层为输出层。定义：第一层与第二层之间的参数为WihW_{ih},第二层到第三层的参数为WhkW_{hk}t时刻的某一个神经元的输入为bib_i那么隐藏层输入为：∑mi=1Wihbi\sum_{i=1}^mW_{
一文快速预览经典深度学习模型——CNN、RNN、LSTM、Transformer、ViT
最新发布
Gupao123的博客
06-03 1138
本文系统介绍了深度学习中的关键神经网络模型及其变体。首先详细解析了CNN（卷积神经网络）的基本结构（输入层、卷积层、池化层、全连接层、输出层）和运算原理，包括零填充方式和典型模型（LeNet-5、AlexNet等）。其次阐述了RNN（循环神经网络）的序列处理机制及其长期依赖问题，重点讲解了改进模型LSTM（长短期记忆网络）的门控结构和训练过程。最后介绍了基于自注意力机制的Transformer模型及其视觉应用ViT（Vision Transformer），包括多头自注意力机制和编码器-解码器架构。
深度学习——CNN+RNN
Latterain的博客
06-30 1810
文章目录CNN，RNN图片标注视频行为识别图片/视频问答 CNN，RNN 相同点 都是传统神经网络的拓展 前向计算产生结果，反向计算更新模型 每层神经网络横向可以多个神经元共存，纵向可以有多层神经网络连接 不同点 CNN空间扩展，神经元与特征卷积；RNN时间扩展，神经元与多个时间输出计算 RNN可以用于描述时间上连续状态的输出，有记忆功能，CNN用于静态输出 CNN高级100+深度，RNN深度有限 组合后 大量信息同时具有时间空间特性：视频，图文结合，真实的场景对话 带有图像的对话，文本表达更具体 视频
卷积神经网络
热门推荐
雨石
11-29 31万+
自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。 第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们
深度学习基础（人工神经网络、CNN、RNN、lstm）
06-12
人工神经网络、CNN、RNN、lstm
ANN, RNN和LSTM的通俗理解
Nina_ningning的博客
10-06 2356
深度学习，神经网络ANN，递归神经网络RNN，LSTM
深度学习面经-part3(RNN、LSTM）
qq_40102160的博客
03-18 2065
1 神经网络深度学习是算法工程师面试必定绕不开的一个话题，有关于他的面试题目和知识点层出不穷，所以这里依靠一些经验结合自己的面试经历，总结出下面的深度学习面试点，其中共有8个章节，目前更新章节3、4，分别为RNN和LSTM
循环神经网络RNN 梯度推导(BPTT)
zlrai5895的博客
03-29 1449
https://zhuanlan.zhihu.com/p/32930648 https://zhuanlan.zhihu.com/p/26892413
rnn梯度计算过程
06-08
介绍RNN中参数梯度公式推导
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
Deep Learning：CNN卷积神经网络推导和实现
01-24
这个主要是CNN的推导和实现的一些笔记，再看懂这个笔记之前，最好具有CNN的一些基础。
RNN梯度的推导及为什么RNN有梯度爆炸问题
qq_38721353的博客
09-11 483
RNN梯度的推导及为什么RNN有梯度爆炸问题 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博...
RNN模型参数与变量的依赖以及时间反向传播梯度的推导
深度学习领域优质创作者，优快云博客专家
08-13 560
熟悉RNN中的反向传播
时序数据采样、原始循环神经网络RNN、RNN梯度爆炸原因推导
八门金锁的技术博客
11-17 566
时序数据的采样 随机采样 每个样本是原始序列上任意截取的一段序列。相邻的两个随机小批量在原始序列上的位置不一定相毗邻。因此，我们无法用一个小批量最终时间步的隐藏状态来初始化下一个小批量的隐藏状态。在训练模型时，每次随机采样前都需要重新初始化隐藏状态。 相邻采样 相邻的两个随机小批量在原始序列上的位置相毗邻。可以用一个小批量最终时间步的隐藏状态来初始化下一个小批量的隐藏状态，从而使下一个小批量的输出也取决于当前小批量的输入，并如此循环下去。这对实现循环神经网络造成了两方面影响：一方面， 在训练模型时，我们只需
lstm结构及公式
silent_crown的博客
12-02 4157
https://blog.youkuaiyun.com/lreaderl/article/details/78022724 lstm一共有四个重要公式。 f：忘记门，对拼接结果取sigmoid表示是否丢弃先前结果。 i：更新门，对拼接结果取sigmoid表示先前结果是否需要更新。 g：加工门，对拼接结果取tanh表示先前结果需要左何等程度更新。 i与g做点乘，表示更新结果c'。 f与ci-1点...
吴恩达深度学习笔记v5.61详细总结分享
【标签】深度学习、吴恩达、deep learning、公式推导、算法 --- 深度学习作为人工智能领域的一个重要分支，近年来获得了广泛关注和迅猛发展。它主要通过构建人工神经网络来模拟人脑处理信息的方式，从而实现对数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值