（深度学习）CNN和RNN，LSTM公式推导

最新推荐文章于 2025-10-25 21:06:34 发布
原创 最新推荐文章于 2025-10-25 21:06:34 发布 · 1.9k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了CNN、RNN及LSTM的前向传播和反向传播过程，重点讨论了LSTM如何缓解梯度消失问题。内容包括CNN的池化层和卷积层误差传播公式，RNN的权重共享导致的梯度问题，以及LSTM的门控机制和参数计算。还探讨了LSTM的多种应用场景及其变种。

BP的流程：
在这里插入图片描述

CNN

前向：
在这里插入图片描述
在这里插入图片描述
反向：
问题一：池化层误差的传播
如果是max池化，则按照前向传播记录的最大值位置，还原此前大小的矩阵，如下图所示：
第一个是误差传播到池化层的误差矩阵
第二个矩阵将误差矩阵的尺寸还原到未池化之前的矩阵大小
第三个矩阵按照max池化，传播梯度
第四个矩阵是按照average池化，传播梯度
在这里插入图片描述
最终得到，未池化前的误差梯度。
公式可以写成：
在这里插入图片描述

问题二：卷积层的误差传播
卷积层误差的传播包括两个部分：误差传播到上一层，以及推导本层的权重W和b的梯度

  1. 传播到上一层

最低0.47元/天 解锁文章
深度学习算法之CNN、RNN、LSTM公式推导
sinat_22336563的博客
05-05 6564
整个推导过程首先一定对网络的结构有清醒的认知，所有变量的下角标都能一一对应到网络结构上；然后就是链式求导了。一、CNN公式推导1、前向传播假设CNN共三层，第一层为输入层，第二层为隐藏层，第三层为输出层。定义：第一层与第二层之间的参数为WihW_{ih},第二层到第三层的参数为WhkW_{hk}t时刻的某一个神经元的输入为bib_i那么隐藏层输入为：∑mi=1Wihbi\sum_{i=1}^mW_{
深度学习——CNN+RNN
Latterain的博客
06-30 1854
文章目录CNN，RNN图片标注视频行为识别图片/视频问答 CNN，RNN 相同点 都是传统神经网络的拓展 前向计算产生结果，反向计算更新模型 每层神经网络横向可以多个神经元共存，纵向可以有多层神经网络连接 不同点 CNN空间扩展，神经元与特征卷积；RNN时间扩展，神经元与多个时间输出计算 RNN可以用于描述时间上连续状态的输出，有记忆功能，CNN用于静态输出 CNN高级100+深度，RNN深度有限 组合后 大量信息同时具有时间空间特性：视频，图文结合，真实的场景对话 带有图像的对话，文本表达更具体 视频
深度学习核心模型详解：CNN与RNN
weixin_70530563的博客
10-25 1451
卷积神经网络（CNN）和循环神经网络（RNN）是深度学习中处理两类核心数据的基石模型：CNN擅长捕捉空间特征（如图像），RNN擅长处理序列依赖（如文本、语音）。本文将从原理、结构、易错点到代码实现全面解析，适合作为学习笔记或技术博客参考。CNN通过卷积和池化捕捉空间规律，是计算机视觉的核心工具。RNN（及改进版）通过循环结构处理序列依赖，在自然语言处理中不可或缺。实际应用中两者常结合（如CNN提取视频帧特征+RNN分析时序关系），需根据数据类型灵活选择。
卷积神经网络
热门推荐
雨石
11-29 31万+
自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。 第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们
深度学习基础（人工神经网络、CNN、RNN、lstm）
06-12
人工神经网络、CNN、RNN、lstm
深度学习基础课件：涵盖CNN、RNN与LSTM核心模型
深度学习（CNN等）基础知识讲解课件是一套系统介绍深度学习核心理论与关键技术的PDF格式教学资料，内容涵盖卷积神经网络（CNN）、循环神经网络（RNN）以及长短期记忆网络（LSTM）等主流神经网络架构。该课件面向人工...
RNN避坑指南：从数学推导到LSTM/GRU工业级部署实战流程
聚客AI官方优快云博客
06-09 1540
本文全面剖析RNN核心原理，深入讲解梯度消失/爆炸问题，并通过LSTM/GRU结构实现解决方案，提供时间序列预测和文本生成完整代码实现。
深度学习神经网络算法分类与核心模型综述：CNN、RNN、GAN、Transformer及GNN在图像与序列任务中的应用解析
最新发布
11-10
阅读建议：建议结合深度学习框架（如PyTorch、TensorFlow）动手复现文中示例代码，配合理论推导加深理解；对于复杂模型（如Transformer、GAN），应重点关注其核心思想与工程实现难点，逐步拓展到实际项目应用。
循环神经网络RNN 梯度推导(BPTT)
zlrai5895的博客
03-29 1494
https://zhuanlan.zhihu.com/p/32930648 https://zhuanlan.zhihu.com/p/26892413
rnn梯度计算过程
06-08
介绍RNN中参数梯度公式推导
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
Deep Learning：CNN卷积神经网络推导和实现
01-24
这个主要是CNN的推导和实现的一些笔记，再看懂这个笔记之前，最好具有CNN的一些基础。
RNN梯度的推导及为什么RNN有梯度爆炸问题
qq_38721353的博客
09-11 502
RNN梯度的推导及为什么RNN有梯度爆炸问题 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博...
RNN介绍及梯度详细推导
ait2018
01-31 6272
RNN梯度详细推导1. RNN的几种常见结构结构一结构二欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流...
RNN模型参数与变量的依赖以及时间反向传播梯度的推导
深度学习领域优质创作者，优快云博客专家
08-13 607
熟悉RNN中的反向传播
时序数据采样、原始循环神经网络RNN、RNN梯度爆炸原因推导
八门金锁的技术博客
11-17 596
时序数据的采样 随机采样 每个样本是原始序列上任意截取的一段序列。相邻的两个随机小批量在原始序列上的位置不一定相毗邻。因此，我们无法用一个小批量最终时间步的隐藏状态来初始化下一个小批量的隐藏状态。在训练模型时，每次随机采样前都需要重新初始化隐藏状态。 相邻采样 相邻的两个随机小批量在原始序列上的位置相毗邻。可以用一个小批量最终时间步的隐藏状态来初始化下一个小批量的隐藏状态，从而使下一个小批量的输出也取决于当前小批量的输入，并如此循环下去。这对实现循环神经网络造成了两方面影响：一方面， 在训练模型时，我们只需
lstm结构及公式
silent_crown的博客
12-02 4210
https://blog.youkuaiyun.com/lreaderl/article/details/78022724 lstm一共有四个重要公式。 f：忘记门，对拼接结果取sigmoid表示是否丢弃先前结果。 i：更新门，对拼接结果取sigmoid表示先前结果是否需要更新。 g：加工门，对拼接结果取tanh表示先前结果需要左何等程度更新。 i与g做点乘，表示更新结果c'。 f与ci-1点...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值