深度学习：CNN RNN DNN 区别 卷积层或是LSTM单元

最新推荐文章于 2025-06-18 11:26:57 发布
最新推荐文章于 2025-06-18 11:26:57 发布
阅读量2.6k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/erinapple/article/details/78445763
本文探讨了神经网络中梯度消失与梯度爆炸的根本原因，指出网络层数过多及S型激活函数（如sigmoid、tanh）是导致这些问题的主要因素。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

梯度消失：

http://www.cnblogs.com/tsiangleo/p/6151560.html

根本的问题其实并非是消失的梯度问题或者激增的梯度问题，而是在前面的层上的梯度是来自后面的层上项的乘积。所以神经网络非常不稳定。唯一可能的情况是以上的连续乘积刚好平衡大约等于1，但是这种几率非常小。

所以只要是sigmoid函数的神经网络都会造成梯度更新的时候极其不稳定，产生梯度消失或者激增问题。

全连接的DNN

http://blog.youkuaiyun.com/eddy_zheng/article/details/50763648

http://blog.youkuaiyun.com/Dark_Scope/article/details/47056361

网络层数太多是导致梯度消失或者梯度爆炸的直接原因, 使用S型激活函数(如:sigmoid函数,tanh函数)会导致梯度消失问题,初始权重设置太大会导致梯度爆炸



DNN、CNN、RNN、LSTM的区别，最全最详细解答
Jfightingk的博客
07-22 3万+
** DNN、CNN、RNN、LSTM的区别，最全最详细解答 ** 神经网络的变种目前有， 如误差反向传播（Back Propagation，BP）神经网路、 概率神经网络、 RNN-循环神经网络 DNN-深度神经网络 CNN-卷积神经网络（－适用于图像识别）、 LSTM-时间递归神经网络（－适用于语音识别）等。 但最简单且原汁原味的神经网络则是 多层感知器（Muti－Layer Perception ，MLP）。 MLP神经网络的结构和原理 最典型的MLP包括包括三层：输入层、隐层和输出层，MLP神经网络
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构的区别...
weixin_30587025的博客
02-23 6126
先说DNN，从结构上来说他和传统意义上的NN（神经网络）没什么区别，但是神经网络发展时遇到了一些瓶颈问题。一开始的神经元不能表示异或运算，科学家通过增加网络层数，增加隐藏层可以表达。并发现神经网络的层数直接决定了它对现实的表达能力。但是随着层数的增加会出现局部函数越来越容易出现局部最优解的现象，用数据训练深层网络有时候还不如浅层网络，并会出现梯度消失的问题。我们经常使用sigmoi...
CNN-DNN-RNN区别
03-04
CNN-DNN-RNN区别
CNN、RNN、DNN区别
热门推荐
lff1208的博客
08-30 14万+
神经网络的来源       神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被Hition、Rumelhart等人发明的多层感知机克服，就是具有多层隐藏层的感知机。
深度学习经典神经网络全解析：CNN、RNN、LSTM、Transformer一网打尽！
最新发布
m0_65555479的博客
06-18 1213
本文介绍了深度学习中四种经典神经网络结构：1. CNN（卷积神经网络）：通过卷积层提取图像特征，池化层降维，适用于图像分类、目标检测等任务。2. RNN（循环神经网络）：具备记忆能力，通过循环连接处理序列数据，适用于NLP和时间序列分析。3. LSTM（长短期记忆网络）：改进的RNN，通过门控机制解决梯度消失问题，擅长处理长序列依赖。4. Transformer：基于自注意力机制的革命性架构，实现并行计算，成为BERT、GPT等大模型的基础框架。文章还提供了AI大模型学习路线和资源获取方式。
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
Eddy_zheng的博客
02-29 10万+
1、相关知识从广义上来说，NN（或是更美的DNN）确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为，它们并没有可比性，或是根本没必要放在一起比较。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括convolution layer 或是 LSTM 单元。其实，如果我们顺着神经网络技术发展的脉络，就很容易弄清这几种网络结构发明的初衷，和他们之间本质的区别。2、神经网
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？...
weixin_34129696的博客
06-20 515
https://www.zhihu.com/question/34681168 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？修改 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？以及他们的主要用途是什么？只知道CNN是局部感受和参数共享，比较适合用于图像这方面。刚入门的小白真心　　　...
一文读懂 CNN、DNN、RNN 内部网络结构区别
kebu12345678的博客
02-06 7385
http://network.chinabyte.com/269/13936269.shtml 一文读懂 CNN、DNN、RNN 内部网络结构区别 2016-10-24 16:07:00 作者：36大数据 分类 : 比特网 从广义上来说，NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神
CNN、DNN、RNN学习总结.pdf
03-18
本学习总结将详细介绍卷积神经网络(CNN)、深度神经网络(DNN)和循环神经网络(RNN)，以及它们在深度学习领域的应用。 卷积神经网络(CNN)是一种专门处理具有类似网格结构的数据（例如图像）的神经网络。CNN通过卷积层...
深度学习+NN-DNN-CNN-RNN-基础理解
08-27
总结来说，NN、DNN、CNN和RNN是深度学习中重要的神经网络结构，分别应用于不同类型的任务。NN和DNN处理各种类型的数据，而CNN特别适合图像分析，RNN则擅长序列数据处理。了解并掌握这些模型的基本原理和应用场景，是...
深度学习实现猫狗图像识别：CNN、DNN与RNN方法研究
1. TensorFlow或PyTorch：这些是目前深度学习领域最流行的框架之一，支持构建和训练CNN、DNN和RNN模型。 2. Keras：作为一个高级神经网络API，Keras可以运行在TensorFlow、Theano或CNTK之上，提供了快速实验的能力...
面试常问的深度学习(DNN、CNN、RNN)的相关问题 - 优快云博客1
08-03
深度学习是现代人工智能领域的重要组成部分，它主要包含三个主要的模型：深度神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN）。这些模型在处理不同类型的数据时展现出强大的性能。 深度神经网络（DNN）...
RNN_RNN_CNN_
10-01
使用Python编写，无框架实现CNN，RNN等深度神经网络
DNN RNN CNN区别
mayaohao的博客
06-16 925
【代码】DNN RNN CNN区别。
DNN,CNN,RNN之间的区别
vicavo的专栏
08-03 7983
广义上来说，NN（或是DNN）确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。但是从狭义上来说，单独的DNN、CNN、RNN及LSTM也可以对比。 DNN(深度神经网络) 神经网络是基于感知机的扩展，而DNN可以理解为有很多隐藏层的神经网络。多层神经网络和深度神经网络DNN其实也是指的一个东...
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构区别
weixin_42535423的博客
03-06 1万+
神经网络1. 有监督的神经网络(Supervised Neural Networks)1.1. 神经网络(Artificial Neural Networks)和深度神经网络(Deep Neural Networks)1. 2. 循环神经网络(Recurrent Neural Networks)和递归神经网络(Recursive Neural Networks)1.3. 卷积网络(Convolut...
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？
木东的博客
08-31 2万+
一、深度学习： 深度学习是机器学习的一个分支。可以理解为具有多层结构的模型。 二、基本模型： 给大家总结一下深度学习里面的基本模型。我将这些模型大致分为了这几类：多层感知机模型；深度神经网络模型和递归神经网络模型。 2.1 多层感知机模型（也就是你这里说的深度神经网络）： 2.1.1 Stacked Auto-Encoder堆叠自编码器 堆叠自编码器是一种最基础的深度学习模型，该模
主流的深度学习模型有哪些？
weixin_34007906的博客
01-12 1万+
本文来自AI新媒体量子位（QbitAI） 深度学习大热以后各种模型层出不穷，很多朋友都在问到底什么是DNN、CNN和RNN，这么多个网络到底有什么不同，作用各是什么？ 趁着回答《深度学习的主要分类是什么呀？这些网络cnn dbn dnm rnn是怎样的关系？》这个问题的机会，我也想介绍一下主流的神经网络模型。因为格式问题和传播原因，我把原回答内容在这...
深度学习模型讲解(CNN,RNN,ResNet,DenseNet,RCNN类)
Friedrichor的博客
03-23 3390
CNN RNN ResNet DesNet RCNN，Fast RCNN，Faster RCNN
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值