深度学习中各种神经网络小结（感知机、神经网络CNN/RNN、激活函数、过拟合）

最新推荐文章于 2025-07-19 13:41:00 发布
原创 最新推荐文章于 2025-07-19 13:41:00 发布 · 1.9k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #激活函数

本文深入解析深度学习模型，包括感知机、神经网络、卷积神经网络（CNN）、循环神经网络（RNN）的工作原理和特性。探讨了不同激活函数如sigmoid、tanh、ReLU、MaxOut、softmax的应用场景及优缺点，以及深度神经网络（DNN）的前向传播与反向传播算法。

感知机

多个输入，只有一个输出

输入和输出间学习一个线性关系

z = \sum_{i}^{m}\omega _{i}x_{i}+b

增加一个激活函数（符号函数）

\widehat{y} = sign(z) = \left\{\begin{matrix} -1 , z < 0& \\ 1 , z \geq 0& \end{matrix}\right.

得到一个二分类输出结果1或-1

模型局限性：仅用于二分类模型，无法学习更复杂的非线性模型，因此工业界无法应用

神经网络

对感知机做了改进和扩展：

1、加入隐藏层，隐藏层可以是多层或单层，层数越多，模型表达能力越强，复杂度也越高

2、多个输出，可用于分类回归、降维聚类

3、激活函数可选择性变高（激活函数是非线性函数，不是用激活函数相当于f(z)=z，无论隐藏层多少，输出是输出的线性组合，与没有隐藏层相当，就是原始感知机，网络逼近能力有限）

函数 公式 几何图形 优点 缺点 应用场景

sigmoid

函数

f(z)=\frac{1}{1+e^{-z}}

 

f(z)

df(z)/dz 

<
最低0.47元/天 解锁文章

新学期VIP享超值加赠
深入详解神经网络基础知识——理解前馈神经网络（ FNN）、卷积神经网络（CNN）和循环神经网络（RNN）等概念及应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-16 2889
深入详解神经网络基础知识——理解前馈神经网络（ FNN）、卷积神经网络（CNN）和循环神经网络（RNN）等概念及应用
深度学习------神经网络（CNN、RNN）和激活函数（sigmoid、tanh、relu、softmax）
m0_47405013的博客
01-07 1489
1.NN(神经网络) 单个感知器的表达能力有限，它只能表达线性决策面（超平面）。如果我们把众多的感知器互联起来，就像人的大脑所做的那样，再将激活函数更换为非线性函数，我们就可以表达种类繁多的非线性曲面。 2.CNN(卷积神经网络) 卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理;二维卷积神经网络常应用于图像类文本的识别;三维卷积神经网络主要应用于医学图像以及视频类数据识别。 卷积层(Convolution layer)：提取图像特征 池化
神经网络知识专题总结！
Datawhale
10-23 823
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货译者：张峰，Datawhale成员结构总览一、神经网络简介对于非...
深度学习--神经网络全面知识点总结（持续更新中）
weixin_43749805的博客
06-07 8630
想象一下，你正在学习如何识别不同种类的动物，比如狗、猫和鸟。你会观察它们的特征，如体型、毛色、嘴形等，然后逐渐学会将这些特征与相应的动物类别关联起来。神经网络也是以类似的方式工作。它由大量的人工神经元组成，每个神经元类似于一个小的计算单元。每个神经元接收来自其他神经元的输入，并通过一个称为激活函数的非线性函数来处理这些输入。激活函数决定了神经元是否应该“激活”并传递信号给下一层神经元。举例来说，假设你要训练一个神经网络来识别猫和狗的图像。神经网络的第一层可以是图像的像素值，每个像素作为一个输入。
ResNet深度学习模型详细解析与应用
最新发布
weixin_42186015的博客
07-19 1019
在深度学习模型训练过程中，尤其是在深层神经网络中，梯度消失问题是一个常见的挑战。梯度消失指的是在深层网络中，当反向传播进行时，梯度值会呈指数级减小，导致网络权重更新缓慢，甚至对前面层的学习几乎不起作用。这使得网络难以捕捉到输入数据的长期依赖关系。梯度消失问题的原因主要归因于激活函数的选择、网络初始化方法和网络的深度。传统的激活函数如sigmoid和tanh在输入值较大或较小时，其导数值接近于零，这导致了梯度无法有效地传递到前层。
Deep Learning 学习笔记5：神经网络汇总
WPR1991的博客
09-29 2230
本篇文章整理自FJODOR VAN VEEN的论文：The Neural Network Zoo。本文介绍了神经网络大家族，但不是所有的神经网络都能涵盖，毕竟新的网络结构在不断被发展出来。以下是神经网络的图谱。 介绍神经网络之前，先介绍神经元的分类，这部分内容来自博友的文章。 基本的人工神经网络神经元（basic neural network cell）： 这种简单的类型可以在常规的前馈...
深度学习-人工神经网络概述
周先森爱吃素的博客
03-02 2941
人工神经网络 简述 很多术语听起来很唬人，“人工神经网络”就属于其中之一。在很多人看来，我们对人类的神经系统还没有研究透彻，这就来了一个“人工的”神经网络，人脑这样复杂，那么人工神经网络一定相当高深莫测。如果遇到一个耐心的学术专家，花上一两个小时给你讲讲人工神经网络的底细，那么你会发现，就这么回事而已。但是，如果遇到一个不太耐心或者喜好卖弄的，那么不好意思，你除了对他肃然起敬剩下的就是“这东西...
吴恩达神经网络与深度学习——神经网络概述
cherry1307的博客
11-02 481
吴恩达神经网络与深度学习——神经网络基础神经网络基础2.1二分分类识别图像中是否有猫一些符号2.2logistic回归2.3 Logistic回归损失函数损失函数代价函数2.4 梯度下降梯度下降法的思想2.5导数2.6更多导数的例子2.7计算图 神经网络基础 2.1二分分类 识别图像中是否有猫 输入图像X为彩色图像大小为64*64，输出j结果标签y等于0时，图像中无猫，等于1图像中有猫。 将输...
【人工智能】AI人工智能的重要组成部分，深入解析CNN与RNN两种神经网络的异同与应用场景和区别
万物皆有灵
10-08 3103
通过对CNN与RNN的深入分析，我们可以看到这两种神经网络在结构、功能和应用场景上的显著区别。
深度学习基础：神经网络+激活函数+反向传播+优化算法 理解网络结构，运用激活增强非线性，掌握反向调整参数，优化算法提升性能，赋能
03-20
以上是关于深度学习基础的一些核心知识点，涵盖了神经网络的基本概念、操作计算、超参数调整、激活函数、批量大小、归一化技术、预训练与微调、初始化方法、学习率调节以及正则化技术等多个方面。掌握这些基础知识...
循环神经网络（RNN）是深度学习中处理序列数据的核心技术，用于自然语言处理、语音识别等领域，能够分析时间序列数据，预测未来事件
03-22
### 循环神经网络（RNN）：深度学习中的序列数据处理专家 #### 6.1 为什么需要RNN？ 时间序列数据是指随着时间变化而记录的一系列数据点，这类数据的特点在于它们之间的顺序至关重要，例如自然语言中的句子、音频...
五大深度学习神经网络{更新ing}
樊鴻燁的博客
11-18 661
五大神经网络CNN+RNN循环+GAN+LSTM+Transformer
RNN-LSTM 卷积神经网络 Matlab 实现，简单的数据拟合.zip
05-10
RNN-LSTM 卷积神经网络 Matlab 实现，简单的数据拟合。 RNN-LSTM 卷积神经网络 Matlab 实现。 RNN-LSTM卷积神经网络Matlab实现 RNN卷积神经网络，LSTM，使用matlab实现，简单的数据拟合 RNN Matlab
CNN学习（4）：前馈神经网络FNN、多层感知机MLP和反向传播推导
共同学习，共同进步。
05-15 3703
前馈神经网络FNN、多层感知机MLP和反向传播推导
一些DNN|RNN|CNN知识总结
weixin_39915444的博客
11-26 1243
激活函数： 深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点|深度学习|梯度_新浪科技_新浪网 机器学习/深度学习 的激活函数，原理以及各自的优缺点。 在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。 1. Sigmoid 激活函数 适用情况：Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 ...
CNN&RNN浅谈
ys_1991的博客
03-13 2137
一.
神经网络第一篇：激活函数是连接感知机和神经网络的桥梁
u012132349的博客
01-15 1135
前面发布的文章介绍了感知机，了解了感知机可以通过叠加层表示复杂的函数。遗憾的是，设定合适的、能符合预期的输入与输出的权重，是由人工进行的。从本章开始，将进入神经网络的学习，首先介绍激活函数，因为它是连接感知机和神经网络的桥梁。如果读者认知阅读了本专题知识，相信你必有收获。 感知机数学表达式的简化 前面我们介绍了用感知机接收两个输入信号的数学表示如下：                     ...
【RNN基础】——一文搞明白RNN
m0_61418075的博客
05-01 1252
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
卷积神经网络CNN总结
weixin_34259559的博客
06-25 171
https://www.cnblogs.com/skyfsm/p/6790245.html
探索深度学习入门：神经网络与CNN、RNN与LSTM
本章节涵盖了神经网络的基本原理和深度学习的起源，特别是深度学习中的关键算法如深度神经网络（DNN），卷积神经网络（CNN）和循环神经网络（RNN）及其变种，如长短时记忆网络（LSTM）。课程开始时，提到了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值