卷积神经网络之激活函数(二)

最新推荐文章于 2025-05-16 14:34:14 发布
原创 最新推荐文章于 2025-05-16 14:34:14 发布 · 2.2k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了六种常用的激活函数：Sigmoid、tanh、ReLU、LeakyReLU、ELU及softmax，包括它们的数学表达式、图像展示、适用场景、优缺点等。通过对比不同激活函数的特点，帮助读者理解如何选择合适的激活函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写在前面的话

本文为我在学习卷积神经网络的时候，对各类激活函数的一些认识。

欢迎扫码关注我的公众号，与我一同学习进步！主要致力于学习

  1. 使用深度学习解决计算机视觉相关问题
  2. Python为主的互联网应用服务
  3. 基于MIPS指令集的CPU微体系结构设计
    在这里插入图片描述

各类激活函数的介绍

Sigmoid函数

函数表达式

它的函数模型如下图所示

函数图像

它的函数图像如下图所示
在这里插入图片描述

适合使用该函数的场景
  1. 将输出值限制到了0到1之间，对输出进行了归一化处理
  2. 用于预测概率作为输出的模型
  3. 梯度平滑，避免了跳跃的输出
  4. 函数是可微的
函数的缺点
  1. 倾向于梯度消失
  2. 函数使用指数运算，计算效率较低
  3. 整个函数不是以0为中心的

tanh(双曲正切函数)

函数表达式

它的函数模型如下图所示

在这里插入图片描述

函数图像

它的函数图像如下图所示

在这里插入图片描述

与Sigmoid激活函数的对比

二者对比的示意图如下图所示，相较于Sigmoid函数，tanh函数更有优势一些，这主要体现在以下几点
在这里插入图片描述

  1. 当输入较大或较小时，输出几乎是平滑的并且梯度较小，这不利于神经网络的参数更新，这一点二者是相同的。
  2. tanh的输出间隔为1，并且整个函数是以0为中心的。
  3. 在tanh函数中，负输入被映射为负值，且0输入被映射为0
  4. 对于二者，在一般的二分类问题中，tanh函数通常被应用在隐含层，而Sigmoid函数通常被应用在输出层。但这并不是固定的，需要根据实际情况进行调整。

Relu

函数表达式

它的函数模型如下图所示

在这里插入图片描述

函数图像

它的函数图像如下图所示

在这里插入图片描述

函数的优点
  1. 当输入为正时，不存在梯度饱和的问题
  2. 计算速度快得多，它是一个线性关系。相较于Sigmoid和tanh函数，它的计算速度更快
函数的缺点
  1. Dead Relu问题。即当输入的值为负时，Relu函数完全失效。在正向传播的过程中，出现该问题的可能性很低，但是反向传播时，该问题较容易出现。
  2. 函数不是以0为中心的

Leaky Relu

函数表达式

它的函数模型如下图所示

在这里插入图片描述

函数图像

它的函数图像如下图所示，左图为Relu函数的图像，右图为Leaky Relu函数的图像。
在这里插入图片描述

函数的作用
  1. 解决了Relu函数中Dead Relu的问题，调整了负值的零梯度问题
  2. leak有助于扩大Relu函数的范围，通常，a的取值为0.01作用
  3. Leaky Relu函数的范围是负无穷到正无穷之间

需要注意的是，在实际的操作过程中，并未证明Leaky Relu函数要好于Relu函数。

ELU

函数表达式

它的函数模型如下图所示
在这里插入图片描述

函数图像

它的函数图像如下图所示

在这里插入图片描述

函数的优点
  1. 具有Relu的所有优点
  2. 没有Dead Relu的问题，输出的平均值接近0，以0为中心，使梯度更接近于自然梯度
  3. 在较小的输入下饱和至负值，从而减少前向传播的变异和信息

与Leaky Relu类似的是，在实践中也没有充分的证据证明，Elu总是比Relu好。

softmax

softmax函数是用于多分类问题的激活函数，它可以将多分类问题中的输出转换为概率输出，它的函数表示形式如下图所示

在这里插入图片描述

函数图像

它的函数图像如下图所示

在这里插入图片描述

函数的缺点
  1. 在零点不可微
  2. 负输入的梯度为0，这意味着对于该区域的激活，权重不会在反向传播期间更新，因此会产生永不激活的死亡神经元

总结

以上六种激活函数就是神经网络中经常用到的激活函数。根据“没有免费的午餐”定理，需要根据问题的实际情况进行合适的选择，以期望在神经网络学习的过程中可以获得不错的效果。

卷积神经网络中激活函数,卷积神经网络卷积过程
aifamao6的博客
08-11 1465
S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。图：卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如图一，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。----------------------下面是原答案------------------------从广义上说深度学习的网络结构也是多层神经网络的一种。...
【激活函数】Activation Function——在卷积神经网络中的激活函数是一个什么样的角色？？
985小水博的摸鱼日常
09-13 1401
【激活函数】学习笔记！
卷积神经网络学习--激活函数
huahuazhu的博客
07-03 1万+
这篇学习笔记主要参考和综合了两个帖子的内容，详见参考文档，感谢两位大神。   1 什么是激活函数？ 激活函数，并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。 目前知道的激活函数有如下几个：sigmoid,tanh，ReLu,softmax。  simoid函数也称S曲线：f(x)=1
激活函数全解析：定义、分类与 17 种常用函数详解
最新发布
COOCC1的博客
05-16 1447
限制激活范围，适合低精度设备（如移动端 float16/int8），避免数值溢出。：多分类任务输出层，将 logits 转化为概率（值域 [0,1]，和为 1）。：Swish 的特例（β=1），平滑且非单调，PyTorch 中已内置。：x≥0 时线性输出，x<0 时恒为 0，导函数为 0 或 1。：ReLU 的平滑版本，输出非负，0 点可导，但计算量较大。：S 型曲线，值域 [0,1]，导函数最大值 0.25。：S 型曲线，值域 [-1,1]，关于原点对称。：λ 为固定超参数，可能影响模型灵活性。
卷积神经网络之激活函数(一)
TYUT__pengkai的博客
04-18 3082
卷积神经网络中激活函数的作用
【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
呆呆的猫的博客
03-08 6699
本文主要介绍神经网络中常用的激活函数
卷积神经网络中的激活函数sigmoid、tanh、relu
热门推荐
chaiky的博客
05-08 1万+
目录 1、什么是激活函数？ 2、为什么要在卷积层后面添加激活函数? 3、激活函数的性质 3.1 sigmoid 激活函数 3.2 tanh 激活函数 3.3 ReLU 激活函数 4、如何选择激活函数？ 5、神经网络中的隐藏层是什么？ 1、什么是激活函数？ 一个神经元会同时接收多个信号，然后将这些信号乘以一定权重求和，再用函数处理后再输出新的信号。对神经元的输入进行处理，以获得输出的函数称为激活函数。 2、为什么要在卷积层后面添加激活函数? 如果只有线性变换，那无论多少层神经元，.
卷积神经网络的激活函数以及模型搭建的Tensorflow实现
m0_67743253的博客
09-12 830
为了应对现实世界中的非线性问题，神经网络通常在卷积层之后对输出的神经元进行非线性映射，这种非线性映射就是激活函数。但是最常用的激活函数有sigmoid、RELU、LEAKY RELU、Softmax、ELu、tanh这6种， 因此下面着重介绍这五种激活函数。可以看到在x>5和x<-5这两端区间sigmoid函数的梯度几乎为0，这会导致梯度在反向传播时，随着隐藏层数的增加，梯度越来越趋近于0，这种现象叫做梯度消失。并且sigmoid函数的函数中心的函数值不为0，而是0.5。公式：f(x)=max(0, x)
卷积神经网络中激活函数的一种改进.pdf
09-25
卷积神经网络中激活函数的一种改进 卷积神经网络是深度学习中模仿人脑神经网络处理信息的一种学习网络，可以用于大型图像处理。在生物神经网络中，神经元通过树突接收来自其他神经元的信号，各树突接收信号的权重...
用于图像分类的卷积神经网络中激活函数的设计.pdf
09-25
卷积神经网络中激活函数的设计 在图像分类任务中，卷积神经网络（Convolutional Neural Network，CNN）是一种非常有效的模型。但是，CNN 中的激活函数的设计对模型的性能有着很大的影响。传统的激活函数如 ReLU...
多斜率自适应卷积神经网络激活函数.pdf
09-25
多斜率自适应卷积神经网络激活函数的设计是基于卷积神经网络的激活函数的不足之处，该函数无法为处于不同激活程度的像素点提供特定的梯度响应。为解决这个问题，该函数引入了多个分段线性函数，每个分段线性函数对应...
卷积层中的激活函数
搏博的专栏
11-18 3027
但是，当输入值小于0时，ReLU函数的输出为0，这可能导致一些神经元在训练过程中永远不会被激活，即“死亡神经元”问题。但是，Tanh函数同样存在梯度消失的问题。（1）死亡神经元问题：当输入值持续小于0时，ReLU函数的输出将始终为0，这可能导致一部分神经元在训练过程中永远不会被激活，即“死亡神经元”问题。（2）隐藏层：尽管Sigmoid函数在输出层中非常有用，但在隐藏层中，由于其梯度消失问题和非零中心化的输出值，现代神经网络更倾向于使用ReLU（Rectified Linear Unit）等激活函数。
卷积神经网络激活函数层知识点
11-25 562
在神经网络中，这意味着激活的矩阵含有许多0。这能提升时间和空间复杂度方面的效率，常数值所需空间更少，计算成本也更低。ELU激活函数解决了ReLU的一些问题，同时也保留了一些好的方面。由Tanh和Sigmoid的导数也可以看出Tanh导数更陡，收敛速度比Sigmoid快。激活函数可以引入非线性因素，提升网络的学习表达能力。小于0的时候也不会导致反向传播时的梯度消失现象。可以把SoftPlus看作是ReLU的平滑。值，其常见的取值是在0.1到0.3之间。，因此ELU的计算成本比ReLU高。
cs231n 卷积神经网络与计算机视觉 5 神经网络基本结构 激活函数总结
bea_tree的博客
05-28 1万+
简介 神经网络中的神经元的灵感来源于人脑，人体中大约有860亿个神经元，大约有 10^14 - 10^15 突触（synapses）. 每个神经元由树突dendrites接收信号 轴突axon发射信号. 轴突又连接到其他神经单元 的树突.突触强度synaptic strengths (权重w) 可以经过学习控制输入信号的输出是抑制还是激活( excitory (positive weight)
卷积神经网络(CNN)介绍04-激活函数
lmx_smile的博客
12-01 1552
激活函数 为什么要用激活函数？ 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 常用的激活函数 Sigmoid：用于二分类神经网络输出 sigmoid函数也叫 Logistic 函数，用于隐层神...
卷积神经网络笔记（2.激活函数）
qq_51715775的博客
05-01 2025
卷积神经网络笔记（2.激活函数）起源（感知机）梯度弥散现象现代模型常见激活函数（平滑连续激活函数）Sigmoid关于函数饱和的解释TanhReLU简介Leaky ReLU简介Softmax简介有关交叉熵应用 起源（感知机） 1958 年，美国心理学家 Frank Rosenblatt 就提出了第一个可以自动学习权重的神经元模型，称为感知机。 一个简单的一层网络，其中激活函数是阶跃函数（最早使用的激活函数） 这个感知机模型的公式表示为： 其中的激活函数表示为： 当wx+b<0时，令输出为0，代表类别
卷积神经网络：常见的激活函数
邦戈邦戈栗子的博客
11-30 5686
注意非线性函数部分（也称为激活函数），是神经网络中很重要的一个部分，但是即使我们把非线性函数部分去掉，直接相乘也可以得到类别得分，但是这样就少了一些扰动（wiggle），影响泛化性能等。   Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 Softmax - 用于多分类神经网络输出 Linear - 用于回归神经网络输出（或...
【卷积神经网络专题】：6.激活函数
Jack_Kuo的博客
08-01 1085
前言 　　我准备介绍一个卷积神经网络从训练到实施整个流程的各个环节作为专题的形式介绍，这里是其中激活函数部分。 　　【待完成】 1.什么是激活函数 2.为什么要在神经网络中使用激活函数 3.激活函数的种类及其使用场景 4.如何选择激活函数 5.激活函数的一些调参经验...
The Activation Function in Deep Learning 浅谈深度学习中的激活函数
weixin_30755393的博客
11-11 464
原文地址：http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明：本文为博主原创文章，未经博主允许不得转载。 激活函数的作用 首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。 比如在下面的这个问题中： 如上图(图片来源)，在最简单的情况下，数据是线性可分的，...
卷积神经网络中激活函数
09-07
卷积神经网络中常用的激活函数有以下几种： 1. ReLU（Rectified Linear Unit）：ReLU函数是一个非常常用的激活函数，它将所有负值设为零，正值保持不变。ReLU函数的公式为：f(x) = max(0, x)。 2. Sigmoid函数：Sigmoid函数将输入映射到一个范围在0和1之间的值，它常用于二分类问题。Sigmoid函数的公式为：f(x) = 1 / (1 + e^(-x))。 3. Tanh函数：Tanh函数与Sigmoid函数类似，但将输出范围映射到-1和1之间。Tanh函数的公式为：f(x) = (e^x - e^(-x)) / (e^x + e^(-x))。 4. Leaky ReLU：Leaky ReLU函数是对ReLU函数的改进，它在负值部分引入一个小的斜率，以避免ReLU的零梯度问题。Leaky ReLU函数的公式为：f(x) = max(ax, x)，其中a是一个小的正数。 5. PReLU（Parametric ReLU）：PReLU函数是对Leaky ReLU的进一步改进，它引入一个可学习的参数a，以便网络可以自主地调整斜率。PReLU函数的公式为：f(x) = max(ax, x)。 这些是常见的卷积神经网络激活函数，选择哪个函数取决于具体的任务和数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值