激活函数的选择，sigmoid/tanh/ReLU的比较

最新推荐文章于 2025-07-19 22:58:27 发布
最新推荐文章于 2025-07-19 22:58:27 发布
阅读量5.9k 收藏 10
点赞数 2
分类专栏： 深度学习 文章标签： 激活函数 梯度消失与梯度爆炸 深度学习
本文详细介绍了常用的激活函数，如ReLU、LeakyReLU、Maxout、tanh和sigmoid等，并讨论了它们的特点、优缺点以及适用场景。同时，文章还探讨了激活函数在深度学习中的作用，包括如何帮助网络学习非线性映射以及特征组合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文: https://www.cnblogs.com/makefile/p/activation-function.html#undefined © 康行天下（只摘取部分内容）

激活函数选择

  1. 首先尝试ReLU,速度快,但要注意训练的状态.
  2. 如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。
  3. 尝试tanh正切函数(以零点为中心,零点处梯度为1)
  4. sigmoid/tanh在RNN（LSTM、注意力机制等）结构中有所应用，作为门控或者概率值.
  5. 在浅层神经网络中，如不超过4层的，可选择使用多种激励函数，没有太大的影响

激活函数的作用

  1. 加入非线性因素
  2. 充分组合特征

下面说明一下为什么有组合特征的作用.

一般函数都可以通过泰勒展开式来近似计算, 如sigmoid激活函数中的指数项可以通过如下的泰勒展开来近似计算:

                                                
其中有平方项,立方项及更更高项, 而 z=wx+bz=wx+b, 因此可以看作是输入特征 x 的组合. 以前需要由领域专家知识进行特征组合,现在激活函数能起到一种类似特征组合的作用. (思想来源: 微博@算法组)

ReLU(Rectified Linear Unit,修正线性单元)

为什么ReLU,Maxout等能够提供网络的非线性建模能力？它们看起来是分段线性函数，然而并不满足完整的线性要求：加法f(x+y)=f(x)+f(y)和乘法f(ax)=a×f(x)或者写作f(αx1+βx2)=αf(x1)+βf(x2)f(αx1+βx2)=αf(x1)+βf(x2)。非线性意味着得到的输出不可能由输入的线性组合重新得到（重现）。假如网络中不使用非线性激活函数，那么这个网络可以被一个单层感知器代替得到相同的输出，因为线性层加起来后还是线性的，可以被另一个线性函数替代。

ReLU的稀疏性（摘自这里）：

当前，深度学习一个明确的目标是从数据变量中解离出关键因子。原始数据（以自然数据为主）中通常缠绕着高度密集的特征。然而，如果能够解开特征间缠绕的复杂关系，转换为稀疏特征，那么特征就有了鲁棒性（去掉了无关的噪声）。稀疏特征并不需要网络具有很强的处理线性不可分机制。那么在深度网络中，对非线性的依赖程度就可以缩一缩。一旦神经元与神经元之间改为线性激活，网络的非线性部分仅仅来自于神经元部分选择性激活。
对比大脑工作的95%稀疏性来看，现有的计算神经网络和生物神经网络还是有很大差距的。庆幸的是，ReLu只有负值才会被稀疏掉，即引入的稀疏性是可以训练调节的，是动态变化的。只要进行梯度训练，网络可以向误差减少的方向，自动调控稀疏比率，保证激活链上存在着合理数量的非零值。

ReLU 缺点

  • 坏死: ReLU 强制的稀疏处理会减少模型的有效容量（即特征屏蔽太多，导致模型无法学习到有效特征）。由于ReLU在x < 0时梯度为0，这样就导致负的梯度在这个ReLU被置零，而且这个神经元有可能再也不会被任何数据激活，称为神经元“坏死”。
  • 无负值: ReLU和sigmoid的一个相同点是结果是正值，没有负值.

sigmoid作激活函数的优缺点

历史上很流行(Historically popular since they have nice interpretation as a saturating “firing rate” of a neuron),梯度计算较为方便:

                             

优势是能够控制数值的幅度,在深层网络中可以保持数据幅度不会出现大的变化;而ReLU不会对数据的幅度做约束.

存在三个问题:

  1. 饱和的神经元会"杀死"梯度,指离中心点较远的x处的导数接近于0,停止反向传播的学习过程.
  2. sigmoid的输出不是以0为中心,而是0.5,这样在求权重w的梯度时,梯度总是正或负的.
  3. 指数计算耗时

为什么tanh相比sigmoid收敛更快:

  1. 梯度消失问题程度
    tanh′(x)=1−tanh(x)2∈(0,1)tanh′⁡(x)=1−tanh⁡(x)2∈(0,1)
    sigmoid: s′(x)=s(x)×(1−s(x))∈(0,1/4)sigmoid: s′(x)=s(x)×(1−s(x))∈(0,1/4)
    可以看出tanh(x)的梯度消失问题比sigmoid要轻.梯度如果过早消失,收敛速度较慢.
  2. 以零为中心的影响
    如果当前参数(w0,w1)的最佳优化方向是(+d0, -d1),则根据反向传播计算公式,我们希望 x0 和 x1 符号相反。但是如果上一级神经元采用 Sigmoid 函数作为激活函数，sigmoid不以0为中心，输出值恒为正，那么我们无法进行最快的参数更新，而是走 Z 字形逼近最优解。

梯度消失与梯度爆炸

梯度消失/爆炸原因及解决办法

原因,浅层的梯度计算需要后面各层的权重及激活函数导数的乘积,因此可能出现前层比后层的学习率小(vanishing gradient)或大(exploding)的问题,所以具有不稳定性.那么如何解决呢?

需要考虑几个方面:

  • 权重初始化
    使用合适的方式初始化权重, 如ReLU使用MSRA的初始化方式, tanh使用xavier初始化方式.
  • 激活函数选择
    激活函数要选择ReLU等梯度累乘稳定的.
  • 学习率
    一种训练优化方式是对输入做白化操作(包括正规化和去相关), 目的是可以选择更大的学习率. 现代深度学习网络中常使用Batch Normalization(包括正规化步骤,但不含去相关). (All you need is a good init. If you can't find the good init, use Batch Normalization.)

由于梯度的公式包含每层激励的导数以及权重的乘积,因此让中间层的乘积约等于1即可.但是sigmoid这种函数的导数值又与权重有关系(最大值1/4,两边对称下降),所以含有sigmoid的神经网络不容易解决,输出层的activation大部分饱和,因此不建议使用sigmoid.
ReLU在自变量大于0时导数为1,小于0时导数为0,因此可以解决上述问题.

梯度爆炸
由于sigmoid,ReLU等函数的梯度都在[0,1]以内，所以不会引发梯度爆炸问题。 而梯度爆炸需要采用梯度裁剪、BN、设置较小学习率等方式解决。

 

 

 

常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
常用激活函数：Sigmoid/Softmax/ELU/ReLU/LeakyReLU/Tanh...（Pytorch）
NorthSmile的博客
08-29 5040
1）公式定义及图示该函数输入为任意形状，输出与输入保持一致，此操作是将所有元素映射到(0,1)范围内，推导如下：2）调用方式1）公式定义公式理解：分母为输入向量中的所有元素按照指数方式求和，然后将输入中的每个元素按照指数方式除以分母得到计算结果。2）调用方式该函数输入/输出为n维向量，目的是将其输入重新缩放，使其所有元素皆属于[0,1]，并且此时所有元素总和为1。...
【机器学习300问】66、ReLU激活函数相对于Sigmoid和Tanh激活函数的优点是什么？ReLU它有局限性吗？如何改进？
qq_39780701的博客
04-10 2043
ReLU激活函数相对于Sigmoid和Tanh激活函数的优点是什么？ReLU它有局限性吗？如何改进？
Neural Networks and Deep Learning 课程笔记（第三周）浅层神经网络(Shallow neural networks)...
weixin_30871293的博客
01-17 238
3.1 神经网络概述（Neural Network Overview ） （神经网络中，我们要反复计算a和z,最终得到最后的loss function） 3.2 神经网络的表示（Neural Network Representation) 3.3 计算一个神经网络的输出（Computing a Neural Network'soutput) 向量化计算： ...
激活函数-sigmoid、tanh、relu、softmax对比
weixin_67868534的博客
06-16 1239
本文解析了神经网络激活函数的核心作用与选型建议。激活函数通过引入非线性特性使网络能学习复杂模式，其作用包括控制输出范围（如Sigmoid输出概率、ReLU过滤负值）和优化训练动态（缓解梯度消失）。常见激活函数分为饱和类（Sigmoid/Tanh）和非饱和类（ReLU/LeakyReLU），分别适用于不同场景：二分类输出推荐Sigmoid，CNN隐藏层优选ReLU，RNN适合Tanh。深层网络建议使用ReLU变体以避免梯度消失，资源受限时选择计算简单的激活函数。实际应用中需结合任务需求和数据特性进行实验验证。
深度学习——激活函数Sigmoid/Tanh/ReLU
热门推荐
zchang81的博客
04-18 8万+
一般情况下，使用ReLU会比较好 1、使用 ReLU，就要注意设置 learning rate，不要让网络训练过程中出现很多 “dead” 神经元； 2、如果“dead”无法解决，可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU； 3、不建议使用 sigmoid，如果一定要使用，也可以用 tanh来替代。
sigmoid、tanh和ReLU
aspace123的博客
02-17 879
sigmoid的缺点： 1.神经元接近0或1时会饱和，导致梯度消失。 2.sigmoid取值范围[0,1]，不是0中心的。影响反向传播时梯度下降的运作，梯度要么正数要么负数，权重更新Z字型下降，不过算是个小问题。 tanh是一个简单放大的sigmoid神经元，取值范围[-1, 1] ReLU函数，公式为f(x) = max(0, x) 优点： 1.线性，收敛速度快。 2.不含指数运算...
机器学习最常用的3种激活函数：Sigmoid、Tanh、Relu
sc179的博客
09-03 1万+
目录1 什么是激活函数2 为什么使用激活函数3 常用激活函数1 Sigmoid2 Tanh3 Relu 1 什么是激活函数 激活函数（Activation Function）在人工神经网络的神经元上运行，负责将神经元的输入映射到输出端。 如图，在神经元中，输入的 inputs 通过加权求和后，还被作用了一个函数，这个函数就是激活函数，引入激活函数是为了使神经网络模型具有非线性特性。 2 为什么使用激活函数 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这
深度学习中的Relu和Sigmoid/tanh区别
zhouzongzong的博客
03-16 3125
ReLU 大于0则原样输出，小于0，截断 Sigmoid函数 ReLU相比于Sigmoid几乎是碾压的，如果能用ReLU且能用Sigmoid直接ReLU 效果上： 1.sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，从而无法完成深层网络的训练；而ReLU就不会 2.Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性(对于特征选取更好)，并且减少了参数的相互依存关系，缓解了过拟合问题的发生 性能上： 采用
【人工智能之深度学习】2. 激活函数全解：Sigmoid/Tanh/ReLU的梯度消亡陷阱与优化策略（附PyTorch实验代码）
最新发布
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
07-19 1552
摘要：激活函数是神经网络实现非线性映射的核心组件，其性能直接影响模型收敛速度与泛化能力。本文系统剖析三类经典激活函数的数学特性与工程缺陷：通过严格推导Sigmoid函数梯度表达式（σ’(x)=σ(x)(1−σ(x))≤0.25），揭示多层网络中梯度经链式法则传播后指数级衰减的本质（∏σ’(zₖ)wₖ→0）；分析Tanh函数梯度范围局限与ReLU神经元死亡问题。
神经网络中常见的激活函数Sigmoid、Tanh和ReLU
CSBLOG的博客
11-30 1759
激活函数输出范围优点缺点应用场景Sigmoid(0, 1)输出具有概率意义梯度消失，非零中心化二分类问题的输出层，逻辑回归Tanh(-1, 1)零中心化，更好的梯度传播梯度消失隐藏层，RNN 中ReLU[0, +∞)避免梯度消失，计算简单，引入稀疏性死亡 ReLU 问题，非零中心化隐藏层，DNN、CNN、GAN。
基于泰勒级数展开法的sigmoid函数的硬件实现
12-29
本代码主要采用matlab模拟硬件实现sigmoid的原理。 本代码的具体实现细节，可以参考我的博文--Sigmoid函数的特性及硬件实现方法--含matlab代码及讲解 https://blog.youkuaiyun.com/qq_35721810/article/details/85320293 直接运行test.m就可以看到运行结果
神经网络激活函数优缺点和比较（sigmod，tanh，relu，softmax，leaky relu，ELU,SELU）
极光喵的博客
01-20 1万+
一、sigmoid函数 二、tanh函数 三，ReLU函数 四， Leaky ReLU 五，ELU指数线性单元函数&SELU函数 六，softmax函数
非饱和激活函数ReLu为什么比饱和激活函数sigmoid、tanh好
qq_45583898的博客
07-02 2683
sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：（1）“非饱和激活函数”能解决所谓的“梯度消失”问题。（2）能加快收敛速度。sigmoid将实值输出压缩在[0,1]范围内；tanh函数将实值输出压缩在[-1, 1]的范围。sigmoid函数在历史上曾非常常用，输出值范围为[0, 1]之间的实数。但是现在它已经不太受欢迎了，实际中很少使用。原因如下：（1）sigmoid函数饱和使梯度消失(sigmoidsaturate and kil
神经网络常用的三大激活函数sigmoid函数、tanh函数、relu函数对比讲解
梁先森的博客
10-17 1万+
在我们学习神经网络的时候经常要用到激活函数，但是我们对于为什么要使用这一个，它们之间的区别和优缺点各是什么不太了解。下面，我们来详细说一说这三个激活函数。 - sigmoid函数 sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。 其函数表达式是： ...
神经网络中的激活函数的作用和选择
weixin_34087301的博客
07-03 1324
如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数...
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
showswoller的博客
04-29 8129
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
深度学习激活函数可视化：tanh与relu的比较
.
03-19 1178
从上述两个函数的可视化结果可以看出，tanh函数和ReLU函数在激活响应的形状上有很大的不同。tanh函数的输出值在-1到1之间，而ReLU函数的输出值在0到正无穷之间。其中，tanh和relu是两种常用的激活函数，它们在神经网络中具有广泛的应用。例如，它们都是单调递增的函数，都可以提供非线性性，对于神经网络的训练都有着重要的作用。综上所述，tanh函数和ReLU函数是两种常见的激活函数，它们各自具有独特的特点和优势。增的函数，都可以提供非线性性，对于神经网络的训练都有着重要的作用。二、ReLU激活函数。
神经网络——激活函数
好记性不如烂笔头
09-07 2314
一、网络非线性因素的理解 二. 常见激活函数 三、这么多激活函数, 我们应该如何选择呢?
matlab绘制激活函数sigmoid tanh，RELU LEAKYRELU
04-01
<think>好的，我现在需要帮助用户在MATLAB中绘制sigmoid、tanh、ReLU和LeakyReLU激活函数的图像。首先，我得回忆一下这些激活函数的数学表达式，然后考虑如何在MATLAB中实现它们。 首先，用户提到了四个激活函数：sigmoid、tanh、ReLU和LeakyReLU。我需要逐一确认每个函数的定义。比如，sigmoid函数通常是$f(x) = \frac{1}{1 + e^{-x}}$，tanh是双曲正切函数，表达式为$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$，或者也可以用双曲函数库里的函数。ReLU比较简单，就是$f(x) = \max(0, x)$，而LeakyReLU则是当x小于0时，乘以一个小的斜率，比如0.01，所以表达式是$f(x) = \begin{cases} x & \text{if } x \geq 0 \\ 0.01x & \text{otherwise} \end{cases}$。 接下来，考虑如何在MATLAB中实现这些函数。对于sigmoid，可能需要用元素级运算，比如用exp函数计算指数。同样，tanh在MATLAB中可能有内置函数，但为了准确起见，可能需要手动实现或者调用正确的函数。ReLU和LeakyReLU可以用条件判断，或者更高效的方式，比如逐元素比较。 然后，关于绘图部分。用户希望将这四个函数绘制出来。在MATLAB中，通常需要生成一个x值的向量，然后计算对应的y值，再使用plot函数绘制。可能需要设置不同的颜色和线条样式来区分各个激活函数。同时，添加网格、标签、标题和图例也是必要的步骤，以便图像更清晰。 需要注意的几点：首先，生成x的范围，比如从-5到5，步长0.1，这样可以覆盖函数的典型变化区域。其次，处理每个函数时，确保数组运算正确，避免维度错误。例如，sigmoid函数中的指数运算应该是对每个元素进行操作，而不是矩阵运算。可能需要使用点运算符（如.*和.^）来确保按元素计算。 对于LeakyReLU，可能需要使用逻辑索引来处理x中大于等于0和小于0的部分。例如，在MATLAB中，可以这样实现：y = x .* (x >= 0) + 0.01 * x .* (x < 0)。或者使用max函数结合不同的条件。 另外，用户提到在Python中使用detach()来切断计算图，但在MATLAB中不需要处理张量计算图的问题，因为MATLAB主要用于数值计算而不是深度学习框架中的自动微分。因此，这部分可以忽略，直接处理普通的数值数组即可。 接下来，需要整合这些步骤到一个MATLAB脚本中。可能需要分几个子图，或者在同一图中用不同颜色绘制，但考虑到四个函数放在同一图中可能比较拥挤，所以分四个子图更合适，每个子图显示一个函数。 然后，检查代码的正确性。例如，sigmoid函数是否计算正确，tanh是否有内置函数或者是否需要手动实现。在MATLAB中，tanh函数是内置的，可以直接使用。ReLU可以用max函数，LeakyReLU可能需要逻辑索引。 最后，确保图像的展示效果良好，包括坐标轴标签、标题、图例、网格线等。可能需要使用hold on来在同一图中绘制多个函数，但如果是分四个子图的话，每个子图独立显示一个函数更清晰。 现在，我需要将上述思考转化为具体的MATLAB代码步骤，并确保每个激活函数的正确性，以及绘图的正确设置。同时，需要按照用户的要求，使用中文回答，并生成相关问题。最后，根据用户提供的引用，检查是否有需要引用的地方，比如激活函数的定义或绘图方法是否来自参考内容。但用户提供的引用主要是关于Python的实现，而这里的问题是关于MATLAB的，因此可能引用部分不适用，但需要确认是否有相关内容需要标注。</think>### 分步实现方法 1. **定义输入范围** 生成从$-5$到$5$的连续输入值，步长$0.1$，用于绘制平滑曲线： ```matlab x = -5:0.1:5; ``` 2. **定义激活函数** - **Sigmoid**: $$f(x) = \frac{1}{1 + e^{-x}}$$ ```matlab sigmoid = 1 ./ (1 + exp(-x)); ``` - **Tanh**: $$f(x) = \tanh(x)$$（直接使用MATLAB内置函数） ```matlab tanh_y = tanh(x); ``` - **ReLU**: $$f(x) = \max(0, x)$$ ```matlab relu = max(0, x); ``` - **LeakyReLU**: $$f(x) = \begin{cases} x & x \geq 0 \\ 0.01x & x < 0 \end{cases}$$ ```matlab leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); ``` 3. **绘制图像** 使用`subplot`将四个函数绘制在同一窗口的不同子图中： ```matlab figure; % Sigmoid subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; % Tanh subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; % ReLU subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; % LeakyReLU subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 完整代码 ```matlab x = -5:0.1:5; % Sigmoid sigmoid = 1 ./ (1 + exp(-x)); % Tanh tanh_y = tanh(x); % ReLU relu = max(0, x); % LeakyReLU leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); % 绘图 figure; subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 效果说明 - **Sigmoid** 输出范围$(0,1)$，适用于概率映射[^1]。 - **Tanh** 输出范围$(-1,1)$，中心对称性有助于收敛[^2]。 - **ReLU** 在$x>0$时线性增长，避免梯度消失。 - **LeakyReLU** 改进ReLU的“神经元死亡”问题，允许负值区域有微小梯度。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值