激活函数-Sigmoid, Tanh及ReLU

最新推荐文章于 2025-06-19 16:12:10 发布
最新推荐文章于 2025-06-19 16:12:10 发布
阅读量6.7w 收藏 466
点赞数 70
CC 4.0 BY-SA版权
文章标签： 激活函数 Sigmoid Tanh ReLU
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lwc5411117/article/details/83620184
本文深入探讨了神经网络中激活函数的作用，解释了Sigmoid、Tanh和ReLU三种常见激活函数的特点与优缺点，揭示了它们如何解决线性组合限制，使神经网络能处理复杂非线性问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

什么是激活函数

 

在神经网络中，我们会对所有的输入进行加权求和，之后我们会在对结果施加一个函数，这个函数就是我们所说的激活函数。如下图所示。

为什么使用激活函数

我们使用激活函数并不是真的激活什么，这只是一个抽象概念，使用激活函数时为了让中间输出多样化，能够处理更复杂的问题。

如果不适用结果函数的话，每一层最后输出的都是上一层输入的线性函数，不管加多少层神经网络，我们最后的输出也只是最开始输入数据的线性组合而已。激活函数给神经元引入了非线性因素，当加入多层神经网络时，就可以让神经网络拟合任何线性函数及非线性函数，从而使得神经网络可以适用于更多的非线性问题，而不仅仅是线性问题。

有论文中把激活函数定义为一个几乎处处可微的函数f: R->R

有哪些激活函数

对于神经网络，一版我们会使用三种激活函数：Sigmoid函数、Tanh函数、ReLU函数。

基本概念：

饱和：

当函数f(x)满足：

\lim_{x\rightarrow+\infty}f^{'}(x)=0

时，称为右饱和；

当函数f(x)满足：

\lim_{x\rightarrow-\infty}f^{'}(x)=0

时，称为左饱和。

当f(x)同时满足左饱和及右饱和时，称为饱和。

软包和与硬包和：

在饱和定义的基础上，如果存在常数c1，当x>c1时候恒满足f^{'}(x)=0，称之为右硬饱和；同样的，如果存在c2，当x<c2时恒满足f^{'}(x)=0，称之为左硬饱和。如果同时满足了左饱和，又满足了右饱和，称之为硬包和。相对的，只有在x趋于极值时才能满足f(x)的倒数为0，则成为软饱和。

1. Sigmoid 函数

sigmoid 曾经风靡一时，但是由于sigmoid有自身的缺陷，现在用的比较少了。

函数公式如下：

f(x)=\frac{1}{1+e^{-x}}，相应的f^{'}(x)=f(x)(1-f(x))

​​​​​​函数曲线如下：

优点：

<1> Sigmoid的取值范围在(0, 1)，而且是单调递增，比较容易优化

<2> Sigmoid求导比较容易，可以直接推导得出。

缺点：

<1> Sigmoid函数收敛比较缓慢

<2> 由于Sigmoid是软饱和，容易产生梯度消失，对于深度网络训练不太适合（从图上sigmoid的导数可以看出当x趋于无穷大的时候，也会使导数趋于0）

<3> Sigmoid函数并不是以（0,0）为中心点

2. Tanh函数

tanh为双切正切曲线，过（0,0）点。相比Sigmoid函数，更倾向于用tanh函数

函数公式：

f(x)=\frac{sinh(x)}{cosh(x)}=\frac{1-e^{-2x}}{1+e^{-2x}}=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}=\frac{e^{2x}-1}{e^{2x}+1}=2sigmoid(2x)-1

相应的f^{'}(x)=tanh{'}(x)=sech^{2}(x)=1-tanh^{2}(x)

函数曲线如下：

优点：

<1> 函数输出以（0,0）为中学

<2> 收敛速度相对于Sigmoid更快

缺点：

<1> tanh并没有解决sigmoid梯度消失的问题

3. ReLU函数

最近这几年很常用的激活函数。

公式如下：

f(x)=max(0, x)=\left\{\begin{matrix} 0 & (x \leqslant 0)& \\ x & (x > 0) & \end{matrix}\right.

图形图像：

优点：

<1> 在SGD中收敛速度要比Sigmoid和tanh快很多

<2> 有效的缓解了梯度消失问题

<3> 对神经网络可以使用稀疏表达

<4> 对于无监督学习，也能获得很好的效果

缺点：

<1> 在训练过程中容易出现神经元失望，之后梯度永远为0的情况。比如一个特别大的梯度结果神经元之后，我们调整权重参数，就会造成这个ReLU神经元对后来来的输入永远都不会被激活，这个神经元的梯度永远都会是0，造成不可逆的死亡。

参考：http://www.cnblogs.com/rgvb178/p/6055213.html

 

lawenliu
关注
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
星月夜话
02-05 6105
非线性激活函数详解 饱和激活函数Sigmoid函数tanh函数hard-Sigmoid函数 非饱和激活函数Relu（修正线性单元）：Relu6（抑制其最大值）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）Swishhard-SwishMishMaxout关于激活函数统一说明 参考链接 因为深度学习模型中其它的层都是线性的函数...
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
详细解释tanh公式
强化学习曾小健
01-13 3054
在初等数学中，三角函数通常通过直角三角形定义。在更广泛的数学中，三角函数通过单位圆更为统一地定义，可以扩展到任意实数角度。
深度学习——激活函数
最新发布
weixin_51995147的博客
06-19 1070
激活函数是人工是人工神经网络中一个关键的组成部分，它被设计用来引入非线性特性到神经网络模型中，使神经网络能够学习和逼近复杂的非线性映射关系。
激活函数-Sigmoid,Tanh,ReLu,softplus,softmax
Suan2014的博客
08-14 3万+
PS:在学习深度学习的搭建时，用到不同的激活函数，因此查阅了这些函数，转自：http://blog.youkuaiyun.com/qrlhl/article/details/60883604#t2，对其中我认为有误的地方进行了一点修正。   不管是传统的神经网络模型还是时下热门的深度学习，我们都可以在其中看到激活函数的影子。所谓激活函数，就是在神经网络的神经元上 运行的函数，负责将神经元的输入映射到输出...
深度学习——激活函数Sigmoid/Tanh/ReLU
热门推荐
zchang81的博客
04-18 8万+
一般情况下，使用ReLU会比较好 1、使用 ReLU，就要注意设置 learning rate，不要让网络训练过程中出现很多 “dead” 神经元； 2、如果“dead”无法解决，可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU； 3、不建议使用 sigmoid，如果一定要使用，也可以用 tanh来替代。
激活函数--（Sigmoid，tanh，Relu，maxout）
weixin_30521649的博客
07-27 601
Question？ 　　激活函数是什么？ 　　激活函数有什么用？ 　　激活函数怎么用？ 　　激活函数有哪几种？各自特点及其使用场景？ 1.激活函数 1.1激活函数是什么？ 　　激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具...
深度学习之常用激活函数
AndyJ的学习之旅
09-09 1975
引言 激活函数的目标是，将神经网络非线性化。激活函数是连续的且可导的。 连续的：当输入值发生较小的改变时，输出值也发生较小的改变； 可导的：在定义域中，每一处都是存在导数； 常见的激活函数：sigmoid，tanh，relu。 sigmoid sigmoid是平滑的阶梯函数，可导。sigmoid可以将任何值转换为0~1概率，用于二分类。 当使用sigmoid作为激活函数时，随着神经网络隐含层（hidden layer）层数的增加，训练误差反而加大。表现为： 靠近输出层的隐含层梯度较大，参数更新速度快，很
Sigmoid、Relu、Tanh激活函数
zhuiyuanzhongjia的博客
06-05 4万+
转自https://blog.youkuaiyun.com/u013146742/article/details/51986575和https://www.cnblogs.com/makefile/p/activation-function.html激活函数形式：其中θθ为我们之前提到的神经元的激活阈值，函数f(⋅)f(·)也被称为是激活函数Sigmoid函数定义1+sigmoid 函数曾经被使用的很多，不过...
神经网络中常见的激活函数Sigmoid、Tanh和ReLU
CSBLOG的博客
11-30 1748
激活函数输出范围优点缺点应用场景Sigmoid(0, 1)输出具有概率意义梯度消失，非零中心化二分类问题的输出层，逻辑回归Tanh(-1, 1)零中心化，更好的梯度传播梯度消失隐藏层，RNN 中ReLU[0, +∞)避免梯度消失，计算简单，引入稀疏性死亡 ReLU 问题，非零中心化隐藏层，DNN、CNN、GAN。
激活函数（sigmoid、tanh、ReLu）
一去不复返的通信er
10-24 5049
激活函数
【深度学习】—激活函数、ReLU 函数、 Sigmoid 函数、Tanh 函数
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 2249
我们已经了解了如何使用非线性激活函数（如 ReLU、sigmoid 和 tanh）来构建具有更强表达能力的多层神经网络。值得一提的是，如今借助开源的深度学习框架，只需几行代码即可快速构建模型，而在 20 世纪 90 年代，训练这些网络可能需要数千行 C 或 Fortran 代码。
深度学习中的激活函数之 sigmoid、tanh 和 ReLU
qq_45947519的博客
11-06 890
ReLU函数 ReLU(rectified linear unit)函数提供了一个很简单的非线性变换。给定元素x,该函数定义为 ReLU(x)=max(x,0). ReLU(x) = max(x, 0).ReLU(x)=max(x,0). 可以看出,ReLU函数只保留正数元素,并将负数元素清零。 sigmoid函数 sigmoid函数可以将元素的值变换到0和1之间: sigmoid(x)=11+exp(−x) sigmoid(x) =\frac{1}{1 + exp(−x) }sigmoid(x)=1+e
深度学习- 激活函数总结（Sigmoid, Tanh, Relu, leaky Relu, PReLU, Maxout, ELU, Softmax,交叉熵函数）
Harry的博客
04-06 1497
Softmax 函数 Si=ezi∑kezk S_i = \frac{e^{z_i}}{\sum_ke^{z_k}}Si​=∑k​ezk​ezi​​ Softmax函数求导 ∂sj∂zi={si(1−si),当 i = j 时−sisj,当 i != j 时 \frac{\partial s_j}{\partial ...
深度学习中的非线性激活函数(Sigmoid, tanh, ReLU)
weixin_48278962的博客
04-09 1129
sigmoid 定义：11+e−x\frac{1}{1+e^{-x}}1+e−x1​ 输出：0-1，对于一个极大的负值，输出接近0.对于一个极大的正值，输出接近1 功能：常用于二分类的最后一层。 弊端：当输入接近无穷大或无穷小时，输出变换小，求导（斜率）约为0，容易梯度缺失。不是原点中心对称，有可能造成梯度更新缓慢。输出总是正数。 tanh 定义：ex−e−xex+e−x\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}ex+e−xex−e−x​ 输出：-0-1，对于一个极大的负..
激活函数sigmoid、tanh、relu
ywm_up
08-24 1381
转载自《动手学深度学习》(PyTorch版) 在线书籍：https://tangshusen.me/Dive-into-DL-PyTorch github：https://github.com/ShusenTang/Dive-into-DL-PyTorch 激活函数 在不引入激活函数的神经网络中，多层神经网络经过线性变换，仍然等价于一个单层的神经网络。例如：只有一层的全连接神经网络公式为： H=XWo+bo H = X W_o + b_o H=XWo​+bo​ 在增加一层隐藏层后： H=XWo+bh H =
激活函数-relu-sigmoid-tanh
世上再无张显宗
07-27 1595
1.激活函数 1.1激活函数是什么？ 　　激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。 那么激活函数应该具有什么样的性质呢？ 可微性： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。 输出值的范围： 当激活函数输出值是 有限 的时候，基于梯度的优化方法会
sigmoid、Relu、Tanh、softmax激活函数的比较, 以及交叉熵损失函数
dabingsun的博客
03-06 3700
sigmoid
什么是神经网络？
樊鴻燁的博客
08-22 646
神经网络什么是神经网络？ 什么是神经网络？  其实所谓的深度学习就是在训练神经网络，所以说我们面临着一个很直观的问题——什么是神经网络呢？  这里我们假设有6个房子的数据集(已知的是房屋面积和房屋价格)，其实这样一个简单的数据集有点类似于传说中XY轴，所以说根据数学知识，我们可以构建一个线性回归函数来预测房屋价格，我们抽象成一个非常简单的神经网络   ...
matlab绘制激活函数sigmoid tanh，RELU LEAKYRELU
04-01
<think>好的，我现在需要帮助用户在MATLAB中绘制sigmoid、tanh、ReLU和LeakyReLU激活函数的图像。首先，我得回忆一下这些激活函数的数学表达式，然后考虑如何在MATLAB中实现它们。 首先，用户提到了四个激活函数：sigmoid、tanh、ReLU和LeakyReLU。我需要逐一确认每个函数的定义。比如，sigmoid函数通常是$f(x) = \frac{1}{1 + e^{-x}}$，tanh是双曲正切函数，表达式为$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$，或者也可以用双曲函数库里的函数。ReLU比较简单，就是$f(x) = \max(0, x)$，而LeakyReLU则是当x小于0时，乘以一个小的斜率，比如0.01，所以表达式是$f(x) = \begin{cases} x & \text{if } x \geq 0 \\ 0.01x & \text{otherwise} \end{cases}$。 接下来，考虑如何在MATLAB中实现这些函数。对于sigmoid，可能需要用元素级运算，比如用exp函数计算指数。同样，tanh在MATLAB中可能有内置函数，但为了准确起见，可能需要手动实现或者调用正确的函数。ReLU和LeakyReLU可以用条件判断，或者更高效的方式，比如逐元素比较。 然后，关于绘图部分。用户希望将这四个函数绘制出来。在MATLAB中，通常需要生成一个x值的向量，然后计算对应的y值，再使用plot函数绘制。可能需要设置不同的颜色和线条样式来区分各个激活函数。同时，添加网格、标签、标题和图例也是必要的步骤，以便图像更清晰。 需要注意的几点：首先，生成x的范围，比如从-5到5，步长0.1，这样可以覆盖函数的典型变化区域。其次，处理每个函数时，确保数组运算正确，避免维度错误。例如，sigmoid函数中的指数运算应该是对每个元素进行操作，而不是矩阵运算。可能需要使用点运算符（如.*和.^）来确保按元素计算。 对于LeakyReLU，可能需要使用逻辑索引来处理x中大于等于0和小于0的部分。例如，在MATLAB中，可以这样实现：y = x .* (x >= 0) + 0.01 * x .* (x < 0)。或者使用max函数结合不同的条件。 另外，用户提到在Python中使用detach()来切断计算图，但在MATLAB中不需要处理张量计算图的问题，因为MATLAB主要用于数值计算而不是深度学习框架中的自动微分。因此，这部分可以忽略，直接处理普通的数值数组即可。 接下来，需要整合这些步骤到一个MATLAB脚本中。可能需要分几个子图，或者在同一图中用不同颜色绘制，但考虑到四个函数放在同一图中可能比较拥挤，所以分四个子图更合适，每个子图显示一个函数。 然后，检查代码的正确性。例如，sigmoid函数是否计算正确，tanh是否有内置函数或者是否需要手动实现。在MATLAB中，tanh函数是内置的，可以直接使用。ReLU可以用max函数，LeakyReLU可能需要逻辑索引。 最后，确保图像的展示效果良好，包括坐标轴标签、标题、图例、网格线等。可能需要使用hold on来在同一图中绘制多个函数，但如果是分四个子图的话，每个子图独立显示一个函数更清晰。 现在，我需要将上述思考转化为具体的MATLAB代码步骤，并确保每个激活函数的正确性，以及绘图的正确设置。同时，需要按照用户的要求，使用中文回答，并生成相关问题。最后，根据用户提供的引用，检查是否有需要引用的地方，比如激活函数的定义或绘图方法是否来自参考内容。但用户提供的引用主要是关于Python的实现，而这里的问题是关于MATLAB的，因此可能引用部分不适用，但需要确认是否有相关内容需要标注。</think>### 分步实现方法 1. **定义输入范围** 生成从$-5$到$5$的连续输入值，步长$0.1$，用于绘制平滑曲线： ```matlab x = -5:0.1:5; ``` 2. **定义激活函数** - **Sigmoid**: $$f(x) = \frac{1}{1 + e^{-x}}$$ ```matlab sigmoid = 1 ./ (1 + exp(-x)); ``` - **Tanh**: $$f(x) = \tanh(x)$$（直接使用MATLAB内置函数） ```matlab tanh_y = tanh(x); ``` - **ReLU**: $$f(x) = \max(0, x)$$ ```matlab relu = max(0, x); ``` - **LeakyReLU**: $$f(x) = \begin{cases} x & x \geq 0 \\ 0.01x & x < 0 \end{cases}$$ ```matlab leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); ``` 3. **绘制图像** 使用`subplot`将四个函数绘制在同一窗口的不同子图中： ```matlab figure; % Sigmoid subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; % Tanh subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; % ReLU subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; % LeakyReLU subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 完整代码 ```matlab x = -5:0.1:5; % Sigmoid sigmoid = 1 ./ (1 + exp(-x)); % Tanh tanh_y = tanh(x); % ReLU relu = max(0, x); % LeakyReLU leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); % 绘图 figure; subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 效果说明 - **Sigmoid** 输出范围$(0,1)$，适用于概率映射[^1]。 - **Tanh** 输出范围$(-1,1)$，中心对称性有助于收敛[^2]。 - **ReLU** 在$x>0$时线性增长，避免梯度消失。 - **LeakyReLU** 改进ReLU的“神经元死亡”问题，允许负值区域有微小梯度。 ---
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值