深度学习之激活函数的介绍和比较：sigmoid，tanh，relu，softmax

最新推荐文章于 2024-12-27 07:54:09 发布
最新推荐文章于 2024-12-27 07:54:09 发布
阅读量2.2k 收藏 7
点赞数 3
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Yio_Eagle/article/details/100600562
版权
本文介绍了深度学习中的四种激活函数：sigmoid、tanh、relu和softmax。激活函数的作用是引入非线性，使神经网络能处理更复杂的模型。sigmoid适合二分类，但存在梯度消失问题；tanh的输出在-1到1之间，收敛速度较快；relu解决了sigmoid的梯度消失问题，但可能导致神经元“死亡”；softmax用于多分类任务，输出可解释为概率分布。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文参考自3个博客，整理合并而成。

1.https://blog.youkuaiyun.com/haxiongha/article/details/79404304

2.https://blog.youkuaiyun.com/u011684265/article/details/78039280

3.https://www.cnblogs.com/gezhuangzhuang/p/10583394.html

目录

1. 什么是激活函数

2. 为什么要用激活函数 

3. 都有什么激活函数

4. 如何选择

1. 什么是激活函数

如下图，在神经元中，输入inputs通过加权、求和后，还被作用了一个函数——激活函数Activation Function。

                                                

2. 为什么要用激活函数 

首先࿰

最低0.47元/天 解锁文章
深度学习中的Relu和Sigmoid/tanh区别
zhouzongzong的博客
03-16 3111
ReLU 大于0则原样输出，小于0，截断 Sigmoid函数 ReLU相比于Sigmoid几乎是碾压的，如果能用ReLU且能用Sigmoid直接ReLU 效果上： 1.sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，从而无法完成深层网络的训练；而ReLU就不会 2.Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性(对于特征选取更好)，并且减少了参数的相互依存关系，缓解了过拟合问题的发生 性能上： 采用
第21节：深度学习基础-激活函数比较（ReLU, Sigmoid, Tanh）
最新发布
2401_82355416的博客
05-05 1621
引入非线性：使神经网络能够学习和表示复杂的数据模式决定神经元输出：基于输入决定神经元是否应该被激活（输出非零值）映射输出范围：将输入映射到特定范围（如0到1或-1到1）影响梯度流动：在反向传播过程中影响梯度的计算和传播Sigmoid函数是最早被广泛使用的激活函数之一，其数学表达式为：函数输出范围在(0,1)之间，可以将任何实数映射到这个区间。Tanh（双曲正切）函数是Sigmoid函数的缩放和移位版本，其数学表达式为：输出范围在(-1,1)之间。
‌Sigmoid和Tanh‌
百态老人的博客
12-27 992
Sigmoid和Tanh是两种常用的激活函数，它们在神经网络中具有不同的特点和应用场景。定义与输出范围：形状与特性：两者都呈S形曲线，但Tanh函数的输出范围更广，且关于原点对称，而Sigmoid函数的输出范围较窄且非零中心。 在输入接近零时，Tanh函数的导数通常比Sigmoid函数的导数更大，这使得Tanh函数在某些情况下收敛速度更快。优点与缺点：适用场景：关系与转换：Sigmoid和Tanh函数各有优缺点，选择哪种激活函数需要根据具体的应用场景和问题需求来决定。在实际应用中，由于ReLU及其变体的出现
比较双曲正切tanh与sigmoid激活函数的性能差异
staple
04-23 3342
制作一个二分类网络分类minst 0和3 (0,3)-n*m*2-(1,0)(0,1) 激活函数分别使用tanh和sigmoid，用交叉对比固定收敛标准多次测量取平均值的办法比较两个激活函数到底有什么差异。 数据1：tanh 每个收敛标准收敛199次，共25*199次 tanh ...
Deep learning系列（七）激活函数
du_mengnan的专栏
10-15 2万+
介绍了三种神经网络激活函数。
激活函数ReLu、sigmoid、tanh的区别
YuanLuo0911的博客
08-11 8069
激活函数ReLu、sigmoid、tanh的区别 三种常见的非线性激活函数有：relu、sigmoid、tanh 对应的公式分别为： ReLu：y = max(0, x) ∀y∈(0,无穷)\quad\forall y\in\mathbb (0,无穷)∀y∈(0,无穷) sigmoid：y = 1/(1 + e-x) ∀y∈(0,1)\quad\forall y\i...
AI 内容分享(十八)：秒懂AI-深度学习四种常用激活函数：Sigmoid、Tanh、ReLU和Softmax
之乎者也·的博客
01-20 4704
Softmax是一种常用的激活函数，主要用于多分类问题中，可以将输入的神经元转化为概率分布。ReLU的输出范围是[0, +∞)，而输入值为负数时输出为0，这导致ReLU输出的分布不对称，限制了生成的多样性。Leaky ReLU在输入小于或等于0时，输出一个较小的斜率，避免了完全的“死亡神经元”问题。当输入值小于或等于0时，ReLU的输出为0，导致该神经元失效，这种现象称为“死亡神经元”。与Leaky ReLU不同的是，PReLU的斜率不是固定的，而是可以根据数据进行学习优化。
文档：激活函数的比较和优缺点sigmoid tanh relu.docx
06-18
这篇文档主要探讨了深度学习中常用的激活函数，包括Sigmoid、Tanh、ReLU和Softmax，分析了它们的特性和优缺点，并进行了比较。激活函数在神经网络中起到关键作用，它们引入非线性，使网络能够处理复杂的非线性问题。...
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
本文将重点讨论三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的优缺点和应用场景。 1. **sigmoid** 函数是一种S型曲线，其公式为`f(x) = 1 / (1 + e^(-x))`。它将实数值映射到(0,1)之间，常用于二分类...
激活函数的选择，sigmoid/tanh/ReLU的比较
FJZ669的博客
04-01 5867
原文:https://www.cnblogs.com/makefile/p/activation-function.html#undefined©康行天下（只摘取部分内容） 激活函数选择 首先尝试ReLU,速度快,但要注意训练的状态. 如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。 尝试tanh正切函数(以零点为中心,零点处梯度为1) sigmoid/tanh...
深度学习中的sigmod函数、tanh函数、ReLU函数
键盘上跳舞的精灵
12-31 8664
1. sigmod核函数 sigmod函数的数学公式为: 函数取值范围(0,1),函数图像下图所示: 二. tanh(x) 函数 tanh(x)函数的数学公式为： 函数取值范围(-1,1),函数图像下图所示： 三. ReLU（校正线性单元：Rectified Linear Unit）激活函数ReLU函数公式为 : 图像为： 四、高斯核函数（RBF） 又称径向基函数，公式如
激活函数
l090121326的博客
10-26 1342
激活函数一. Sigmoid 函数sigmoid基本性质逻辑回归LSTM双曲正切函数tanh基本性质RNN三. ReLUReLU基本性质P-ReLUR-ReLUE-ReLU 一. Sigmoid 函数 sigmoid基本性质 Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到...
机器学习中的数学——激活函数（一）：Sigmoid函数
热门推荐
冯·诺依曼
10-05 25万+
Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在深度学习中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到[0,1][0, 1][0,1]之间。 S(x)=11+e−xS(x)=\frac{1}{1+e^{-x}}S(x)=1+e−x1​ Sigmoid函数的导数可以用其自身表示： S′(x)=e−x(1+e−x)2=S(x)(1−S(x))S'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=S(x)(1-S(x))S′(x
MATLAB——sigmoid传递函数
一抹烟霞的博客
03-13 2032
一、log——sigmoid函数 二、tan——sigmoid函数
【机器学习】激活函数
sword_csdn的博客
10-19 1413
目录sigmoid函数tanh函数ReLU函数Softmax激活函数设计需要考虑的因素非线性连续可微性有界性单调性平滑性 sigmoid函数 sigmoid函数的值域是(0,1)，在远离中心点的位置，斜率会接近于0。随着反向传播层数的增多（大概是5层），会出现“梯度消失”的现象。也可以称作“失去敏感性”，“处于饱和状态”。 tanh函数 tanh函数取值在(-1,1)之间，跟sigmoid函数有相同的问题，就是在远离中心点的地方斜率接近于0，会出现“梯度消失”现象。但是tanh在训练过程的效率比si
A.深度学习基础入门篇[四]：激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
丨汀、的博客
04-11 1896
sigmoid函数的输出映射在 (0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层；求导容易；缺点：由于其软饱和性，一旦落入饱和区梯度就会接近于0，根据反向传播的链式法则，容易产生梯度消失，导致训练出现问题；Sigmoid函数的输出恒大于0。
tanh
weixin_42612405的博客
01-07 1364
tanh 是双曲正切函数的缩写。它是一个常用的激活函数，可以在神经网络中用来增强模型的非线性能力。tanh 函数的值域为 [-1, 1]，在这个范围内取值。其函数图像如下所示： | | ______ | / \ 1.0 + / \ | / \ | / \ ...
Sigmoid和tanh的异同
fu6543210的博客
12-01 1万+
参考原文：https://blog.youkuaiyun.com/yaoyaoyao2/article/details/73848983  Sigmoid和tanh的异同 计算过程（若有误，请指正）： 它们之间存在的细微差别 观察sigmoid和tanh的函数曲线，sigmoid在输入处于[-1,1]之间时，函数值变化敏感，一旦接近或者超出区间就失去敏感性，处于饱和状态，影响神经网络预...
sigmoid tanh Relu比较
逗比熊二的大哥
02-28 2万+
1、sigmoid函数 函数曲线图如下： 函数导数曲线图如下： 优点： 输出为0到1之间的连续实值，此输出范围和概率范围一致，因此可以用概率的方式解释输出。- 将线性函数转变为非线性函数 缺点： 容易出现gradient vanishing 函数输出并不是zero-centered 幂运算相对来讲比较耗时 对应的tf函数：tf.nn.sigmoid() 2、ta...
请神经元的激活函数relu、tanh、sigmoid、softmax、并指出该函数的特点
06-09
好的，神经元的激活函数有relu、tanh、sigmoid、softmax等。它们的特点如下： 1. ReLU(Rectified Linear Unit)函数：ReLU函数在输入为正数时，输出等于输入；在输入为负数时，输出为0。这个函数的特点是简单、快速，而且可以避免梯度消失问题。但是，ReLU函数在处理负数时会出现死亡神经元问题。 2. Tanh函数：Tanh函数是一种S形函数，它在输入为0时输出0，在输入为正数时，输出在0和1之间，在输入为负数时，输出在-1和0之间。这个函数的特点是可以将输入数据的范围映射到-1到1之间，而且可以处理负数。但是，Tanh函数也存在梯度消失问题。 3. Sigmoid函数：Sigmoid函数也是一种S形函数，它在输入为0时输出0.5，在输入为正数时，输出在0.5和1之间，在输入为负数时，输出在0和0.5之间。这个函数的特点是可以将输入数据的范围映射到0到1之间，而且可以处理负数。但是，Sigmoid函数同样存在梯度消失问题。 4. Softmax函数：Softmax函数将输入的向量映射到0到1之间，并且每个元素的和为1。这个函数通常用于多分类问题中，用于计算每个类别的概率分布。 以上是这些激活函数的特点，它们在神经网络中都有着不同的应用场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值