激活函数总结(一)

最新推荐文章于 2024-08-02 20:09:57 发布
最新推荐文章于 2024-08-02 20:09:57 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习-激活函数 文章标签： 激活函数 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sqiu_11/article/details/78394495
本文介绍了激活函数的作用及其在神经网络中的重要性。详细讨论了Sigmoid、Tanh、ReLU及Softmax等常见激活函数的特点与应用场景，并对比它们之间的优缺点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Introduce

激活函数可以理解为非线性映射，增加网络的复杂性。为什么这么说？
如图所示：
这里写图片描述
第一部分是对输入的加权求和的过程，是一个线性化表示。如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，可以证明可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

都有哪些激活函数？有什么特性？为什么不能统一？

如图：
Sigmoid
Sigmoid:计算量大，训练慢，存在左、右两端的“软饱和区”，导致梯度消失！输出值均大于0，导致多层神经网络的输入均值不为0，偏移现象！
Tanh和Relu
Tanh：计算量大，存在梯度消失现象，不存在偏移现象
Relu：计算量小，训练快，存在“硬饱和区”使得神经元死亡——权值无法更新，使得网络稀疏，避免过拟合！也存在偏移现象！改进“硬饱和区”：Prelu函数和Random Relu函数。在卷积神经网络中：
这里写图片描述
Softmax用于多分类
Softmax：(软最大的含义在于取得最大值的概率最大)，用于多分类，返回每一类的概率类与类之间是互斥的！计算简单，使用交叉熵表示损失函数：与标准样本距离！

总结：

不同的激活函数具有不同数学性质，导致表达能力不一样，泛化能力，训练效果都不一样！需要实践中尝试才能选择最佳激活函数，具体问题具体分析！

参考文章：

1、深度探讨激活函数区别
2、常用激活函数的简介
3、Softmax 函数的特点和作用是什么
4、为什么神经网络中激活函数Relu优于Sigmoid
5、Relu和其改进版的比较

史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9264
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
激活函数总结（一）：ReLU及其变体
走在深度学习前沿的小宋
08-07 2799
本文介绍了一些常用的激活函数，包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、 Swish等激活函数及其在当前激活函数众多的情况下使用的环境。总体而言：ReLU激活函数还是最常用的激活函数。
常见激活函数，及其优缺点 - 面试篇
GreatXiang888的博客
08-12 7058
废话不多说，直接开问。 问：什么是激活函数？ 在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数。 问：激活函数有什么用？ 如果没有激励函数，在这种情况下你每一层节点的输入都是上层输出的线性函数，无论你神经网络有多少层，输出都是输入的线性组合，相当于没有隐藏层，网络的学习能力有限。 深度学习最主要的特点就是：多层，非线性。 多层为了能够学习更多的东西；没有非...
深度学习中的激活函数
wuxiaosi808的博客
09-26 5034
圈 摘要: 正如我们的人脑一样，在一个层次上和神经元网络中有数百万个神经元，这些神经元通过一种称之为synapses（突触）的结构彼此紧紧相连。它可以通过 Axons（轴突），将电信号从一个层传递到另一个层。这就是我们人类学习 ... 网络 模型 机器学习 神经网络 网络技术 函数 什么是人工神经网络？ 现在，我相信我们大家都很熟悉什么是A-NN了，但接下来请允许我按
激活函数
AI.PLAY
10-16 451
为什么要使用激活函数？ 在神经网络中，每一层的输入都是输入的线性函数，为了逼近任意函数（非线性函数），所以引入非线性函数作为激励函数。 激活函数的特性 非线性：为了使神经网络逼近任意函数。 可微：一般采用基于梯度的网络优化方法。 单调性：保证单层网络是凸函数。 sigmod函数 优点： 缺点： 当x较大或较小时，出现梯度消失。且导函数的最大值为0.25，意味着导数在每一层至少压缩为原来的...
激活函数总结（十）：激活函数补充(Identity、LogSigmoid、Bent Identity)
生活需要深度
08-02 970
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax)。
激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)
生活需要深度
08-02 2588
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。可在嵌入式上使用：swish非线性激活函数提高了检测精度，但不适合在嵌入式移动设备上使用，因为“S”型函数在嵌入式移动设备上的计算成本更高，求导较为复杂，在量化时计算较慢。在输入小于-1时，输出值将被固定为-1，在输入大于1时，输出值将被固定为1。非线性性：尽管HardTanh函数在输入在[-1,1]之间是线性的，但它在输入小于-1和大于1时是非线性的，因此可以引入一些非线性特性，有助于提高模型的表达能力。
激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)
生活需要深度
08-02 962
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。TanhExp激活函数是一种用于轻量级神经网络的具有高收敛速度的平滑激活函数，在不增加网络规模的情况下，只需要少量的训练周期和不增加额外参数，TanhExp就可以提高轻量级神经网络的容量。缓解梯度爆炸问题： LeCun Tanh 函数通过对双曲正切函数进行缩放和平移，将输出范围限制在 [-1.7159, 1.7159]，相比标准双曲正切函数的 [-1, 1] 范围，有助于缓解梯度爆炸问题，使得训练更加稳定。
激活函数总结
最新发布
03-08
### 关于神经网络中的激活函数总结 #### 定义与作用 激活函数用于定义单个人工神经元的输出。当加权总输入值经过非线性变换后，得到的结果即为该神经元的最终输出[^3]。 #### 常见类型的激活函数及其特点 - **Sigmoid 函数** Sigmoid 是一种常见的激活函数，其形式如下所示： ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) ``` 特点在于它能将实数值压缩至 $(0, 1)$ 范围内，在早期被广泛应用于二分类问题中。然而由于梯度消失等问题，现在较少单独使用此函数作为深层模型的主要激活机制。 - **Tanh 双曲正切函数** Tanh 函数可以看作是改进版的 Sigmoid 函数，同样具备良好的平滑性和可导性质： ```python def tanh(x): return np.tanh(x) ``` 输出范围位于 $[-1, 1]$ 之间，相比起原始版本拥有更强的表现力；不过也存在同样的收敛速度慢的问题。 - **ReLU 线性整流函数** ReLU（Rectified Linear Unit）近年来成为最流行的激活选项之一，表达式非常简单直观： ```python def relu(x): return max(0,x) ``` 对负数部分置零处理而保留正值不变，有效缓解了传统方法带来的梯度弥散现象，并加速训练过程。尽管如此，过度抑制可能导致某些节点永远处于不活跃状态——这就是所谓的“死区”效应。 - **Leaky ReLU 改良型 ReLU** 针对标准 ReLU 的缺陷进行了优化调整，允许少量斜率穿过死亡区域： ```python alpha = 0.01 def leaky_relu(x): return np.where(x >= 0, x, x * alpha) ``` 这样既保持了原有优势又解决了潜在隐患，因此在实践中获得了广泛应用。 - **Softmax 函数** Softmax 主要适用于多类别分类场景下最后一层的选择，能够把向量转换成概率分布的形式： ```python def softmax(z): e_z = np.exp(z - np.max(z)) return e_z / e_z.sum(axis=0) ``` 各分量之和等于一，便于后续计算交叉熵损失等指标评估性能优劣程度。 综上所述，虽然理论上可以选择任意合适的激活模式来构建特定任务下的最优解空间，但在实际工程开发过程中往往倾向于采用单一或少数几种成熟的方案组合而成的整体架构设计思路。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值