激活函数总结(一)

本文介绍了激活函数的作用及其在神经网络中的重要性。详细讨论了Sigmoid、Tanh、ReLU及Softmax等常见激活函数的特点与应用场景,并对比它们之间的优缺点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Introduce

激活函数可以理解为非线性映射,增加网络的复杂性。为什么这么说?
如图所示:
这里写图片描述
第一部分是对输入的加权求和的过程,是一个线性化表示。如果不用激励函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。如果使用的话,激活函数给神经元引入了非线性因素,可以证明可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中。

都有哪些激活函数?有什么特性?为什么不能统一?

如图:
Sigmoid
Sigmoid:计算量大,训练慢,存在左、右两端的“软饱和区”,导致梯度消失!输出值均大于0,导致多层神经网络的输入均值不为0,偏移现象!
Tanh和Relu
Tanh:计算量大,存在梯度消失现象,不存在偏移现象
Relu:计算量小,训练快,存在“硬饱和区”使得神经元死亡——权值无法更新,使得网络稀疏,避免过拟合!也存在偏移现象!改进“硬饱和区”:Prelu函数和Random Relu函数。在卷积神经网络中:
这里写图片描述
Softmax用于多分类
Softmax:(软最大的含义在于取得最大值的概率最大),用于多分类,返回每一类的概率类与类之间是互斥的!计算简单,使用交叉熵表示损失函数:与标准样本距离!

总结:

不同的激活函数具有不同数学性质,导致表达能力不一样,泛化能力,训练效果都不一样!需要实践中尝试才能选择最佳激活函数,具体问题具体分析!

参考文章:

1、深度探讨激活函数区别
2、常用激活函数的简介
3、Softmax 函数的特点和作用是什么
4、为什么神经网络中激活函数Relu优于Sigmoid
5、Relu和其改进版的比较

### 关于神经网络中的激活函数总结 #### 定义与作用 激活函数用于定义单个人工神经元的输出。当加权总输入值经过非线性变换后,得到的结果即为该神经元的最终输出[^3]。 #### 常见类型的激活函数及其特点 - **Sigmoid 函数** Sigmoid 是种常见的激活函数,其形式如下所示: ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) ``` 特点在于它能将实数值压缩至 $(0, 1)$ 范围内,在早期被广泛应用于二分类问题中。然而由于梯度消失等问题,现在较少单独使用此函数作为深层模型的主要激活机制。 - **Tanh 双曲正切函数** Tanh 函数可以看作是改进版的 Sigmoid 函数,同样具备良好的平滑性和可导性质: ```python def tanh(x): return np.tanh(x) ``` 输出范围位于 $[-1, 1]$ 之间,相比起原始版本拥有更强的表现力;不过也存在同样的收敛速度慢的问题。 - **ReLU 线性整流函数** ReLU(Rectified Linear Unit)近年来成为最流行的激活选项之,表达式非常简单直观: ```python def relu(x): return max(0,x) ``` 对负数部分置零处理而保留正值不变,有效缓解了传统方法带来的梯度弥散现象,并加速训练过程。尽管如此,过度抑制可能导致某些节点永远处于不活跃状态——这就是所谓的“死区”效应。 - **Leaky ReLU 改良型 ReLU** 针对标准 ReLU 的缺陷进行了优化调整,允许少量斜率穿过死亡区域: ```python alpha = 0.01 def leaky_relu(x): return np.where(x >= 0, x, x * alpha) ``` 这样既保持了原有优势又解决了潜在隐患,因此在实践中获得了广泛应用。 - **Softmax 函数** Softmax 主要适用于多类别分类场景下最后层的选择,能够把向量转换成概率分布的形式: ```python def softmax(z): e_z = np.exp(z - np.max(z)) return e_z / e_z.sum(axis=0) ``` 各分量之和等于,便于后续计算交叉熵损失等指标评估性能优劣程度。 综上所述,虽然理论上可以选择任意合适的激活模式来构建特定任务下的最优解空间,但在实际工程开发过程中往往倾向于采用单或少数几种成熟的方案组合而成的整体架构设计思路。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值