时间序列预测（三）——激活函数（Activation Function）

激活函数是神经网络中每个神经元的输出函数，用于引入非线性，从而使神经网络能够逼近复杂的非线性关系。没有激活函数的网络只能表示线性变换（如上一篇的线性回归不需要激活函数），因此不能解决实际中的非线性问题。激活函数的输入是该神经元的加权和，输出则是处理后的值，通过激活函数的输出可以决定是否激活一个神经元，或者说一个神经元的输出程度。

常见的激活函数主要有以下几种：

• Sigmoid函数：将输入映射到一个介于0和1之间的值。输出范围有上下界，使得神经元的输出相对平滑，可以用于概率输出。但在输入较大或较小的情况下容易饱和，导致梯度消失，使得训练过程变得困难。公式：
• ReLU函数：是目前最常用的激活函数之一，尤其在深度神经网络中。它是一种简单而有效的激活函数，将负值映射为零，正值保持不变。在很多情况下比Sigmoid函数表现更好，因为它避免了梯度消失问题。但在负值上始终为零，可能导致神经元的死亡。公式：
• Leaky ReLU函数：ReLU函数的一种改进版本，在负值区域引入一个小的斜率，以防止神经元死亡。在解决神经元死亡问题的同时，仍然保持了ReLU函数较好的性能。公式：
• Tanh函数：将输入映射到介于-1和1之间的值的激活函数。输出范围相对于Sigmoid函数来说更大，因此在某些情况下表现更好。但仍然存在梯度消失的问题。公式：
• ELU (Exponential Linear Unit) 函数：ELU 可以处理负数输入并且缓解梯度消失问题，使得网络的收敛性更好。公式：
• Softmax 函数：通常用于多分类任务的输出层，将输出转换为概率分布，使得所有输出的和为 1。公式：

最终对比情况如下：

激活函数	输出范围	优点	缺点	适用场景
Sigmoid	(0, 1)	平滑输出，适用于概率计算	易梯度消失，训练慢	输出层（如二分类任务）
Tanh	(-1, 1)	输出均值为 0，收敛性较好	易梯度消失	隐藏层
ReLU	[0, ∞)	计算高效，减轻梯度消失问题	神经元可能死亡	隐藏层，深度网络中常用
Leaky ReLU	(-∞, ∞)	避免神经元死亡，改进版 ReLU	需调节 α\alphaα 参数	隐藏层，深度网络中应用
ELU	(-∞, ∞)	减轻梯度消失，收敛性好	计算较慢	隐藏层
Softmax	(0, 1)	生成概率分布，适用于分类	输出间相互依赖，复杂度较高	输出层（如多分类任务）

别忘了给这篇文章点个赞哦，非常感谢。我也正处于学习的过程，可能会有错，如果有问题，欢迎在评论区留言讨论，一起学习！