激活函数ReLU（Rectified Linear Unit）

ReLU（Rectified Linear Unit）是深度学习中最常用的激活函数之一，通常用于卷积神经网络（CNN）和深层神经网络中。ReLU通过将输入值的负数部分置为0，而保持正数部分不变，引入非线性特征。与传统的Sigmoid或Tanh激活函数相比，ReLU的计算更为简单，且能有效缓解梯度消深度失问题。

ReLU函数定义如下：

ReLU(x)=max⁡(0,x)

即：

• 当x>0 时，输出 f(x)=x
• 当 x≤0 时，输出 f(x)=0

ReLU的输出不具有上限（理论上可趋向正无穷大），但具有下限（即输出不会小于0），使得ReLU具有稀疏性和非线性特性。

ReLU的优点

1. 计算简单高效：ReLU的计算只需比较输入是否大于0，计算量小，适合大规模神经网络。
2. 减轻梯度消失问题：相比Sigmoid和Tanh，ReLU对正输入保持梯度不变，避免了梯度消失，提高深层网络的训练效率。
3. 稀疏激活：当输入小于或等于0时，输出为0，使神经元的激活稀疏化，有利于降低网络复杂度并减少过拟合。

ReLU的不足与改进

“死亡ReLU”问题：在训练过程中，如果某个神经元的权重或偏置使得输出始终为负数，则该神经元输出始终为0，无法更新梯度，导致神经元“死亡”，永远无法激活。

解决方案：使用Leaky ReLU等改进版本，即在ReLU函数上为负数部分引入一个很小的斜率，使负数部分也能进行梯度更新。

在神经网络中，激活函数的作用是引入非线性，以便模型能够学习复杂的模式和关系。除了ReLU外，常见的激活函数还有Sigmoid、Tanh、Leaky ReLU、ELU、Swish等，每种激活函数的特点和应用场景各不相同。