激活函数汇总

以下是常用的激活函数总结

1. ReLU (Rectified Linear Unit) (2010年)

• 函数：
  
  

• 优点：

  • 简单易实现，计算效率高。
  • 在正值区域梯度不会消失，有助于缓解梯度消失问题。

• 缺点：

  • 当输入为负时，梯度为零，导致神经元可能会“死亡”，即永远不会被激活。

• 使用场景：

  • 广泛用于多层感知机、卷积神经网络等深度学习模型中。

2. Leaky ReLU (2013年)

• 函数：
  
  其中，$\alpha$是一个小于1的常数（例如0.01）。

  

• 优点：

  • 解决了ReLU的“死亡神经元”问题。

• 缺点：

  • 仍然存在非零的负值区域，可能对某些任务不够理想。

• 使用场景：

  • 深度神经网络中代替ReLU，尤其是在处理稀疏输入时。

3. ELU (Exponential Linear Unit) (2015年)

• 函数：

其中，$\alpha$通常为1。

• 优点：

  • 保持非负激活值，有助于梯度流动。

• 缺点：

  • 计算复杂度高于ReLU。