为了解决 Sigmoid 函数在深层神经网络中的梯度消失问题,可以设计一种改进的 Sigmoid 激活函数,使其同时具备以下特性:
- 减缓梯度消失问题:避免在输入值远离零时梯度趋于零的问题。
- 保持概率预测能力:保留 Sigmoid 的单调性和输出范围 (0,1)(0, 1)(0,1),用于概率预测。
- 计算简单且高效:能够方便地应用于深度学习框架。
以下是一种改进设计:
改进思路
1. 增强梯度的动态范围
传统 Sigmoid 的梯度公式为:
当 x 较大或较小时,σ(x) 接近 0 或 1,梯度趋于 0。这是梯度消失的根源。为了增强梯度的动态范围,可以调整函数的陡峭程度。
2. 保持概率性质
Sigmoid 函数输出在 (0, 1) 范围内,这一性质对于分类任务的概率预测至关重要。