30、自然语言理解与生成中的深度学习技术

自然语言理解与生成中的深度学习技术

1. 激活函数

激活函数在神经网络中起着至关重要的作用，它决定了神经元的输出，不同的激活函数具有不同的特性。
- Sigmoid函数
- 问题 ：
- 梯度消失问题 ：可参考 该链接 详细了解梯度消失问题。由于此问题，使用Sigmoid激活函数的人工神经网络（ANN）有时收敛速度非常慢。若想深入探究，可查看 此链接 。
- 非零中心函数 ：Sigmoid函数的输出范围是[0, 1]，这意味着函数输出值始终为正，使得权重的梯度要么全为正，要么全为负。这会导致梯度更新在不同方向上走得太远，增加了优化的难度。
- 使用建议 ：由于这些局限性，Sigmoid函数最近在深度神经网络（DNN）中很少使用。不过，可仅在ANN的最后一层使用Sigmoid激活函数。
- TanH函数
- 特性 ：该函数将输入区域压缩在[-1, 1]范围内，其输出以零为中心，这使得优化更容易。