4、神经网络基础与反向传播训练详解

神经网络基础与反向传播训练详解

1. 激活函数的有用导数

在神经网络学习中，梯度下降与激活函数密切相关，因此激活函数的导数在实际应用中经常被使用。下面为大家详细介绍几种常见激活函数的导数：
- 线性和符号激活函数 ：线性激活函数在所有位置的导数均为 1。而符号函数 sign(v) 在 v≠0 时导数为 0，在 v = 0 处不连续且不可导。由于其零梯度和不可导性，该激活函数即便在测试阶段用于预测，也很少在损失函数中使用。
- Sigmoid 激活函数 ：当用 Sigmoid 函数的输出而非输入来表示时，其导数形式十分简单。设 o 为 Sigmoid 函数以 v 为参数的输出：
[o = \frac{1}{1 + exp(-v)}]
其导数可表示为：
[\frac{\partial o}{\partial v} = \frac{exp(-v)}{(1 + exp(-v))^2}]
更方便的是，可写成关于输出 o 的形式：
[\frac{\partial o}{\partial v} = o(1 - o)]
- Tanh 激活函数 ：与 Sigmoid 激活函数类似，Tanh 激活函数也常以输出 o 而非输入 v 来表示：
[o = \frac{exp(2v) - 1}{exp(2v) + 1}]
其梯度计算如下：
[\frac{\partial o}{\partial v} = \frac{4 \cdot exp(2v)}{(exp(2v) + 1)^2}]
也可写成关于输出 o 的形式：