
激活函数的导数(Derivatives of activation functions)
在神经网络中使用反向传播的时候,你真的需要计算激活函数的斜率或者导数。
针对以下四种激活,求其导数如下:
1)sigmoid activation function

其具体的求导如下(如果你学过微积分,那么这个求导对于你来说其实并不难):
公式1:

注:
当z = 10或z=-10 d/dz g(z)≈0
当z= 0 d/dz g(z)=g(z)(1-g(z))=1/4

在神经网络中
a=g(z);
g(z)’=d/dz g(z)=a(1-a)

2) Tanh activation function