神经网络常用的sigmoid和softmax激活函数

1、Sigmoid

-- 函数公式：

 

公式中，z是单个原始输出值，如原始输出值为[-0.5，0.3， 1.5， -2.0]，则z1=-0.5，z2=0.3，z3=1.5，z4=-2.0；

 

sigmoid函数连续，光滑，严格单调，以(0,0.5)中心对称，是一个非常良好的阈值函数。sigmoid函数把一个实数压缩到(0,1)，当z无穷大时，函数值趋于1，反之趋于0；我们知道(0,1)与概率值的范围是相对应的，这样sigmoid函数就能与一个概率分布联系起来了。

我们经常说的logistic函数，就是sigmoid函数，表征的是类别概率。

 

-- sigmoid的应用：

神经网络分类问题中，在输出层中，我们可以应用sigmoid函数。例如原始输出值为[-0.5, 1.2, 0.