神经网络激活函数与损失函数

激活函数

sigmoid输出层

对于输出层为sigmoid，如果使用均方误差函数，那么神经网络可能存在“误差很大而学习速度很慢”的情况，原因是该损失函数对权重参数的偏导数与sigmoid(x)函数有关，而在sigmoid(x)函数饱和的情况下，不论误差多大，偏导数都比较小，这样学习速度就会慢。
如果使用损失函数为cross-entropy，就能解决这种学习速度缓慢的情况，详见参考文献1.
在输出层使用K个sigmoid结点可以解决K分类问题。

softmax 输出层

输出层使用$softmax(x)$函数，该函数输入为一个m维特征向量$x$，输出为m维的向量$a$.该输出层可作为m分类神经网络的输出层，输出的可以看作m分类的概率分布。

RELU

缓解梯度消失问题

损失函数

欧式距离（均方误差）

学习速度与激活函数的导数相关

交叉熵

学习速度与误差有关

参考

1. http://neuralnetworksanddeeplearning.com/chap3.html