激活函数softmax 与 sigmoid 的区别

在神经网络学习的过程中不可避免的要学习到激活函数的使用。激活函数的介绍这里就不展开讲解。在这里主要是将激活函数中softmax和sigmoid的区分做一下记录。

维度	softmax()	sidmoid()
公式	$\sigma (z{)}_j=\frac{e^{z_j}}{{\sum }_{k=1}^K{e}^{z_k}}$	$S(z)=\frac{1}{1+e^{-z}}$
原理	离散概率分布	非线性映射
多用于	多分类	二分类
定义域	某一维度的向量	一个实数
值域	[0,1]	(0,1)
和	1	一个正数

注：通常在二分类中使用sigmoid作为最后的激活层。在多分类单标签中使用softmax作为激活层，取概率最高即可。多标签问题中使用sigmoid作为激活层，相当于把每一个类别都当成了二分类来处理。