深度学习之Sigmoid 和 Softmax的异同点

sigmoid 函数

函数的基本性质：

1、定义域：(−∞,+∞)
2、值域：(−1,1)
3、函数在定义域内为连续和光滑函数
4、处处可导，导数为：f′(x)=f(x)(1−f(x))

softmax函数

相同点
都可以做二分类，求的都是 cross entropy loss（交叉熵损失）
不同点

1. sigmoid将一个real value映射到（0,1）的区间，用来做二分类。
2. softmax 把一个 k 维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….），其中 bi 是一个 0～1 的常数，输出神经元之和为 1.0，所以相当于概率值，然后可以根据 bi 的概率大小来进行多分类的任务。