Softmax

在数学领域中，Softmax函数，或称归一化指数函数，对向量进行归一化，凸显其中最大的值并抑制远低于最大值的其他分量。

它能将一个含任意实数的K维向量  压缩”到另一个K维实向量 中，使得每一个元素的范围都在 [0,1]之间，并且所有元素的和为1

                                                                    

某个样本属于第J个分类的概率：

                                                                              

 

	Softmax	Sigmoid
公式
本质	离散概率分布	非线性映射
任务	多分类	二分类
定义域	某个一维向量	单个数值
值域	[0,1]	（0,1）
结果之和	一定为1	为某个正数

Sigmoid就是极端情况(类别数为2)下的Softmax

实际应用中，使用 Softmax 需要注意数值溢出的问题。因为有指数运算，如果 V 数值很大，经过指数运算后的数值往往可能有溢出的可能。所以，需要对 V 进行一些数值处理：即 V 中的每个元素减去 V 中的最大值
 

参考：

百度百科

https://blog.youkuaiyun.com/red_stone1/article/details/80687921