softmax

（1）Softmax函数是二分类函数Sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。由于Softmax通过指数函数拉大了输入向量元素之间的差异，再归一化为一个概率分布，使得各个类别的概率差异比较显著。

（2）Softmax的上下溢出问题解决方案。图3式中如果x为很大的正数，e的x次幂过大，导致float32溢出，称为上溢出。 如果x为很小的负数，e的x次幂为接近0，超过有效数字后就是0，而如果分母都是0，就出现了除0错，称为下溢出。解决方案是分子上下，同时除以e的max(x)次幂，如图4所示。

（3）当发生上溢出时，分子为0，故而避免了上溢出而发生下溢出时，分母中至少有一个为1，避免了除0错，故而避免了下溢出。

注意：sigmoid和softmax的区别和联系