为什么是Softmax？

一、softmax函数

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是:

更形象的如下图表示：

 

softmax本质上是归一化网络，目的是将多个标量映射为一个概率分布,其输出的每一个值范围在  。

深度神经网络的最后一层往往是全连接层+ softmax（分类网络）

先看一下计算方式：全连接层将权重矩阵与输入向量相乘再加上偏置，将 n个  的实数映射为 K个  的实数（分数）;Softmax将 K个  的实数映射为 K个  的实数（概率），同时保证它们之和为1。

2.交叉熵损失函数

MSE的一个缺点就是其偏导值在输出概率值接近0或者接近1的时候非常小，这可能会造成模型刚开始训练时，梯度几乎消失。
对于分类问题的损失函数来说，分类错误率（分类精确率）和平方和损失都不是很好的损失函数，所以，大家才考虑用交叉熵损失。

交叉熵损失函数经常用于分类问题中，特别