对TensorFlow中tf.nn.softmax()函数机器损失函数的理解

Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量A “压缩”到另一个K维实向量 A' 中，使得A' 每一个元素的范围都在（0,1）之间，并且所有元素的和为1。

该函数的形式可以按下面的式子给出：

可能大家一看到公式就有点晕了，别被吓跑，我来简单解释一下。这个公式的意思就是说得到的A'向量中的每个元素的值，是由A中对应元素的指数值除以A中所有元素的指数值的总和。

举个例子：假设你的A =[1,2,3]，那么经过softmax函数后就会得到A' = [0.09, 0.24, 0.67]，A'的三个元素分别是怎么来的呢？

A'的第1个元素  = exp(1) / (exp(1) + exp(2) + exp(3)) = 0.09

A'的第2个元素  = exp(2) / (exp(1) + exp(2) + exp(3)) = 0.24

A'的第3个元素  = exp(3) / (exp(1) + exp(2) + exp(3)) = 0.67

由于Softmax函数的这个特点，经常会被用在神经网络来解决分类问题中，得到的结果就可以认为是满足各种分类的概率。

 

在采用神经网络在解决问题时，我们还必须用到损失函数，在弄懂了Softmax函数本身之后，让我们再来看看Softmax的损失函数

我们知道，