tf.nn.sparse_softmax_cross_entropy_with_logits 和 tf.nn.softmax_cross_entropy_with_logits分析

一、理论说明

      1、Softmax函数

            softmax函数的公式如下所示：

                                                                             

            该函数的作用主要是将输入的向量 X 归一化，使各个分量的和为1。由于这个特性，该函数常常可以用在分类问题上，在最后将输出的每个类别所对应的分量进行归一化，从而得到每个类别所对应的概率大小，实现分类。

      2、交叉熵

             交叉熵是用来衡量两个概率分布之间相似性程度的一个量，常常用在神经网络的损失函数上，来衡量预测结果与真值得差距。具体公式如下：