神经网络-分类任务损失函数

1.交叉熵损失Cross Entropy Loss

交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。

1.1.交叉熵损失表达式

交叉熵损失函数在多分类的问题中的表达式：
其中：

• M:类别的数量
• y_c 指示变量（0或1）,如果该类别和样本的类别相同就是1，否则是0；
• p_c :对于观测样本属于类别C的预测概率。
  通常来说，交叉熵损失函数还有另外一种表达形式，对于N个样本：
  

1.2.交叉熵损失函数的直观理解

首先来看单个样本的交叉熵损失函数：

当真实模型y = 1 时：

损失函数的图像：
横坐标是预测输出，纵坐标是交叉熵损失函数 L。显然，预测输出越接近真实样本标签 1，损失函数 L 越小；预测输出越接近 0，L 越大。因此，函数的变化趋势完全符合实际需要的情况。
当 y = 0 时

损失函数的图像：

同样，预测输出越接近真实样本标签 0，损失函数 L 越小；预测函数越接近 1&#x