对比 交叉熵损失（Cross-Entropy Loss）和KL散度（Kullback-Leibler Divergence）

这是一个非常核心且经常让人混淆的问题！交叉熵损失（Cross-Entropy Loss）和KL散度（Kullback-Leibler Divergence）在形式上非常相似，而且在某些特定情况下，它们在优化目标上是等价的，但这并不意味着它们完全相同。我们来深入探讨一下。

1. 交叉熵损失 (Cross-Entropy Loss)

定义和目的：
交叉熵损失是机器学习中，特别是分类任务中最常用的一种损失函数。它衡量的是两个概率分布之间的差异。在分类任务中，这两个分布通常是：

1. 真实标签的概率分布 §：通常是one-hot编码，表示某个样本属于某个类别的真实概率为1，其他为0。例如，对于一个猫的图片，真实标签分布可能是 [0, 1, 0] (假设第二个是猫)。
2. 模型预测的概率分布 (q)：模型（通常是经过softmax层）输出的每个类别的概率。例如，模型预测猫的概率是0.8，狗是0.1，鸟是0.1，那么预测分布是 [0.1, 0.8, 0.1]。

公式：
对于离散概率分布 $p$ 和 $q$，它们的交叉熵定义为：
$H(p,q)=-{\sum }_{i=1}^N{p}_i\log (q_i)$

其中：

• $N$ 是类别的数量。
• $p_i$ 是真实分布中第 $i$ 个类别的概率。
• $q_i$ 是预测分布中第 $i$ 个类别的概率。

在分类任务中的简化：
由于在标准的分类任务中，$p$ 通常是one-hot编码，即只有一个 $p_k=1$ (真实类别)，其他 $p_i=0$，所以公式简化为：
$H(p,q)=-1\cdot \log (q_{true\_class})+{\sum }_{i\ne true\_class}0$