一文看懂 CrossEntropyLoss 多分类交叉熵损失函数

通俗解释：多分类交叉熵损失函数（CrossEntropyLoss）

​​交叉熵损失​​就像一个“裁判”，用来衡量模型预测的“信心分布”和真实答案的“正确分布”之间的差距。

​​多分类场景​​下（比如识别图片是猫、狗还是鸟），它的核心逻辑是：

​​模型对正确类别的预测概率越高，损失越小；预测概率越低，损失越大。​​

---

​​举个例子​​（假设有3类：猫、狗、鸟）

• ​​真实标签​​：鸟 → 用概率分布表示为 [0, 0, 1]（只有第三类正确）。

• ​​模型预测​​：认为鸟的概率是70% → [0.1, 0.2, 0.7]。

​​交叉熵损失计算​​：

只看正确类别（第三类）的预测概率，计算 -log(0.7)≈ 0.15。

如果模型预测更准（比如 [0.1, 0.1, 0.8]），损失会更低（-log(0.8) ≈ 0.097）；如果预测错误（比如认为是狗 [0.1, 0.7, 0.2]），损失会更大（-log(0.2) ≈ 0.7）。

---

​​核心公式（简化版）​​

对于每个样本：

Loss=−log(模型对正确类别的预测概率)

• ​​目标​​：让正确类别的预测概率尽可能接近1，其他类别接近0。

• ​​数学意义​​：预测概率越接近真实分布（如正确类为1，其他为0），损失越小。