交叉熵损失函数及其导数

交叉熵损失函数（Cross-Entropy Loss）是分类问题中常用的损失函数，特别是在多类分类问题中。对于二分类问题，交叉熵损失函数可以表示为：
$$L=-[y\log (\hat{y})+(1-y)\log (1-\hat{y})]$$
其中，$y$ 是真实标签（0或1），$\hat{y}$是模型预测的概率（介于0和1之间）。
对于多类分类问题，交叉熵损失函数可以表示为：
$$L=-\sum _{i=1}^C{y}_i\log ({\hat{y}}_i)$$
其中，( C ) 是类别的数量，( y_i ) 是第 ( i ) 类的真实标签（one-hot编码），( \hat{y}_i ) 是模型预测的第 ( i ) 类的概率。

交叉熵损失函数的导数

对于二分类问题的交叉熵损失函数，其对 $\hat{y}$ 的导数是：
$$\frac{\partial L}{\partial \hat{y}}=\frac{\hat{y}-y}{\hat{y}(1-\hat{y})}$$
对于多类分类问题的交叉熵损失函数，其对 ${\hat{y}}_i$的导数是：
$$\frac{\partial L}{\partial {\hat{y}}_i}={\hat{y}}_i-y_i$$
这里，${\hat{y}}_i$ 是模型预测的第$i$类的概率，$y_i$ 是第 $i$ 类的真实标签。

解释

• 在二分类情况下，导数的形式反映了预测概率 $\hat{y}$ 与真实标签 $y$之间的差异，除以 $\hat{y}(1-\hat{y})$ 是为了确保梯度的大小与预测概率的置信度相关。
• 在多类分类情况下，导数简化为预测概率与真实标签之间的差异，这是因为one-hot编码的真实标签在正确的类别位置为1，其他位置为0，所以只有正确类别的梯度不为0。
  这些导数在反向传播过程中用于更新模型的权重，以最小化损失函数并提高模型的预测准确性。