pytorch loss函数整理

变量名解释

logits：未经过normalize（未经过激活函数处理）的原始预测值，例如一个mlp将特征映射到num_target_class维的输出tensor就是logits。
probs：probabilities的简写，例如logits经过sigmoid函数，就变成了分布在0-1之间的概率值probs。

Binary Cross-Entropy Loss

Binary Cross-Entropy Loss，简称为BCE loss，即二元交叉熵损失。

二元交叉熵损失是一种用于二分类问题的损失函数。它衡量的是模型预测的概率分布与真实标签的概率分布之间的差异。在二分类问题中，每个样本的标签只有两种可能的状态，通常表示为 0（负类）和 1（正类）。

其公式为：
$$L_{BCE}=-\frac{1}{N}\sum _{i=1}^N\left[y_i\log \left(p_i\right)+\left(1-y_i\right)\log \left(1-p_i\right)\right]$$

其中：

• $N$是数据集的样本数量。
• $y_i$是第$i$个样本的真实标签，取值为 0 或 1，即第$i$个样本要么属于类别 0（负类），要么属于类别 1（正类）。
• $p_i$是第$i$个样本属于类别 1（正类）的预测概率
• $\log$是是自然对数。

当真实标签 $y_i=1$ 时，损失函数的第一部分 yilog⁡(pi)y_i \log \left(p_i\right)