pytorch验算CrossEntropyLoss ，BCELoss 和 BCEWithLogitsLoss

本文链接：https://blog.youkuaiyun.com/qq_36533552/article/details/107478496

本文详细比较了PyTorch中计算交叉熵的三种方法：手动计算、log_softmax + nll_loss及nn.CrossEntropyLoss，同时探讨了BCELoss与BCEWithLogitsLoss的差异，指出nn.BCEWithLogitsLoss提供了数值稳定性的优势。手动计算、BCELoss结合Sigmoid和nn.BCEWithLogitsLoss的输出结果相同，而nn.BCELoss与CrossEntropyLoss的输出结果在不同条件下等效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 手动计算、log_softmax + nll_loss、nn.CrossEntropyLoss三种方式计算交叉熵：

(class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction=‘elementwise_mean’)
功能：将输入经过softmax激活函数之后，再计算其与target的交叉熵损失。即该方法将nn.LogSoftmax()和 nn.NLLLoss()进行了结合。严格意义上的交叉熵损失函数应该是nn.NLLLoss()。

交叉熵

补充：交叉熵损失(cross-entropy Loss) 又称为对数似然损失(Log-likelihood Loss)、对数损失；二分类时还可称之为逻辑斯谛回归损失(Logistic Loss)。交叉熵损失函数表达式为 L = - sigama(y_i * log(x_i))。pytroch这里不是严格意义上的交叉熵损失函数，而是先将input经过softmax激活函数，将向量“归一化”成概率形式，然后再与target计算严格意义上交叉熵损失。在多分类任务中，经常采用softmax激活函数+交叉熵损失函数，因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，并不是概率分布的形式。所以需要softmax激活函数将一个向量进行“归一化”成概率分布的形式，再采用交叉熵损失函数计算loss。再回顾PyTorch的CrossEntropyLoss()，官方文档中提到时将nn.LogSoftmax()和 nn.NLLLoss()进行了结合，nn.LogSoftmax() 相当于激活函数， nn.NLLLoss()是损失函数;

    import torch
    import numpy as np
    import math
    import torch.nn as nn
    import torch.nn.functional as F
    
    # 网络的输出分数，不是概率
    output_sample = torch.tensor([0.3, 0.4])
    # label
    target = torch.tensor([0])

1. 手动计算第一个样本的交叉熵（softmax + log + 交叉熵）依据上图公式

    # 1. 手动计算第一个样本的交叉熵（softmax + log + 交叉熵）根据公式一

    output_1 = output_sample.detach().numpy()
    target_1 = target.numpy()

    # 第一项类别
    x_class = output_1[target_1]            # 取出正确类的分数
    # 第二项：
    # log(e^(q1) + e^(q2)),   qi为预测的分数
    exp = math.e
    sigma_exp_x = pow(exp, output_1[0]) + pow(exp, output_1[1])
    log_sigma_exp_x = math.log(sigma_exp_