Pytorch中BCELoss和BCEWithLogitsLoss的差别

最新推荐文章于 2025-11-30 20:42:41 发布
原创 最新推荐文章于 2025-11-30 20:42:41 发布 · 953 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #python

Pytorch中BCELoss和BCEWithLogitsLoss的差别

BCELoss

在图片多标签分类时，如果3张图片分3类，会输出一个3*3的矩阵。

在这里插入图片描述

先用Sigmoid给这些值都搞到0~1之间：

在这里插入图片描述

假设Target是：

在这里插入图片描述

BCELoss是−1n∑(yn×lnxn+(1−yn)×ln(1−xn))-\frac{1}{n} \sum(y_n \times lnx_n + (1-y_n) \times ln(1-x_n))−n1​∑(yn​×lnxn​+(1−yn​)×ln(1−xn​)) ，其中y是target，x是模型输出的值。

所以对于第一行：

  • 第一列 0×ln0.3992+(1−0)×ln(1−0.3992)=−0.50950\times ln0.3992 + (1-0) \times ln(1-0.3992) = -0.50950×ln0.3992+(1−0)×ln(1−0.3992)=−0.5095
  • 第二列 1×ln0.2232+(1−1)×ln(1−0.2232)=−1.49971 \times ln0.2232 + (1-1) \times ln(1-0.2232) = -1.49971×ln0.2232+(1−1)×ln(1−0.2232)=−1.4997
  • 第三列 1×ln0.6435+(1−1)×ln(1−0.6435)=−0.44081\times ln0.6435 + (1-1) \times ln(1-0.6435) = -0.44081×ln0.6435+(1−1)×ln(1−0.6435)=−0.4408

第二行：

  • 第一列 0×ln0.3800+(1−0)×ln(1−0.3800)=−0.47800\times ln0.3800 + (1-0) \times ln(1-0.3800) = -0.47800×ln0.3800+(1−0)×ln(1−0.3800)=−0.4780
  • 第二列 0×ln0.3044+(1−0)×ln(1−0.3044)=−0.36300 \times ln0.3044 + (1-0) \times ln(1-0.3044) = -0.36300×ln0.3044+(1−0)×ln(1−0.3044)=−0.3630
  • 第三列 1×ln0.3241+(1−1)×ln(1−0.3241)=−1.12671\times ln0.3241 + (1-1) \times ln(1-0.3241) = -1.12671×ln0.3241+(1−1)×ln(1−0.3241)=−1.1267

第三行：

  • 第一列 1×ln0.6281+(1−1)×ln(1−0.6281)=−0.46511\times ln0.6281 + (1-1) \times ln(1-0.6281) = -0.46511×ln0.6281+(1−1)×ln(1−0.6281)=−0.4651
  • 第二列 0×ln0.4689+(1−0)×ln(1−0.4689)=−0.63280 \times ln0.4689 + (1-0) \times ln(1-0.4689) = -0.63280×ln0.4689+(1−0)×ln(1−0.4689)=−0.6328
  • 第三列 1×ln0.3834+(1−1)×ln(1−0.3834)=−0.95871\times ln0.3834 + (1-1) \times ln(1-0.3834) = -0.95871×ln0.3834+(1−1)×ln(1−0.3834)=−0.9587

去掉负号求个均值：
0.5095+1.4997+0.40083=0.81670.4780+0.3630+1.12673=0.65590.4651+0.6328+0.95873=0.6855 \frac{0.5095+ 1.4997+0.4008}{3} = 0.8167 \\ \frac{0.4780+0.3630+1.1267}{3} = 0.6559 \\ \frac{0.4651+ 0.6328 + 0.9587}{3} = 0.6855 30.5095+1.4997+0.4008​=0.816730.4780+0.3630+1.1267​=0.655930.4651+0.6328+0.9587​=0.6855

再取个平均：
0.8167+0.6559+0.68553=0.7194 \frac{0.8167+0.6559+0.6855}{3} = 0.7194 30.8167+0.6559+0.6855​=0.7194

下面我们用BCELoss来验证一下Loss是不是0.7194：

在这里插入图片描述

BCEWithLogitsLoss

BCEWithLogitsLoss就是把Sigmoid和BCELoss合成一步。我们直接用刚刚的input验证一下是不是0.7193：

在这里插入图片描述

Pytorch中BCELoss,BCEWithLogitsLoss和CrossEntropyLoss的区别
xiaohuihui1994的博客
06-21 2万+
BCEWithLogitsLoss用于单标签二分类或者多标签二分类，输出和目标的维度是(batch,C)，batch是样本数量，C是类别数量，对于每一个batch的C个值，对每个值求sigmoid到0-1之间，所以每个batch的C个值之间是没有关系的。每个C值代表属于一类标签的概率。如果是单标签二分类，那输出和目标的维度是(batch,1)即可。 CrossEntropyLoss用于多类别分类，...
PyTorch学习（7）：常用损失函数（CrossEntropyLoss, BCELoss, BCEWithLogitsLoss, L1Loss, MSELoss）
tecsai的博客
04-19 3076
在深度学习训练过程中，损失计算是非常重要的一环。有一种论调叫做“损失函数的设计在一定程度上决定了模型能干什么”。 PyTorch提供了许多损失计算函数，包括torch.nn.L1Loss，torch.MSELoss，torch.nn.CrossEntropyLoss，torch.nn.BCELoss，torch.nn.BCEWithLogitsLoss等。 具体可以参考如下连接：torch.nn — PyTorch 2.2 documentation
【PyTorch】两种常用的交叉熵损失函数BCELoss和BCEWithLogitsLoss
qq_38253797的博客
04-27 5482
目录定义区别代码示例关键参数 定义区别 在Pytorch中，BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数，常用于二分类问题。区别在于BCELoss的输入需要先进行Sigmoid处理，而BCEWithLogitsLoss则是将Sigmoid和BCELoss合成一步，也就是说BCEWithLogitsLoss函数内部自动先对output进行Sigmoid处理，再对output和target进行BCELoss计算。 代码示例 下面为一个简单的示例： random.seed(0)
PyTorch 二分类损失函数详解：BCELoss vs BCEWithLogitsLoss 最佳实践指南
最新发布
qq_62634342的博客
11-30 1165
本文介绍了PyTorch中二分类任务常用的两种损失函数BCELoss和BCEWithLogitsLoss。BCELoss要求输入经过Sigmoid处理的概率值(0-1之间)，而BCEWithLogitsLoss直接接收模型输出的logits值，内部自动完成Sigmoid转换，具有更好的数值稳定性。文章详细说明了两种损失函数的数学定义、输入要求、API参数和使用场景，并对比了它们的差异。特别强调真实标签必须是浮点类型(0.0或1.0)，推荐优先使用BCEWithLogitsLoss以避免数值不稳定问题。最后提
【Pytorch基础】torch.nn.BCELoss()和torch.nn.BCEWithLogitsLoss()损失函数
sxl的博客
05-10 7687
目录1 交叉熵损失函数2 二元交叉熵损失函数2.1 torch.nn.BCELoss()2.2 torch.nn.BCEWithLogitsLoss()3 参考文献 1 交叉熵损失函数   在之前的损失函数介绍中已经解释过，什么是交叉熵损失函数以及其数学原理（【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍）。在多分类问题中输出层的函数是SoftmaxSoftmaxSoftmax函数， 在二分类问题中输出层的函数是SigmodSigmodSigmod函数。   而Cros
BCELoss、BCEWithLogitsLoss / 二元交叉熵损失函数（Binary Cross Entropy Loss）
Drug discovery
09-29 2万+
BCELoss 在图片多标签分类时，如果3张图片分3类，会输出一个3*3的矩阵。 先用Sigmoid给这些值都搞到0~1之间： 假设Target是： 下面我们用BCELoss来验证一下Loss是不是0.7194！ BCEWithLogitsLoss BCEWithLogitsLoss就是把Sigmoid-BCELoss合成一步。我们直接用刚刚的input验证一下是不是0.7193： Pytorch详解BCELoss和BCEWithLogitsLoss_豪哥的博...
【Pytorch】BCELoss和BCEWithLogitsLoss损失函数详解
01-07
在Pytorch中，BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数，常用于二分类问题，其区别在于前者的输入为已进行sigmoid处理过的值，而后者为sigmoid函数11+exp⁡(−x)\frac{1}{1+\exp(-x)}1+exp(−x)1​中的xxx。 下面为一个简单的示例： import torch import torch.nn as nn predicts = torch.tensor([[0.4,0.7,1.2,0.3], [1.1,0.6,0.9,1.6]]) labels = torch.tensor([[1,0,1,0],[0,1,1,
pytorch验算CrossEntropyLoss ，BCELoss 和 BCEWithLogitsLoss
咕噜咕噜
07-21 1882
目录一. 手算验证交叉熵验证：输出：二. 手算验证BCEwith_loss 和 BCEWithLogitsLoss验证：输出：三. 验证BCE_loss在二分类时是交叉熵的特例验证：输出： ——————————————————————————————————————————————————— 一. 手算验证交叉熵 (class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None,
BCEWithLogitsLoss
hhl_work的博客
08-21 2608
BCEWithLogitsLoss 是 PyTorch 深度学习框架中的一个损失函数，用于二元分类问题。它结合了 Sigmoid 激活函数和二元交叉熵损失（Binary Cross Entropy Loss），使得在训练过程中更加数值稳定。
BCEWithLogitsLoss= BCELoss + Sigmoid
qq_45893652的博客
11-10 1781
BCELoss传入的值要进行Sigmoid操作BCEWithLogitsLoss内部封装了Sigmoid操作。
八百字讲清楚——BCEWithLogitsLoss二分类损失函数
Python领域优质萌新学习笔记
04-15 1万+
用于计算二元交叉熵损失，帮助模型学习将预测结果和真实标签匹配的能力。在实践中，由于数值计算的稳定性问题，通常使用函数库中提供的。函数进行概率估计和损失计算。激活，然后计算预测概率和二元交叉熵损失。会惩罚模型的预测值偏离0的程度。是一种用于二分类问题的损失函数，它将。，并且我们希望预测每个样本的概率为。函数和二元交叉熵损失结合在一起。的二分类问题，其中每个样本。函数激活的输出），通过将。通常用于处理模型输出的。会惩罚模型的预测值偏离。中是非常重要的一部分。假设我们有一个大小为。
BCELoss和BCEWithLogitsLoss
weixin_36670529的博客
05-17 8069
BCELoss： 计算target和output间的二值交叉熵(Binary Cross Entropy)。 BCEWithLogitsLoss 该loss层包括了Sigmoid层和BCELoss层.单类别任务。 数值计算稳定性更好(log-sum-exp trik),相比于Sigmoid +BCELoss。 ...
Pytorch —— BCEWithLogitsLoss()的一些问题
weixin_44405644的博客
03-16 3916
等价表达 pytorch：torch.sigmoid() + torch.nn.BCELoss() 自己编写def ce_loss(y_pred, y_train, alpha=1): p = torch.sigmoid(y_pred) p = torch.clamp(p, min=1e-9, max=0.99) loss = torch.sum(- alp...
BCELoss和BCEWithLogitsLoss的区别
weixin_46144186的博客
01-06 799
BCELoss和BCEWithLogitsLoss要求的input都是经过sigmoid产生的分类概率，target是0或1的二分类。 假设我们有一个3×3的输入，也就是batch_size是3，target是3×3，表示有3个标签。现在用这个例子做一个演示： import torch import torch.nn as nn m = nn.Sigmoid() loss1 = nn.BCELoss() loss2 = nn.BCEWithLogitsLoss() input = torch.randn
Pytorch详解BCELoss和BCEWithLogitsLoss
热门推荐
牛哥的博客
12-23 20万+
BCELoss 在图片多标签分类时，如果3张图片分3类，会输出一个3*3的矩阵。 先用Sigmoid给这些值都搞到0~1之间： 假设Target是： BCELoss是−1n∑(yn×ln⁡xn+(1−yn)×ln⁡(1−xn))-\frac 1 n\sum(y_n \times \ln x_n+(1-y_n) \times \ln(1-x_n))−n1​∑(yn​×lnxn​+(1−yn​)...
pytorch方法测试——损失函数（BCELoss）
tmk_01的博客
06-28 4万+
测试代码：import torch import torch.nn as nn import math m = nn.Sigmoid() loss = nn.BCELoss(size_average=False, reduce=False) input = torch.randn(3, requires_grad=True) target = torch.empty(3).random_(2)...
深度学习笔记（五）---损失函数与优化器
一一
03-20 1万+
以下笔记来源： [1] . 《pytorch深度学习实战》 [2] .pytorch 损失函数总结 （https://blog.youkuaiyun.com/jacke121/article/details/82812218） [3] .PyTorch学习之十种优化函数(https://blog.youkuaiyun.com/shanglianlm/article/details/85019633) ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值