【Pytorch基础】nn.BCELoss()与nn.BCEWithLogitsLoss()区别

原创 已于 2022-09-11 11:10:36 修改 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#逻辑回归 #深度学习

于 2021-05-18 17:00:37 首次发布
本文介绍了二分类交叉熵损失函数的基本概念及其计算方法，并通过具体示例进行演示。此外，还对比了BCELoss与BCEWithLogitsLoss两种损失函数的不同之处，最后给出了在PyTorch中实现二分类交叉熵损失的代码示例。

目录

1 二分类交叉熵损失函数

  之前已经介绍过交叉熵损失函数【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍，现在再来看一下，它的一个变体，二分类交叉熵损失函数。由于是多分类问题，在之前文章中举的例子中，模型预测的样本概率是一个向量。如果是二分类任务的话，因为只有正例和负例，且两者的概率和是1，所以不需要预测一个向量，只需要预测概率。
  则损失函数定义如下：
L o s s = − ( y ⋅ log ⁡ ( y ^ ) + ( 1 − y ) ⋅ log ⁡ ( 1 − y ^ ) ) Loss=-(y \cdot \log (\hat{y})+(1-y) \cdot \log (1-\hat{y})) Loss=−(y⋅log(y^​)+(1−y)⋅log(1

最低0.47元/天 解锁文章
BCELoss&BCEWithLogitsLoss
weixin_46365033的博客
07-03 864
BCELoss torch.nn.BCELoss(weight=None,size_average=True) weight:控制正样本权重； size_average:对Loss值取平均。 loss(o,t)=−1n∑i(t[i]log(o[i])+(1−t[i])log(1−o[i])) loss(o,t)=-\frac{1}{n}\sum_i(t[i] log(o[i])+(1-t[i]) log(1-o[i])) loss(o,t)=−n1​i∑​(t[i]log(o[i])+(1−t[i])lo
【pytorch】nn.CrossEntropyLoss & nn.BCELoss & nn.BCEWithLogitsLoss
weixin_43736572的博客
03-26 1864
交叉熵loss
pytorch中的损失函数------BCELoss和BCEWithLogitsLoss
gz7seven
09-17 3595
在进行pytorch编写程序过程中，会发现loss有两种相对较相似的或是看起来就是一类loss的函数，即BCELoss和BCEWithLogitsLoss，下面简单的描述一下。 首先，BCELoss创建一个标准来度量目标和输出之间的二元交叉熵，即对一个batch里面的数据做二元交叉熵并且求平均。BCELoss函数的形式如下： CLASS torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean') 其中，
详解二分类损失函数中的 BCE 与 BCE with Logits
最新发布
m0_74891122的博客
10-20 247
logit是模型输出的原始分数（未激活），本质是 "对数几率"，需要通过 sigmoid 转换为概率= sigmoid + BCELoss，集成了概率转换和损失计算在实际应用中，优先选择，它能提供更好的数值稳定性和计算效率理解这两个损失函数的区别，不仅能帮助你避免工程中的数值错误，更能加深对二分类模型（如逻辑回归）数学原理的理解。下次训练二分类模型时，不妨试试，感受它带来的便利吧！
Pytorch nn.BCEWithLogitsLoss()和nn.BCELoss()
pangxing6491的博客
11-18 726
nn.BCELoss()
【Pytorch基础】torch.nn.BCELoss()和torch.nn.BCEWithLogitsLoss()损失函数
sxl的博客
05-10 7657
目录1 交叉熵损失函数2 二元交叉熵损失函数2.1 torch.nn.BCELoss()2.2 torch.nn.BCEWithLogitsLoss()3 参考文献 1 交叉熵损失函数   在之前的损失函数介绍中已经解释过，什么是交叉熵损失函数以及其数学原理（【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍）。在多分类问题中输出层的函数是SoftmaxSoftmaxSoftmax函数， 在二分类问题中输出层的函数是SigmodSigmodSigmod函数。   而Cros
BCELoss、BCEWithLogitsLoss / 二元交叉熵损失函数（Binary Cross Entropy Loss）
热门推荐
Drug discovery
09-29 2万+
BCELoss 在图片多标签分类时，如果3张图片分3类，会输出一个3*3的矩阵。 先用Sigmoid给这些值都搞到0~1之间： 假设Target是： 下面我们用BCELoss来验证一下Loss是不是0.7194！ BCEWithLogitsLoss BCEWithLogitsLoss就是把Sigmoid-BCELoss合成一步。我们直接用刚刚的input验证一下是不是0.7193： Pytorch详解BCELoss和BCEWithLogitsLoss_豪哥的博...
BCELoss和BCEWithLogitsLoss的区别
weixin_46144186的博客
01-06 798
BCELoss和BCEWithLogitsLoss要求的input都是经过sigmoid产生的分类概率，target是0或1的二分类。 假设我们有一个3×3的输入，也就是batch_size是3，target是3×3，表示有3个标签。现在用这个例子做一个演示： import torch import torch.nn as nn m = nn.Sigmoid() loss1 = nn.BCELoss() loss2 = nn.BCEWithLogitsLoss() input = torch.randn
Pytorch 关于nn.CrossEntropyLoss()与nn.BCEloss()以及nn.BCEWithLogitsLoss()的区别【坑】
yyhhlancelot的博客
02-11 9577
最近用pytorch做实验，踩中一些坑，有小有大，这个问题花了我不少时间找到原因，姑且算个大坑。 首先，这几个类分别对应的函数为： nn.CrossEntropyLoss() ——》nn.functional.cross_entropy() nn.BCEloss() ——》nn.functional.binary_cross_entropy() nn.BCEWithLogitsLoss() ——》...
Pytorch中torch.nn的损失函数
12-21
在本文中，我们将深入探讨三个常用的二分类和多标签分类损失函数：`torch.nn.BCELoss`、`nn.BCEWithLogitsLoss`和`torch.nn.MultiLabelSoftMarginLoss`。 ### 一、`torch.nn.BCELoss(weight=None, size_average=...
F.binary_cross_entropy、nn.BCELoss、nn.BCEWithLogitsLoss与F.kl_div函数详细解读
weixin_38252409的博客
11-15 4196
最近我在构建蒸馏相关模型，我重温了一下交叉熵相关内容，也使用pytorch相关函数接口调用，我将对F.binary_cross_entropy()、nn.BCELoss()与nn.BCEWithLogitsLoss()函数做一个说明，同时也简单介绍相对熵的蒸馏F.kl_div()函数做一个介绍。
Pytorch的损失函数BCELoss(), BCEWithLogitsLoss(), nn.CrossEntropyLoss()区别
weixin_43646592的博客
08-21 1940
 ????(BCELoss)BCEWithLogitsLoss用于单标签二分类或者多标签二分类，输出和目标的维度是(batch,C)，batch是样本数量，C是类别数量，对于每一个batch的C个值，对每个值求sigmoid到0-1之间，所以每个batch的C个值之间是没有关系的,相互独立的，所以之和不一定为1。每个C值代表属于一类标签的概率。如果是单标签二分类，那输出和目标的维度是(batch,1)即可。  BCELoss是CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntr
nn.BCEWithLogisticLoss() & nn.BCELoss()的区别 ,nn.CrossEntropyLoss() & nn.NLLLoss()的区别
jq_98的博客
07-13 541
nn.BCEWithLogisticLoss() & nn.BCELoss()的区别 ,nn.CrossEntropyLoss() & nn.NLLLoss()的区别
nn.BCELoss()
qq_39661689的博客
09-03 2112
https://blog.csdn.net/geter_CS/article/details/84747670
【pytorch函数笔记（三）】torch.nn.BCELoss()
大道至简
03-31 3181
import torch.nn as nn nn.BCELoss((weight=None, size_average=None, reduce=None, reduction=‘mean’)) 一、torch.nn.BCELoss()介绍   BCELoss()是计算目标值和预测值之间的二进制交叉熵损失函数。其公式如下: ln=−wn⋅[yn⋅logxn+(1−yn)⋅log(1−xn)] l_n=-w_n·[{y_n·logx_n}+{(1-y_n)·log(1-x_n)}] ln​=−wn​⋅[yn
pytorch中BCELoss 和 binary_cross_entropy_with_logits之间的区别
kuailezzf的博客
01-18 1117
它们都是用于二分类任务的损失函数。它们之间存在一些区别如下。接受概率值作为输入，需要在模型输出前应用sigmoid激活函数。在实际使用时，你可以根据自己的需求选择使用哪个函数或类。都用于二分类任务的损失计算。接受logits作为输入，而。在PyTorch中，
Pytorch常用的函数(十)交叉熵损失函数nn.BCELoss()、nn.BCELossWithLogits()、nn.CrossEntropyLoss()详解
qq_44665283的博客
05-13 4092
Pytorch常用的函数(九)交叉熵损失函数nn.BCELoss()、nn.BCELossWithLogits()、nn.CrossEntropyLoss()详解
torch.nn.BCELoss
一个学术five的blog
11-17 4294
torch.nn.BCELoss
nn.BCELoss总结
weixin_44633882的博客
09-24 1972
nn.BCELoss总结本章内容nn.BCELossnn.BCEWithLogitsLoss 本章内容 版本 pytorch 1.0 nn.BCELoss 用于计算预测值和真实值之间的二元交叉熵损失(Binary Cross Entropy) 主要用于多标记任务（一个样本对应多个类别） 调用时输入参数： Input: (N,∗)(N, *)(N,∗), ∗*∗表示可有任意个数的额外维度。（已经过Sigmoid） Target:(N,∗)(N, *)(N,∗), 与Input的维度相同
nn.BCEWithLogitsLoss()与nn.BCELoss()的区别
07-27
nn.BCEWithLogitsLoss()和nn.BCELoss()是PyTorch中常用的两种损失函数，用于处理二分类问题。它们的区别在于输入的形式。 nn.BCEWithLogitsLoss()接受输入的形式为模型输出的logits和目标值的标签。logits是未经过激活函数处理的模型输出，可以理解为分类问题中每个类别的得分。而目标值的标签是0或1的二分类标签。 nn.BCELoss()则直接接受模型输出的概率值和目标值的标签。概率值是经过sigmoid等激活函数处理后的输出，表示每个类别的概率。同样，目标值的标签是0或1的二分类标签。 因此，nn.BCEWithLogitsLoss()相比nn.BCELoss()可以在内部处理激活函数，使得计算更加稳定，同时还可以更方便地使用模型输出的logits进行一些额外操作，比如计算准确率或者使用其他损失函数。在实际应用中，通常推荐使用nn.BCEWithLogitsLoss()。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值