BCE Loss和CE Loss求导对比

原创 于 2024-11-25 16:03:16 发布 · 1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #python

交叉熵损失函数（CrossEntropyLoss）作为分类问题常见的损失函数，自己并为对其具体的细节展开理解。同时二元交叉熵损失函数（BCELoss）是交叉熵损失函数的特例，因此同样需要对二元交叉熵损失函数作出进一步的理解。

一般来说，交叉熵损失函数是需要用到softmax函数。

从公式上来看（这里以Pytorch官网的介绍为例），交叉熵损失函数表示为：
L C E = − ∑ i = 1 N y i l n ( y ^ ( x i ) ) y ^ ( x i ) = e x i ∑ k = 1 C e x k \boldsymbol{L}_{CE} = - \sum_{i=1}^N y_iln(\hat{y}(x_i))\\ \hat{y}(x_i) = \frac{e^{x_i}}{\sum_{k=1}^C e^{x_k}} LCE​=−i=1∑N​yi​ln(y^​(xi​))y^​(xi​)=∑k=1C​exk​exi​​
对于softmax函数来说，其导数可以表示为:
d y ^ d x i ^ = e x i ∑ k = 1 C e x k − ( e x i ) 2 ( ∑ k = 1 C e x k ) 2 = y ^ − ( y ^ ) 2 = y ^ ( 1 − y ^ ) \begin{align} \frac{\mathrm{d} \hat{y}}{\mathrm{d} \hat{x_i}} & = \frac{e^{x_i}\sum_{k=1}^C e^{x_k}-(e^{x_i})^2}{(\sum_{k=1}^C e^{x_k})^2} \\ &=\hat{y}-(\hat{y})^2 \\ &=\hat{y}(1-\hat{y}) \end{align} dxi​^​dy^​​​=(∑k=1

最低0.47元/天 解锁文章
BCE loss、CEloss、Focal Loss原理及实现
@bangbang的博客
05-01 734
1.针对多分类问题(softmax输出，所有输出概率和为1) H=−∑ioi∗log(oi)H=-\sum_{i}o^*_{i}log(o_i)H=−i∑​oi∗​log(oi​) oi∗o^*_{i}oi∗​代表的是真实标签值，只有在正确标签索引位置为1，其他位置都等于0；0乘以任何都为0,可以将0的部分都剩去，简化后如下： 2.针对二分类问题(sigmoid输出，每个输出节点之间互不相干) H=−1N∑i[oi∗log(oi)+(1−oi∗)log(1−oi∗)]H=-\frac{1}{N}\sum_{
BCE loss和 CE理解
Blankit1的博客
08-19 1万+
BCE loss pytorch官网链接 BCE loss：Binary Cross Entropy Loss pytorch中调用如下。设置weight,使得不同类别的损失权值不同。 其中x是预测值，取值范围(0,1), target是标签，取值为0或1. 在Retinanet的分类部分最后一层的激活函数用的是sigmoid，损失函数是BCE loss.BCE loss可以对单个类别进行求损失，配合sigmoid（每个类别单独求概率，不同类别间互不影响）。相当于是把每个类别都看成了二分类的问题，为后面使
关于MSELoss、BCELoss、CELoss损失函数求导的推导
zzl12880的博客
12-22 3286
本文推导了机器学习中常用的三个损失函数求导过程，帮助进一步理解损失函数对权重的求导是如何实现的
BCE Loss vs CE Loss
qq_43340256的博客
07-16 1919
上图可见，损失对网络输出的偏导数正比于S(x)-y ，当sigmoid之后的结果和真值y差的比较多的时候，梯度大，修正的更快。反之，CE Loss的值越大，表示预测概率越远离真实类别，分类效果越差。Softmax的一阶导数是指对Softmax函数求偏导数，得到一个Jacobian矩阵，表示每个输出对每个输入的偏导数。CE Loss是交叉熵损失函数的简称，它是一种常用的分类问题的损失函数，它衡量的是真实类别和预测概率之间的差异。（1）Target是one-hot形式，如[0,1,0,0]
CE Loss与BCE Loss的区别
Lian_Ge_Blog的博客
07-31 6671
CE Loss与BCE Loss区别 作为学习交叉熵损失函数与Focal Loss函数的补充
交叉熵损失(Cross Entropy)求导
zhangxu
10-03 1万+
Cross Entropy是分类问题中非常常见的一种损失函数，我们在之前的文章提到过二值交叉熵的证明和交叉熵的作用，下面解释一下交叉熵损失的求导。
PyTorch学习（7）：常用损失函数（CrossEntropyLoss, BCELoss, BCEWithLogitsLoss, L1Loss, MSELoss）
tecsai的博客
04-19 3083
在深度学习训练过程中，损失计算是非常重要的一环。有一种论调叫做“损失函数的设计在一定程度上决定了模型能干什么”。 PyTorch提供了许多损失计算函数，包括torch.nn.L1Loss，torch.MSELoss，torch.nn.CrossEntropyLoss，torch.nn.BCELoss，torch.nn.BCEWithLogitsLoss等。 具体可以参考如下连接：torch.nn — PyTorch 2.2 documentation
BCE和CE交叉熵损失函数的区别
dd_wl1的博客
08-25 6611
BCE和CE的区别 首先需要说明的是PyTorch里面的BCELoss和CrossEntropyLoss都是交叉熵，数学本质上是没有区别的，区别在于应用中的细节。 BCE用于二分类，CE用于多分类 BCE适用于0/1二分类，计算公式就是 “ -ylog(y^hat) - (1-y)log(1-y^hat) ”，其中y为GT，y_hat为预测值。这样，当gt为0的时候，公式前半部分为0，yhat需要尽可能为0才能使后半部分数值更小；当gt为1时，后半部分为0，yhat需要尽可能为1才能使前半部分的值更小，这样
损失函数笔记（2）--对比损失
oneself的博客
09-21 1922
损失函数笔记（2）--对比损失
二元交叉熵损失梯度推导
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
DSSM召回原理与优化
console.log(**)的博客
07-26 3243
DSSM召回原理与优化点
在分类问题中CE loss 与BCE loss的应用
ARYAD的博客
04-18 2252
在做视觉分类问题的过程中有个问题一直困扰着我： 1.CE和BCE 分别是针对何种分类任务？ 2.在做具体的任务时如何区别的使用他们？ 3.分类标签对于不同的多分类任务，是选择普通标签还是one-hot标签？这和loss选择有关么？ 损失函数公式定义区别 由于softmax输出的概率值和为1，网络的优化方向是提升对 y=1 的分类能力，自然其它类别的预测得分就会下降，因此不必担心假阳性的预测得不到改善。 类别间是否互斥问题 在分类问题中，如果遇到类别间不互斥的情况，只能采用“sigmoid+BCE”； 如
损失函数-BCELoss
xingghaoyuxitong的博客
01-23 5726
BCELoss就时predict对应点的位置相乘，相加，再求平均 证明： #%% import torch import torch.nn as nn #%% md BCELoss损失函数 #%% 产生predict,target N = 2 C = 1 H = 2 W = 2 predict = torch.arange(N*C*H*W,dtype=torch.float32).view([N,C,W,H]) predict = torch.sigmoid(predict) .
交叉熵损失函数及其求导过程推导
weixin_43461341的博客
03-27 817
转载地址：https://blog.youkuaiyun.com/jasonzzj/article/details/52017438?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task ex/(1+ex)=1/(1+e^-x)
交叉熵损失函数分类_BCE和CE交叉熵损失函数的区别
weixin_35990358的博客
01-30 4316
首先需要说明的是PyTorch里面的BCELoss和CrossEntropyLoss都是交叉熵，数学本质上是没有区别的，区别在于应用中的细节。BCE适用于0/1二分类，计算公式就是 “ -ylog(y^hat) - (1-y)log(1-y^hat) ”，其中y为GT，y_hat为预测值。这样，当gt为0的时候，公式前半部分为0，y^hat需要尽可能为0才能使后半部分数值更小；当gt为1时，后半部...
pytorch损失函数之nn.BCELoss()（为什么用交叉熵作为损失函数）
热门推荐
geter_CS的博客
12-03 6万+
交叉熵
pytorch mseloss bceloss 对比
jacke121的专栏
11-05 8053
1) 两个分布很接近，但是与0和1不接近，loss仍然很大，只适合分类 2)mse只计算两个差异，做回归用的，数据相同，bceloss比mseloss大。 3)SmoothL1Loss比mseloss小 4) bceloss收敛比较快 5)bceloss input必须是0-1之间，targets可以不是 6)target 是0.5 input 是0.4与0.6，loss无正...
卷积神经网络系列之softmax loss对输入的求导推导
AI之路
03-20 2万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是质量参差不齐，常常看得眼花缭乱。为了让大家少走弯路，特地整理了下这些知识点...
bceloss和crossentroyloss结合
最新发布
04-03
### 结合使用 BCELoss 和 CrossEntropyLoss 的方法 在 PyTorch 中，`BCELoss` 主要用于二分类问题，而 `CrossEntropyLoss` 则适用于多分类场景。尽管它们的功能不同，但在某些复杂任务中可能需要结合两者来实现特定目标。 #### 使用场景分析 当模型涉及多个独立的二分类子任务以及一个多分类主任务时，可以考虑联合优化这两个损失函数。例如，在图像标注任务中，可能存在一组标签表示对象类别（适合用 `CrossEntropyLoss`），另一组标签则描述属性是否存在（适合用 `BCELoss`）。通过加权求和的方式组合两种损失[^1]： ```python import torch import torch.nn as nn # 假设我们有两类数据：一类是多分类任务的目标，另一类是二分类任务的目标 output_multi_class = torch.randn(3, 5, requires_grad=True) # 多分类预测 (batch_size=3, num_classes=5) target_multi_class = torch.empty(3, dtype=torch.long).random_(5) # 对应的真实标签 output_binary_class = torch.sigmoid(torch.randn(3, 2)) # 二分类预测 (batch_size=3, binary_labels=2) target_binary_class = torch.tensor([[0., 1.], [1., 0.], [0., 1.]]) # 对应的真实标签 # 定义两个损失函数 cross_entropy_loss_fn = nn.CrossEntropyLoss() binary_cross_entropy_loss_fn = nn.BCELoss() # 计算各自损失 loss_ce = cross_entropy_loss_fn(output_multi_class, target_multi_class)[^2] loss_bce = binary_cross_entropy_loss_fn(output_binary_class, target_binary_class) # 加权求和得到最终损失 final_loss = loss_ce + 0.5 * loss_bce # 权重可以根据实际需求调整 ``` 上述代码展示了如何分别计算 `CrossEntropyLoss` 和 `BCELoss` 并将其线性组合成总损失。权重因子决定了每种损失的重要性程度。 #### 注意事项 - **输出格式匹配**：对于 `BCELoss`，输入张量通常经过 Sigmoid 函数处理；而对于 `CrossEntropyLoss`，其内部已经包含了 Softmax 运算，因此无需额外施加激活层。 - **梯度平衡**：由于不同类型的任务规模差异可能导致梯度不平衡现象发生，建议引入超参数调节各部分贡献比例。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值