BCE Loss和CE Loss求导对比

原创 于 2024-11-25 16:03:16 发布 · 1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #python

交叉熵损失函数（CrossEntropyLoss）作为分类问题常见的损失函数，自己并为对其具体的细节展开理解。同时二元交叉熵损失函数（BCELoss）是交叉熵损失函数的特例，因此同样需要对二元交叉熵损失函数作出进一步的理解。

一般来说，交叉熵损失函数是需要用到softmax函数。

从公式上来看（这里以Pytorch官网的介绍为例），交叉熵损失函数表示为：
L C E = − ∑ i = 1 N y i l n ( y ^ ( x i ) ) y ^ ( x i ) = e x i ∑ k = 1 C e x k \boldsymbol{L}_{CE} = - \sum_{i=1}^N y_iln(\hat{y}(x_i))\\ \hat{y}(x_i) = \frac{e^{x_i}}{\sum_{k=1}^C e^{x_k}} LCE​=−i=1∑N​yi​ln(y^​(xi​))y^​(xi​)=∑k=1C​exk​exi​​
对于softmax函数来说，其导数可以表示为:
d y ^ d x i ^ = e x i ∑ k = 1 C e x k − ( e x i ) 2 ( ∑ k = 1 C e x k ) 2 = y ^ − ( y ^ ) 2 = y ^ ( 1 − y ^ ) \begin{align} \frac{\mathrm{d} \hat{y}}{\mathrm{d} \hat{x_i}} & = \frac{e^{x_i}\sum_{k=1}^C e^{x_k}-(e^{x_i})^2}{(\sum_{k=1}^C e^{x_k})^2} \\ &=\hat{y}-(\hat{y})^2 \\ &=\hat{y}(1-\hat{y}) \end{align} dxi​^​dy^​​​=(∑k=1

最低0.47元/天 解锁文章
BCE loss、CEloss、Focal Loss原理及实现
@bangbang的博客
05-01 734
1.针对多分类问题(softmax输出，所有输出概率和为1) H=−∑ioi∗log(oi)H=-\sum_{i}o^*_{i}log(o_i)H=−i∑​oi∗​log(oi​) oi∗o^*_{i}oi∗​代表的是真实标签值，只有在正确标签索引位置为1，其他位置都等于0；0乘以任何都为0,可以将0的部分都剩去，简化后如下： 2.针对二分类问题(sigmoid输出，每个输出节点之间互不相干) H=−1N∑i[oi∗log(oi)+(1−oi∗)log(1−oi∗)]H=-\frac{1}{N}\sum_{
BCE Loss vs CE Loss
qq_43340256的博客
07-16 1919
上图可见，损失对网络输出的偏导数正比于S(x)-y ，当sigmoid之后的结果和真值y差的比较多的时候，梯度大，修正的更快。反之，CE Loss的值越大，表示预测概率越远离真实类别，分类效果越差。Softmax的一阶导数是指对Softmax函数求偏导数，得到一个Jacobian矩阵，表示每个输出对每个输入的偏导数。CE Loss是交叉熵损失函数的简称，它是一种常用的分类问题的损失函数，它衡量的是真实类别和预测概率之间的差异。（1）Target是one-hot形式，如[0,1,0,0]
CE Loss与BCE Loss的区别
Lian_Ge_Blog的博客
07-31 6671
CE Loss与BCE Loss区别 作为学习交叉熵损失函数与Focal Loss函数的补充
目标检测常用的损失函数
appleaper的博客
12-07 1618
L1损失(均方误差MSE) 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸。 L2损失(平均绝对误差MAE) 表示了预测值的平均误差幅度，而不需要考虑误差的方向 优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 缺点：在中心点是折点，不能求导，不方便求解。 smooth L1损失函数 当|x-y|<1的时候，求导后的导数为(x-y),
BCE loss和 CE理解
热门推荐
Blankit1的博客
08-19 1万+
BCE loss pytorch官网链接 BCE loss：Binary Cross Entropy Loss pytorch中调用如下。设置weight,使得不同类别的损失权值不同。 其中x是预测值，取值范围(0,1), target是标签，取值为0或1. 在Retinanet的分类部分最后一层的激活函数用的是sigmoid，损失函数是BCE loss.BCE loss可以对单个类别进行求损失，配合sigmoid（每个类别单独求概率，不同类别间互不影响）。相当于是把每个类别都看成了二分类的问题，为后面使
关于MSELoss、BCELoss、CELoss损失函数求导的推导
zzl12880的博客
12-22 3286
本文推导了机器学习中常用的三个损失函数求导过程，帮助进一步理解损失函数对权重的求导是如何实现的
PyTorch学习（7）：常用损失函数（CrossEntropyLoss, BCELoss, BCEWithLogitsLoss, L1Loss, MSELoss）
tecsai的博客
04-19 3083
在深度学习训练过程中，损失计算是非常重要的一环。有一种论调叫做“损失函数的设计在一定程度上决定了模型能干什么”。 PyTorch提供了许多损失计算函数，包括torch.nn.L1Loss，torch.MSELoss，torch.nn.CrossEntropyLoss，torch.nn.BCELoss，torch.nn.BCEWithLogitsLoss等。 具体可以参考如下连接：torch.nn — PyTorch 2.2 documentation
CE Loss，BCE Loss以及Focal Loss的原理理解
Rolandxxx的博客
09-29 1万+
想象画在图上就是横坐标（自变量）是随机变量。根据随机变量所属类型的不同，概率分布取不同的表现形式。
深度学习知识点之1---sigmoid and softmax, BCE and CE loss function
心惠天意
09-13 1216
Sigmoid——二分类 将输出转换为概率 概率的值范围为0.0到1.0 属于所有类别的概率之和为1.0 σ(li)=11+e−liσ(li) = \frac{1}{1 + e^{-li}}σ(li)=1+e−li1​ Softmax——多分类 S(li)=e(li)∑ke(lk)S(l_i) = \frac{e^(l_i)}{\sum{_k}e^(l_k)}S(li​)=∑k​e(lk​)e(li​)​ multi-label分类，非 multi-class分类 输出属于对个类别中的一个
利用pytorch来深入理解CELoss、BCELoss和NLLLoss之间的关系
zhuangyuan7838的博客
11-11 1万+
pytorch损失函数总结 损失函数为为计算预测值与真实值之间差异的函数，损失函数越小，预测值与真实值间的差异越小，证明网络效果越好。对于神经网络而言，损失函数决定了神经网络学习的走向，至关重要。 pytorch中的所有损失函数都可以通过reduction = ‘mean’或者reduction = ‘sum’来设置均值还是总值。 L1 Loss L1 Loss即绝对值损失，为预测值和真实值间误差的绝对值。 L1(x,y)=1N∑i=1n∣xi−yi∣ L1(x, y) = \frac{1}{N} \su
【Pytorch】BCELoss和BCEWithLogitsLoss损失函数详解
01-07
在Pytorch中，BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数，常用于二分类问题，其区别在于前者的输入为已进行sigmoid处理过的值，而后者为sigmoid函数11+exp⁡(−x)\frac{1}{1+\exp(-x)}1+exp(−x)1​中的xxx。 下面为一个简单的示例： import torch import torch.nn as nn predicts = torch.tensor([[0.4,0.7,1.2,0.3], [1.1,0.6,0.9,1.6]]) labels = torch.tensor([[1,0,1,0],[0,1,1,
VIPER架构学习
木头书屋专栏
02-12 4895
VIPER架构学习探索编程准则资源下载什么是VIPER功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 编程准则 代码...
交叉熵损失(Cross Entropy)求导
zhangxu
10-03 1万+
Cross Entropy是分类问题中非常常见的一种损失函数，我们在之前的文章提到过二值交叉熵的证明和交叉熵的作用，下面解释一下交叉熵损失的求导。
二分类交叉熵损失函数推导及其求导过程
QQ_2642160196的博客
03-29 3091
假设函数 更为一般的表达式： 似然函数： 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数： 对J(w)求极小值，对求导 上述求导要用到 π(z)’ = π(z)(1-π(z)),其中π(z)为sigmoid函数（也叫logistic函数），z=w^Tx+b,我们将这些带入求导公式中运算即可得到结果。 上述中 xi,j表示第i个样本的第...
交叉熵损失导数推理
zhaoguanhua的博客
04-14 6850
在深度学习网络训练中，交叉熵损失是一种经常使用的损失函数，这篇文章里我们来推导一下交叉熵损失关于网络输出z的导数，由于二分类是多分类的特殊情况，我们直接介绍多分类的推导过程。 一、Softmax交叉熵损失求导 基于softmax的多分类交叉熵公式为 LSCE=−∑j=1Cyjlog⁡(pj)L_{S C E}=-\sum_{j=1}^{C} y_{j} \log \left(p_{j}\right)LSCE​=−j=1∑C​yj​log(pj​) 其中CCC表示类别总数，包含背景类别，pjp_jpj​通过S
BCE和CE交叉熵损失函数的区别
dd_wl1的博客
08-25 6611
BCE和CE的区别 首先需要说明的是PyTorch里面的BCELoss和CrossEntropyLoss都是交叉熵，数学本质上是没有区别的，区别在于应用中的细节。 BCE用于二分类，CE用于多分类 BCE适用于0/1二分类，计算公式就是 “ -ylog(y^hat) - (1-y)log(1-y^hat) ”，其中y为GT，y_hat为预测值。这样，当gt为0的时候，公式前半部分为0，yhat需要尽可能为0才能使后半部分数值更小；当gt为1时，后半部分为0，yhat需要尽可能为1才能使前半部分的值更小，这样
常用Loss总结
一千零一夜的博客
09-12 1万+
1. BCELoss 用于二分类任务，二值交叉熵(Binary Cross Entropy)。 公式如下，其中y是真实值，是预测值： 使用方式如下： class torch.nn.BCELoss Examples:: >>> m = nn.Sigmoid() >>> loss = nn.BCELoss() ...
损失函数笔记（2）--对比损失
oneself的博客
09-21 1922
损失函数笔记（2）--对比损失
二元交叉熵损失梯度推导
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
bceloss和crossentroyloss结合
最新发布
04-03
### 结合使用 BCELoss 和 CrossEntropyLoss 的方法 在 PyTorch 中，`BCELoss` 主要用于二分类问题，而 `CrossEntropyLoss` 则适用于多分类场景。尽管它们的功能不同，但在某些复杂任务中可能需要结合两者来实现特定目标。 #### 使用场景分析 当模型涉及多个独立的二分类子任务以及一个多分类主任务时，可以考虑联合优化这两个损失函数。例如，在图像标注任务中，可能存在一组标签表示对象类别（适合用 `CrossEntropyLoss`），另一组标签则描述属性是否存在（适合用 `BCELoss`）。通过加权求和的方式组合两种损失[^1]： ```python import torch import torch.nn as nn # 假设我们有两类数据：一类是多分类任务的目标，另一类是二分类任务的目标 output_multi_class = torch.randn(3, 5, requires_grad=True) # 多分类预测 (batch_size=3, num_classes=5) target_multi_class = torch.empty(3, dtype=torch.long).random_(5) # 对应的真实标签 output_binary_class = torch.sigmoid(torch.randn(3, 2)) # 二分类预测 (batch_size=3, binary_labels=2) target_binary_class = torch.tensor([[0., 1.], [1., 0.], [0., 1.]]) # 对应的真实标签 # 定义两个损失函数 cross_entropy_loss_fn = nn.CrossEntropyLoss() binary_cross_entropy_loss_fn = nn.BCELoss() # 计算各自损失 loss_ce = cross_entropy_loss_fn(output_multi_class, target_multi_class)[^2] loss_bce = binary_cross_entropy_loss_fn(output_binary_class, target_binary_class) # 加权求和得到最终损失 final_loss = loss_ce + 0.5 * loss_bce # 权重可以根据实际需求调整 ``` 上述代码展示了如何分别计算 `CrossEntropyLoss` 和 `BCELoss` 并将其线性组合成总损失。权重因子决定了每种损失的重要性程度。 #### 注意事项 - **输出格式匹配**：对于 `BCELoss`，输入张量通常经过 Sigmoid 函数处理；而对于 `CrossEntropyLoss`，其内部已经包含了 Softmax 运算，因此无需额外施加激活层。 - **梯度平衡**：由于不同类型的任务规模差异可能导致梯度不平衡现象发生，建议引入超参数调节各部分贡献比例。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值