交叉熵损失及其对应的focal Loss

最新推荐文章于 2025-12-20 21:49:34 发布
原创 最新推荐文章于 2025-12-20 21:49:34 发布 · 243 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

博客主要介绍了交叉熵损失以及与之对应的Focal Loss。交叉熵损失是常见的损失函数，Focal Loss则是在其基础上的改进，二者在信息技术领域的模型训练等方面有重要应用。
Focal Loss 和二元交叉熵损失（BCE）损失函数对比
浩瀚之水的专栏
05-22 219
Focal Loss 和二元交叉熵损失（BCE）都是用于二分类或多标签分类任务的损失函数，但它们在解决类别不平衡、难易样本优化等方面有显著差异。
交叉熵损失、Focal loss
RUN
07-03 3621
Loss越大越容易收敛，太小不好收敛。 Focal loss作用： 解决类别不平衡问题，对困难样本的损失分配比较大的权重 负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。 首先为了控制正负样本的权重，可以在loss前加一个系数，比如 但是，这样只能控制正负样本的权重，但是不饿能控制容易分类和难分类样本的权重。困难：概率为0.6左右，虽然大于0.5，但是难分类；易分类如0.9。 于是就有了Focal loss:指数部分称为调制系数，目的是减少易分类样本
交叉熵损失函数和focal loss_损失函数之交叉熵
weixin_39530838的博客
11-24 922
交叉熵原理交叉熵是用来衡量两个概率分布的距离，也可以理解为差别，概率分布即[0.1,0.5,0.2,0.1,0.1]没给类别的概率都在0~1，且加起来为1若有两个概率分布为 和 , 通过 来表示 的交叉熵（注意这里互换位置，值是不相等的，在损失函数中 为预测的结果，经过softmax后的， 为ground truth, 为ont_hot这种） 假设 为 [0, 0, 0, 1, 0,...
交叉熵损失函数和focal loss_交叉熵损失函数的应用
weixin_39980360的博客
11-24 704
本文以二分类交叉熵损失函数为例，详细分析了交叉熵损失函数在实际应用中遇到的问题，以及解决办法，并给出了在深度学习中使用的交叉熵损失函数的具体形式。通过本文的叙述，相信能够使读者对深度学习的理解更加深入。交叉熵损失函数的向量表示 交叉熵损失函数： 其中y为label， 为预测的正类别概率，即在二分类中通过sigmoid函数得出的正类别概率大小。 BGD(batc...
深度学习系列之Focal Loss个人总结
热门推荐
LeeWanzhi的博客
04-24 3万+
1. Introduction object detection按其流程来说，一般分为两大类。一类是two stage detector(如非常经典的Faster R-CNN)，另一类则是one stage detector(如SSD、YOLO系列)。 虽然one stage detector检测速度可以完爆two stage，但是mAP却干不过two stage。 So，Why？ the...
交叉熵损失函数和focal loss_大话交叉熵损失函数
weixin_39631649的博客
11-24 1121
使用keras进行二分类时，常使用binary_crossentropy作为损失函数。那么它的原理是什么，跟categorical_crossentropy、sparse_categorical_crossentropy有什么区别？在进行文本分类时，如何选择损失函数，有哪些优化损失函数的方式？本文将从原理到实现进行一一介绍。参考：https://towardsdatascience.com/und...
交叉熵/二分类交叉熵及各自对应的focal loss(附pytorch代码)
Enjoy_endless
03-28 9112
对于二分类问题，使用softmax或者sigmoid，在实验结果上到底有没有区别(知乎上相关问题讨论还不少)。最近做的相关项目也用到了这一块，从结果上来说应该是没什么区别，但是在模型上还是存在一定差异性的(可以应用于多模型融合、在相关比赛项目当中还是可以使用的)。相关知识和代码总结如下。 以下主要分为4个部分：交叉熵损失、二分类交叉熵损失、Focal loss及二分类Focal loss 1. C...
Focal Loss——目标检测中的实现详解(包括交叉熵损失的各种形式解析)
lt1103725556的博客
03-24 3645
参考https://blog.youkuaiyun.com/u012436149/article/details/69660214 https://blog.youkuaiyun.com/b1055077005/article/details/100152102 交叉熵损失(Cross Entropy loss) 交叉熵损失有多种形式： (1) (2) (3) (4) 首先，这4种都是交叉熵，没有假的。 接下来我们看看这4种交叉熵是怎么得到的？ 其实都是在(1)上面衍生得到的。 (1) (1)是如何得到的参考https.
Python实现交叉熵损失函数focal_loss源码解析
本文将详细介绍交叉熵损失函数的数学原理，以及如何用Python语言进行实现，并提供一个名为focal_loss.py的源码文件，该文件包含了一个在实际工程项目中使用的交叉熵损失函数的实现版本，可以作为学习和参考。...
大模型手撕汇总 | AUC计算、交叉熵损失、Focal Loss、KL散度、MSE&MAE、手撕MLP、手撕MHA、手撕LayerNorm、scaling law、一面概率题
m0_56231308的博客
09-17 1043
AUC = 随机抽取一个正样本和一个负样本时，正样本得分更大的概率。交叉熵HPQ−∑xPxlog⁡QxHPQ−x∑​PxlogQx其中PPP为真实分布，QQQ为预测分布。它刻画了用分布QQQ来编码PPP的平均信息量。KL散度DKLP∥Q∑xPxlog⁡PxQxDKL​P∥Qx∑​PxlogQxPx​表示分布QQQ相对PPP的差异。熵HP−∑xP。
二分类交叉熵，多分类交叉熵，focal loss
zhuhuigege的博客
03-08 2万+
1：二分类交叉熵 a) 公式：，其中表示网络预测结果，是一个属于（0到1）的值，我们当然希望它们的值很接近1。是真实标签，因为是二分类，所以，的值为0或者1。网络最后一层一般为sigmoid。比如，网络最后一层sigmoid之后，网络输出为0.8，若= 1，代入公式则loss = -1*log(0.8)；若= 0，loss=(1-0)*log(1-0.8)。 b) pytorch中的形式： criterion1 =...
【深度学习】损失函数（平均绝对误差，均方误差，平滑损失，交叉熵，带权值的交叉熵，骰子损失，FocalLoss）
weixin_51781852的博客
07-11 7690
损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。。俗话说，任何事情必然有它的两面性，因此，并没有一种万能的损失函数能够适用于所有的机器学习任务，所以在这里我们需要知道每一种损失函数的优点和...
转FocalLoss
weixin_42380181的博客
08-11 214
1. 总述 Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。 2. 损失函数形式 Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失： 是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。那
史上最全交叉熵损失函数详解
qq_48385934的博客
01-02 1万+
在我们自学神经网络神经网络的损失函数的时候会发现有一个思路就是交叉熵损失函数，交叉熵的概念源于信息论，一般用来求目标与预测值之间的差距。比如说我们在人脑中有一个模型，在神经网络中还有一个模型，我们需要找到神经网络模型跟人脑模型最相近的那一个，那就需要找到一个方法需要定量的去看待两个模型的差异。 文章目录一、交叉熵是什么？二、熵是什么？三、信息量是什么？总结 一、交叉熵是什么？ 交叉熵其实就是运用了熵的概念先把模型转化为熵的数值然后用数值去比较模型之间的差异。 那为什么要用熵？熵是指一个模型体系的混乱程度。
深度学习损失函数：交叉熵cross entropy与focal loss
一江明澈的水的专栏
02-13 1万+
前面 本文主要做两件事情： 1.交叉熵原理 2.引出focal loss原理 其中，交叉熵这里：https://blog.youkuaiyun.com/tsyccnh/article/details/79163834 这篇博文写的很详细，很明白，但博士没有总结，我在这里按自己理解重新总结了下，看不太明白的读者建议直接看原文会明白很多。focal的几篇参考： 论文链接：https://arxiv.o...
20251011_Pytorch从入门到精通
baby_hua的专栏
12-18 785
讲的很不错！就是这课太老了 复习下机器学习基础还能看 用作入门也很好 其他的略过即可。
基于PyTorch的深度学习——迁移学习4
Wis4e的博客
12-20 271
常用的方法是固定底层的参数，调整一些顶层或具体层的参数。这样做的好处是可以减少训练参数的数量，同时也有助于克服过拟合现象的发生。此外预先训练的网络参数也会被更新，但会使用较小的学习率以防止预先训练好的参数发生较大的改变。
【使用PyTorch构建与微调ResNet模型：完整指南】
Ven%的博客
12-20 48
ResNet通过残差连接解决了深度神经网络的训练难题，已经成为计算机视觉任务的基准模型。PyTorch提供了便捷的API来使用和微调ResNet模型。在实际应用中，根据数据集大小和任务特性选择合适的微调策略至关重要。通过合理的微调，可以在少量数据上获得优秀的性能，大大节省训练时间和计算资源。记住，微调是一门艺术而不是科学，需要根据具体任务进行多次实验和调整。希望这篇指南能帮助你成功应用ResNet解决实际问题！
【python | pytorch | warehouse】python库scipy与scikit-learn库不兼容？
最新发布
十二_的博客
12-20 614
摘要 文章分析了Python科学计算环境中常见的scipy与scikit-learn版本兼容性问题，重点讨论了二进制兼容性错误的解决方案。当出现"_qhull"相关错误时，建议优先重建环境而非修复。作者详细比较了pip和conda的依赖管理机制，指出conda在科学计算领域更可靠，因其能全面检查C/C++二进制库兼容性等底层问题。文章提供了最佳实践：先用conda安装核心科学包（如numpy、scipy），仅在conda无包时使用pip补充。此外，还解释了conda中remove与uni
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值