【AI面试】分类损失横评：CrossEntropy Loss 、Balanced Cross Entropy、 Dice Loss 和 Focal Loss

已于 2024-11-06 20:45:52 修改
阅读量1.9k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 7天快速通过AI/CV面试 文章标签： 人工智能 深度学习 Dice Loss focal loss 分类损失
于 2023-05-24 14:32:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wsLJQian/article/details/130326996
本文详细探讨了深度学习中的分类损失函数，包括CrossEntropy损失、Balanced Cross Entropy、Dice Loss和Focal Loss。分析了在数据不平衡情况下，这些损失函数如何应对，特别强调了Focal Loss在处理易分类样本时的优势。此外，还介绍了Soft Dice loss与Cross-Entropy loss在图像分割任务中的互补性，以及在实际应用中如何选择和结合不同的损失函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在实际任务中，数据的不均衡一直是深度学习领域一个不可忽略的问题。常说的长尾效应，说的就是这个问题。少而多的误差，最终造成的结果，是不容忽视的。

长尾效应：在正态分布中，曲线中间凸起的是“头”，两边相对平缓的部分叫做“尾”。对于绝大部分的需求来说，都会集中在中间凸起的“头”处，但是除了“头”，还有两边长长的“尾”。不同于中间的“头”，分布在尾部的需求是个性化的，零散的，少量的需求。这部分需求，构成了一条长长的“尾巴”，所谓的长尾效应就是在于它的数量上。将所有的非流行的市场，累加起来就会形成一个巨大的市场，甚至比主流市场还要巨大。

无论是纯纯的分类任务，还是目标检测中的回归任务，这种不均衡性都一直存在，具体表现为三种形式：

  1. 类与类之间的数量不均衡；
  2. 前景与背景之间数量不均衡；
  3. 简单样本和困难样本之间的不均衡。

如何在计算损失的时，将最终的loss值，更能体现大局观，不会被某一面绑架，也不要忽略了某一面

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2343
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
【BraTS】Brain Tumor Segmentation 脑部肿瘤分割4（损失函数）
钱多多先森
04-21 795
UNet中常用损失函数的品析，包括Dice loss和Focal Loss
交叉熵损失函数和focal loss_目标检测分类损失函数——Cross entropy、Focal loss
weixin_39517199的博客
11-24 1713
一、Cross Entropy Loss交叉熵是用来判定实际的输出与期望的输出的接近程度，刻画的是实际输出与期望输出的距离，也就是交叉熵的值越小，两个概率分布就越接近。1. CE Loss的定义假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，则： 当 时，交叉熵取得最小值，因此可以利用交叉熵比较一个分布与另一个分布的吻合情况。交叉熵接近于熵， 便是针对 更好的逼近，事实...
多分类 focal loss 以及 dice loss 的pytorch以及keras/tf实现
XX|XX的博客
05-18 5271
多分类 focal loss 以及 dice loss 的pytorch以及keras实现pytorch 下的多分类 focal loss 以及 dice loss实现dice lossfocal losskeras/tf 下的多分类 focal loss 以及 dice loss实现dice lossfocal loss pytorch 下的多分类 focal loss 以及 dice loss实现 dice loss class DiceLoss(nn.Module): def __init__
Dice Loss，balanced cross entropy，Focal Loss
白景屹的博客
06-17 4776
Dice系数是一种集合相似度度量函数，取值范围在[0,1]：s=2∣X∩Y∣∣X∣+∣Y∣s=\frac{2|X\cap Y|}{|X|+|Y|}s=∣X∣+∣Y∣2∣X∩Y∣​其中，∣X∩Y∣|X\cap Y|∣X∩Y∣是XXX和YYY之间的交集元素个数，∣X∣,∣Y∣|X|,|Y|∣X∣,∣Y∣分别是XXX和YYY的元素个数。Dice Loss为：Ldice=1−2∣X∩Y∣+1∣X∣+∣Y∣+1L_{dice}=1-\frac{2|X\cap Y|+1}{|X|+|Y|+1}Ldice​=1−∣X∣+
pytorch中实现Balanced Cross-Entropy
code_plus的博客
04-16 4949
当你明白了pytorch中F.cross_entropy以及F.binary_cross_entropy是如何实现的之后，你再基于它们做改进重新实现一个损失函数就很容易了。 1、背景 变化检测中，往往存在样本不均衡的情况，也就是changed pixel很少，而unchange pixel占据大多数，论文DASNet: Dual Attentive Fully Convolutional Siamese Networks for Change Detection in High-Resolution Sat
图像分割损失函数总结Dice loss 和 Focal losss
zjdwindows的博客
08-20 4873
Dice loss 来自文献[1]，是从推广得到的损失函数。Dice 系数是一种集合相似度度量函数，是从区域角度衡量两个集合的相似度。（CE Loss是 从概率分布角度）Dice 系数值域为 [0, 1] ，两个集合完全重叠时为1， 完全不重叠时为0，计算公式如下，值域[0, 1]，loss值越小，重合度越高分母的计算：|A| 和 |B|分别表示A、B的元素个数分子的计算：A和B的交集，用点乘。
类别不均衡问题之loss大集合：focal loss, GHM loss, dice loss 等等
AI蜗牛车
04-26 5503
数据类别不均衡问题应该是一个极常见又头疼的的问题了。最近在工作中也是碰到这个问题，花了些时间梳理并实践了类别不均衡问题的解决方式，主要实践了“魔改”loss（focal loss, GHM loss, dice loss 等），整理如下。所有的 Loss 实践代码在这里：https://github.com/shuxinyin/NLP-Loss-Pytorch数据不均衡问...
【3D 图像分割】基于 Pytorch 的 3D 图像分割5（训练篇）
钱多多先森
11-08 2085
对训练过程进行了整体的梳理，和对其中缺失的模型进行了补全。通过本篇文章，可以快速的将模型和数据部分串联成一个整体
A survey of loss functions for semantic segmentation——论文笔记
最新发布
qq_55009448的博客
10-24 1122
语义分割的重要性：语义分割被定义为一种像素级别的分类任务，即将图像中的每个像素分配给不同的类别。这项技术在许多领域有着广泛的应用，包括自动疾病检测和自动驾驶等。通过语义分割，不仅可以检测出疾病的存在，还可以精确定位其位置，在医学影像中尤其有用，例如检测肿瘤或病灶。损失函数的作用：在深度学习模型中，损失函数用于引导算法的学习过程，因此选择合适的损失函数对于设计复杂的语义分割模型至关重要。自2012年以来，研究人员已经开发了多种特定领域的损失函数，以提升模型在不同数据集上的表现。损失函数的分类。
balanced_cross_entropy
freedomUSTB的博客
07-16 1129
参考代码 weights = tf.constant([0.12, 0.26, 0.43, 0.17]) cost = tf.reduce_mean(tf.nn.weighted_cross_entropy_with_logits(logits=pred, targets=y, pos_weight=weights)) # your class weights class_weights = tf.constant([[1.0, 2.0, 3.0]]) # deduce weights for
focalloss，diceloss 知识点总结
qq_40950565的博客
09-06 8671
一 focalloss 1.什么是focalloss，用来干嘛 Focal loss最早是 He et al 在论文 Focal Loss for Dense Object Detection 中实现的。 例如在目标检测中损失函数Binary Cross Entropy loss，这种训练目标要求模型 对自己的预测真的很有信心。而Focal Loss所做的是，它使模型可以更"放松"地预测事物，而无需80-100％确信此对象是“某物”。简而言之，它给模型提供了更多的自由，可以在进行预测时承担一些风险..
【CV】常见的损失函数及应用举例：交叉熵、对比、余弦、Dice、Focal Loss
种一棵树最好的时间是十年前，其次是现在
06-25 7278
损失函数的作用是衡量模型预测值与真实值之间的差异，从而评估模型的性能，并通过优化算法（如梯度下降）来调整模型参数，使得损失函数的值最小化，进而提高模型的预测准确性。具体来说，损失函数通常用于监督学习中，给定样本的特征和标签，模型根据特征预测标签，并将预测值与真实值进行比较，计算出损失值。优化过程就是在不断地调整模型参数，使得损失值越来越小。因此，损失函数是优化算法的重要组成部分，它决定了模型优化的方向和速度。
分割网络损失函数总结！交叉熵，Focal loss，Dice，iou，TverskyLoss！
jijiarenxiaoyudi的博客
12-18 1万+
交叉熵损失，Focal loss, Dice, iou, Tverskyloss!
交叉熵损失（Cross-Entropy Loss）
weixin_43368992的博客
03-24 751
在实际应用中，交叉熵损失通常与softmax函数结合使用，softmax函数可以将模型的原始输出（logits）转换为概率分布。对于正确的类别，当模型的预测概率越接近1时，损失越小；y：真实标签的概率分布，通常为一个独热编码向量，表示正确的类别位置为1，其余位置为0。对于错误的类别，当模型的预测概率越接近0时，损失越小；它鼓励模型对正确的类别有更高的预测概率，同时又对错误的类别有更低的预测概率。p：模型预测的概率分布，通常是模型输出层（如softmax层）的输出。Pi：预测概率向量中的第 i个元素。
【PyTorch】Balanced_CE_loss 实现
libo-coder
11-24 1196
balance binary cross entropy损失函数在分割任务中很有用，因为分割任务会遇到正负样本不均的问题，甚至在边缘的分割任务重，样本不均衡达到了很高的比例。故此，个人在基于分割任务中，自实现了该损失函数，亲测有效！
深度学习——损伤函数（dice_loss）
qq_54000767的博客
04-02 5060
深度学习——损伤函数（dice_loss）
pytorch语义分割中CrossEntropy、FocalLoss和DiceLoss三类损失函数的理解与分析
patience_of_study的博客
02-02 1万+
在语义分割任务中，根据数据的分布情况可选择不同的损失函数对网络输出和标签进行数值运算，以达到较优的训练效果。特别，在数据样本不均衡以及样本难易程度不同时，选择FocalLoss和DiceLoss往往能起到事半功倍的效果。本博客针对CrossEntropy、FocalLoss和DiceLoss三类损失函数进行了如下分析： 1.数据准备 一般来讲，RGB图像数据经过网络过后最终的输出形式为一个四维张量，shape为（batch_size, Num_class, high, width），分别对应batch
深度学习之目标检测（五）-- RetinaNet网络结构详解
热门推荐
木卯_THU的博客
08-17 4万+
深度学习之目标检测（五）-- RetinaNet网络结构详解深度学习之目标检测（五）RetinaNet网络结构详解1. RetinaNet1.1 backbone 部分1.2 预测器部分1.3 正负样本匹配1.4 损失计算2. Focal Loss2.1 Cross Entropy Loss2.2 Balanced Cross Entropy2.3 Focal Loss 深度学习之目标检测（五）RetinaNet网络结构详解 本章学习 FPN 相关知识，学习视频源于 Bilibili，部分参考叙述源自 知乎
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱多多先森

你的鼓励，是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值