从交叉熵损失到Facal Loss

最新推荐文章于 2024-05-15 19:01:29 发布
最新推荐文章于 2024-05-15 19:01:29 发布
阅读量874 收藏 5
点赞数 1
CC 4.0 BY-SA版权
文章标签： 人工智能 数据结构与算法
原文链接：http://www.cnblogs.com/zjh225901/p/8305700.html
本文介绍了交叉熵损失函数的概念，包括熵、交叉熵和相对熵的关系，以及与极大似然估计的关系。接着讨论了交叉熵损失函数的特点，并提出了修正的交叉熵损失，包括硬截断和软截断方法。最后，文章重点介绍了Focal Loss，它是为了解决类别不平衡问题而提出的，特别适用于图像目标检测任务。

 
1交叉熵损失函数的由来
1.1关于熵，交叉熵，相对熵（KL散度）
　　熵：香农信息量的期望。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。其计算公式如下：

　　　　

　　其是一个期望的计算，也是记录随机事件结果的平均编码长度(关于编码：一个事件结果的出现概率越低，对其编码的bit长度就越长。即无法压缩的表达，代表了真正的信息量.)
熵与交叉熵之间的联系：
　　假设有两个分布p,q。其中p是真实概率分布,q是你以为（估计）的概率分布（可能不一致）；你以 q 去编码,编码方案 log(1/qi)可能不是最优的； 于是,平均编码长度 = ∑pi *log(1/qi),就是交叉熵；只有在估算的分布q完全正确时，即q与p的分布完全相同时，平均编码长度才是最短的，此时交叉熵 = 熵
　　相对熵: q得到的平均编码长度比由p得到的平均编码长度多出的bit数(交叉熵与熵的差值)。

　　　　　　　

1.2交叉熵与极大似然估计得关系
　　一般情况下的

最低0.47元/天 解锁文章

200万优质内容无限畅学
多分类任务中如何使用facal loss
09-22 1481
Focal Loss 在多分类问题中，通过对难分类样本赋予更高的损失权重，来减少容易分类样本对模型训练的干扰，常用于类别不平衡的任务，如目标检测等。
损失函数解读 之 Focal Loss
黎国溥
01-24 2万+
前言 Focal loss 是一个在目标检测领域常用的损失函数，它是何凯明大佬在RetinaNet网络中提出的，解决了目标检测中正负样本极不平衡和 难分类样本学习的问题。 论文名称：Focal Loss for Dense Object Detection 目录 什么是正负样本极不平衡？ two-stage 样本不平衡问题 one-stage 样本不平衡问题 交叉熵 损失函数 Focal Loss 代码实现Pytorch 什么是正负样本极不平衡？ 目标检测算法为了定位目标会...
Focal Loss损失函数
ting的博客
07-06 1万+
Focal loss是一个常用的解决类别不平衡问题的损失函数，由何恺明提出的（论文名称：Focal Loss for Dense Object Detection），用于图像领域解决one-stage目标检测中正负样本极不平衡和难分类样本学习问题。本文从交叉熵损失函数出发，分析样本不平衡问题，将focal loss与交叉熵损失函数对比，给出focal loss有效性的解释。
二元函数图像生成器_常见的损失函数（loss function）
weixin_39548776的博客
11-24 2366
本文主要讲一下机器学习/深度学习里面比较常见的损失函数。分类损失hinge loss 其中y是标签，要么为1（正样本），要么为-1（负样本）。hinge loss被使用在SVM当中。对于正确分类的f(x)预测值，并且|f(x)|>=1，那么不会被计算到损失函数当中。只有那些错误分类，或者分类置信度不够（|f(x)|<1），才会计入损失，所以SVM对正确分类的离群点不敏感，不会鼓励分类器...
了解focal loss
shitoucoming的博客
09-10 307
Focal Loss理解 1. 总述 Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。   2. 损失函数形式 Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失： 是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。...
Focal Loss
xungeer29 的博客
05-08 2959
pytoch 实现 # From bestfittinig # https://www.kaggle.com/c/human-protein-atlas-image-classification/discussion/78109 class FocalLoss(nn.Module): def __init__(self, gamma=2): super().__init__...
初识focal loss
f9547064141的博客
05-26 258
意义 消除正负样本不平衡的问题，主要应用于one-stage的任务中，由于正样本（目标）在图像中的比重远远低于负样本（背景），经过NMS后还是会存在大量的负样本，这样会使得负样本占LOSS的比重远大于正样本，LOSS可能会朝着负样本的方向优化。一个极端的例子，如果数据中只有一个正样本有一百个负样本，那么显然模型的会把输出全部判定为负样本。 focal loss 参考 知乎. ...
focal loss
qishi的博客
07-04 3047
原文 https://blog.youkuaiyun.com/u014380165/article/details/77019084 focal 解决的是两个问题： 样本不均衡 专注于难以分类的样本 传统的交叉熵损失：CE=−logptCE=−log⁡ptCE=-\log p_t 其中ptptp_t为模型对正确的类别所预测的概率。 FL=−αt(1−pt)γlogptFL=−αt(1−pt)γlo...
【看看这长尾学习】Focal Loss其实也是长尾学习的思路
Leomn_J的博客
11-24 1102
Focal Loss for Dense Object Detection Focal loss 原文地址，推荐结合阅读！ 焦点损失（Focal loss）的提出的观点是： 作者发现单阶段的检测方式（SSD or YOLO）相对于两阶段检测（Faster-RCNN）的检测速度是很快，但是准确率不足。为什么呢？ 作者认为是因为样本类别不均衡问题 样本类别不均衡包含前后背景的样本不均衡（目标检测会生成很多的候选区域，但是实际包含目标的很少，所以前后背景的样本数目分布不均） 也包括其他类别的影响（这里借用
【人脸识别】人脸识别损失函数学习笔记
chen1234520nnn的博客
07-24 2273
目录 二、CosFace(CVPR2018) 1 softmax loss的不同变种 1.1 原始的softmax loss： 1.2 归一化softmax Loss(NSL,Normalization Softmax Loss) 1.3 CosFace Loss(LNCL,Large Margin Cosine Loss) 2. 不同loss的分类边界分析 2.1 Softmax Loss： 2.2 NSL：Normalized Softmax Loss： 2.3 A-Softmax（S
Focal loss理解
jicong44的博客
11-27 1636
def focal(alpha=0.25, gamma=2.0): &amp;amp;amp;amp;amp;quot;&amp;amp;amp;amp;amp;quot;&amp;amp;amp;amp;amp;quot; Create a functor for computing the focal loss. Args alpha: Scale the focal weight with alpha. gamma: Take
Focal Loss理解
fly_time2012的专栏
03-11 5117
1. 总述 Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。 2. 损失函数形式 Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失： 是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。那
【目标检测】Focal Loss详解
Roaddd的博客
03-05 1241
论文题目：《Focal Loss for Dense Object Detection》 论文链接：https://arxiv.org/pdf/1708.02002.pdf 1. 前言        我们知道object detection的算法主要可以分为两大类：two-stage detector和one-stage detector。前者是指类似Faster RCNN，R-FCN这样需要region proposal的检测算法，这类
损失函数学习
weixin_46042803的博客
03-09 870
解决one-stage目标检测中正负样本不平衡什么是正负样本不平衡？为什么是解决一阶段目标检测器，那为什么二阶段不用解决呢？其中m为正样本个数，n为负样本个数，N为样本总数，m+n=N当样本分布失衡时，在损失函数L的分布也会发生倾斜，如m
Focal Loss介绍
chase
06-11 2534
Focal Loss介绍
Focal Loss的理解以及在多分类任务上的使用(Pytorch)
热门推荐
zhaoguanhua的博客
12-17 4万+
理解关键点一 二分类和多分类的交叉熵的区别 二分类交叉熵 多分类交叉熵 理解关键点二 多分类和二分类focal loss 理解关键点三 alpha到底该如何设置
focal loss详解
cxkyxx的博客
09-08 3万+
focal loss的整体理解 focal loss 是一种处理样本分类不均衡的损失函数，它侧重的点是区分样本是否容易辨认，即给容易区分的样本添加较小的权重α1\alpha_1α1​，给难分辨的样本添加较大的权重α2\alpha_2α2​.那么，损失函数的表达式可以写为： Lsum=α1×L易区分+α2×L难区分L_{sum}=\alpha_1\times L_{易区分}+\alpha_2\times L_{难区分}Lsum​=α1​×L易区分​+α2​×L难区分​ 因为α1\alpha_1α1​小而α2\
YOLO损失函数——SIoU和Focal Lossr损失函数解析
知来者逆的博客
05-15 9129
在深度学习的目标检测领域，损失函数扮演着至关重要的角色，它们不仅衡量模型预测与实际标注之间的差异，还引导模型参数的优化方向。SIoU (Shape-Aware IoU) 损失是一种用于边界框回归的先进损失函数，它综合考虑了形状、距离和纵横比的对齐，以提升模型的收敛速度和预测准确性。SIoU损失通过结合角度成本、距离成本、形状成本和IoU成本，优化了边界框的定位精度。
二分类问题的sigmoid交叉熵损失函数推导
大风车
09-23 9738
本文章参考deeplearning 一书第六章6.2.2.2 Sigmoid Units for Bernoulli Output Distributions 要建立一个模型，不可或缺的有：1、数据，2、损失函数，3、模型算法，4、优化算法。 今天我们讨论下损失函数这块。损失函数的设计，与模型最后输出的内容是有一定关联的。 对于大部分的任务（回归 or 分类）,最大似然估计的应用比较常见。最大似然估计是点估计的一种。「最大化 log likelihood」 可以间接理解为 「最小化交叉熵」。（...
facal loss和dice损失
最新发布
01-03
Focal Loss 是一种改进型交叉熵损失函数，旨在解决类别不平衡问题。该方法通过对难分类样本赋予更大权重来优化模型性能[^1]。 相比之下，Dice Loss 则基于 Sørensen-Dice 系数，用于衡量两个集合之间的相似度。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值