多标签的focal_loss(基于yolov3的confidence_loss修改)

最新推荐文章于 2024-12-26 10:46:54 发布

打小怪兽的大菜鸟

最新推荐文章于 2024-12-26 10:46:54 发布

阅读量936

点赞数 2

CC 4.0 BY-SA版权

文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/wodekelene/article/details/125768821

最近在修改yolov3的损失函数，想提升模型性能，了解了focal_loss,记录一下这脑子转不动的一天。

1.二分类Loss表达式

首先，了解一下损失函数。p为预测概率，值在0-1之间，y为真实标签，只有两个值，存在1（1）与否（0）。如果存在，则我们计算的算是就是预测准确的损失，否则就是预测不存在的损失。

2. Focal_loss表达式

二分类的focal_loss表达式时基于上式演化而来的，首先我们获得不同真实标签时，概率的表达式。

之后，我们将此概率代入focal_lossb表达式，如下图，其中pt的取值是根据真实标签获取的。

在这里插入图片描述

详细拆分后，具体公式如下所示：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

打小怪兽的大菜鸟

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

[论文笔记] 多标签分类的Focal loss

心宝的博客

03-03

1915

参考：多标签分类的Focal loss设计_打着灯笼摸黑的博客-优快云博客参考：图解Focal Loss以及Tensorflow实现（二分类、多分类） - ZH奶酪 - 博客园参考：多标签（200）分类问题能否使用Focal loss？ - 知乎 Focal Loss 是在论文 [Focal Loss for Dense Object Detection](http://arxiv.org/abs/1708.02002)中提到，主要是为了解决one-stage目标检测中样本不均衡的问题。 ...

【YOLO】单标签多分类、多标签分类及二分类概念区分

最新发布

浩瀚之水的专栏

05-13

128

在机器学习和深度学习中，分类任务根据样本与标签的关联方式可分为三种主要类型：二分类、单标签多分类和多标签分类。二分类适用于预测样本属于两个互斥类别中的一个，如垃圾邮件检测，使用Sigmoid函数和二元交叉熵损失。单标签多分类用于预测样本属于多个互斥类别中的一个，如图像分类，使用Softmax函数和交叉熵损失。多标签分类则用于预测样本可能属于多个非互斥类别，如医学影像诊断，使用Sigmoid函数和二元交叉熵扩展损失。

2 条评论您还未登录，请先登录后发表或查看评论

多标签分类的Focal loss设计

qq_39594939的博客

09-09

4981

多标签分类中存在类别不平衡的问题，想要尝试用focalloss损失函数，但是网上很少有多标签分类的损失函数设计，终于在kaggle上别人做的keras下的focalloss中举例了多标签问题： Focalloss for Keras 代码和例子如下： Focal loss主要思想是这样：在数据集中，很自然的有些样本是很容易分类的，而有些是比较难分类的。在训练过程中，这些容易分类的样本的准确率可以达到99%，而那些难分类的样本的准确率则很差。问题就在于，那些容易分类的样本仍然在贡献着loss，那我们为什么要给

OpenPCDet的多标签分类损失函数使用的是focal loss

W1995S的博客

04-02

1120

OpenPCDet的多标签分类损失函数使用的是focal loss，进行了自定义实现，代码如下： import numpy as np import torch import torch.nn as nn class SigmoidFocalClassificationLoss(nn.Module): """ Sigmoid focal cross entropy loss. """ def __init__(self, gamma: float = 2.0, alpha

【论文解读】一文详解RetinaNet | ＜Focal Loss for Dense Object Detection＞|源码详解多类别focal loss

熊猫小妖的AI世界

01-04

3972

目标识别有两大经典结构: 第一类是以Faster RCNN为代表的二阶段识别方法，这种结构的第一阶段专注于proposal的提取，第二阶段则对提取出的proposal进行分类和精确坐标回归。二阶段结构准确度较高，但因为第二阶段需要单独对每个proposal进行分类/回归，速度就打了折扣；目标识别的第二类结构是以YOLO和SSD为代表的单阶段结构，它们摒弃了提取proposal的过程，只用一级就完成了识别/回归，虽然速度较快但准确率远远比不上两级结构。那有没有办法在单阶段结构中也能实现较高的准确度呢？

多标签损失之HammingLoss(PyTorch和sklearn)、FocalLoss、交叉熵和ASL损失

weixin_52664417的博客

03-22

1134

多标签损失函数通常用于处理多标签分类问题。

YOLOv8改进 | 损失函数优化篇：SlideLoss与FocalLoss助力精细检测提升【YOLOv8】

步入烟尘的博客

12-01

1969

分类损失：用于判断目标的类别。定位损失：用于回归预测框的坐标。置信度损失：用于判断预测框中是否有目标。默认情况下，YOLOv8采用的分类损失函数为交叉熵损失（Cross-Entropy Loss）。尽管它表现优异，但在面对不平衡样本时可能会导致分类精度下降。因此，我们可以通过引入FocalLoss和SlideLoss来缓解这一问题。本文探讨了在YOLOv8模型中通过引入和优化FocalLoss和SlideLoss来提升检测性能的策略。

yolov5代码详解-compute_loss(p, targets, model)

a1874738854的博客

05-07

2312

def compute_loss(p, targets, model): # predictions, targets, model device = targets.device #创建用来保存三层特征图的损失 lcls, lbox, lobj = torch.zeros(1, device=device), torch.zeros(1, device=device), torch.zeros(1, device=device) #build_targets详见http.

YOLOv5系列(三十一) 本文(1.5万字) | 标签平滑(Label Smoothing) | Focal Loss损失函数 | 学习率预热Warmup |

专注于人工智能学习，总结

12-28

1733

标签平滑也可以称之为标签平滑归一化：Label Smoothing Regularization (LSR)，通常应用于文本分类任务，像L2和 dropout 等一样，它是一种正则化的方法，只不过这种方法是通过在 label 中添加噪声，从而实现对模型的约束。目的是防止模型在训练时过于自信地预测标签，防止过拟合，提高模型的泛化能力。有关标签可以参考如下论文（在机器学习模型中，对于每一个样本的预测值与真实值的差称为损失。显而易见，是一个用来计算损失的函数。

YOLOV8学习笔记2

yang的博客

05-29

3913

YOLOV8训练结果分析

一文理解多标签分类损失函数ASL(Asymmetric Loss)

热门推荐

Thomas_Cai的记忆殿堂

08-14

1万+

一文理解asl，从ce到focal loss到asl

基于TensorFlow的Focal Loss实现与多标签数据集支持

gitblog_00732的博客

12-26

815

基于TensorFlow的Focal Loss实现与多标签数据集支持 Focal-Loss-implement-on-Tensorflow The implementation of focal loss proposed on "Focal Loss for Dense Object Detection" by KM ...

YOLOv3 SPP理论详解(包括CIoU及Focal loss)

@bangbang的博客

08-04

865

IoU系列损失的发展历程，首先是从IoU Loss到GIoU Loss到DIoU Loss再到CIoU Loss,其中DIoU Loss 和CIoU Loss是在同一篇论文中讲到的。论文中对比了只在第一个预测特征层加SPP结构以及3个预测特征图都加上了SPP结构，分别是图中深黄色的折线。上面的图像展示了3组矩形框重叠的示例，3组矩形看可以看出最后一幅图的预测效果相对是比较好的，其中绿色的是。，长宽比在DIOU是没有的，新提出来的,在原来DIoU的公式上增加了一项。的边界框，黑色是预测的边界框。.......

『NLP学习笔记』多标签分类损失总结

AI新视界

04-09

1566

多标签分类：就是同一个实例，可以有多个标签，或者被分为多个类。

多标签分类损失函数与结果显示

Chi_Laidian的博客

05-28

275

菜鸟认知，大佬误喷网络输出格式为（num，num_class, h, w ）,标签为（num，h , w ），标签不进行独热编码，标签.unique =[0,1,2，3，···，num_class]，使用损失函数nn.CrossEntropyLoss()。预测结果显示以num=1为例 per.shape为（1，num_class, h, w ） def plt_predict(per,n_class): per_ = torch.sigmoid(per) per_ = p

多标签损失之Hamming Loss（PyTorch和sklearn）、Focal Loss、交叉熵和ASL损失

wuli_xin的博客

03-21

4052

多标签损失

多标签分类中的损失函数与评估指标

进击的扛把子

01-21

7552

文章目录1 引言2 方法一2.1 numpy实现2.2 TensorFlow实现2.3 Pytorch实现3 方法二3.1 numpy实现3.2TensorFlow实现3.3 Pytorch实现4 评估指标4.1 不考虑部分正确的评估方法4.2 考虑部分正确的评估方法5 总结引用 1 引言各位朋友大家好，欢迎来到月来客栈。在前面的一篇文章[1]中笔者介绍了在单标签分类问题中模型损失的度量方法，即交叉熵损失函数。同时也介绍了多分类任务中常见的评价指标及其实现方法[2]。在接下来的这篇文章中，笔者将会详细介绍

深度学习进阶，多个输出和多个损失实现多标签分类(1)

2401_84140442的博客

05-02

482

实施我们的“FashionNet”架构图 6：Keras 深度学习库具有执行多输出分类所需的所有功能。

focal EIOU loss

02-24

### Focal EIOU Loss Implementation and Explanation in Object Detection In the context of object detection, loss functions play a crucial role in training models to accurately predict bounding boxes around objects. The focal EIOU (Extended Intersection over Union) loss function is an advanced variant that addresses some limitations found in traditional IoU-based losses. The standard IoU measures how well two bounding boxes overlap but does not account for other factors like scale or aspect ratio differences between predicted and ground truth boxes. To improve upon this, researchers introduced variants such as CIoU (Complete IoU), DIoU (Distance IoU), and finally EIoU which considers three aspects: - **Overlap**: Measures intersection area relative to union. - **Scale Difference**: Accounts for size discrepancy by penalizing predictions with different scales more heavily. - **Aspect Ratio Distortion**: Penalizes distortions along both axes independently rather than just considering overall shape similarity[^1]. Focal loss modifies cross entropy so it focuses on hard examples during training while reducing contribution from easy negatives. Combining these ideas leads us to define focal-EIoU as follows: \[ \text{FL}(p_t)=\alpha(1-p_t)^{\gamma}\log(p_t)\] Where \( p_t \) represents prediction confidence score after applying sigmoid activation. For regression part we use modified version of EIoU where weights are adjusted according to difficulty level indicated through classification branch output. Here's Python code implementing focal EIoU loss: ```python import torch from torch import nn class FocalEIoULoss(nn.Module): def __init__(self, alpha=0.25, gamma=2.0, eps=1e-7): super(FocalEIoULoss, self).__init__() self.alpha = alpha self.gamma = gamma self.eps = eps def forward(self, pred_boxes, target_boxes, labels): """ Args: pred_boxes: Predicted box coordinates [batch_size, num_anchors, 4]. target_boxes: Ground-truth box coordinates [batch_size, num_anchors, 4]. labels: Classification scores indicating positive/negative samples [batch_size, num_anchors]. Returns: Total loss value combining classification and localization components. """ # Compute pairwise distances between centers c_x_p, c_y_p = pred_boxes[:, :, :2].split([1, 1], dim=-1) c_x_g, c_y_g = target_boxes[:, :, :2].split([1, 1], dim=-1) dist_center = ((c_x_p - c_x_g)**2 + (c_y_p - c_y_g)**2).sqrt() w_pred, h_pred = pred_boxes[:, :, 2:].split([1, 1], dim=-1) w_gt, h_gt = target_boxes[:, :, 2:].split([1, 1], dim=-1) iou_loss_term = _compute_eiou(pred_boxes, target_boxes) cls_focal_loss = -(labels * (1-labels)**self.gamma * torch.log(torch.sigmoid(labels)+self.eps)).mean()[^2] total_loss = cls_focal_loss + iou_loss_term.mean() return total_loss def _compute_eiou(box_a, box_b): """Helper function computing Extended IOU.""" # Calculate center points distance squared rho_squared = ... # Width/height difference terms v_w = ... v_h = ... # Regular IoU component ious = ... eious = ious - (rho_squared / ...) - (...*(v_w+v_h)/(...)) return eious ```