RetinaNet:Focal Loss for Dense Object Detection

论文笔记:RetinaNet(Focal Loss for Dense Object Detection) 文章目录1、摘要2、介绍3、相关研究3、焦点损失3.1、平衡交叉熵3.2、焦点损失定义3.3、类不平衡和模型初始化3.4、类不平衡和 two-stage 检测器4、RetinaNet 检测器4.1、训练 1、摘要 one−stageone-stageone−stage 检测器对目标可能的位置进行密集采样,相比于 two−stagetwo-stagetwo−stage 方法更简单、速度更快,但是精度... 阅读详情

Focal Loss for Dense Object Detection

论文地址:https://arxiv.org/pdf/1708.02002.pdf
何凯明 ICCV 2017 best student paper
论文核心:提出了一种用于单阶段目标检测算法的聚焦损失函数

论文的出发点

读完本论文后,这里我自己总结一下。
论文的出发点总结了当前两阶段目标检测算法和单阶段目标检测算法的优缺点。

两阶段目标检测算法:
  • 第一阶段能过滤掉无关背景,第二阶段更精细化包围框回归,所以两阶段目标检测算法精确度更高;
  • 由于有两个阶段,算法训练与检测都很耗时,实时性上没有单阶段目标检测算法好;
单阶段目标检测算法:
  • 只有一个阶段,直接利用生成的anchor框进行回归,生成的anchor框中存在着大多数的无关背景,单阶段算法的精确度没有两阶段算法高;
  • 只有一个阶段,没有第一阶段进行前景和背景的选择,时效性更好,更便于落地;
作者的出发点:

作者对比了单阶段与两阶段的目标检测算法,发现两者各自都有优缺点。所以作者产生了一个思路,想训练和学习一个单阶段目标检测器,能够保证时效性的同时也提高其准确率提升到两阶段目标检测算法的水平。

发现问题

作者的出发点已经确定了,那么下面几个问题需要解决:

  • 两阶段目标检测算法有第一阶段淘汰大量的无关背景anchor,那么单阶段目标检测算法的准确度低是什么原因造成的呢?
imbalance encountered during training of dense detectors is the
central cause


To achieve this result, we identify class imbalance during training
as the main obstacle impeding one-stage detector from achieving
state-of-the-art accuracy and propose a new loss function that
eliminates this barrier. ```

所遇到的极端的前景背景类不平衡是中心原因

问题解释

因为anchors/default boxes近似于sliding window的方式会使正负样本接近1000:1,而绝大部分负样本都是easy example,这就导致gradient被easy example主导: 这些easy example虽然loss很低,但由于数量众多,对于loss依旧有很大贡献,从而导致收敛到不够好的一个结果。

训练集存在着类别不平衡导致训练是低效的,因为大多数位置都是简单的负样本,没有提供有用的学习信号;
总的来说,简单的负样本会压倒训练,导致退化模型。 一个常见的解决方案是执行某种形式的硬负样本挖掘

两阶段目标检测算法是如何解决类别不平衡问题的?

它们通过两种机制来解决类不平衡:(1)两阶段级联和(2)biased minibatch sampling 。

  • 两阶段级联:也就是通过第一阶段过滤掉大量的背景框,保留可能性最高的前景框,比如FasterRCNN中第一阶段生成的anchor有上万个,通过RPN过滤掉大多数前景框,只保留300-2000个anchor
  • biased minibatch sampling:也就是很典型的硬负样本挖掘,一般使得正负样本的比例为1:3

解决问题

如何解决单阶段目标检测算法中的极端背景和前景的类别不平衡问题呢?

作者的思路是修改交叉熵分类损失函数!!!

目的:

修改交叉熵损失函数的目的就是为了使得简易样本对损失函数的贡献变小,使得损失函数的贡献集中到硬负样本上来。

Cross Entropy 交叉熵损失

传统的二分类交叉熵损失函数是
在这里插入图片描述

所以交叉熵损失函数也可以写成:
在这里插入图片描述

Balanced Cross Entropy 平衡交叉熵损失

一个解决类别不平衡的公认的方法是为正类添加比例因子a和为负类添加比例因子1-a。
作者将这这种方法引入的平衡损失函数作为改进算法的baseline.

在这里插入图片描述

对于平衡交叉熵损失的理解,举例一个正样本p=0.9,一个负样本p=0.1,这两个样本都分类错误。
正常的交叉熵损失loss = -0.9log0.9 - (1-0.1)log(1-0.1)=-(0.9log0.9+0.9log0.9)。
从公式上来看,这两个样本分类错误对损失函数做出的贡献是一致的。

举例加上平衡因子a=0.75后,计算的平衡交叉熵损失为loss=-0.75*(0.9log0.9)-0.25*(0.9log0.9)=-3/4*(0.9log0.9+1/3*0.9log0.9)

这相当于在损失函数上惩罚了负样本。
因为生成的anchor中绝大多数都是负样本,所以惩罚负样本能够使得损失函数更多的看重正样本分类错误的损失。
其实这么做的目的和难样本挖掘使得正样本和负样本的比例为1:3的思想抑制,只不过难样本挖掘是减少负样本参与训练的数量,平衡交叉熵损失是减少负样本对与损失函数的贡献。

**

Focal Loss

作者设计了一个损失函数对交叉熵损失函数进行改进

在这里插入图片描述

关于聚焦损失函数的优点:
  • 当一个例子被错误分类且pt较小时,调制因子接近1,损失不受影响。 由于pt→1,因子变为0;
  • 当分类良好的例子,pt较大,调制因子接近0,比如的0.12*log0.9损失相比交叉熵损失log0.9是向下加权的,这表明了简单的样本对于损失函数的贡献明显被抑制,使得损失函数更多的关注硬负样本,相对比平衡交叉熵损失仅仅只是抑制某一类样本而言更能够使得损失函数更多的关注于硬负样本;
  • 根据图中显示,聚焦参数γ平稳地调整简单样本被降权的速度。
    在这里插入图片描述

通过Focal Loss构造单节段目标检测器

在这里插入图片描述

观察这个网络结构,基本上就是单阶段FPN+Focal Loss
classification子网是一个全卷积网络,仅仅使用3*3的卷积层,分类子网预测每个A锚和K个对象类在每个空间位置的对象存在的概率。

在这里插入图片描述
box regression子网也是一个全卷积网络,
在这里插入图片描述

实验结果

在这里插入图片描述

用到的技巧

  1. FPN中anchor的设置;
  2. 基于速度与精确度的权衡;
【目标检测】Retinanet:Focal Loss for Dense Object Detection 今天介绍一篇目标检测的文章,来自FAIR研究院 相关文献:Focal Loss for Dense Object Detection Motivation: 在two-stage检测器大行其道的今天,作者探究了one-stage 检测器在精度上不如two-stage检测器的原因。他们认为,one-stage检测器规则的密采样候选框的机制,会在采框过程中产生大量负样本,这种在训练时的前景-... 阅读详情

相关推荐

【目标检测系列:八】RetinaNet Focal Loss for Dense Object Detection

ICCV 2017 Focal Loss for Dense Object Detection github 解决类别不平衡,提出 Focal loss 解决one-stage目标检测中正负样本比例严重失衡的问题 该损失函数降低了大量简单负样本在训练中所占的权重 Introduce two stage (proposal-drived mechanism) the first stage g...

鹿鹿的博客 1123

Focal Loss for Dense Object Detection

摘要 精度高的two stage 目标检测算法流行于R-CNN,它们分类器运用了一系列稀疏的候选框目标定位;而one stage目标检测则是对可能的目标定位运用了一系列的有规律、密集的采样,更简单也更快,但是精度不如two stage。 在这篇文章中,我们将探究是什么原有导致了这个现象。 我们发现在dense detectors 训练期间,前景和背景种类不平衡现象加剧了,这是导致dense detectors精度不够sparse detectors 的主要原因。 我们通过修改标准的交叉熵损失来处理这个问题。

chairon的博客 3542

【论文精读】Focal Loss for Dense Object Detection(RetinaNet)全文翻译及重点总结

有最高准确率的目标检测器是基于R-CNN的二阶段检测方式。二阶段检测的分类器从稀疏的目标候选区域提取目标位置。相反,一阶段的检测器是从大量可能的目标区域中提取目标位置,因此有潜力去提升速度和简化模型。但是,一阶段的目标检测器的准确率却远不如二阶段。在本文中,我们研究了为什么会这样。我们发现了在一阶段目标检测器(多bbox)训练时,前景和背景类别的极端不平衡是主要原因。我们提出了解决这种不平衡的办法:把标准的交叉熵损失替换成对于分类良好样本的轻量级损失——Focal Loss。新型的Focal Loss

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 19万+

目标检测 | RetinaNet:Focal Loss for Dense Object Detection

论文分析了one-stage网络训练存在的类别不平衡问题,提出能根据loss大小自动调节权重的focal loss,使得模型的训练更专注于困难样本。同时,基于FPN设计了RetinaNet,在精度和速度上都有不俗的表现 论文:Focal Loss for Dense Object Detection 论文地址:https://arxiv.org/abs/1708.02002 论文代码:ht...

weixin_41526899的博客 797

【论文阅读笔记】RetinaNet:Focal Loss for Dense Object Detection

【论文阅读笔记】Focal Loss for Dense Object Detection(一)论文地址:(二)核心思想:(三)One-stage 方法的问题:(四)Focal Loss:(五)参数选取:(六)RetinaNet:(七)实验结果: (一)论文地址: https://arxiv.org/pdf/1708.02002.pdf (二)核心思想: 这篇论文中作者探究了 one-stage ...

梁瑛平的博客 722

百度网盘开放平台OAuth 2.0授权全流程解析

本文详细解析了百度网盘开放平台OAuth 2.0授权全流程,包括创建应用、获取凭证、授权码模式详解以及access_token的使用与刷新。通过实际案例和代码示例,帮助开发者快速掌握接口调用技巧,避免常见错误,确保安全高效地接入百度网盘API。

wind6的博客 1271

Focal Loss for Dense Object Detection:RetinaNet

Focal Loss for Dense Object Detection:RetinaNetRetinaNetmmdetection配置文件分析BackboneNeckHeadFocal Loss网络修改Reference RetinaNet mmdetection配置文件分析 1.retinanet_r50_fpn_1x_coco.py model = dict( type='RetinaNet', # 检测器名称 pretrained='torchvision://resnet50'

beishang0031的博客 402

Ubuntu更新后VirtualBox报错rc=-1908?手把手教你修复Kernel driver not installed

本文详细解析了Ubuntu更新后VirtualBox报错rc=-1908的原因,并提供了完整的修复方案。通过重新安装VirtualBox、处理DKMS内核模块以及解决Secure Boot问题,帮助用户快速恢复虚拟机功能。特别针对Kernel driver not installed错误,给出了从诊断到修复的详细步骤。

weixin_42519781的博客 341

论文阅读:【RetinaNet】Focal Loss for Dense Object Detection

论文地址:https://arxiv.org/pdf/1708.02002.pdf 代码: Pytorch , tensorflow 创新点: 这篇文章重新定义目标检测中loss损失函数,引入一种新的Focal loss 用来替代 one-stage中的损失函数,作者分析 two-stage 检测方法精度优于one-stage主要由于easyeasyeasy识别样本类别与hardhardhard识...

Rock的博客 1060

STM32CUBEMX+STM32H750VB+LWIP+LAN8720A+FREERTOS TCP服务器、UDP数据接收发送、网线热插拔、IAR-8.32开发

STM32CUBEMX+STM32H750VB+LWIP+LAN8720A+FREERTOS TCP服务器、UDP数据接收发送、网线热插拔、IAR-8.32开发STM32H750VB使用STM32CUBEMX生成工程IAR+J-LINK调试准备工作CUBEMX生成的代码问题所在如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章U

qq_37433166的博客 5346

Ubuntu20.04配置PX4环境启动或编译jmavsim 出现的错误及解决办法

错误1:ant命令未找到

Iamsonice的博客 8858

Focal loss与RetinaNet: Focal Loss for Dense Object Detection

本篇文章详细解读了Focal loss这篇文章的技术原理和同时提出的网络RetinaNet。

白纸的专栏 545

STM32芯片解锁读写保护:更改Option Byte [Error已解决]

解锁读保护:STLink更改Option Byte 变Level从1变为0,点击Apply即可。(程序执行读保护,其实是将Level从0变为1) 默认情况下该保护功能是不开启的,若要开启该功能,需要改写内部FLASH选项字节(Option Bytes)中的配置。 RDP读保护级别 级别0,无保护, 级别1,使能读保护, 这种保护下,若使用调试功能(使用下载器、仿真器)或者从内部SRAM自举时都不能对内部FLASH及备份SRAM作任何访问(读写、擦除都被禁止); 当芯片处于级别1的时候,可以把选项字节

HowieXue 薛永浩的博客 2万+

RetinaNet:Focal Loss for Dense Object Detection(CVPR2018)

调查了为什么一阶段检测器精度不如两阶段检测器。发现,在密集检测器训练过程中遇到的极端前景-背景类不平衡是主要原因,因此提出了著名的焦点损失

qihshe的博客 1097

YOLOv11涨点改进| TGRS 2026 | 独家创新首发、特征融合改进篇| 引入STSAM协同时空注意力融合模块,发论文热点创新,注意力能够互相引导强化边界和结构细节,增强目标检测、图像分割涨点

🔥本文提出了一种改进YOLOv11网络模型的STSAM协同时空注意力融合模块,用于提升高分辨率遥感变化检测的精度。STSAM通过并行处理全局跨时相注意力和局部坐标注意力,能有效聚焦真实变化目标,强化边界和结构细节。该模块包含两个分支:Cross-Attention分支通过时间嵌入增强双时相特征的时间差异,CoordAtt分支则强化局部结构细节。实验表明,STSAM能显著提升变化检测性能,同时保持训练稳定性。文章详细介绍了模块结构、原理、优势,并提供了完整的核心代码实现和配置方法,包括三种改进方案。

Ai缝合怪、助力小伙伴高效发论文 218

美团mtgsig 1.2算法分析

mtgsig1.2的一些算法总结

记录一些web逆向的过程 3506

论文阅读:RetinaNet:Focal Loss for Dense Object Detection

1、网络总述 这篇paper看似只是提出了一个Focal loss损失函数,但是这是在深刻分析了one_stage和two_stage检测器的基础上,得出one-stage不如two_stage的本质原因是:anchors的类别不均衡,类别不平衡容易导致分类器训练失败,因为分类可以把所有的样本都分为负样本,照样准确率很高。 【注】: 这里的类别不均衡既有正负样本的不均衡,也包括易分类负样本...

j879159541的博客 698

Python爬虫实战:全面采集国家自然科学基金项目数据的全流程指南

国家自然科学基金委员会(NSFC)支持基础研究、应用基础研究,是我国科研投入的核心项目之一。公开的项目数据包括项目名称、负责人、资助金额、年度、单位等,具备极高科研和数据分析价值。requests:基础HTTP请求库,简单直观:异步HTTP请求库,适合大规模并发:HTML解析,提取数据:处理JavaScript渲染网页pandas:数据分析与清洗:数据库存储:重试机制实现。

2201_76125261的博客 753

论文RetinaNet :Focal Loss for Dense object Detection阅读笔记

论文RetinaNet <>阅读笔记 1.摘要 迄今为止最高精度的对象检测器基于由R-CNN推广的 two-stage 方法,其中分类器应用于稀疏的候选对象位置集。相比之下,在可能的物体位置的规则,密集采样上应用的 one-stage 探测器具有更快和更简单的可能性,但迄今为止已经落后于 two-stage 探测器的精度。在本文中,我们调查为什么会这样。我们发现在密集探测器训练过程中遇到的极端前景 - 背景类不平衡是其中心原因。我们提出通过重塑标准交叉熵损失来解决这种类不平衡问题,从而降低分配

lanpangzi33的博客 587

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: RRPN:Arbitrary-Oriented Scene Text Detection via Rotation Proposals
下一篇: HyperNet:Towards Accurate Region Proposal Generation and Joint Object Detection
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值