目标检测：VarifocalNet: An IoU-aware Dense Object Detector（CVPR2021）

原创

已于 2022-08-23 22:27:28 修改 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#目标检测 #人工智能 #深度学习

于 2022-08-17 22:35:26 首次发布

VarifocalNet是针对目标检测网络中分类与定位相关性低的问题提出的新方法。通过VarifocalLoss，星形边界框特征表达和精细化边界框调整，提高检测器的性能。实验表明，这种IoU感知的分类得分能有效避免高精度定位框被NMS误删，从而提升平均精度(AP)。

VarifocalNet: An IoU-aware Dense Object Detector
在这里插入图片描述

Motivation

文中第三章作者基于FCOS+ATSS网络的实验结果是本文的动机，首先对这个实验中的每个AP逐一解析：在这里插入图片描述

1	38.5：训练时没有centerness（ctr）分支
2	39.2：训练和测试时加入ctr分支，该方法设为baseline
3	41.1：基于baseline，把测试时的ctr换成label值，AP小幅提升0.9
4	43.5：基于baseline，把测试时的ctr换成预测框与gt框的iou，AP提升了4.3，比使用ctr高。

5	56.1：没有ctr分支，将测试时的bbox推理结果替换为gt bbox，分类结果仍是网络的预测结果
6	56.3：与上一个为对比实验，训练测试时多加入ctr，多引入的ctr只将AP提升了0.2。

7	43.1：没有ctr分支，将预测的分类结果替换为gt的类别标签，AP为43.1,只比实验1高4.6
8	58.1：与上一个为对比实验，多引入ctr分支，AP提升了15

9	74.7：没有ctr分支，将预测的分类结果替换为gt与预测框的IoU。
'''基于实验1，对比该实验和实验5，说明定位很准的框已经被预测

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cartes1us

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

yolov5改进VariFocalNet

jacke121的专栏

04-06

1万+

VariFocalNet | IoU-aware同V-Focal Loss全面提升密集目标检测(附YOLOV5测试代码) 准确地对大量候选检测器进行排名是高性能密集目标检测器的关键。尽管先前的工作使用分类评分或它与基于IoU的定位评分的组合作为排名基础，但它们都不能得到可靠地排名结果，这会损害检测性能。在本文中，作者提出学习可同时表示对象存在置信度和定位精度的IoU感知分类评分（IACS），以在密集对象检测器中产生更准确的检测等级。特别地本文还设计了一个新的损失函数，称为Varifocal损失，.

[VarifocalNet] VarifocalNet: An IoU-aware Dense Object Detector (CVPR. 2021oral)

Ah丶Weii

05-08

560

1. Motivation 之前的工作，使用分类分数或者结合分类和定位的分数来筛选候选框。 Prior work uses the classification score or a combination of classification and predicted localization scores to rank candidates. 在检测中的后处理操作中，一般会使用NMS，通过分类分数来对候选框进行排名，然而这会影响检测的性能，作者认为原因在于分类的分数不是总作为衡量bbox定位精.

参与评论您还未登录，请先登录后发表或查看评论

VarifocalNet: An IoU-aware Dense Object Detector

qq_52302919的博客

06-15

2012

准确地对大量候选框进行排序对于密集物体检测器实现高性能至关重要。之前的工作使用分类分数或分类和预测定位分数的组合来给候框排序。但是，这两种选择都不会产生可靠的排名，从而降低了检测性能。在本文中，作者提出IACS (IACS)作为目标在置信度和定位精度的联合表示。本文证明了密集物体检测器可以在IACS的基础上实现更精确的候选框的排序。...

VarifocalNet_ An IoU-aware Dense Object Detector

qq_41327720的博客

07-07

1666

现在的object detector无论是one-stage还是two-stage，通常都是先生成一组具有分类score的bbox集，然后通过NMS进行后处理来去除同一目标上面的重复bbox。在NMS中，FCOS之前一般使用cls score对bbx进行排序，这损害了检测性能，因为cls score并不总是很好的表示bbox的好坏。为了解决这个问题，之前要么多预测一个IoU分数，要么预测一个centerness score（FCOS），然后将其乘以cls score，将最后的结果作为NMS的排序依据。...

VarifocalNet: An IoU-aware Dense Object Detector(2021CVPR)

swust5120171204的博客

04-28

1318

Motivation 之前的目标检测中，在推理阶段使用NMS使用分类分数作为置信度对bbox排序是有问题的，因为分类分数与定位质量没有直接联系。后来基于这个问题，有许多解决办法： 1. 比如IOU net 中在回归分支中加了一个预测iou的分数，通过预测iou主导，cls分数作为辅助作为NMS的选取样本的依据。 2. iou -aware retina net 的话也是为了解决这个问题，但是他是直接在分类旁边加了一个iou预测分支。分类分数*iou分数作为最终置信度 2.Fcos 还

VarifocalNet: An IoU-aware Dense Object Detector(cvpr2021)

lt1103725556的博客

05-07

578

这篇文章的motivation跟上篇IQDet很像，只是这篇专门用实验说明了用IoU(浮点数)来代替分类target的1，同时实现类似label smooth的效果可以提高performance。但是这跟label smooth又有些区别，就是只有target类别是IoU值，其他还是0。这是否是相当于降低了loss? 根据mmdetection最小复刻版(十六)：iou感知VarifocalNet深入分析 - 深度眸的文章 - 知乎 https://zhuanlan.zhihu.com/p/2717575

【CVPR 2021】VarifocalNet: An IoU-aware Dense Object Detector的译读笔记

墨门

03-15

4846

Keywords: Varifocal Loss

目标检测论文阅读：VFNet算法笔记

qq_43631268的博客

01-19

1092

将大量候选检测准确地进行排序对于稠密目标检测器取得高性能来说是至关重要的。之前的工作使用分类分数，或者分类和预测的定位分数的组合来给候选框排序。然而，这二者都会导致不可靠的排序，使检测性能降低。本文提出学习一个IoU感知分类分数（IoU-Aware Classification Score，IACS）作为目标存在置信度和定位精度的联合表示。我们证明了稠密目标检测器可以基于IACS实现对候选检测更准确的排序。我们设计了一个新的损失函数训练稠密目标检测器来预测IACS，并提出了VFNet。

目标检测经典论文——Faster R-CNN论文翻译：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Net

bigcindy的博客

07-29

5557

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Faster R-CNN：通过Region Proposal网络实现实时目标检测 Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun Abstract State-of-the-art object detection networks depend on r...

VarifocalNet: An IoU-aware Dense Object Detector（CVPR 2021）原理与代码解析

00000cj的博客

05-07

1720

目前的目标检测模型，大都是先生成一组冗余的检测框，然后通过NMS过滤掉同一对象的重复检测框，一般来说，NMS中都是用分类得分对检测框进行排序。但是这有可能会降低模型的性能，因为分类得分并不总是能很好的评估检测框的定位精度，而且精确定位但分类得分低的检测框有可能被NMS误删。为了解决这个问题，现有的检测模型会预测一个额外的IoU score或centerness score来作为定位精度的评价指标，并把它们和分类得分相乘的结果作为NMS中排序的指标。这些方法可以缓解分类得分和定位准确度之间的不对齐misa

【目标检测】24、VarifocalNet: An IoU-Aware Dense Object Detector

呆呆的猫的博客

05-13

2451

文章目录一、背景二、动机三、方法3.1 IACS——IoU-Aware Classification Score3.2 Varifocal loss3.3 Star-Shaped Box Feature Representation4.4 Bounding-box refinement4.5 VarifocalNet四、效果五、代码5.1 修改数据集路径5.2 VFNet 代码已开源：https://github.com/hyz-xmaster/VarifocalNet 一、背景现有的目标检测器中，大多

VarifocalNet：IoU感知密集目标检测器

gitblog_01047的博客

08-21

576

VarifocalNet：IoU感知密集目标检测器项目介绍 VarifocalNet（简称VFNet）是一个在CVPR 2021上作为口头报告发表的创新性目标检测框架。该项目通过引入IoU感知分类分数（IACS）和Varifocal Loss（VFL），显著提升了密集目标检测器的性能。VFNet不仅能够准确地表示目标存在的置信度，还能精确地反映定位的准确性，从而在MS COCO基准测试中取得了领...

VarifocalNet-单阶段目标检测SOTA | VarifocalNet: An IoU-aware Dense Object Detector

weixin_42096202的博客

09-13

9550

新提出的单阶段检测网络（工作后看论文的时间越来越少）论文地址：https://arxiv.org/pdf/2008.13367.pdf Github地址：https://github.com/hyz-xmaster/VarifocalNet Abstract：对大量的候选检测进行准确排序对于优异表现的目标检测器来说非常重要。然而之前的研究工作使用分类得分或者与IOU-based定位得分联合起来作为排序的依据，它们都不能可靠地表示排序，这会损害检测性能。本文中，我们提出去学习IOU感知的分类得分(I.

VarifocalNet An IoU-aware Dense Object Detector 论文学习

calvinpaean的博客

07-25

296

密集目标检测器会预测出大量的候选检测框，如何准确地对它们进行排序是取得优异性能的关键。以前的方法通常会在 NMS 时根据类别得分对预测框做排序，但这可能损害模型表现，因为类别得分并不能体现边框定位的准确性，定位准确的边框可能会因为类别得分较低而被 NMS 错误地去除。现有的一些方法会预测一个额外的 IoU 得分或 center-ness 得分，表示定位质量。然后在 NMS 排序时将它们乘上分类得分。

VarifocalNet: An IoU-aware Dense Object Detector论文学习

calvinpaean的博客

04-10

3778

Abstract 密集目标检测器要想实现高准确率，准确地对大量的候选检测框做排序是非常重要的。之前的工作使用分类得分或将分类与预测定位的得分组合起来，对候选框做排序。但是，这些方法都很难得到一个可靠的排序，使检测表现退化。本文中，作者提出学习一个 IOU-aware 分类得分（IACS），结合起来表示目标出现的概率和定位的准确率。作者证明有了IACS，密集目标检测器可以实现更加准确的候选检测框的排序。作者设计了一个新的损失函数，叫做 Varifocal Loss，训练一个密集目标检测器来预测 IACS，提出

VarifocalNet: An IoU-aware Dense Object Detector——一种基于IoU感知的密集目标检测器

最新发布

Together_CZ的博客

07-09

1930

VarifocalNet: An IoU-aware Dense Object Detector——一种基于IoU感知的密集目标检测器

【论文解读】VarifocalNet：如何对候选框排序的最优方案

AI公园

02-09

593

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”导读GFL之后，又来了VarifocalNet，而且效果更好，一起来关注一下。代码：https://github.com/hyz-...

VarifocalNet (VF-Net)一种新型的目标检测网络

deephub

05-06

3467

引入IoU感知和Varifocal 来推动对象检测SOTA分数在MS COCO上进行的广泛实验表明，我们的VFNet通过使用不同的骨干来围绕2.0 AP不断地超过最强基线。我们最好的模型VFNet-X-1200与Res2Net-101-DCN在COCO测试开发上实现了单模型单尺度AP 55.1，这是各种目标探测器中最先进的。几周前，当我在做一个物体检测Kaggle竞赛时，我偶然发现了VarifocalNet。我非常惊讶地看到它与许多SOTA对象检测模型(如YoloV5和EfficientDet)相匹

新文预览 | IoU-aware Single-stage Object Detector for Accurate Localization

晓飞的算法工程笔记

01-06

2535

论文基于RetinaNet提出了IoU-aware sinage-stage目标检测算法，该算法在regression branch接入IoU predictor head并通过加权分类置信度和IoU预测值得到anchor的最终分数，从实验结果看来，算法能有效提升定位的准确率论文:IoU-aware Single-stage Object Detector for Accurate Loca...

Varifocalnet: An iou-aware dense object de tector

04-03

### VarifocalNet 的工作原理 VarifocalNet 是一种基于 FCOS 和 ATSS 架构的 IoU 感知密集目标检测器，旨在通过改进候选框排序机制提升检测性能。其核心创新在于引入 IACS（IoU-Aware Confidence Score），并设计了新的损失函数——Varifocal Loss 以及星形锚框特征表示方法。 #### 1. **IACS 定义** IACS 被定义为分类得分向量中的标量元素，在 ground-truth 类标签位置上的值等于预测边界框与其对应的 ground truth 边界框之间的 IoU 值，而其他位置则设置为零[^3]。这种方法使得模型能够同时考虑目标存在的置信度和定位精度，从而提供更加可靠的候选框排序依据。 #### 2. **Varifocal Loss** 为了优化 IACS 预测，作者提出了一种新的损失函数——Varifocal Loss。该损失函数不仅关注正样本与负样本之间的区分能力，还进一步强调高 IoU 正样本的重要性。具体而言，Varifocal Loss 可以动态调整不同类别样本对总损失的影响权重，从而使模型更好地聚焦于高质量的目标区域[^1]。以下是 Varifocal Loss 的计算公式： ```python def varifocal_loss(pred, target, beta=2.0): pt = torch.where(target == 1, pred, 1 - pred) focal_weight = (target * (1 - pred)**beta + (1 - target) * pred**beta).detach() loss = F.binary_cross_entropy_with_logits( pred, target, reduction='none') * focal_weight return loss.mean() ``` #### 3. **星形锚框特征表示** 传统的锚框表示方式可能无法充分捕捉复杂场景下的目标形状变化。因此，VarifocalNet 提出了星形锚框特征表示法，通过对初始锚框进行微调来适应实际目标的位置偏移和尺度差异。这种表示方法有助于提高模型对目标边界的敏感程度，并增强最终预测的质量。 #### 4. **整体框架结构** VarifocalNet 结合上述技术模块构建了一个完整的端到端解决方案。它继承自 FCOS+ATSS 架构，但在以下几个方面进行了显著改进： - 使用 IACS 替代传统分类分数； - 引入 Varifocal Loss 进行更高效的监督信号传递； - 利用星形锚框特征表示改善回归分支的表现。这些改动共同作用下，使 VarifocalNet 成功实现了更高的 AP（Average Precision）指标表现[^2]。 --- ### 实现细节在 PyTorch 中实现 VarifocalNet 主要涉及以下部分： 1. 数据预处理：加载图像数据集并对输入图片执行标准化操作。 2. 模型搭建：按照论文描述创建主干网络（如 ResNet）、FPN 层次化特征提取层以及头部组件（包括分类头、回归头等）。 3. 训练流程配置：设定超参数（学习率调度策略、批次大小等），指定使用的损失函数形式（即 Varifocal Loss），最后完成前向传播与反向梯度更新过程。下面给出一段简化版代码片段展示如何初始化模型及定义主要组成部分之一—分类头的设计思路： ```python import torch.nn as nn class VFNetClsHead(nn.Module): def __init__(self, num_classes, in_channels): super(VFNetClsHead, self).__init__() self.conv_cls = nn.Conv2d(in_channels, num_classes, kernel_size=3, padding=1) def forward(self, x): cls_score = self.conv_cls(x) return cls_score.flatten(start_dim=2).permute(0, 2, 1) ``` ---