【文章解读】FreeAnchor: Learning to Match Anchors for Visual Object Detection

最新推荐文章于 2024-04-14 09:32:31 发布
原创 最新推荐文章于 2024-04-14 09:32:31 发布 · 1.8k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自动驾驶 #pytorch #深度学习 #目标检测

探讨FreeAnchor方法如何革新目标检测领域，通过改进传统Anchor分配机制，解决目标偏心和遮挡问题，提高检测精度。

一、简介

     这些年已经有不少基于深度学习的目标检测的文章了，从最开始的Anchor based 到后来的 Anchor Free。但是解读这篇文章，主要是由于他的出发点比较新颖---Free Anchor。

     虽然叫Free Anchor，但是依然是Anchor based的方法，只不过他打破了一直以来的Anchor分配机制。

二、回顾Anchor分配机制

    

       上图是来自于SSD的分析，对于不同尺度大小的feature map，每个pixel都会负责预测k个框，这个k就是预先设置好的Anchor数量，图中的虚线框也就是anchor。

        以前，在进行对于所有预测出来的结果box，进行loss计算的时候，会将anchor+偏移=结构box，与groundtruth进行比对，这个比对的过程就是利用IoU，只要预测框与目标物体的框IoU达到了一定阈值，那么这个框就算是正样本，当然如果一个anchor与多个目标物体都达到了阈值怎么办？直接选IoU最大的就好了！

        其他的都是负样本～～～，当然训练过程中会设置正负样本的比例，因为通常负样本会很多！

        这个方式，看似非常的合理，并且一直沿用至今，实际应用中也是非常有效的！但是这个方式毕竟也是经验式的！

        大家可以看下面这例子：

                          

        看完这两张图，想必大家不说也懂我想说什么了！！！！！嗯～～～～，词穷～～～～！因为现实世界中很多的目标物体，并不是规则，比如月亮，他们是偏心的！这也就导致了越是中心的点的feature 越是背景！无法代表这个目标，红色框与绿色框虽然IoU很高，如果按照传统方式判定为正样本！显然不好！

三、回到文章中来

       在文章中，把传统的Anchor分配方式称之为“IoU restriction”！文章对于传统方式给出了两方面的评价：1、并不是所有的目标物体都是规则的，很多时候物体是偏心的，瘦长的！或者说物体会被遮挡，比如图像中猫挡住了笔记本电脑，导致了笔记本电脑属于偏心的目标！2、On the other hand, it is infeasible to match proper anchors/features for objects using IoU when multiple objects come together.我感觉这句话有点重复吧，总之就是说传统的方式不灵活！毕竟对于不灵活，不智能的点进行优化，基本上都能提升效果！

     文章提出了自己的方法，并且把这个方式和损失函数联系起来，从而可以优化！和损失函数联系起来的方式叫“极大似然估计”，添加上负号和log，就得到了可以最小化的损失！

 

        上图中，上半部分是传统的anchor分配方式，基于这种方式无论这个pixel位置是否包含了“有效特征”，只要IoU达到了就是正样本！在计算损失函数的时候，就比必须带上它！这个时候，基本上我们也就发现问题了：引入了基于背景特征的正样本！强行让背景信息预测！

       这个公式就是传统的训练损失，A是anchor的集合，A_代表饿了没有配上正样本的那些，因此就是负样本。B代表了label中的目标全体，Cij则是0，1值，用于表示第i个目标和第j个anchor配上了。分类用BCE损失，回归用SoomthL1.

      在本文中，利用极大似然的想法来建立损失函数：因此上面的损失函数就可以转换为如下公式：

 四、文章核心       

     上面的公式中，“类别”和“回归”这两部分是分开计算的！本文的以思想就是，一个pixel位置是否能够预测box，应该具有两个特点：“能够拥有高的分类置信度” 以及 “框的IoU也高”。

        引入这两个公式，对应了常会用到的：召回率 与 精度，两个指标。对于召回率而言，需要为每个目标都能提供至少一个anchor，并且基于这个anchor的两类特性都应该接近对应的label。对于精度而言，“classify the anchors of poor localization into the background class”

        

       这个部分代表了，第j个anchor与所有的目标b都没有配对上的概率，这个概率的计算来自以上的计算方式，1-能配上的最大概率。当然，想要在网络模型中计算，就要建立一些公式来实现：

                                          

到这里，也就基本上知道这个网络需要优化的目标函数的计算方式了：

五、最最最核心部分到了

      损失函数，需要把极大似然换成最小化的形式。

      那么如果只是简单的使用max来完成，Free Anchor，显然大家会觉得有点敷衍！！！而且效果肯定也不太行，原因如下：训练初期，所有的anchor置信度都很低，那么这个时候选一个max的？有没有意义？（我觉得这应该也是可以的，现实一种随机，或者平均？有没有大佬说一说？）

       处于上面这个原因，作者提出了一种替代直接使用max的方法：

                 

     这个函数，一开始会是一种平均策略，随着训练的加深，anchor们的，置信度开始出现差异，最终是一个max。因此进一步优化后的损失函数如下，加入了两个权重和focal loss：

   Ai怎么来的呢？就是对于bi这个目标，利用IoU，从anchor们中选择top n个，就形成了一个A i 子集。文中原话如下：

六、效果对比

 

[FreeAnchor]FreeAnchor: Learning to Match Anchors for Visual Object Detection[NeurlPS 2019]
Ah丶Weii
01-11 470
paper:https://arxiv.org/pdf/1909.02466.pdf code:https://github.com/zhangxiaosong18/FreeAnchor33rd 文章目录1. Motivation2. Contribution 1. Motivation 2. Contribution
FreeAnchor: Learning to Match Anchors for Visual Object Detection阅读
p1048052071的博客
09-16 3251
摘要 现在基于CNN的算法都是使用IOU对目标分配Anchor，我们提出一种方法打破了IOU的限制，允许自由的分配Anchor。我们的方法，称为自由锚（FreeAnchor），将手工锚分配升级为“自由”锚匹配。 FreeAnchor的目标是学习最能分类和定位的特征。FreeAnchor可以和基于CNN的检测器随意融合。 介绍 为了使用有限卷积特征表示具有各种外观，纵横比和空间布局的物体，大...
《FreeAnchor: Learning to Match Anchors for Visual Object Detection》笔记
qq_24548569的博客
09-23 2038
Introduction 在目标检测中，从图片上预测出一些region proposals，这些region proposals会与预先设置好的anchors进行匹配，匹配的方式是nms，超过给定IoU阈值就匹配，否则不匹配。这种通过IoU指标进行匹配有缺点：在空间上对齐的region proposal，从它提取出来的特征不一定能够很好地预测object的类别和位置。论文给出了例子，对于长条形状的...
FreeAnchor: Learning to Match Anchors for Visual Object Detection论文详解
Suan2014的博客
09-18 1495
问题 在基于anchor的目标检测算法中，训练时，通常通过anchor和真实object 框之间的IoU来决定该anchor是否用来预测object （包括类别和位置），通常IoU超过某一阈值则认为该anchor为正例（即作为预测object ），小于某一阈值则认为该anchor为背景。本文的思想就是通过修改loss函数去除人工参与指定anchor的过程，使网络能够自主学习选择哪个anchor和真...
FreeAnchor: Learning to Match Anchors for Visual Object Detection论文翻译阅读 - 2019NIPS
深度检测的博客
08-15 649
FreeAnchor: Learning to Match Anchors for Visual Object Detection论文翻译阅读 目录：FreeAnchor: Learning to Match Anchors for Visual Object Detection论文翻译阅读一、Abstract二、IntroductionContributions三、The Proposed Approach3.1 Detector Training as Maximum Likelihood Estima
FreeAnchor:Learning to match anchors for visual object detection论文翻译.doc
02-20
FreeAnchor: 学习匹配锚点的视觉对象检测 FreeAnchor是针对当前基于卷积神经网络(CNN)的视觉对象检测方法的一种改进，它提出了一个新颖的“学习匹配”策略，旨在摆脱对锚点(Anchor Box)与目标交并比(IOU)限制的依赖...
论文阅读：FreeAnchor: Learning to Match Anchors for Visual Object Detection
j879159541的博客
03-17 346
文章目录1、论文总述2、手工设计的基于IOU的anchor分配的不合理3、anchor与GT匹配时的3个准则4、一种可以借鉴的性能对比方式 1、论文总述 本篇论文并不是anchor-free检测模型，是在RetinaNet的基础上进行改进，原先的正负样本分配都是根据手工设计的anchor与GT的IOU，作者认为这样不好，就想自适应的选择anchor作为正样本，具体做法：从IOU值较高的许多anchor中，让网络自己选择正样本（free anchor是这个意思），这块好像是用的最大似然估计做的，该过程从每个对
FreeAnchor:Learning to match anchors for visual object detecti翻译.pdf
01-20
FreeAnchor:Learning to match anchors for visual object detecti翻译.pdf
FreeAnchor
dekiang
10-28 425
目录1. Motivation2. FreeAnchor2.1 Detector Training as Maximum Likelihood Estimation2.2 Detection Customized Likelihood 论文：FreeAnchor: Learning to Match Anchors for Visual Object Detection 来源：NIPS 2019 1. Motivation 2. FreeAnchor 2.1 Detector Training as Max
目标检测算法——FreeAnchor
weixin_43489950的博客
09-28 195
https://zhuanlan.zhihu.com/p/83069493
2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud
u010260681的博客
06-15 1129
整体网络架构是这样： 基本上是堆积起来的网络，一共三条分支 1:image 2d feature 提取 2:正样本point cloud pointnet feature提取，3：负样本point cloud pointnet feature 提取 ，最后直接soft-margin triplet loss。 2d输入的是image 的patches， 3d输入的是volume。 2d使用vgg网络，3d使用pointnet网络直接从特征层获取feature partches...
FreeAnchor：抛弃单一的IoU匹配，更自由的anchor匹配方法 | NIPS 2019
晓飞的算法工程笔记
05-11 838
论文抛弃以往根据IoU硬性指定anchor和GT匹配关系的方法，提出FreeAnchor方法来进行更自由的匹配，该方法将目标检测的训练定义为最大似然估计(MLE)过程，端到端地同时学习目标分类、目标检测以及匹配关系，从实验来看，效果十分显著   来源：晓飞的算法工程笔记 公众号 论文: FreeAnchor: Learning to Match Anchors for Visual Object Detection 论文地址：https://arxiv.org/abs/1909.02466v1 论文.
深度学习（11）之Anchor-Free详解
yohnyang的博客
07-02 7903
在生成目标候选框阶段，排名top-k的左上角和右下角角点被从heatmaps中选择出来，然后，计算一对角点间的嵌入向量的距离，如果距离小于预设的阈值，就认为这两个点属于同一个物体，就会根据这两个角点生成一个bounding box，同时，根据两个角点的得分计算一个平均分数作为该bounding box的得分。然后在预测的时候，如果top-left的corner和bottom-right的corner的embedding值特别接近，比如一个是1.2另一个是1.3，那么这两个很有可能属于一个目标；
SIGIR 2020 | 一文综述Learning to Match各种方法对比
abcdefg90876的博客
08-06 1008
作者：坏星星是大脸猫链接：https://zhuanlan.zhihu.com/p/163358322编辑：深度传送门这是一篇SIGIR 2020上的关于Learning to Matc...
CVPR2020 | 论文阅读——Multiple Anchor Learning for Visual Object Detection
Liaojiajia-Blog
07-22 2342
@[TOC]( 论文地址：https://arxiv.org/abs/1912.02252 开源代码： https://github.com/KevinKecc/MAL 本文亮点： Abstract 1 Introduction 2 Related Work 3 Method 3.1 Network Architecture 3.2 Feature Selection Module 3.3 Dynamic Refinement Head 3.4 SKU110K-R Dataset 4 Experiment
探索FreeAnchor：智能目标检测的新纪元
gitblog_00062的博客
04-14 493
探索FreeAnchor：智能目标检测的新纪元 在计算机视觉领域，目标检测是核心任务之一，而FreeAnchor（）是一个创新的深度学习框架，专注于解决这一问题。本文将带你深入了解FreeAnchor的技术实现、应用场景及其独特优势。 项目简介 FreeAnchor由Zhang Xiaosong开发，它抛弃了传统的预定义锚框（anchor）机制，转而采用自适应的学习策略，让模型能够自我确定有效的检...
文章记录Group Sampling+freeanchor
葫芦与瓢的博客
09-17 547
1 groupsampling for scale invariant face detection 问题，训练样本中存在两种不均衡： 1 正负样本不均衡，负样本个数远大于正样本个数。 2 不同尺度上训练样本不均衡：比如retinaface在三个尺度上进行人脸检测，每隔尺度上的训练样本个数不均衡（由于基于iou的anchor匹配策略，小的物体更不容易找到合适的anchor）： 不同的方式对应的a...
FreeAnchor 原理与代码解析
00000cj的博客
02-21 1065
论文FreeAnchor: Learning to Match Anchors for Visual Object Detection 官方代码https://github.com/zhangxiaosong18/FreeAnchor 作者指出IoU-based label assignment对于acentric, slinder, crowded objects，其正负样本的分配可能效果不好。比如以下图的月亮为例，其中绿框是gt box，红框是anchor，在基于IoU的规则下可...
-Object Detection: 啥是anchor
最新发布
08-17
### 什么是 Anchor？ 在目标检测任务中，**anchor** 是一种预定义的参考框（reference box），用于辅助模型预测目标的位置和类别。anchor 通常在图像的不同位置、不同尺度和不同长宽比下进行采样，作为候选区域的基础。模型基于这些 anchor 来预测目标的边界框偏移量以及对应的类别置信度。 anchor 的设计灵感来源于滑动窗口机制，它允许模型在每个位置上同时预测多个可能的目标框，从而提升检测的精度和召回率。这种方法在 **anchor-based** 检测器中被广泛使用，例如 Faster R-CNN、YOLOv2 及其后续版本、RetinaNet 等[^1]。 ### Anchor 的作用 1. **提供先验框**：anchor 作为目标边界框的初始参考，模型通过预测相对于 anchor 的偏移量来获得最终的检测框。这种设计简化了回归任务，使模型更容易收敛。 2. **多尺度和多长宽比支持**：在不同位置上设置多个 anchor，可以覆盖图像中可能出现的多种目标形状和大小，从而提升对目标的适应能力。 3. **统一分类与定位任务**：每个 anchor 都会对应一个分类得分和一个边界框回归参数，使得分类和定位可以并行处理。 4. **优化训练过程**：通过 anchor 与真实边界框（ground truth）之间的 IoU（交并比）匹配，可以确定正负样本，指导模型的训练过程。 ### Anchor 的选择与优化策略 在训练过程中，anchor 的选择至关重要。例如，在 **Multiple Anchor Learning (MAL)** 中，通过 anchor 与目标之间的 IoU 排序，选择 IoU 最高的 anchor 构建“anchor bag”，并结合分类和定位分数评估每个 anchor 的质量，最终选择得分最高的 anchor 进行优化，以实现分类和定位性能的同步提升。 此外，在 **Consistent Optimization for Single-Shot Object Detection** 中，指出传统的 anchor 在分类和定位之间可能存在不一致性问题，即回归后的 anchor 与分类所使用的 anchor 不一致，从而影响最终检测效果。为此，提出了一种一致性优化策略，通过更合理的 anchor 选择机制来缓解这一问题[^2]。 ### Anchor-Free 与 Anchor-Point 方法 与 anchor-based 方法相对的是 **anchor-free** 检测器，其中一种主流方法是 **anchor-point**。这类方法不再依赖预定义的 anchor，而是直接在特征图的关键点（如中心点）上预测目标的边界框。例如，**Soft Anchor-Point Object Detection (SAPD)** 通过引入软匹配机制，使 anchor-point 方法在 COCO 数据集上取得了较高的检测精度和推理速度，单尺度下 AP 达到 47.4%，且推理速度比其他检测器快五倍[^3]。 ### 示例代码：Anchor 的生成 以下是一个简单的 anchor 生成示例，用于在特征图上生成多个 anchor 框： ```python import numpy as np def generate_anchors(base_size=16, ratios=[0.5, 1, 2], scales=2**np.arange(3, 6)): base_anchor = np.array([1, 1, base_size, base_size]) - 1 w, h, x_ctr, y_ctr = base_anchor[2] - base_anchor[0] + 1, base_anchor[3] - base_anchor[1] + 1, (base_anchor[0] + base_anchor[2]) / 2, (base_anchor[1] + base_anchor[3]) / 2 anchors = [] for r in ratios: size = w * h w_r = np.round(np.sqrt(size / r)) h_r = np.round(w_r * r) for s in scales: anchors.append([x_ctr - 0.5 * w_r * s, y_ctr - 0.5 * h_r * s, x_ctr + 0.5 * w_r * s, y_ctr + 0.5 * h_r * s]) return np.array(anchors, dtype=np.float32) # 生成默认 anchor anchors = generate_anchors() print("Anchor 框示例：", anchors) ``` 该代码生成了多个具有不同长宽比和尺度的 anchor 框，可用于后续的目标检测任务。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值