【文章解读】FreeAnchor: Learning to Match Anchors for Visual Object Detection

最新推荐文章于 2024-04-14 09:32:31 发布
最新推荐文章于 2024-04-14 09:32:31 发布
阅读量1.7k 收藏 13
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 目标检测 深度学习 文章标签： 自动驾驶 pytorch 深度学习 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/github_36923418/article/details/105318632
探讨FreeAnchor方法如何革新目标检测领域，通过改进传统Anchor分配机制，解决目标偏心和遮挡问题，提高检测精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简介

     这些年已经有不少基于深度学习的目标检测的文章了，从最开始的Anchor based 到后来的 Anchor Free。但是解读这篇文章，主要是由于他的出发点比较新颖---Free Anchor。

     虽然叫Free Anchor，但是依然是Anchor based的方法，只不过他打破了一直以来的Anchor分配机制。

二、回顾Anchor分配机制

    

       上图是来自于SSD的分析，对于不同尺度大小的feature map，每个pixel都会负责预测k个框，这个k就是预先设置好的Anchor数量，图中的虚线框也就是anchor。

        以前，在进行对于所有预测出来的结果box，进行loss计算的时候，会将anchor+偏移=结构box，与groundtruth进行比对，这个比对的过程就是利用IoU，只要预测框与目标物体的框IoU达到了一定阈值，那么这个框就算是正样本，当然如果一个anchor与多个目标物体都达到了阈值怎么办？直接选IoU最大的就好了！

        其他的都是负样本～～～，当然训练过程中会设置正负样本的比例，因为通常负样本会很多！

        这个方式，看似非常的合理，并且一直沿用至今，实际应用中也是非常有效的！但是这个方式毕竟也是经验式的！

        大家可以看下面这例子：

                          

        看完这两张图，想必大家不说也懂我想说什么了！！！！！嗯～～～～，词穷～～～～！因为现实世界中很多的目标物体，并不是规则，比如月亮，他们是偏心的！这也就导致了越是中心的点的feature 越是背景！无法代表这个目标，红色框与绿色框虽然IoU很高，如果按照传统方式判定为正样本！显然不好！

三、回到文章中来

       在文章中，把传统的Anchor分配方式称之为“IoU restriction”！文章对于传统方式给出了两方面的评价：1、并不是所有的目标物体都是规则的，很多时候物体是偏心的，瘦长的！或者说物体会被遮挡，比如图像中猫挡住了笔记本电脑，导致了笔记本电脑属于偏心的目标！2、On the other hand, it is infeasible to match proper anchors/features for objects using IoU when multiple objects come together.我感觉这句话有点重复吧，总之就是说传统的方式不灵活！毕竟对于不灵活，不智能的点进行优化，基本上都能提升效果！

     文章提出了自己的方法，并且把这个方式和损失函数联系起来，从而可以优化！和损失函数联系起来的方式叫“极大似然估计”，添加上负号和log，就得到了可以最小化的损失！

 

        上图中，上半部分是传统的anchor分配方式，基于这种方式无论这个pixel位置是否包含了“有效特征”，只要IoU达到了就是正样本！在计算损失函数的时候，就比必须带上它！这个时候，基本上我们也就发现问题了：引入了基于背景特征的正样本！强行让背景信息预测！

       这个公式就是传统的训练损失，A是anchor的集合，A_代表饿了没有配上正样本的那些，因此就是负样本。B代表了label中的目标全体，Cij则是0，1值，用于表示第i个目标和第j个anchor配上了。分类用BCE损失，回归用SoomthL1.

      在本文中，利用极大似然的想法来建立损失函数：因此上面的损失函数就可以转换为如下公式：

 四、文章核心       

     上面的公式中，“类别”和“回归”这两部分是分开计算的！本文的以思想就是，一个pixel位置是否能够预测box，应该具有两个特点：“能够拥有高的分类置信度” 以及 “框的IoU也高”。

        引入这两个公式，对应了常会用到的：召回率 与 精度，两个指标。对于召回率而言，需要为每个目标都能提供至少一个anchor，并且基于这个anchor的两类特性都应该接近对应的label。对于精度而言，“classify the anchors of poor localization into the background class”

        

       这个部分代表了，第j个anchor与所有的目标b都没有配对上的概率，这个概率的计算来自以上的计算方式，1-能配上的最大概率。当然，想要在网络模型中计算，就要建立一些公式来实现：

                                          

到这里，也就基本上知道这个网络需要优化的目标函数的计算方式了：

五、最最最核心部分到了

      损失函数，需要把极大似然换成最小化的形式。

      那么如果只是简单的使用max来完成，Free Anchor，显然大家会觉得有点敷衍！！！而且效果肯定也不太行，原因如下：训练初期，所有的anchor置信度都很低，那么这个时候选一个max的？有没有意义？（我觉得这应该也是可以的，现实一种随机，或者平均？有没有大佬说一说？）

       处于上面这个原因，作者提出了一种替代直接使用max的方法：

                 

     这个函数，一开始会是一种平均策略，随着训练的加深，anchor们的，置信度开始出现差异，最终是一个max。因此进一步优化后的损失函数如下，加入了两个权重和focal loss：

   Ai怎么来的呢？就是对于bi这个目标，利用IoU，从anchor们中选择top n个，就形成了一个A i 子集。文中原话如下：

六、效果对比

 

[FreeAnchor]FreeAnchor: Learning to Match Anchors for Visual Object Detection[NeurlPS 2019]
Ah丶Weii
01-11 434
paper:https://arxiv.org/pdf/1909.02466.pdf code:https://github.com/zhangxiaosong18/FreeAnchor33rd 文章目录1. Motivation2. Contribution 1. Motivation 2. Contribution
FreeAnchor: Learning to Match Anchors for Visual Object Detection阅读
p1048052071的博客
09-16 3220
摘要 现在基于CNN的算法都是使用IOU对目标分配Anchor，我们提出一种方法打破了IOU的限制，允许自由的分配Anchor。我们的方法，称为自由锚（FreeAnchor），将手工锚分配升级为“自由”锚匹配。 FreeAnchor的目标是学习最能分类和定位的特征。FreeAnchor可以和基于CNN的检测器随意融合。 介绍 为了使用有限卷积特征表示具有各种外观，纵横比和空间布局的物体，大...
FreeAnchor: Learning to Match Anchors for Visual Object Detection论文详解
Suan2014的博客
09-18 1472
问题 在基于anchor的目标检测算法中，训练时，通常通过anchor和真实object 框之间的IoU来决定该anchor是否用来预测object （包括类别和位置），通常IoU超过某一阈值则认为该anchor为正例（即作为预测object ），小于某一阈值则认为该anchor为背景。本文的思想就是通过修改loss函数去除人工参与指定anchor的过程，使网络能够自主学习选择哪个anchor和真...
FreeAnchor: Learning to Match Anchors for Visual Object Detection论文翻译阅读 - 2019NIPS
深度检测的博客
08-15 625
FreeAnchor: Learning to Match Anchors for Visual Object Detection论文翻译阅读 目录：FreeAnchor: Learning to Match Anchors for Visual Object Detection论文翻译阅读一、Abstract二、IntroductionContributions三、The Proposed Approach3.1 Detector Training as Maximum Likelihood Estima
《FreeAnchor: Learning to Match Anchors for Visual Object Detection》笔记
qq_24548569的博客
09-23 2019
Introduction 在目标检测中，从图片上预测出一些region proposals，这些region proposals会与预先设置好的anchors进行匹配，匹配的方式是nms，超过给定IoU阈值就匹配，否则不匹配。这种通过IoU指标进行匹配有缺点：在空间上对齐的region proposal，从它提取出来的特征不一定能够很好地预测object的类别和位置。论文给出了例子，对于长条形状的...
FreeAnchor:Learning to match anchors for visual object detection论文翻译.doc
02-20
FreeAnchor: 学习匹配锚点的视觉对象检测 FreeAnchor是针对当前基于卷积神经网络(CNN)的视觉对象检测方法的一种改进，它提出了一个新颖的“学习匹配”策略，旨在摆脱对锚点(Anchor Box)与目标交并比(IOU)限制的依赖...
目标检测经典论文——YOLOv4论文翻译：YOLOv4: Optimal Speed and Accuracy of Object Detection（YOLOv4: 目标检测最优速度和精度）
bigcindy的博客
08-01 7542
YOLOv4: Optimal Speed and Accuracy of Object Detection YOLOv4: 目标检测最优速度和精度 Alexey Bochkovskiy* alexeyab84@gmail.com Chien-Yao Wang* Institute of Information Science Academia Sinica, Taiwan kinyiu@iis.sinica.edu....
论文阅读：FreeAnchor: Learning to Match Anchors for Visual Object Detection
j879159541的博客
03-17 316
文章目录1、论文总述2、手工设计的基于IOU的anchor分配的不合理3、anchor与GT匹配时的3个准则4、一种可以借鉴的性能对比方式 1、论文总述 本篇论文并不是anchor-free检测模型，是在RetinaNet的基础上进行改进，原先的正负样本分配都是根据手工设计的anchor与GT的IOU，作者认为这样不好，就想自适应的选择anchor作为正样本，具体做法：从IOU值较高的许多anchor中，让网络自己选择正样本（free anchor是这个意思），这块好像是用的最大似然估计做的，该过程从每个对
FreeAnchor:Learning to match anchors for visual object detecti翻译.pdf
01-20
FreeAnchor:Learning to match anchors for visual object detecti翻译.pdf
FreeAnchor
dekiang
10-28 403
目录1. Motivation2. FreeAnchor2.1 Detector Training as Maximum Likelihood Estimation2.2 Detection Customized Likelihood 论文：FreeAnchor: Learning to Match Anchors for Visual Object Detection 来源：NIPS 2019 1. Motivation 2. FreeAnchor 2.1 Detector Training as Max
目标检测算法——FreeAnchor
weixin_43489950的博客
09-28 180
https://zhuanlan.zhihu.com/p/83069493
2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud
u010260681的博客
06-15 1102
整体网络架构是这样： 基本上是堆积起来的网络，一共三条分支 1:image 2d feature 提取 2:正样本point cloud pointnet feature提取，3：负样本point cloud pointnet feature 提取 ，最后直接soft-margin triplet loss。 2d输入的是image 的patches， 3d输入的是volume。 2d使用vgg网络，3d使用pointnet网络直接从特征层获取feature partches...
FreeAnchor：抛弃单一的IoU匹配，更自由的anchor匹配方法 | NIPS 2019
晓飞的算法工程笔记
05-11 820
论文抛弃以往根据IoU硬性指定anchor和GT匹配关系的方法，提出FreeAnchor方法来进行更自由的匹配，该方法将目标检测的训练定义为最大似然估计(MLE)过程，端到端地同时学习目标分类、目标检测以及匹配关系，从实验来看，效果十分显著   来源：晓飞的算法工程笔记 公众号 论文: FreeAnchor: Learning to Match Anchors for Visual Object Detection 论文地址：https://arxiv.org/abs/1909.02466v1 论文.
深度学习（11）之Anchor-Free详解
yohnyang的博客
07-02 7253
在生成目标候选框阶段，排名top-k的左上角和右下角角点被从heatmaps中选择出来，然后，计算一对角点间的嵌入向量的距离，如果距离小于预设的阈值，就认为这两个点属于同一个物体，就会根据这两个角点生成一个bounding box，同时，根据两个角点的得分计算一个平均分数作为该bounding box的得分。然后在预测的时候，如果top-left的corner和bottom-right的corner的embedding值特别接近，比如一个是1.2另一个是1.3，那么这两个很有可能属于一个目标；
SIGIR 2020 | 一文综述Learning to Match各种方法对比
abcdefg90876的博客
08-06 971
作者：坏星星是大脸猫链接：https://zhuanlan.zhihu.com/p/163358322编辑：深度传送门这是一篇SIGIR 2020上的关于Learning to Matc...
CVPR2020 | 论文阅读——Multiple Anchor Learning for Visual Object Detection
Liaojiajia-Blog
07-22 2279
@[TOC]( 论文地址：https://arxiv.org/abs/1912.02252 开源代码： https://github.com/KevinKecc/MAL 本文亮点： Abstract 1 Introduction 2 Related Work 3 Method 3.1 Network Architecture 3.2 Feature Selection Module 3.3 Dynamic Refinement Head 3.4 SKU110K-R Dataset 4 Experiment
探索FreeAnchor：智能目标检测的新纪元
gitblog_00062的博客
04-14 470
探索FreeAnchor：智能目标检测的新纪元 在计算机视觉领域，目标检测是核心任务之一，而FreeAnchor（）是一个创新的深度学习框架，专注于解决这一问题。本文将带你深入了解FreeAnchor的技术实现、应用场景及其独特优势。 项目简介 FreeAnchor由Zhang Xiaosong开发，它抛弃了传统的预定义锚框（anchor）机制，转而采用自适应的学习策略，让模型能够自我确定有效的检...
文章记录Group Sampling+freeanchor
葫芦与瓢的博客
09-17 511
1 groupsampling for scale invariant face detection 问题，训练样本中存在两种不均衡： 1 正负样本不均衡，负样本个数远大于正样本个数。 2 不同尺度上训练样本不均衡：比如retinaface在三个尺度上进行人脸检测，每隔尺度上的训练样本个数不均衡（由于基于iou的anchor匹配策略，小的物体更不容易找到合适的anchor）： 不同的方式对应的a...
yolov8anchor-free机制：
最新发布
03-11
### YOLOv8 Anchor-Free Mechanism Implementation and Working Principle In the evolution from earlier versions to YOLOv8, significant changes have been introduced including moving towards an anchor-free mechanism which simplifies object detection models by eliminating predefined anchor boxes. This approach directly regresses bounding box coordinates relative to specific points within feature maps rather than relying on a set of pre-defined anchors. The core idea behind this transformation lies in reducing model complexity while improving performance efficiency. In traditional methods like those used before YOLOv5, multiple scales were covered through various sizes and aspect ratios defined as anchor boxes during training; however, these required careful tuning depending upon dataset characteristics[^1]. With the adoption of an anchor-free strategy in YOLOv8: - **Direct Regression**: Instead of predicting offsets against fixed-size templates (anchors), predictions are made concerning key locations identified across different levels of convolutional features. - **Center Points Identification**: For each ground truth bounding box, only one point—the center—is selected for positive sample assignment instead of all possible anchor matches at that location. - **Loss Function Adjustment**: Loss functions adapt accordingly so they can effectively train without needing IoU calculations between predicted and actual bounding boxes since there's no concept of 'matching' here anymore. This shift not only streamlines configuration but also potentially enhances generalization capabilities over diverse datasets because it reduces dependency on manually specified parameters such as anchor dimensions. For implementing this change technically within codebase structures similar to what might be seen when using tools designed around Go routines management or other concurrent processing utilities mentioned previously [^2], developers would focus more heavily on ensuring efficient memory usage patterns alongside precise synchronization mechanisms among parallel tasks involved throughout both forward passes during inference time along backward propagation steps needed for optimization purposes. ```go // Example pseudo-code demonstrating how concurrency could play into optimizing certain aspects related to anchor-free implementations, func processImage(imageData []byte) { var wg sync.WaitGroup // Assume we spawn workers per region proposal task where applicable regions := divideIntoRegions(imageData) resultsChan := make(chan RegionResult) for _, r := range regions { wg.Add(1) go func(region ImageRegion){ defer wg.Done() result := analyzeRegionAnchorFree(region) resultsChan <- result }(r) } go func(){ wg.Wait() close(resultsChan) }() } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值