目标检测算法之CVPR 2018 RefineDet

STM32F411CEU6实战:用W25Q64存储多张图片,在240x240 LCD上轮播显示(附源码) 本文详细介绍了如何使用STM32F411CEU6通过SPI接口管理W25Q64 Flash中的多张图片,并在240x240 LCD上实现平滑轮播显示。内容涵盖硬件配置、图片存储方案设计、轮播系统实现及性能优化技巧,特别针对SPI传输优化和多图存储管理提供了实用解决方案。附源码,适合嵌入式开发者参考。 阅读详情

前言

今天为大家介绍一篇CVPR 2018的一篇目标检测论文《Single-Shot Refinement Neural Network for Object Detection》,简称为RefineDet。RefineDet从网络结构入手,结合了one-stage目标检测算法和two-stage目标检测算法的优点重新设计了一个在精度和速度均为SOTA的目标检测网络。论文的思想值得仔细推敲,我们下面来一起看看。论文源码和一作开源的代码链接见附录。

背景

对目标检测而言,two-stage的算法如Faster-RCNN获得了最高的精度,而one-stage算法虽然精度低一些,但运行速度非常快。基于此背景,论文提出了一个新的目标检测器名为RefineDet。RefineDet有两个核心组成部分,分别是ARM模块(Anchor Refinement module)和ODM模块(Object Detection Module)。ARM模块旨在(1)过滤掉negative anchors,以减少分类器的搜索空间,(2)粗略调整anchors的位置和大小,为后续的回归提供更好的初始化。而ODM模块将修正后的Anchors作为输入,进一步改善回归和预测多级标签。同时论文还设计了TCB模块(Transfer Connection Block)来传输ARM的特征,用于ODM中预测目标的位置,大小和类别标签。并且整个网络是端到端的,使用多任务损失来优化。最后RefineDet在PASCAL VOC 2007/2012和MSCOCO数据集上达到SOTA精度和速度。

核心贡献

  • 引入了two-stage目标检测器中的对box由粗到细的回归思想(典型的就是Faster-RCNN中先通过RPN得到粗粒度的box信息,然后再通过常规的回归支路进行建议不回归从而得到更准确的信息,从而获得了很高的精度)。

  • 引入了类似于FPN网络的特征融合操作用于检测器,可以提高对小目标检测的能力,RefineDet检测的框架仍是为SSD。

网络结构

RefineDet的网络结构如Figure1所示:可以看到RefineDet的网络结构主要包含3个部分,即上面提到的ARM模块,ODM模块和Transfer Connection Block模块。接下来我们就先分析每个模块最后再宏观的分析网络结构。

ARM模块

Anchor Refinement Module (ARM模块),这个模块类似于Faster-RCNN中的RPN网络,主要用来得到候选框和去除一些负样本。其实说类似的原因主要是因为这里的输入利用了多层特征,而RPN网络的输入利用的是单层特征。ARM模块生成的候选框(ROI)会为后续的检测网络提供好的初始信息,这也是one-stage检测器和two-stage检测器的主要区别。

TCB模块

Transfer Connection Block(TCB)模块是做特征的转换操作,即是将ARM部分输出的特征图转换为ODM部分的输入,从上面的Figure1可以看到这部分和FPN的做法一致,也是上采样+特征融合的思想。TCB模块的详细结构如Figure2所示,这里的上采样使用了步长为2的反卷积,并没有直接使用Upsampling。

在这里插入图片描述

ODM模块

Object Detection Module(ODM)模块就和SSD的检测头完全一样了,把经过TCB得到的各个不同尺度的特征接分类和回归头就可以了。唯一不同之处在于这部分的输入Anchors不再是人为设置的,而是由ARM模块得到的Refined Anchors boxes,类似RPN网络输出的Proposal(ROI)。更加值得注意的是,这里的浅层特征图(尺寸比较大的蓝色块)融合了高层特征图的信息,然后预测目标框是基于每层特征图进行,最后将各层结果再整合到一起。我们知道在原始的SSD中特征图是直接拿来做预测的,并没有特征图信息融合的过程,这是一个非常重要的差别,这种差别就导致了RefineDet对小目标检测的性能更好。

整体概述

拆解了RefineDet的几个子模块后,我们可以全局性的来看一下RefineDet的网络结构了。这个结构和two-stage目标检测器很像,即一个ARM模块做RPN要做的事,ODM模块做SSD要做的事。我们知道SSD是直接在人为设定的默认框上做回归,而RefineDet先通过ARM模块生成Refined Anchors boxes类似于RPN的Propsoal,然后在Refined Anchors boxes的基础上再进行回归,加上FPN结构的特征融合使得网络对小目标的检测也更加有效。

网络构建

以ResNet101,输入图像大小为320为例,在ARM模块的4个灰色的特征图的尺寸分别为40x40,20x20,10x10,5x5,其中前三个是ResNet101网络本身的输出层,最后5x5输出是另外添加的一个残差模块。有了主干网络后要做特征融合操作了,首先5x5的特征图经过一个上面介绍过的TCB模块P6得到对应大小的蓝色矩形块,P6代表的是最右边那个蓝色特征图,对于生成P6这条支路来说,没有反卷积操作。接着基于10x10的灰色特征图经过TCB模块后得到P5,即是左边数第3个蓝色特征图,这个时候TCB模块有反卷积上采样操作了,后面的依此类推就可以了。因为我讲解的时候打乱了论文的顺序,所以接下来再补充一下RefineDet的另外两个核心点,即双阶段级联回归和Anchor的负样本过滤。

  • 双阶段级联回归 当前one-stage的目标检测器依靠具有不同尺度的特征图一步回归来预测目标,这在某些场景下是十分不准确的,例如小目标检测。因此,这篇论文提出了一个两步级联回归策略回归目标的位置和大小。首先,使用ARM模块调整Anchors的位置和大小,为ODM模块提供更好的初始化信息。然后将N个Anchor boxes和在特征图上划分的单元格关联起来。最初的位置每个Anchor boxes相对于其对应的单元格是固定的。在每个特征图单元格中,我们预测Refined Anchors boxes的四个偏移量(相对于原始Anchors boxes)和指示前景存在的两个置信度分数。最终,可以在每个特征图单元格上产生n个Refined Anchors。获得Refined Anchors后,我们将其传到ODM模块相应的特征图中,进一步生成目标类别和目标框位置。ARM和ODM中相应的特征图具有相同的维度。我们计算Refined Anchors的c个类别分数和四个准确的偏移量,产生c + 4的输出以完成检测任务。此过程类似于SSD 中的默认框。但与SSD 不同,RefineDet使用两步策略,即ARM生成Refined Anchors boxes,ODM采取其作为输入进一步检测,因此检测结果更精准,特别适用于小目标。

  • 负样本Anchor过滤 one-stage目标检测器的精度比不过two-stage的一个重要原因是类别不平衡问题,之前介绍了Focal Loss, GIoU Loss,DIoU Loss都是为了改善这个问题,而在这篇论文中,使用的是Negative Anchor过滤。在训练阶段,针对ARM中的Anchor,如果Negative Confidence大于一个阈值 ( ,经验值),那么在训练ODM时将它舍弃。也就是通过Hard Negative Anchor和Refined anchor来训练ODM。与此同时,在预测阶段,如果Refined Anchor Box负置信度大于 ,则在ODM进行检测时丢弃。

训练和测试细节

数据增强

这部分和SSD一致,不再赘述,感兴趣可以看看我写的那篇文章:目标检测算法之SSD的数据增强策略

Backbone网络

使用在ILSVRC CLS-LOC数据集上预训练的VGG-16和ResNet-101作为RefineDet中的骨干网络。RefineDet也可以在其他预训练网络上工作,如Inception v2 ,Inception ResNet和ResNeXt101。与DeepLab-LargeFOV类似,通过子采样参数,将VGG-16的fc6和fc7转换成卷积层conv_fc6和conv_fc7。与其他层相比,conv4_3和conv5_3具有较大的方差,所以使用L2标准化,同时如果直接使用标准化会减慢训练速度,所以设置两个缩放系数初始值为10和8,可以在反向传播的过程中训练。同时,为了捕捉高层次多种尺度的信息指导目标检测,还分别在剪裁的VGG-16和ResNet101的末尾添加了额外的卷积层(即conv6_1和conv6_2)和额外的残差模块(即res6)。

L2norm的一个解释

l2norm:Conv4_3层将作为用于检测的第一个特征图,该层比较靠前,其norm较大,所以在其后面增加了一个L2 Normalization层,以保证和后面的检测层差异不是很大.这个和Batch Normalization层不太一样:其仅仅是对每个像素点在channle维度做归一化,归一化后一般设置一个可训练的放缩变量gamma.而Batch Normalization层是在[batch_size, width, height]三个维度上做归一化。

代码实现:

def l2norm(x,scale,trainable=True,scope='L2Normalization'):
    n_channels = x.get_shape().as_list()[-1] # 通道数
    l2_norm = tf.nn.l2_normalize(x,dim=[3],epsilon=1e-12) # 只对每个像素点在channels上做归一化
    with tf.variable_scope(scope):
        gamma = tf.get_variable("gamma", shape=[n_channels, ], dtype=tf.float32,
                                initializer=tf.constant_initializer(scale),
                                trainable=trainable)
    return l2_norm * gamma

Anchor设计和匹配策略

在VGG-16和ResNet101上选择尺寸分别为8,16,32和64像素步幅大小的特征层,与几种不同尺度的Anchor相关联进行预测。每个特征图都与一个特定特征层Anchor的尺度(尺度是相应层步幅的4倍)和三个比率(0.5,1.0和2.0)相关联。匹配策略使用IOU阈值来确立,具体来说就是将每个ground truth boxes与具有最佳重叠分数的anchor boxes相匹配,然后匹配anchor重叠高于0.5的任何ground truth boxes。

Hard Negtive Mining

我在SSD中已经详细讲解过了,不再赘述了。总结一句话就是把正负样本比例设置为1:3,当然负样本不是随机选的,而是根据box的分类loss排序来选的,按照指定比例选择loss最高的那些负样本即可。可以看我的这篇推文详细了解:目标检测算法之SSD代码解析(万字长文超详细)

损失函数

RefineDet的损失函数主要包含ARM和ODM两部分。在ARM部分包含二分类损失损失Lb和回归损失Lr;同理在ODM部分包含多分类损失Lm和回归损失Lr。需要注意的是虽然RefineDet大致上是RPN网络和SSD的结合,但是在Faster R-CNN算法中RPN网络和检测网络的训练可以分开也可以end to end,而这里的训练方式就完全是end to end了,ARM和ODM两个部分的损失函数都是一起向前传递的。损失函数公式如下:其中 表示一个batch中的第几个Anchor, 表示 对应的的ground truth bbox(GT)类别, 表示 的GT框位置, 表示置信度, 表示ARM中Anchor的坐标。 表示预测的类别, 表示ODM中预测的坐标信息。 和 分别表示ARM和ODM中的positive anchor数量。 表示二分类损失, 表示多分类损失, 表示回归损失。 表示如果negative confidence大于一个阈值 ,那么返回1,否则返回0。如果 设置 和 ;如果 ,那么设置 和 。

训练超参数设置

用xavier方法随机初始化基于VGG-16的RefineDet的两个添加的卷积层中(conv6_1和conv6_2)的参数。对于基于ResNet-101的RefineDet,初始化参数来自具有标准的零均值高斯分布,残差模块(res6)的初始化方差为0.01。其他的一些参数设置为:

  • batch_size:32

  • momentum:0.9

  • weight decay:0.0005

  • initial learing rate:  其他详细可以看代码实现。

推理阶段

首先,ARM过滤掉负置信度分数大于阈值 的anchors,refine剩余anchors的位置和大小。然后, ODM输出每个检测图像前400个高置信度的anchors。最后,应用NMS,jaccard重叠率限定为0.45 ,并保留前200个高置信度anchors,产生最终的检测结果。

实验

Table1是非常详细的实验结果对比,测试数据包括VOC2007和VOC2012数据集。以VGG-16为特征提取网络的RefineDet320在达到实时的前提下能在VOC 2007测试集上达到80以上的mAP,这个效果基本上是目前看到过的单模型在相同输入图像情况下的最好成绩了。表格中最后两行在算法名称后面多了+,表示采用multi scale test,因此效果会更好一点。

在这里插入图片描述

结论

论文提出了一种新的one-stage目标检测器,由两个相互连接模块组成,即ARM模块和ODM模块。使用multi-task loss对整个网络进行end-to-end训练。在PASCAL VOC 2007,PASCAL VOC 2012和MS COCO数据集上进行了几次实验,结果表明RefineDet实现了目标最先进的检测精度和高效率。

目标检测未来

论文提出了两个点,即计划使用RefineDet来检测一些其他特定类型的物体,例如行人,车辆和人脸,并在RefineDet中引入注意机制以进一步改善性能。

个人额外思考

TridenetNet+SSD?因为CVPR 2019的三叉戟网络提到FPN结构的精度是不如图像金字塔的,所以我们是否可以考虑将三叉戟网络的三个检测头放到SSD做一个更高精度的网络?

附录

论文地址:https://arxiv.org/abs/1711.06897

源码:https://github.com/sfzhang15/RefineDet

参考博客:https://blog.youkuaiyun.com/nwu_nbl/article/details/81110286

AI Agent在智能腰带中的姿势矫正与提醒 随着人们生活方式的改变,长时间不正确的坐姿、站姿等不良姿势问题日益普遍,这不仅会导致身体疲劳,还可能引发颈椎病、腰椎病等多种健康问题。智能腰带作为一种可穿戴设备,具有实时监测人体姿势的潜力。本研究的目的是将AI Agent引入智能腰带,实现对人体姿势的准确识别、矫正与提醒功能。本研究的范围涵盖了从AI Agent的核心算法原理到智能腰带的实际开发与应用。包括传感器数据的采集与处理、机器学习算法的选择与训练、智能腰带的硬件设计与软件开发,以及在不同场景下的实际应用测试。本文共分为十个部分。 阅读详情

相关推荐

无人驾驶--车道线检测实战(附源码)

做完项目后写了个技术小结,供自己回顾也为他人学习提供参考。 另外准备建一个无人驾驶方面的微信交流群,有兴趣的朋友可以加我微信:wxl609278502 请注明: 姓名-单位/学校 项目描述: 使用opencv实时处理车载摄像机采集的道路图像,检测当前的车道,并计算出当前车辆偏离车道中心的距离,计算当前车道的曲率。 项目代码GitHub地址:https://g...

weixin_38746685的博客 6万+

(十)RefineDet----2018CVPR论文解读

Single-Shot Refinement Neural Network for Object Detection 用于目标检测的单发细化神经网络 Abstract 对于物体检测,两阶段方法(例如,更快的R-CNN)已经实现了最高的准确度,而一阶段方法(例如,SSD)具有高效率的优点。为了继承两者的优点同时克服它们的缺点,在本文中,我们提出了一种新颖的基于单发的检测器,称为RefineDet,该...

chenbo的博客 1508

Unity3D实战:5分钟搞定RTSP监控视频流播放(附完整代码)

本文详细介绍了如何在Unity3D中快速实现低延迟RTSP监控视频流播放,提供完整代码和优化方案。通过Video Player组件和FFmpeg集成,开发者可以轻松应对智能家居和安防监控领域的实时视频流挑战,显著降低延迟并提升性能。

weixin_29015051的博客 593

RefineDet 阅读笔记

RefineDet是CVPR2018的一篇论文,是一种one-stage的目标检测方法。RefineDet借鉴了two-stage中RPN的想法,在精度大幅提升的基础上也有着非常优秀的速度,毕竟速度才是one-stage的优势所在。本篇记录下看过RefineDet论文和相关资料后的一些重要信息,供日后翻阅。

watermelon1123的博客 566

具身智能的边缘计算核心构成方案

摘要: 具身智能(Embodied Intelligence)依赖物理实体与环境交互,而边缘计算(Edge Computing)通过本地化数据处理降低延迟、提升实时性。两者结合的核心方案包含五层架构:传感器层采集环境数据,边缘处理单元执行本地计算,通信模块实现低延迟传输,决策引擎运行轻量AI模型,执行器接口转化动作为物理操作。该方案以“边缘优先”为原则,满足毫秒级响应(如延迟<50ms),同时优化能效(功耗降低30%)和隐私保护。适用于机器人、自动驾驶等场景,通过分层闭环设计确保在资源受限环境中的可靠

老郑的博客 814

GPU运维工程师入门指南 (第九篇): 高性能网络 - InfiniBand与RDMA技术

本文介绍了支撑AI分布式训练的高性能网络技术InfiniBand和RDMA。传统TCP/IP网络因内核开销和内存拷贝成为性能瓶颈,而InfiniBand提供高带宽、低延迟的专用网络,RDMA则通过内核旁路和零拷贝技术实现节点间内存直接访问,显著提升通信效率。特别介绍了GPUDirect RDMA技术,使GPU显存可直接通信。文章还列举了运维人员在部署这些技术时需要考虑的硬件、驱动、配置和监控等关键点。这些技术共同构成了支撑大规模AI集群的"数据高速公路",为后续讨论存储性能瓶颈奠定了基础

weixin_42587823的博客 1100

【深度学习】史上最全综述 | 3D目标检测算法汇总!(单目/双目/LiDAR/多模态/时序/半弱自监督)...

1摘要近年来,自动驾驶因其减轻驾驶员负担、提高行车安全的潜力而受到越来越多的关注。在现代自动驾驶系统中,感知系统是不可或缺的组成部分,旨在准确估计周围环境的状态,并为预测和规划提供可靠的观察结果。3D目标检测可以智能地预测自动驾驶车辆附近关键3D目标的位置、大小和类别,是感知系统的重要组成部分。本文回顾了应用于自动驾驶领域的3D目标检测的进展。首先,我们介绍了3D目标检测的背景并讨论了该任务中的一...

fengdu78的博客 2万+

【以太网硬件十二】以太网端口自协商过程解密之二

简述以太网端口自协商的过程

highman110的博客 2490

经典目标检测模型

一、Classic detection model 1.Proposal or not 1.1 One-stage OverFeat(ICLR,2014)——>YOLOv1(CVPR,2016)——>SSD(ECCV,2016)——>DSSD(Arxiv,2017)——>YOLOv2(CVPR,2017)——>RetinaNet(ICCV,2017)——>...

神罗Noctis的博客 3477

【C语言】字符常量详解

字符常量是C语言中处理字符数据的重要工具。通过单引号括起一个字符,我们可以方便地使用字符常量进行字符判断、字符运算和字符串处理等操作。理解字符常量的表示方法、使用场景和ASCII码对应关系,对于编写高效的C语言程序至关重要。

LuckiBit 5023

Microsoft AI SDK 与 SAP ABAP:让企业级 AI 能力触手可及的深度整合指南

借助 Microsoft AI SDK,ABAP 开发者无需跳出熟悉的事务码与数据字典,就能把 GPT‑4 的强大语言理解与生成能力深度植入采购、销售、财务等核心业务流程。只要掌握“初始化 SDK → 构造 Prompt → 解析输出”这一范式,未来无论 Azure OpenAI、OpenAI 还是本地化 LLM,都能在同一套代码骨架内快速切换,实现真正的“AI 即服务”。现在,就让我们在下一行 ABAP 里拥抱智能未来。参考链接均于 2025‑07‑22 提取,推荐读者结合实际版本进一步验证。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 438

RefineDet算法笔记

论文:Single-Shot Refinement Neural Network for Object Detection 论文链接:https://arxiv.org/abs/1711.06897 代码链接:https://github.com/sfzhang15/RefineDet RefineDet可以看作是SSD算法的升级版本,可以在保持SSD高效的前提下提高检测效果。主要思想是引入...

AI之路 3万+

零基础学习CANoe Panel(5)——改变变量的值,控件图像也改变,这是怎么回事?

Panel 中控件的图像随着值变化,是怎么回事?

蚂蚁小兵 2146

转载CVPR2018 目标检测(object detection)

转载自:CVPR2018 目标检测(object detection)算法总览 https://blog.youkuaiyun.com/u014380165/article/details/80784147 CVPR2018上关于目标检测(object detection)的论...

bacryingby的博客 219

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

FASTER RCNN发展历程

目录 CVPR2018目标检测 1、Cascaded RCNN  2、Relation Networks for Object Detection 3、RefineDet  4、SNIP  5、R-FCN-3000  6、DES  7、STD...

weixin_43489950的博客 2677

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

CVPR2018上关于目标检测(object detection)

CVPR2018上关于目标检测(object detection)的论文比去年要多很多,而且大部分都有亮点。从其中挑了几篇非常有意思的文章,特来分享,每篇文章都有详细的博客笔记,可以点击链接阅读。 1、Cascaded RCNN  论文:Cascade R-CNN Delving into High Quality Object Detection  论文链接:https://arxiv.org...

1866

CVPR2018 目标检测(object detection)算法总览

  转自:https://blog.youkuaiyun.com/u014380165/article/details/80784147 CVPR2018上关于目标检测(object detection)的论文比去年要多很多,而且大部分都有亮点。从其中挑了几篇非常有意思的文章,特来分享,每篇文章都有详细的博客笔记,可以点击链接阅读。 1、Cascaded RCNN 论文:Cascade R-CNN De...

duanyajun987的博客 419

转:CVPR2018 目标检测(object detection)算法总览

转自:https://blog.youkuaiyun.com/u014380165/article/details/80784147   版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/u014380165/article/details/80784147 CVPR2018上关于目标检测(object detection)的论文比去年要多很多,而且大部分都...

sduati的专栏 209

CVPR2018 目标检测算法总览(最新的目标检测论文)

作者:AI之路 来源: https://blog.youkuaiyun.com/u014380165/article/details/80784147 CVPR2018上关于目标检测(object detection)的论文比去年要多很多,而且大部分都有亮点。从其中挑了几篇非常有意思的文章,特来分享,每篇文章都有详细的博客笔记,可以点击链接阅读。 1、Cascaded RCNN 论...

zhuiqiuk的专栏 936

CVPR 2018 目标检测亮点算法概览

转载自:AI 之路    原文:https://blog.youkuaiyun.com/u014380165/article/details/80784147 CVPR2018 上关于目标检测(object detection)的论文比去年要多很多,而且大部分都有亮点。从其中挑了几篇非常有意思的文章,特来分享,每篇文章都有详细的博客笔记,可以点击链接阅读。 1、Cascaded RCNN  论文:《 Ca...

星智云图工作室(StarImagine Studio) 1109

CVPR2018 目标检测(object detection)算法总览(关于2018年最新的目标检测文章分析)

转载于 CVPR2018上关于目标检测(object detection)的论文比去年要多很多,而且大部分都有亮点。从其中挑了几篇非常有意思的文章,特来分享,每篇文章都有详细的博客笔记,可以点击链接阅读。1、Cascaded RCNN&nbsp;论文:Cascade R-CNN Delving into Hi...

深度的魅力 1888

2018目标检测论文cascaded RCNN

CVPR2018上关于目标检测(object de...

weixin_44523062的博客 346

CVPR2018目标检测相关论文总结

                                      CVPR2018目标检测   1、Cascaded RCNN (相关度:★) 论文:Cascade R-CNN Delving into High Quality Object Detection  论文链接:https://arxiv.org/abs/1712.00726  代码链接:https://githu...

gusui7202的博客 2233
上一篇: 一场pandas与SQL的巅峰大战
下一篇: Jupyter notebook使用技巧大全
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值