【目标检测Anchor-Free】CVPR 2019 Object as Points(CenterNet)

CenterNet目标检测【详解】 CenterNet详解 阅读详情

前言

前天发了一个推文【目标检测Anchor-Free】CVPR 2019 CenterNet,讲解的是CenterNet: Keypoint Triplets for Object Detection这篇论文,今天要讲的这篇论文全名是Object as Points。这篇论文提出的网络也被叫作CenterNet,和前面介绍的CenterNet重名了,注意加以区别。论文原文见附录。

摘要:目标检测往往是在图像上将目标以矩形框的形式标出。大多数先进的目标检测算法都是基于Anchor框来穷举可能出现目标的位置,然后针对该位置进行目标的分类和回归,这种做法浪费时间,低效,并且需要额外的后处理(NMS)。这篇论文使用不同的方法,构建模型时将目标作为一个点,即目标BBox的中心点。并且检测器使用关键点估计来找到中心点,并回归其它的目标属性,例如尺寸,3D位置,方向,甚至姿态。这个模型被论文叫做CenterNet,这个模型是端到端可微的,更简单,更快速,更准确。下面是其性能:1:Resnet-18 with up-convolutional layers : 28.1% coco and 142 FPS  。2:DLA-34 : 37.4% COCOAP and 52 FPS 。3:Hourglass-104 : 45.1% COCOAP and 1.4 FPS。

下面的Figure2展示了使用CenterNet目标检测器检测目标的一个可视化效果。

在这里插入图片描述

贡献

CenterNet的创新点如下:

  • 用heatmap预测的目标中心点代替Anchor机制来预测目标,使用更大分辨率的输出特征图(相对于原图缩放了4倍),因此无需用到多层特征,实现了真正的Anchor-Free。CenterNet和Anchor-Based检测器的区别如Figure3所示。

在这里插入图片描述
  • 网络可拓展性非常强,论文中介绍了实现3D目标检测和人体姿态估计任务。具体来说对于3D目标检测,直接回归得到目标的深度信息,3D目标框的尺寸,目标朝向;对于人体姿态估计来说,将关键点位置作为中心的偏移量,直接在中心点回归出这些偏移量的值。例如对于姿态估计任务需要回归的信息如Figure4所示。

在这里插入图片描述
  • 由于模型设计简单,因此在运行速度和精度的平衡上取得了很好的结果。

在这里插入图片描述

网络设计

网络结构

CenterNet的网络结构如Figure6所示。对于2D目标检测任务来说,CenterNet输入分辨率的图像,预测个目标中心点坐标和个中心点的偏置。以及个类别信息。其中Figure6(a)表示Hourglass-104,Figure6(b)表示带有反卷积做上采样的ResNet-18,Figure6(c)表示经典的DLA-34网络,而Figure6(d)表示改进的DLA-34网络。注意这几个结构都是Backbone网络,最后只需要在输出特征图上接卷积层映射结果即可。比如在目标检测任务中,用官方的源码(使用Pytorch)来表示一下最后三层,其中hm为heatmap、wh为对应中心点的width和height、reg为偏置量:

(hm): Sequential(
(0): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(1): ReLU(inplace)
(2): Conv2d(64, 80, kernel_size=(1, 1), stride=(1, 1))
)
(wh): Sequential(
(0): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(1): ReLU(inplace)
(2): Conv2d(64, 2, kernel_size=(1, 1), stride=(1, 1))
)
(reg): Sequential(
(0): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(1): ReLU(inplace)
(2): Conv2d(64, 2, kernel_size=(1, 1), stride=(1, 1))
)

前置内容

令为输入图像,宽为,高为。我们的目标是生成关键点热力图,,其中是输出步长(即尺度缩放比例),是关键点参数(即输出特征通道数);关键点类型有的人体关键点,用于姿态估计。的目标类别,用于目标检测。我们默认;表示检测到的关键点,而表示背景。我们采用了几个不同的全卷积编码-解码网络来预测图像得到的。我们在训练关键点预测网络时参考了CornerNet,对于ground truth的关键点,其位置为,计算得到低分辨率(经过下采样)上对应的关键点为:我们将GT坐标通过高斯核分散到热力图,上,其中是目标尺度-自适应的标准方差。如果某一个类的两个高斯分布发生了重叠,直接取元素间最大的就可以。训练目标函数如下,像素级逻辑回归的Focal Loss:

其中和是Focal Loss的超参数,实验中分别设为2和4,是图像中的关键点个数,除以主要为了将所有Focal Loss归一化。

由于图像下采样的时候,GT的关键点会因数据是离散的而产生偏差,我们对每个中心点附加预测了个局部偏移,所有类别共享一个偏移预测,这个偏移用L1损失来训练。

在这里插入图片描述

关键点估计用于目标检测

令是目标(其类别为)的bbox,其中心位置为,我们使用关键点估计来得到所有的中心点。此外,为每个目标回归出目标的尺寸。为了减少j计算负担,我们为每个目标种类使用单一的尺度预测,我们在中心点添加了L1损失。

在这里插入图片描述

我们不进行尺度归一化,直接使用原始的像素坐标来优化损失函数,为了调节该Loss的影响,将其乘了个系数,整个训练的损失函数为:

在这里插入图片描述

实验中,取,,整个网络会在每个位置输出个值(即关键点类别, 偏移量的,尺寸的),所有输出共享一个全卷积的Backbone。

从点到边界框

在推理的时候,我们分别提取热力图上每个类别的峰值点。如何得到这些峰值点呢?做法是将热力图上的所有响应点与其连接的个临近点进行比较,如果该点响应值大于或等于其个临近点值则保留,最后我们保留所有满足之前要求的前个峰值点。令是检测到的类别的个中心点的集合,每个关键点以整型坐标的形式给出。作为预测的得到的置信度,产生如下的bbox:

其中是偏移预测结果,是尺度预测结果,所有的输出都直接从关键点估计得到,无需基于IOU的NMS或者其他后处理。

3D目标检测

3D目标检测是对每个目标进行3D bbox估计,每个中心点都需要三个附加信息:depth,3D dimension, orientation。我们为每个信息分别添加head。对于每个中心点,深度值depth是一个维度的。然后depth很难直接回归,因此论文参考【D. Eigen, C. Puhrsch, and R. Fergus. Depth map prediction from a single image using a multi-scale deep network. In NIPS, 2014.】对输出做了变换,即,其中是sigmoid函数,在特征点估计网络上添加了一个深度计算通道,该通道使用了由ReLU分开的两个卷积层,我们用L1损失来训练深度估计器。

目标检测的3D维度是3个标量值,我们直接回归出它们(长宽高)的绝对值,单位为米,用的是一个独立的head和L1损失:

目标方向默认是单标量的值,然而这也很难回归。论文参考【A. Mousavian, D. Anguelov, J. Flynn, and J. Kosecka. 3d bounding box estimation using deep learning and geometry. In CVPR, 2017.】用两个bins来呈现方向,并在bins中做回归。特别地,方向用个标量值来编码的形式,每个bin有4个值。对于一个bin,两个值用作softmax分类,其余两个值回归在每个bin中的角度。

姿态估计

人体姿态估计旨在估计图像中每个人的个2D关键点位置(如在COCO上,为,即每个人有个关键点)。因此,中心点回归分支的维度是的,然后我们直接回归出关节点的偏移(像素单位),用到了L1 loss;我们通过给Loss添加Mask方式来无视那些不可见的关键点(关节点)。此处参照了Slow-RCNN。为了精细化关键点,我们进一步估计个人体关键点热力图,使用的是标准的bottom-up 多人体姿态估计,我们训练人的关节点热力图时使用Focal Loss和像素偏移量,这块的思路和中心点的训练类似。我们找到热力图上训练得到的最近的初始预测值,然后将中心偏移作为一个分组的线索,来为每个关键点(关节点)分配其最近的人。具体来说,令表示检测到的中心点,第一次回归得到的关节点为:

我们提取到的所有的关键点为(关节点,此处是类似中心点检测用热力图回归得到的,对于热力图上值小于0.1的直接略去):

然后将每个回归(第一次回归,通过偏移方式)位置 与最近的检测关键点(关节点)进行分配:

注意,只对检测到的目标框中的关节点进行关联。

实现细节

论文实验了4个结构:ResNet-18, ResNet-101, DLA-34, Hourglass-104。并且使用用deformable卷积层来更改ResNets和DLA-34,按照原样使用Hourglass 网络。得到的结果如下:

在这里插入图片描述
  • Hourglass 堆叠的Hourglass网络通过两个连续的hourglass模块对输入进行了4倍的下采样,每个hourglass 模块是个对称的5层 下和上卷积网络,且带有skip连接。该网络较大,但通常会生成最好的关键点估计。

  • ResNet-18 Xiao et al. [55]等人对标准的ResNet做了3个up-convolutional来获得更高的分辨率输出(最终stride为4)。为了节省计算量,论文改变这3个up-convolutional的输出通道数分别为256,128,64。up-convolutional核初始为双线性插值。

  • DLA  即Deep Layer Aggregation (DLA),是带多级跳跃连接的图像分类网络,论文采用全卷积上采样版的DLA,用deformable卷积来跳跃连接低层和输出层;将原来上采样层的卷积都替换成3x3的deformable卷积。在每个输出head前加了一个的卷积,然后做1x1卷积得到期望输出。

  • 训练 训练输入图像尺寸:512x512; 输出分辨率:128x128  (即4倍stride);采用的数据增强方式:随机flip, 随机scaling (比例在0.6到1.3),裁剪,颜色jittering;采用Adam优化器;在3D估计分支任务中未采用数据增强(scaling和crop会影响尺寸);其它细节见原文。

实验结果

可以看到CenterNet的精度吊打了YOLOv3,并且完全的Anchor-Free使得我们看到了目标检测更好的思路,这篇论文我觉得应该是2019年目标检测领域最有价值的论文之一了。

贴一个预测可视化效果图看看。

结论

这篇论文可以让我们理解什么是真正的Anchor-Free,并且另外一个重要点的是这种方法将检测,姿态估计,甚至分割都可以统一起来,做法十分优雅。不过CenterNet仍有缺点,例如在图像中,同一个类别中的某些物体的GT中心点,在下采样时会挤到一块,也就是两个物体在GT中的中心点重叠了,CenterNet对于这种情况也是无能为力的,可能结果就是只能检测一个目标了,不过这种密集检测的问题本就是这个领域仍未解决的难题,只能期待大牛后续工作了。对我们工程派来说,没有NMS后处理以及这种统一多个任务的思想实在是一剂强心针,这个方向的学术研究和工程部署应该会逐渐成熟的。

附录

  • 论文原文:https://arxiv.org/pdf/1904.07850.pdf

  • 代码:https://github.com/xingyizhou/CenterNet

  • 参考:https://blog.youkuaiyun.com/c20081052/article/details/89358658

完)


Centernet算法 centernet算法 阅读详情

相关推荐

[目标检测]CenterNet

背景 检测就是识别出图中目标的位置,目前常用物体检测器详尽列出潜在物体的位置并对每个位置进行分类。 这是浪费,低效的,并且需要额外的后处理。 而centernet,作为一个anchor free模型,将对象bounding box的中心点进行建模。 以热力图的形式找到中心点,并通过中心点回归到所有其他对象属性,例如大小、方向甚至骨骼点。 性能 Object Detection on COCO validation model backbone fps AP CenterNet-DLA DL

认真写的博客 1万+

CenterNet原理详解

CenterNet是在2019年论文Objects as points中提出,相比yolo,ssd,faster_rcnn依靠大量anchor的检测网络,CenterNet是一种anchor-free的目标检测网络,在速度和精度上都比较有优势,值得学习下。 对于CenterNet的理解主要在于四方面:网络结构,heatmap生成,数据增强,loss函数理解。 1. CenterNet网络结构   除了检测任务外,CenterNet还可以用于肢体识别或者3D目标检测等,因此CenterNet论文中提出了

进击的菜鸟 3万+

目标检测: 一文读懂 CenterNet (CVPR 2019)

论文:Objects as Points 代码:https://github.com/xingyizhou/CenterNet 1 前言 CenterNe提出了一个更加简单高效的anchor-free目标检测框架,首先根据关键点估计来找出物体中心点,随后进一步预测出物体其他属性,如尺寸、3D位置、方位、姿态等。在COCO数据集上实现了速度和精度的平衡,性能如下:28.1% AP (142 FPS)、37.4% AP (52 FPS) 和 45.1% AP(1.4 FPS)。 图1 CenterNet 可视

weixin_46142822的博客 1万+

CenterNet目标检测模型及CenterFusion融合目标检测模型

CenterNet是一种基于free-anchor的目标检测模型,其继承自CornerNet目标检测模型,可以很容易迁移到例如3D目标检测和人体关键点检测等任务。 CenterFusion是一种通过融合毫米波雷达数据和可见光相机数据进行3D目标检测模型,该模型属于中端融合模型..........................................

BIT_Legend的博客 6508

机器学习笔记 - 目标检测网络CenterNet

CenterNet是在2019年论文Objects as points中提出,相比yolo,ssd,faster_rcnn依靠大量anchor的检测网络,CenterNet是一种anchor-free的目标检测网络,在速度和精度上都比较有优势,值得学习下。 CenterNet是一种无锚对象检测架构。 这种结构的一个重要优势在于它在后期处理中用一种更优雅的算法取代了经典的 NMS(非最大抑制),这对于 CNN 流程来说是很自然的。 这种机制可以实现更快的推理。

学以致用 知行合一 2105

手把手教你用LTspice仿真TVS二极管:从选型验证到波形分析全流程

本文详细介绍了如何使用LTspice仿真TVS二极管,从选型验证到波形分析的全流程。通过搭建仿真环境、核心参数验证和系统级防护策略,帮助工程师低成本评估TVS性能,优化电路设计。特别适用于电源设计和接口防护领域,提升工作效率和设计准确性。

weixin_29234239的博客 653

CenterNet算法详解

Objects as Points-论文链接-代码链接 目录1、需求解读2、CenterNet算法简介3、CenterNet算法详解3.1 CenterNet网络结构3.2 CenterNet实现细节详解3.2.1 训练阶段Heatmap生成3.2.2 Heatmap上应用高斯核3.3 CenterNet损失函数3.3.1 Heatmap损失函数3.3.2 中心点偏移损失函数3.3.3 目标长宽损失函数3.4 CenterNet推理阶段4、CenterNet网络代码实现5、CenterNet效果展示与分析5

WZZ18191171661的博客 3万+

机械臂速成小指南(七):从旋转矩阵到齐次变换——机械臂位姿的数学表达

本文详细介绍了机械臂位姿描述的数学基础,包括旋转矩阵、欧拉角和齐次变换等核心概念。通过解析旋转矩阵的几何意义和合成方法,以及欧拉角的直观描述,帮助读者理解机械臂位姿的数学表达。文章还探讨了齐次变换在工程实践中的应用,并提供了数值稳定性、坐标系约定和计算效率等实用建议。

cuda7parallel的博客 836

CenterNet原理解析

CenterNet原理总结

weixin_51691064的博客 4020

ESP32固定翼航模硬件设计与飞行力学解析

固定翼无人机是嵌入式控制与空气动力学交叉实践的经典载体,其飞行稳定性本质源于重心、气动中心与控制面的物理耦合关系。理解静稳定度(Static Margin)、升力系数调控、偏航力矩生成等基础原理,是实现可靠姿态控制的前提。在低成本工程约束下,材料刚度、结构弹性与电机-驱动协同设计共同决定了系统动态响应边界。ESP32平台凭借高精度PWM、低功耗双模无线及丰富GPIO,成为教学级航模开发的理想主控;而魔术贴基板、可调电池配重、柔性尾翼等创新结构,则将抽象的飞行力学概念转化为可测量、可调试的实体对象,广泛应用于

weixin_29859471的博客 366

Labwindows CVI写上位机与STM32下位机通信(二)

接着上篇,这篇主要谈谈流量计数据读取。我们使用的MEMS流量计采用Modbus协议Modbus 使用RS-485 作为硬件载体。 一. Modbus协议   该协议定义了 Modbus 总线Master(主设备)与Slave(从设备)之间的通讯报文格式,对于主设备来说,Modbus 协议是联系上位机(如PC、PLC、HMI 等)的接口,而且所有的通讯都是“透明的”。控制器通信使用主-从技术,即

yang2011079080010的专栏 1万+

Objects as Points基于中心点的目标检测方法CenterNet—CVPR2019

目前主流且最成功的目标检测方法效率低下,浪费计算资源。本文提出的方法将目标用一个中心点来表示,同时可以回归与中心点相关联的其他属性。简单,更快,更准确,COCO测试集上做到速度与精度的平衡。3D目标检测和人体姿态估计上,可以做到实时运行,且精度较高;添加一个深度的回归参数。

xiaoxu的博客 1005

SpyGlass Lint脚本实战:从环境配置到报告生成的完整流程解析

本文详细解析了使用SpyGlass Lint脚本进行数字芯片设计代码质量检查的完整自动化流程。从环境配置、目录结构设计,到核心TCL脚本的编写与模块化配置,再到脚本执行、调试技巧及报告解读,提供了构建健壮、可维护自动化检查框架的实战指南。文章重点阐述了如何通过脚本实现从环境配置到报告生成的一键式操作,并探讨了与企业级CI/CD流程集成的进阶方案。

weixin_29196613的博客 443

TensorFlow Model Garden research 目录深度解析:研究模型目录的全景导航与核心模块源码导读

本篇技术指南以 [research/README.md](https://link.gitcode.com/i/c9727e539aa1128d62151d41c6142ba3) 为主骨架,系统梳理 TensorFlow Model Garden 中 research 目录的定位、两大分类(建模库与研究模型实现)、覆盖计算机视觉/NLP/音频/强化学习等方向的 18 个研究模型清单,并结合各子目录

gitblog_00332的博客 399

从零搭建《火影忍者》手游服务端:Linux环境部署与全流程实战

游戏服务器后端开发是构建大型多人在线体验的核心技术,其原理涉及高并发网络通信、分布式系统架构与数据一致性保障。在技术价值上,一套稳定高效的服务端不仅能支撑海量玩家实时交互,更是游戏业务逻辑、经济系统和安全防线的基石。典型的应用场景包括MMORPG、回合制卡牌、SLG等中重度手游。本文以《火影忍者》IP的横版卡牌回合制手游为例,聚焦于**手工服务端**的完整搭建过程,详细拆解从Linux系统初始化、MySQL与**Redis**缓存部署、核心服务编译、到代理后台联调的全链路实践,为开发者深入理解游戏后端架构提

weixin_30800615的博客 349

COMSOL介电弹性体数值仿真指南:预拉伸圆形DEA的稳态变形分析(II)

本期博客是《COMSOL介电弹性体数值仿真指南》系列博客中的一期。聚焦于介电弹性体驱动器(DEA)中最为经典的预拉伸圆形DEA驱动器构型,对其在COMSOL平台中的具体建模步骤进行介绍与讨论。

忘了面孔的Batou 358

CenterNet网络详解

Heatmap输出维度为H*W*C(128*128*不包含背景的类别),输出目标中心点的热图,指示每个像素作为目标中心的概率。这个热图中的每个值表示该点是目标中心的可能性。使用Focal Loss越接近峰值,越降低Loss,告诉模型这个区域接近模型;越远离模型,前面的系数接近没有,约等于普通的Focal Loss。

m0_61595251的博客 5310

Python 爬虫实战:全面解析雪球网用户投资组合数据采集

本文介绍了如何使用 Python 爬虫技术,抓取雪球网用户的投资组合信息。通过模拟登录、解析页面内容等步骤,获取了用户的持仓数据。未来,可以进一步探索以下方向:

2201_76125261的博客 1304

『深度应用』对CenterNet的一些思考与质疑·对比与U版YoloV3速度与精度

0.引子 笔者很喜欢CenterNet极简的网络结构,CenterNet只通过FCN(全卷积)的方法实现了对于目标的检测与分类,无需anchor与nms等复杂的操作高效的同时精度也不差。同时也可以很将此结构简单的修改就可以应用到人体姿态估计与三维目标检测之中。 后面一些针对CenterNet结构应用于其他任务,也取得不错的效果,比如人脸检测CenterFace以及目标追踪CenterTrack与FairMot。这些内容后面等笔者研习过后再补充,后面应该会做一个类CenterNet结构总结对比,感兴.

简明AI工作室 6782

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

环境感知算法——2.CenterNet基于KITTI数据集训练

CenterNet环境配置与基于Kitti数据集的神经网络模型训练。

wenquantongxin的博客 2042

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

CenterNet

我们介绍一篇很好的 one-stage 目标检测论文:CenterNet: Keypoint Triplets for Object Detection,该论文是由 中科院,牛津大学以及华为诺亚方舟实验室联合提出。截至目前,据我们所知,CenterNet 应该是 one-stage 目标检测方法中性能最好的方法。 《CenterNet: Keypoint Triplets for Object ...

bupt_cy 1万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

YOLC~

值得注意的是,作者提出的YOLC显著提高了小目标的检测性能,而中大型目标的改进并不明显。首先,它是一个无监督的模块,这意味着它可以无缝地集成到任何基于关键点的检测器中,而无需额外的簇 Proposal 网络。现有的基于裁剪的方法,如DMNet,产生许多裁剪或使用额外的网络,如ClusDet,导致检测速度低且模型参数增加。此外,尽管上述方法生成了簇区域,但某些簇中的目标分布是稀疏的,对最终性能的贡献很小。具体来说,作者将原始的损失替换为GWD损失,并尝试了基于IoU的损失,如GIoU,DIoU和CIoU。

whaosoft143ai的博客 946

CenterNet算法代码剖析

针对heatmap、wh、reg分别各自使用一种loss计算方式,最后加权获得最终的loss值。其中heatmap使用FocalLoss计算方式,wh和reg使用L1Loss计算方式。

benben044的专栏 4417

DLA:Deep Layer Aggregation论文和代码学习

文章目录论文学习Iterative Deep AggregationHierarchical Deep Aggregation网络结构![在这里插入图片描述](https://img-blog.csdnimg.cn/fb147ce654a845abb19414a581008bd3.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5qOu5bC85aup6LGG6IWQ,size_20,

lavinia_chen007的博客 4318

YOLOv5目标检测之Grad-CAM热力图可视化

使用Grad-CAM热力图可视化方法对YOLOv5进行热力图可视化,可直观展示图像中哪些区域对类别分类贡献程度大。

bai666ai的博客 9019
上一篇: 为什么我用Go写机器学习部署平台,而偏偏不用Python?
下一篇: 当搭配遇上个性化推荐
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值