m_buddy的博客

参考代码：SparseR-CNN1. 概述介绍：这篇文章在目标检测领域中提出了一种比较新颖的思路

参考代码：非官方： CondInst，这篇文章使用的代码来源于此官方：AdelaiDet1. 概述介绍：这篇文章描述的是单阶段的实例分割算法，类似与SOLO模型将不同的实例编码到channel和动态卷积参数中一样，这篇文章借鉴的是动态卷积参数去独立表征每个实例mask。回顾之前的两阶段实例分割算法（以Mask RCNN）为代表其存在如下的一些问题：1） 该方法通常会根据RoI box使用RoI Align的策略将特征图实现对齐与抠取，但是在一些情况下会引入较多背景区域的干扰，特别是对于存在旋转

参考代码：LD1. 概述导读：这篇文章研究的是检测场景下的知识蒸馏方案。在该场景下的蒸馏有采取直接将对应特征图匹配到对应维度之后做特征图差异最小化，也有使用Teacher输出的GT作为引导排除大量背景等无关信息的。在这篇文章中参考和借鉴了在原分类网络中做蒸馏的思想，也就是在网络输出概率分布软化之后做蒸馏。因而这篇文章就使用到GFocal的边界框回归方案，这样就可以直接在输出的概率分布上做蒸馏，从而避免了Teacher和Student网络结构不对应带来的匹配问题，因此更加灵活。在实际进行蒸馏的时候文章指

参考代码：GFocalV21. 概述导读：这篇文章是在之前V1版本的基础上增强了目标检测中定位质量估计能力。在之前的一些网络中会在分类分支和检测分支的特征图基础上实现定位质量的估计（如IoUNet、FCOS），但是会存在training和infer阶段的gap。对此在GFocal V1的版本中提出了质量感知的预测头，从而弥补了training和infer的gap。而这篇文章更进一步使用4个边界框的概率分布作为额外信息输入，使得质量感知分支能够获取检测框边界的信息，从而进一步提升质量感知分支的准确度。

参考代码：GFocal这篇文章会探讨将目标检测中边界框的回归问题转换为概率分布的问题，因而需要从传统的边界框范数与IoU回归思想转换到边界框的概率分布上来。对此，对这方面内容不是很理解的朋友可以参考下面这篇文章的内容，从而对加深这篇文章提出GFocal优化方法的理解：REF：一文了解目标检测边界框概率分布同时，这篇文章的作者也有对这篇文章进行了说明，详见：大白话 Generalized Focal Loss1. 概述导读：让目标检测网络实现对检测质量的感知，是之前一些检测算法努力追求的目标。总结

参考代码：AdelaiDetSOLO，本文所引用代码源自于此这里提到的v1和v2版本分别对应的文章名称：SOLO: Segmenting Objects by LocationsSOLOv2: Dynamic and Fast Instance Segmentation1. 概述导读：SOLO系列的文章解决的是单阶段的实例分割任务，相比之前的检测-分割（top-down）的方法在操作流程上简化不少，同时取得的效果也是不错的。在单阶段的实例分割任务中由于缺少检测带来的位置确定性，因而需

参考代码：BCNet1. 概述导读：在这篇文章关注的是实例分割中mask的分割，在正常的场景下是可能存在2个或是多个物体存在重叠遮挡的，往往就会在物体像素相接的地方存在分割边界模糊以及分割不准确的问题。对于这样的现象文章将其归纳为如下原因：1）原生的Mask RCNN只是在RoI区域进行前景mask分割，并不关心RoI区域中的其它目标的mask（统统为背景），也就是没有对这些mask也进行显式建模；2）在后处理阶段一般采用非极大值抑制的策略对存在重叠的mask进行处理，这也必然会导致一些奇异现象的

参考代码：RefineMask1. 概述导读：在这篇文章中针对以Mask-RCNN为代表的实例分割模型存在实例分割mask掩膜边界补贴合的问题进行探究，文章指出由于网络存在下采样操作以及RoI Pooling的操作使得进行mask预测的特征图丢失了很多细节信息，进而导致了实例分割结果边界较差的问题。对此文章从如下几个方面对实例分割头部分进行改进：1）直接使用FPN网络特征图输出的P2P2P2特征图添加几个卷积之后进行语义分割，从而辅助实例分割部分；2）采用级联优化的形式，逐渐增加mask预测的分辨

参考代码：YOLOF1. 概述导读：回顾之前检测网络中普遍使用的FPN网络进行不同尺度特征的融合，以及在不同scale下进行目标检测（不同size的目标会被分配到不同stride的FPN特征图上），这其实是一种分而治之的策略。但是这样的网络设计方式会带来较多的计算开销，毕竟需要计算那么多层级的FPN金字塔。而这篇文章的思路便是思考可否将FPN网络进行简化，这样检测网络的耗时就能得到极大减少。对此文章将FPN网络部分进行替换，只使用一个C5特征尺度完成全尺寸的目标检测任务。对于感受野问题，文章通过带sh

1. PeleeNet参考代码：CaffePyTorch论文名称：《PeleeNet：A Real-Time Object Detection System on Mobile Devices》1.1 设计理念在类MobileNet的轻量化网络中广泛采用深度可分离卷积用于减少参数量和计算量，但文章指出这样的结构在不同深度学习推理框架中效率却不高。对此文章全部采用传统卷积的形式在DenseNet的基础上进行改进得到名为PeleeNet的网络。相比MobileNet网络更加轻量化，运行的速度也

参考代码：EfficientNetV21. 概述导读：这篇文章是在EfficientNet基础（借鉴了其中一些既有结论）上进行改进优化来的，其主要的优化点有：1）通过加入training-aware的网络搜索（也就是将网络性能/训练时间/网络参数量组合起来作为NAS的优化目标）去优化网络的训练速度和参数的效率（参数量与最后换得性能的比例）；2）在深度可分离卷积组成的MBConv基础上在浅层的stage上引入Fused-MBConv增加网络的性能与加快训练时间；3）直觉上增加图像的size会提升网

参考代码：无1. 概述导读：在检测任务中一般会引入FPN增强在不同尺度下网络的检测性能，但是只通过top-down的FPN网络是很难去重建由于特征图的漂移（水平或是垂直方向运动）在经过pooling操作（pooling不具有平移不变性）带来结果相差很大的问题（特别针对小目标），而且FPN带来的性能提升会在使用较多卷积层之后逐渐被稀释（卷积的平移不变形），进而会导致一些小目标定位性能降低。对此可以通过添加一个bottom-up的结构实现对特征图pooling经过操作之后带来的问题补偿，但是却需要消耗很多

参考代码：SCDA1. 概述导读：在之前的Domain Adaption文章中主要是针对分类/分割场景任务，对于检测场景下的挖掘不够，这是由于分类/分割场景关注的是整个特征图范围上的表现，而检测却是具有局部性的，因而直接将分类/分割的域迁移方法引入是不合时宜的。对此文章按照监测网络的特性设计了一个检测网络下的domain adaption方案。首先寻找到特定的区域（也就是文中“where to look”，region mining的过程），得到这些区域之后便是对这些区域使用region align的

参考代码：D2Det1. 概述导读：这篇文章提出了一种新的两阶段检测算法，主要的改进点集中在RPN网络之后，从而带来目标定位和目标分类更加准确。对于定位部分的优化这里是使用的是类似Grid RCNN之类的检测框预测方法，因而就可以对一个proposal进行密集预测（dense box），文中提到这样的回归方式会带来更为精确的预测结果，在此基础上引入了二值掩膜重叠预测（GT为对应GT框的内部区域，看作另外一种形式的分割）用以更近一步排除由proposal进行预测得到结果为背景的情况。对于精确的分类结果，

参考代码：CrowdDetection1. 概述导读：在一些密集场景下检测算法由于算法自身问题导致其对密集场景检测存在问题，整篇文章正是解决这样的场景下的检测问题。这篇文章主要的思想就是将原来单个框检测的方式修改为预测一个相互关联框的集合（instance set）（可以看作是一块区域目标的集合），并且针对这种改进提出了EMD Loss和Set NMS去监督与提取最后的结果。文章的方法使用FPN-Res50作为backbone在CrowdHuman数据集上获得了4.9%（without RM），在Ci

参考代码：video-nonlocal-net1. 概述导读：现有的CNN与RNN的网络都有很好的局部相关性（local），但是在一些任务中就需要网络具有较大的感受野范围，因而就需要一种non-local的表达形式来捕获较大范围的信息。这篇文章不同于之前的non-local的方法，它计算的是当前位置在全局中的加权和的形式。而且文章的结构是比较灵活的可以被移植到很多的网络结构中，或多或少地会带来性能的提升（其对于网络量化的影响就还需要进一步试验观察了），这篇文章的方法可以说是比较好的Attention方

参考代码：暂无1. 概述导读：这篇文章为任意形状的自然场景下文本检测提供了一个新的算法，这个算法中使用了自适应形状的文本区域表达（使用RNN网络）。文章的网络首先给定一张待检测的图片，网络通过text RPN网络提取出可能的文本区域，之后这些区域通过优化网络进行修正与优化。在优化网络中采用了基于RNN结构去预测一对边界点，直到没有新的点预测出来为止（使用RNN去预测停止位），最后通过这样预测出来的点对任意形状的文本进行表达（构成一个包含文本的多边形区域）。文章的算法在CTW1500/ TotalTex

参考代码：darknet1. 概述导读：检测网络发展到现如今已经有很多的改进思路，这些改进思路在狭义或是广义程度上都对检测网络的性能有所提升。在这篇文章中对这些改进的思路进行探究，从理论上分析对检测结果的影响。文章发现一些检测优化的技巧是针对某个数据集，某个问题等较为单一的方面进行设计与优化的，并不具有较高的通用价值，因而这篇文章更加关注于具有通用价值的改进思路。这些思路包括：加权的残差连接（Weighted Residual Connections，WRC），跨stage特征融合（Cross Sta

参考代码：Gaussian_YOLOv3关键代码解释：Gaussian YOLOv3：一个更强的YOLOv3，现已开源！1. 概述导读：这篇文章着力于解决自动驾驶检测任务最后结果中的假阳性检测结果问题，文章在YOLOv3网络的坐标回归上引入一组高斯参用于表示坐标的不确定性（目标置信度与分类置信度并不能很好表征检测框的置信度），并且根据这个需求重新设计网络损失函数，从而网络在假阳性检测结果上有所好转，即是这个重新设计的网络可以输出检测结果的定位不确定性，从而在检测的过程中使用这个属性就可以减少错误的检

代码地址：DIoU1. 概述导读：这篇文章主要的贡献在边界框损失函数的优化上面，传统上使用LnL_nLn​范数的损失，如smooth-L1或是其对应的改进balanced-L1，但是这些损失函数并不直接与检测框的质量相关。将检测框的质量作为回归的度量就引入IoU损失函数，为了弥补IoU损失函数在不相交的时候不可导的问题引入GIoU，但是GIoU也是存在收敛速度慢且回归不准确（GIoU在两个框...

代码地址：EfficientDet.Pytorch1. 概述导读：这篇文章的总体思想上借鉴了EfficientNet的设计思路：使用缩放的思想按照需求的网络性能缩放网络大小，在性能与网络大小上获取权衡，可以看作是EfficientNet在检测领域的延伸。针对与检测领域这篇文章提出了两个改进的地方：1）提出了BiFPN的特征融合结构，使用加权特征融合（特征的权值是可以学习的）的方式替换了原有...

参考代码地址：Feature-Selective-Anchor-Free-Module-for-Single-Shot-Object-Detection1. 概述导读：这篇文章对于一阶段（文中baseline为RetinaNet）的检测模型回归提供了一个新的特征选择机制：anchor-free的特征选择机制（feature selective anchor-free，FSAF）。它解除了原有...

代码地址：yolact1. 概述导读：这篇文章的方法YOLACT++是在YOLACT的基础上进行改进得到的（之前关于YOLACT的文章可以参考之前的博文：链接），这篇文章给出的算法相比之前的版本其在instance分割性能上有了很大进步，作为取舍的另外一方面，在速度上略微有所下降。其具体的改进体现在以下3点：1）为网络引入Deformable Convolution，增强网络表达能力，带来更...

1. 概述导读：这篇文章是对于检测网络训练过程中存在的问题进行了分析，分析明确指出检测网络在训练过程中会存在明显的不平衡问题，这里的不平衡问题大体分为3个层次：检测框采样机制层次、特征图层次、目标函数层次。对此，文章对于这些不同层次的不平衡问题进行了研究，并对每个层次的问题提出了对应的解决办法，这也是文章对应的创新点，它们分别是IoU-balanced sampling、balanced fe...

代码地址：Distilling-Object-Detectors1. 概述导读：这篇文章是在two stage检测网络Faster RCNN基础上使用知识蒸馏改进亲轻量级网络性能。其中的核心思想是teacher网络中需要传递给student网络的应该是有效的信息，而非无效的背景区域信息，因而文章将backbone输出的特征图与RPN网络输出的结果进行组合，从而得到student网络应该学习的...

1. 概述导读：这篇文章是在检测模型上使用知识蒸馏，从而实现在减小检测模型尺寸与推理时间的同时，尽可能提升小模型的检测性能。这篇文章是基于Tiny-YOLO的检测模型，但是在知识蒸馏的部分做了较多的工作，归纳为：（1）objectness scaled distillation：按照目标是否为检测模型的置信度给蒸馏的网络添加权重参数，相当于是objectness-ware；（2）FM_NMS（...

代码地址：CenterMask1. 概述导读：在这篇文章提出的新instance分割方法是基于FCOS的，首先，文章在FOCS的box检测的基础上通过添加一个SAG-Mask（spatial attention-guided mask）分支来实现像Mask RCNN中类似的分割效果。在FCOS检测的box结果基础上使用空间注意力特征（spatial attention map）帮助进行目标聚...

代码地址：mmdetection1. 概述导读：级联优化策略在许多的任务中被证实是提升性能的有效策略，而在实例分割中引入级联优化策略还是比较新的尝试。而简单地将Cascade RCNN与Mask RCNN相结合（Cascade Mask RCNN）只能带来很少的性能提升，其中的关键是没有很好利用检测与分割之间相互关联，因而这篇文章基于此提出了一个新的网络结构Hybrid Task Casca...

代码地址：DB1. 概述由于分割网络的结果可以准确描述诸如扭曲文本的场景，因而基于分割的自然场景文本检测方法变得流行起来。基于分割的方法其中关键的步骤是其后处理部分，这步中将分割的结果转换为文本框或是文本区域。这篇文章的文本检测方法也是基于分割的，但是通过提出Differenttiable Binarization module（DB module）来简化分割后处理步骤（加了一个变的预测），...

代码地址：PMTD1. 概述导读：现有的一些基于Mask R-CNN的文本检测算法，在自然场景的文本检测已经取得了较为不错的性能，这篇文章也是在Mask R-CNN的基础上提出了新的自然场景文本检测算法PMTD（Pyramid Mask Text Detector）。需要注意的是：这个算法检测的对象不是任意形状的文本，检测的区域还是四边形区域。该算法不生成Mask R-CNN中的二值掩膜图，...

代码地址：Grid R-CNN1. 概述导读：Grid R-CNN将原（Faster R-CNN）中检测框偏移预估的问题转换为网格点预估问题，有了网格点的帮助，检测的性能有了进一步提升。而这篇文章提出的改进主要在原Grid R-CNN的基础上提升速度，同时也提升精度，改进之后的方法叫作Grid R-CNN Plus。其在COCO数据集上基于Res50-FPN获得了40.4%的mAP，超过前一...

代码地址：mmdetection1. 概述anchor机制算是现在大部分检测算法的基石，如今一些基于非anchor机制的检测算法也在不断涌现，其使用的是另外的一种方式寻找目标可能存在的位置。在anchor机制中使用一些预先设定好的固定的ratio和scale在空间上进行采样。这篇文章在这个固定的anchor上面进行改进，使用语义特征去指导anchor的生成。该改进能用于预测目标的位置以及不同...

代码地址：Relation-Networks-for-Object-Detection1. 概述一直以来都认为对检测目标之间的联系进行建模会帮助提升目标检测的性能，但是却没有实质性的证据表明这个猜想在现有的深度学习领域是可行的。现有的一些state-of-art的目标检测算法依赖于独立地识别目标，并没有在学习过程中考量他们之间的关系。这篇文章受语言模型中attention的启发，提出了一个...

代码地址：暂无1. 概述导读：这篇文章提出了一种基于非anchor机制的检测网络FoveaBox，这个网络在没有anchor的条件下直接学习目标存在的概率与检测框坐标，对于不同大小的目标是在FPN网络的不同层上预测实现的。目标概率与检测框回归是通过下面两点来实现的：1）backbone的输出特征图上输出对应分类类别的分类结果特征图；2）对可能包含目标的位置（既是在文中规定的搜索区域内）生...

代码地址：TridentNet1. 概述导读：对于检测网络来说网络的深度、stride大小与感受野会直接影响检测性能，对于网络的深度与stride大小已经有很多前人的工作在里面了，这篇文章从感受野的角度去优化检测网络（着力于不同的目标尺度），从而在Faster RCNN的基础上进行对应的改进提出了TridentNet。该网络在一个backbone上添加一个平行的多分支结构（分支上的参数共享，...

代码地址：暂无1. 概述导读：这篇文章提出的文本检测算法（LOMO）主要致力于去解决极端长文本与任意形状的文本检测问题，这篇文章处理文本区域表达的时候会处理多次（体现于IRM模块），也对应文章标题的Look More Than Once。这篇文章的检测算法主要由直接回归单元（direct regressor，DR）（源于EAST）、迭代优化模块（iterative refinement mo...

代码地址（非官方，训练未开源）：CRAFT-pytorch代码地址（官方）：CRAFT-Reimplementation1. 概述导读：这篇文章主要致力于去解决任意形状本文的检测问题，对此文章提出了一种新的文本检测方法CRAFT，该方法检测每个文字字符的区域与文字字符的相互关系。对于字符级别的训练自然就要有字符级别的标注，然而实际中这样的数据是很少的，针对这个问题，文章有效利用了已有的字符...

代码地址：KL-Loss1. 概述导读：这篇文章对于数据集中标注不明确的标注框给检测带来的影响做了研究，其中原有的检测框的回归函数Smooth L1函数并不能很好反应不明确检测框带来的影响，对此文章提出了一个新的检测框损失函数——KL-Loss，它同时学习检测框的变换与定位的方差（localization variance，定位的不确定性），这样的改进可以扩展到多种不同结构的检测网络，扩展之...

代码地址：暂无1. 概述导读：这篇文章提出的新的目标检测网络叫做Matrix Nets（该方法是基于关键点的检测算法），这篇文章比较有意思的一点是充分考虑了CNN特征size与aspect对目标检测带来的影响，因而扩大了特征空间使得检测网络的性能得以提升。该网络通过在网络结构的不同层中找到匹配目标的不同size与aspect ratio从而提升检测性能，而这些单独的网络层中size与aspe...

代码地址(unofficial)：SPCNet1. 概述导读：这篇文章是在Mask RCNN的基础上进行改进得到的新文本检测算法。其具体改进体现在引入TCM（Text Context Module）与Re-Score Module。前者帮助补充与获取原Mask RCNN的proposal中缺失的全局信息，减少误检。后者通过TCM模块中的语义信息映射的得分与原Mask RCNN的分类置信度混合...