Is Sampling Heuristics Necessary in Training Deep Object Detectors? 论文笔记

最新推荐文章于 2024-03-06 17:45:59 发布

原创

最新推荐文章于 2024-03-06 17:45:59 发布 · 424 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习

本文探讨了深度学习目标检测中的一类关键问题——类别不平衡，并分析了现有解决方案如hard和soft sampling的局限性。作者提出了Guided Loss Scaling、Optimal Bias Initialization和Adaptive Thresholding三个创新点，旨在优化非采样模型的训练，特别是通过动态调整分类损失规模、优化初始偏置以及自适应阈值设定来改善训练效果和预测精度。实验表明这些方法能有效应对类别不平衡问题，提高检测器的性能。

我个人认为，这篇论文的行文逻辑比较清晰，实验数据也比较充分，可以作为自己写论文的一个范本进行学习。

作者首先从一阶段与二阶段检测器的简要介绍开始，指出两者的共同点之一是都有采用anchor的机制，而其采用的anchor数量作者用massive来形容，但事实上只有很少的anchors会与物体相交较多，那么不采用anchor可以吗？当然可以，作者接着介绍了anchor-free的方式，最后引出本文想要解决的问题——the imbalance between foreground and background .

现有的解决此类问题的方法，主要可以分为hard sampling 与 soft sampling。
前者指从所有样本中，挑选一部分出来，主要的方法有：①mini-batch biased sampling，②online hard example mining(OHEM), ③Iou-balanced sampling等。
后者指为所有样本给予不同的权重，主要的方法有：①Focal loss，②gradient harmonizing mechanism(GHM)等。

诸如以上的这些sampling heuristics的方法，①只解决了训练过程中的不平衡问题，但没有解决推理过程中的不平衡。☆并且②会引入额外的超参，增加调参的难度。

既然存在这么多问题，那我们可以摒弃sampling heuristics的方法吗？现有的一些通过级联(cascade)的方式来减少背景样本的方法，尝试在这个方向有所突破，但①其会产生较多的计算量，②并且他们中的大多数还是没有完全摒弃sampling heuristics的方法。

这样看来不采用sampling heuristics的方法来训练检测器是不太现实的？作者首先对Non-Sampling Model进行训练，发现影响非sampling heuristics 训练效果的关键在于：分类损失的体量与稳定性