qihshe的博客

本文探讨了在深度学习模型中解决长尾大型词汇物体检测的问题。作者发现现有的检测方法无法处理极度倾斜的数据集中的少数类别的问题，导致分类器不平衡。直接将长尾分类模型应用到检测框架中并不能解决问题，因为检测和分类之间存在本质差异。为了解决这个问题，作者提出了一个新颖的平衡组softmax（BAGS）模块，通过分组训练来平衡检测框架中的分类器。该模块可以对头部和尾部类别进行隐式调节，并确保它们都得到充分训练，而无需额外采样来自尾部类别的实例。

本文主要研究了长尾分布下的实例分割问题，并提出了一个简单而有效的解决方案——SimCal方法。在现有的实例检测和分割模型中，它们通常只适用于样本数量相当平衡的数据集，如COCO数据集，而在现实场景下，数据集通常是长尾分布的，这会导致性能下降。作者通过系统地调查了Mask R-CNN模型在LVIS数据集上的表现，发现其准确率下降的主要原因是物体提案分类不准确。为了解决这个问题，作者首先考虑了各种技术来提高长尾分类性能，这些技术确实提高了实例分割结果。然后，作者提出了一种简单的校准框架。

作者观察到NMS对YOLOs的速度和准确性有负面影响。（NMS进行后处理，不仅降低了推理速度，而且引入了导致速度和精度不稳定的超参数并且不同的场景对召回率和准确率的重视程度不同，需要仔细选择合适的NMS阈值，这阻碍了实时检测器的发展DETRs为消除NMS提供了另一种选择，然而，高昂的计算成本限制了它们的实用性，阻碍了它们充分发挥排除NMS的优势在本文中，作者提出了实时检测转换器(RT-DETR)解决NMS带来的影响，这是所知的第一个实时端到端对象检测器。

本文探讨了深度学习在长尾分布数据集上的分类问题，并提出了将表示学习和分类器学习分开的方法。通过实验发现，即使使用最简单的平衡采样方法，也可以获得高质量的表示学习结果，并且只调整分类器即可实现强大的长尾识别能力。