【论文阅读】解决类别分布严重不均衡

最新推荐文章于 2024-02-28 21:53:57 发布

原创

最新推荐文章于 2024-02-28 21:53:57 发布 · 1.4k 阅读

7 ·

CC 4.0 BY-SA版权

本文探讨了在3D对象检测中遇到的类别分布严重不均衡问题，介绍了几种解决方案，包括Focal loss、在线难例挖掘（OHEM）、GT Augment、重加权方法以及BAGS策略。文章引用了多篇研究论文，如《Equalization Loss for Long-Tailed Object Recognition》和《Adaptive Class Suppression Loss for Long-Tail Object Detection》，阐述了如何通过调整损失函数、重采样和分组策略来改善小样本类别的学习效果，以克服大样本类别的梯度压制，提高长尾数据集的检测性能。

文章目录

Focal loss
OHEM
GT Augment (Re-Sampling)
Re-weighting
- 《Equalization Loss for Long-Tailed Object Recognition》
- 《Adaptive Class Suppression Loss for Long-Tail Object Detection》
BAGS
- 《Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax》
- 《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》

数据集类别严重不均衡的问题在3D object detection上非常常见，这里记录几篇关于这个问题的解决办法。

Focal loss

focal loss可以缓解这个问题，减少容易样本loss的权重。

OHEM

在线难例挖掘，仍然是减少易分类样本对loss的影响。

GT Augment (Re-Sampling)

这其实是re-sampling的一种方式，增加小样本类别的数量。

做少样本类别的instance的augmentation，这在3D object detection任务中是一个非常常见的数据增广手段。但这有个问题是，增加的小样本类别，仍然是从训练集中抽出来的，大量重复使用这些训练数据，可能会造成过拟合。

Re-weighting

随着训练，修改loss的权重，增加小样本类别对loss的影响。但这会破坏原有类别分布。

《Equalization Loss for Long-Tailed Object Recognition》

这里介绍一篇文章，CVPR 2020.

本文的出发点是，一个sample经过softmax或者sigmoid得到每个类的预测概率，送入CrossEntropy loss中计算loss，求得梯度，在反传梯度时，会提升真值类的权重，抑制其他类的权重。那对于小样本类c，其他的大样本类的每个sample j都是negative的样本，那它们的梯度都是会使得预测c的这个权重减小。那么对于小样本类c，其他大样本类产生的negative的压制甚至会超过属于c类的postive的样本所带来的正向作用。这就使得，小样本类分类出现问题。

作者提出，忽略大样