【看看这长尾学习】Re-Weight EQLv2

最新推荐文章于 2024-10-10 08:07:21 发布

原创最新推荐文章于 2024-10-10 08:07:21 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #pycharm #深度学习

长尾学习专栏收录该内容

5 篇文章

订阅专栏

EQLossv2是一种针对长尾分布问题的梯度平衡策略，旨在独立且公平地重新调整每个类别的权重。该方法通过调整正负样本的梯度权重，解决长尾学习中头部和尾部类别的不平衡问题。其核心思想是提升正样本的影响力，降低大量易分类负样本的影响，从而改善模型对罕见类别的学习。EQLv3进一步优化了这一过程，通过增加正样本权重和减少负样本权重来实现更公平的训练。

Equalization Loss v2: A New Gradient Balance Approach for Long-tailed Object Detection

论文观点与表现：

长尾学习的问题是正负样本梯度不平衡导致的
EQLV2是一个梯度调整机制，能够独立和公平的重新平衡每个类别
- 三个思考:
  - 梯度调整机制怎么调？
  - 独立平衡每个类别，是如何做到的？
  - 公平的平衡方法，怎么样实现并且对于头部数据影响如何？

实现原理：

EQLossv2的实例和任务：
- 一个实例有1个正标签、有 $C−1{\mathcal C}-1$ 个负标签；并且期望只有正标签类别的置信度分数比较高、其他类别的置信度分数低,为实现有以下操作：
  - 计算Positive samples ${m}_{j}^{pos}$
  - 计算Negative samples ${m}_{j}^{neg}$
  - Positive and Negative Samples ratio: ${(n_{j})}/{(N-{n}_{j})}$ ----- $N$ 表示样本总数目、 ${n}_{j}$ 表示 $j$ 类的样本数目。
EQLlossv2的梯度重加权
- 明确一个问题： $mjpos≪{m}_{j}^{pos}{\ll}$ ${m}_{j}^{neg}$ ,对于尾部数据而言必然遵从、而对于头部数据可能为 $mjpos≤{m}_{j}^{pos}{\le}$ ${m}_{j}^{neg}$
- 对于神经网络而言，大量的Easy Negative 起到的作用可能小于少部分的Hard Positives
- 进一步提出EQLv3的重加权：
  - 核心观念是：提高正样本权重比例，降低负样本的权重。