19、长尾分布下的类增量学习：有序与随机场景

长尾分布下的类增量学习：有序与随机场景

1. 引言

在现实世界的应用中，数据分布往往呈现出长尾现象，即少数类别拥有大量样本，而多数类别仅有少量甚至没有样本。这种不平衡的数据分布给机器学习模型带来了巨大挑战，尤其是在类增量学习（Class-Incremental Learning, CIL）中。CIL旨在使模型能够持续学习新类别，同时避免灾难性遗忘（Catastrophic Forgetting），即忘记已经学过的旧类别。本文将探讨长尾分布下的CIL，特别关注两种典型的学习场景：有序场景和随机场景。

2. 长尾分布下的类增量学习

2.1 数据分布特点

长尾分布的特点在于数据的极度不平衡。表1展示了长尾分布的一个示例，其中头部类别占据了大部分样本，而尾部类别则只有少量样本。

类别	样本数
类别1	10000
类别2	8000
类别3	5000
…	…
类别100	10

2.2 灾难性遗忘问题

在C