论文笔记：Asymptotic Midpoint Mixup for Margin Balancing and Moderate Broadening

1. Motivation

在特征空间中，特征之间的collapse会导致representation learning 中的关键问题，这是因为特征之间不可区分。基于线性插值的增强方法（例如 mixup）已经显示出它们在缓解类间塌陷（称为inter-class collapse）方面的有效性，可以提高了模型在长尾数据集和对比自监督学习上（contrastive self-supervised learning）的性能。但是从粗粒度到细粒度会导致的类内塌陷（ intra-class collapse） 还没有得到充分讨论。

类内特征塌陷：在一个类别内部，如果所有的样本特征都过于接近类的质心，那么就会发生类内特征塌陷。这种情况下，即使这些样本在原始数据空间中有非常不同的表现，但是在特征空间中，它们都被映射到了非常接近的位置，这就导致了这些样本的特征无法区分，从而影响了模型的学习效果。类内特征坍塌被证实出现在coarse-to-fine transfer learning。

类间特征坍塌：如果不同类别的样本特征在特征空间中过于接近或者相同，那么就会发生类间特征塌陷。这种情况下，不同类别的样本无法被区分开，从而影响了模型的分类效果。类间特征坍塌则会发生在长尾数据集上，因为头类的压倒性数值优势，会导致长尾数据集上的边缘不平衡，从而降低了图像分类性能。

long-tailed datasets：长尾数据集是指在数据集中，某些类别的样本数量远大于其他类别的样本数量。

2. Contribution

出于以上的动机（尚未解决的类内特征坍塌），作者研究了从粗到精的迁移学习和不平衡学习这两个任务中 基于插值的增强方法的类间和类内塌陷效应，特别是mixup and manifold mixup这两种增强方法。作者发现mixup 和 manifold mixup 都存在相似的 collapse problems。为了解决这些坍塌问题，作者提出了一种更好的基于插值的增强方法：asymptotic midpoint mixup（渐近中点混合/AM-mixup）。

这个方法会通过线性插值产生features，并且精细地控制 线性插值的比例。具体来说，随着模型训练，增强的特征逐渐会接近两个类之间的中点（ the midpoint of inter-class feature pairs），如图所示。最终，在能够减弱c