长尾分布系列论文解析（三）On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond

引言

 本文是长尾分布系列论文解析的第三篇，前两篇分别关注了传统分类问题中的长尾分布：长尾分布系列论文解析（一）Decoupling Representation and Classifier for Long-Tailed Recognition以及回归问题中的长尾分布长尾分布系列论文解析（二）Delving into Deep Imbalanced Regression本篇要介绍的是多域学习任务中的长尾分布问题，相关论文为：

• On Multi-Domain Long-Tailed Recognition, Imbalanced Domain Generalization and Beyond

多域学习中的长尾分布

 分类问题和回归问题中的长尾都旨在解决同一个域的问题，也就是训练集和测试集的数据都来自于同一个总体（但实际上还是很疑惑为什么要在balance的测试集上进行测试，这种情况下训练集和测试集真的算来自于同一分布吗？）。而现实中不同域间往往存在着不同、但是又可以彼此借鉴的长尾分布，比如说同样的动物分类数据集，素描的图像和拍摄的图像可能有着不同的长尾分布，但从分类的角度来看二者的知识是可以迁移的。本文所研究的问题就是这一条件下的MDLT(Muliti-Domain Long-Tailed Recognition)，旨在训练模型从含有不同不平衡标签分布的域中学习共通的信息，并将训练出的模型迁移到同一系列域但是标签分布的测试集中。
 MDLT算是MDL（Multi-Domain Learing）的子课题，这里需要稍微区分一下MDL和DA（domain adaptation）以及DG（Domain Generalization）的区别。DA旨在提升模型在单一的目标域上的表现，也就是存在着源域和目标域的区别；而MDL旨在提升模型在所有域上的表现；DG则是期望将模型泛化到一个全新的域中，这一域只会在测试时出现。本文则主要关注于MDL中不同域可能存在的不平衡标签分布问题，同时进一步将这一问题拓展到了DG方向，证明了DG领域也需要考虑域内不平衡分布差异性的问题。
 文章的主要贡献在于：

1. 定义了MDDLT问题，并给出了相应的优化方法BoDA，同时在理论和实验上都证明了BoDA算法的有效性。
2. 将BoDA算法应用至DG问题上，证明了DG方向的域内不平衡分布差异性同样值得关注。

域间类别信息可转移性图

 在单域的不平衡分布中，最基本的单元是类别，而在MDLT问题中，最基本的单元是域-类对$(d,c)$。作为迁移学习的子问题，MDLT关心的是利用同类的域类对获得相应类别的典型信息，其核心问题是如何进行域间的信息整合，而这一点在MDL问题中已经得到了广泛的研究。MDLT则是将其更细化的考量到如果不同域间分布不同，那么该如何依据这一差异性做出不同的迁移，这就设计到了度量不同域-类对间的可转移性。作者定义了域-类对间的可转移性为：
t r a n s ( ( d , c ) , ( d ′ , c ′ ) ) ≜ E z ∈ Z d , c [ d ( z , μ d ′ c ′ ) ] trans((d,c),(d',c'))\triangleq \mathbb{E}_{z\in \mathbf{Z}_{d,c}}[\mathbf{d}(z,\mu_{d'c'})] trans((d,c),(d′,c′))≜Ez∈Zd,c​​[d(z,μd