论文笔记：Visual Domain Adaptation with Manifold Embedded Distribution Alignment

论文：Visual Domain Adaptation with Manifold Embedded Distribution Alignment
地址：https://arxiv.org/abs/1807.07258

一、简介

在解决 unsupervised domain adaption 时主要出现两个问题：

1. 恶化的特征转化： 特征对齐通常在原来的特征空间中实施，而且特征扭曲现象难以克服。另一方面，子空间学习不足以减少分布差异。
2. 分布对齐没有测量的标准：之前的特征对齐方法仅仅将边缘分布和条件分布以视为同等重要的方式对齐，没有考虑到在真实应用中这两种方式的重要性可能不同。比如Figure1 所示，当两个域是非常不同(Figure 1(a) → 1(b))，此时对齐边缘分布可能更加重要。如果边缘分布是相近的(Figure 1(a) → 1©)，此时对齐条件分布可能更加重要。
   

Manifold Embedded Distribution Alignment (MEDA) 方法解决了这两个问题，主要通过具有结构化危险最小化(structural risk minimization )的拉格拉斯流行(Grassmann manifold) 学习一个域不变的分类器，同时通过考虑条件分布和边缘分布的重要性来进行动态分布对齐。

二、细节

Main Idea

MEDA方法主要有两个基本步骤，分别解决上述提出的两个问题。

1. 使用流形特征学习(manifold feature learning) 去解决恶化的特征表示问题。
2. 使用动态特征对齐去定量的考虑边缘分布对齐和条件分布对齐的重要性。

根据结构危险最小化原则(SRM)，最终可以把学习到域不变分类器 $f$ 为：
$$f={\arg \min }_{f\in {\sum }_{i=1}^n{\mathcal{H}}_K}l(f(g({\mathbf{x}}_i)),{\mathbf{y}}_i)+\eta ||f|{|}_K^2+\lambda \overline{D_f}({\mathcal{D}}_s,{\mathcal{D}}_t)+\rho R_f({\mathcal{D}}_s,{\mathcal{D}}_t)$$

$||f|{|}_K^2$ 是$f$ 的二次范式，后面两项分别为动态分布对齐和拉普拉斯正则项。其中 $\eta 、\lambda 、\rho$ 是相应的参数。

Manifold Feature Learning

作者使用测地线流式核方法（GFK）来进行Manifold Feature learning。经过转换后的特征可以表示为 $\mathbf{z}=\mathbf{g}(\mathbf{x})=\mathbf{\Phi }(\mathbf{t}{)}^{\mathbf{T}}\mathbf{x}$，转换后的特征 $z_i$ 和 $z_j$ 的内积形成一个半正定测地线流式核：
$$<{\mathbf{z}}_i,{\mathbf{z}}_j>={\int }_0^1(\mathbf{\Phi }(\mathbf{t}{)}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^{\mathbf{T}}(\mathbf{\Phi }(\mathbf{t}){\mathbf{x}}_{\mathbf{j}})\mathbf{d}\mathbf{t}={\mathbf{x}}_{\mathbf{i}}^{\mathbf{t}}\mathbf{G}{\mathbf{X}}_{\mathbf{j}}$$
最后得到 $\mathbf{z}=\mathbf{g}(\mathbf{x})=\sqrt{\mathbf{G}}\mathbf{x}$。

Dynamic Distribution Alignment

这里首先定义$P$为边缘分布，$Q$为条件分布。作者提出使用Adaption factor $\mu$ 来平衡两个分布的重要性，因此动态分布对齐$\overline{D_f}$ 可以被定义为：
$$\overline{D_f}({\mathcal{D}}_s,{\mathcal{D}}_t)=(1-\mu )D_f(P_s,P_t)+\mu \sum _{c=1}^C{D}_f^{(c)}(Q_s,Q_t)$$
其中 $\mu \in [0,1]$就是 adaptive factor ， c ∈ { 1 , ⋅ ⋅ ⋅ ， C } c\in\{1, ···，C\} c∈{1,⋅⋅⋅，C}是类别指示符号。
$D_f$可以用最大化均值差异(maximum mean discrepancy,MMD)来度量，因此，改写$\overline{D_f}$ 为：
$$\overline{D_f}({\mathcal{D}}_s,{\mathcal{D}}_t)=(1-\mu ){||\mathbb{E}[f({\mathbf{z}}_s)]-\mathbb{E}[f({\mathbf{z}}_t)]||}_{{\mathcal{H}}_K}^2+\mu \sum _{c=1}^C{||\mathbb{E}[f({\mathbf{z}}_s^{(c)})]-\mathbb{E}[f({\mathbf{z}}_t^{(c)})]||}_{{\mathcal{H}}_K}^2$$
值得注意的是，这里的${\mathcal{D}}_t$ 是没有label的，所以无法直接评估条件分布$Q_t=Q_t({\mathbf{y}}_t|{\mathbf{z}}_t)$，使用类条件分布$Q_t({\mathbf{z}}_t|{\mathbf{y}}_t)$去近似 $Q_t$，为了得到$Q_t({\mathbf{z}}_t|{\mathbf{y}}_t)$，作者首先使用一个在${\mathcal{D}}_s$上训练的基本分类器来预测${\mathcal{D}}_t$的软标签。尽管这可能不值得信赖，但是可以迭代的去从新修正这个分类器。而且仅在第一次迭代的时候使用这个基础分类器，之后都使用MEDA来自动重新修订$D_t$的标签。

为了定量的得到适应参数 $\mu$ ，作者使用$\mathcal{A}$-distance 去作为基本的测量方式，$\mathcal{A}$-distance 被定义为构建一个线性分类器去判断两个域的错误率。$ϵ(h)$ 定义为一个线性分类器 h 判别两个域${\mathcal{D}}_s$ 和 ${\mathcal{D}}_t$ 的错误率。$\mathcal{A}$-distance 公式化定义如下：
$$d_A({\mathcal{D}}_s,{\mathcal{D}}_t)=2(1-2ϵ(h))$$
所以$\mu$的值可以被估计为：
$$\hat{\mu }\approx 1-\frac{d_M}{d_M+{\sum }_{c=1}^C{d}_c}$$

Learning Classifier $f$

引入平方loss $l_2$，$f$可以重新写成：
$$f={\arg \min }_{f\in {\mathcal{H}}_K}\sum _{i=1}^n(y_i-f({\mathbf{z}}_i){)}^2+\eta ||f|{|}_K^2+\lambda \overline{D_f}({\mathcal{D}}_s,{\mathcal{D}}_t)+\rho R_f({\mathcal{D}}_s,{\mathcal{D}}_t)$$
接下来，作者详细的讨论了 $f$ 中每一项的细节，包括 $f、\overline{D_f}({\mathcal{D}}_s,{\mathcal{D}}_t)、R_f({\mathcal{D}}_s,{\mathcal{D}}_t)$ 的准确表达形式:

$$f={\arg \min }_{f\in {\mathcal{H}}_K}||(\mathbf{Y}-{\beta }^{\mathbf{T}}\mathbf{K})\mathbf{A}|{|}_F^2-\eta tr({\beta }^{T}K\beta )+tr({\beta }^{\mathbf{T}}\mathbf{K}(\lambda \mathbf{M}+\rho \mathbf{L})\mathbf{K}\beta )$$
然后设置$\partial f/\partial \beta =0$, 最后获得求解答案：
$${\beta }^{\star }=((\mathbf{A}+\lambda \mathbf{M}+\rho \mathbf{L})\mathbf{K}+\eta \mathbf{I}{)}^{-1}\mathbf{A}{\mathbf{Y}}^{\mathbf{T}}$$

三、实验

作者使用了七个公开数据集：Office+Caltech10, USPS + MNIST, ImageNet + VOC2007, and Office-31，这些数据集都可以在这里看到 transferlearning dataset。(数据准备的详细细节见paper)。作者与当前几个state-of-the-art 传统和深度域适应方法。相关方法在论文中有简单的描述。为了公平比较，作者使用同样的准则去得到特征。准确度:
$$Accuracy=\frac{|\mathbf{x}:\mathbf{x}\in {\mathcal{D}}_{\mathbf{t}}\wedge \hat{\mathbf{y}}(\mathbf{x})=\mathbf{y}(\mathbf{x})|}{|\mathbf{x}:\mathbf{x}\in {\mathcal{D}}_{\mathbf{s}}|}$$
其中$y(\mathbf{x})$ 和 $\hat{y}(\mathbf{x})$ 是分别是对于目标域的ground truth label 和 predicted labels。

所有实验分类结果准确度分别展示在Tables 2,3,4。可以得到如下结果：

• MEDA的性能超过大多数传统或深度域适应方法(21/28个任务)。MEDA在28项任务中的平均分类准确率为73.2％。 与最佳基线方法JGSA（69.7％）相比，平均性能改善为3.5％，显示出显着的平均误差降低11.6％。 请注意，由于空间限制，Office-31数据集上的结果位于补充文件2中，并且观察结果相同。由于这些结果是从广泛的图像数据集中获得的，因此它表明MEDA能够显着降低域适应问题中的分布差异。
• 可以看到所有的分布对齐方法(TCA, JDA, ARTL, TJM, JGSA, and DMM) 和 子空间学习方法(GFK, CORAL, and SCA) 性能比MEDA方法效果差。每一种方法都有它们的限制(恶化的特征转化 或 分布对齐没有测量的标准)，MEDA解决了这两个问题。
• MEDA的性能也超过了深度方法(AlexNet, DDC, DAN, DCORAL, and DUCDA)。深度学习方法需要调整很多的超参数，而MEDA仅仅涉及几个参数。

除了MEDA与state-of-the-art方法的性能，还分析了MEDA中流行特征学习、动态分布对齐、每一个组件评估，最后还分析了参数敏感性、收敛和时间复杂度等，限于篇幅这里不在赘述。

四、总结

这不愧为ACMMM oral的论文，内容十分充足。论文提出了一个新奇的方法，解决unsupervised domain adaption中之前工作没有解决的两个核心问题1）恶化的特征转化。2）分布对齐没有测量的标准。分别引入流形特征学习和动态分布对齐方法分布解决这两个问题。在实验阶段，作者进行了全面而丰富的实验，使用了7个公共数据集，比较了很多 state-of-the-art 传统的和深度的域适应方法，证实了MEDA方法卓越的性能。之后还对MEDA每一个组件进行了实验分析，分析参数敏感性和MEDA时间复杂度。