A theory of learning from different domains

本文要解决的问题

1. 在)什么条件下，由源域训练的分类器能在目标域上取得很好的效果
2. 鉴于目标域中只有少量的标记数据，在训练过程中，我们应该怎样利用拥有大量已标记数据的源域使得在测试的时候目标误差最低。

相关概念

1.域适应（domain adaptation）

域适应模型

  我们考虑二分类的域适应问题。
  定义领域为分布$\mathcal{D}$，输入$\mathcal{X}$，标签函数$f:\mathcal{X}\to [0,1]$.源域$<{\mathcal{D}}_S,f_S>$，目标域$<{\mathcal{D}}_T,f_T>$.
  假设另一个函数为$h:\mathcal{X}\to [0,1]$，则假设函数$h$与真实标签函数的差定义为：$${ϵ}_S(h,f)=E_{X\sim {\mathcal{D}}_S}[|h(x)-f(x)|]$$.
  使用记号${ϵ}_S(h)={ϵ}_S(h,f_S)$

源域和目标域误差估计

  在源域上训练一个分类器，计算这个分类器在目标域上的泛化误差。
  我们用$L^1$来衡量两个分布之间的差异$$d_1(\mathcal{D},{\mathcal{D}}^{\prime })=2\underset{B\in \mathcal{B}}{\sup }|P{r}_{\mathcal{D}}[B]-P{r}_{{\mathcal{D}}^{\prime }}[B]|$$其中$\mathcal{B}$是$\mathcal{D}$和${\mathcal{D}}^{\prime }$的可测子集。
定理一：对任意假设函数$h$，ϵT(h)≤ϵS(h)+d1(DS,DT)+min⁡{EDS[∣fS(x)−fT(x)∣],EDT[∣fS(x)−fT(x)∣]}\epsilon_T(h)\leq\epsilon_S(h)+d_1(\mathcal{D}_S,\mathcal{D}_T)+\min\{E_{\mathcal{D}_S}[|f_S(x)-f_T(x)|],E_{\mathcal{D}_T}[|f_S(x)-f_T(x)|]\}ϵT​(h)≤ϵS​(h)+d1​(DS​,DT​)+min{EDS​​[∣fS​(x)−fT​(x)∣],EDT​​[∣fS​(x)−fT​(x)∣]}.
证明： 令${ϵ}_T(h)={ϵ}_T(h,f_T)$，${ϵ}_S(h)={ϵ}_S(h,f_S)$。记${\mathcal{D}}_S$和${\mathcal{D}}_T$的概率密度函数为${\varphi }_S$和${\varphi }_T$
$${ϵ}_T(h)={ϵ}_T(h)+{ϵ}_S(h)-{ϵ}_S(h)+{ϵ}_S(h,f_T)-{ϵ}_S(h,f_T)$$ $$\le {ϵ}_S(h)+|{ϵ}_S(h)-{ϵ}_S(h)|+|{ϵ}_S(h,f_T)-{ϵ}_S(h,f_T)|$$ $$={ϵ}_S(h)+|E_{X\sim {\mathcal{D}}_S}[|h(x)-f_T(x)|]-E_{X\sim {\mathcal{D}}_S}[|h(x)-f_S(x)|]|+||E_{X\sim {\mathcal{D}}_T}[|h(x)-f_T(x)|]-|E_{X\sim {\mathcal{D}}_S}[|h(x)-f_T(x)|]|$$ $$\le {ϵ}_S(h)+E_{X\sim {\mathcal{D}}_S}[|f_S(x)-f_T(x)|]+\int |{\varphi }_S(x)-{\varphi }_T(x)||h(x)-f_T(x)|\mathrm{d}x$$ $$\le {ϵ}_S(h)+E_{X\sim {\mathcal{D}}_S}[|f_S(x)-f_T(x)|]+d_1({\mathcal{D}}_S,{\mathcal{D}}_T).$$
分析：
  上面的不等式右边的第一项是 源域分类器在源域中的误差；第三项是 标签函数在两个域之间的差异。
  第二项的问题：
    1. 对任意分布，$d_1({\mathcal{D}}_S,{\mathcal{D}}_T)$不能被有限样本正确估计。
     2. 它包含了所有可测集的最大值，$L^1$度量方式太严谨了，以至于夸大了边界
  由于 我们只对假设函数$h$在某一些类上的误差感兴趣，所以我们要把注意力集中到可计算误差的子集上。

$\mathcal{H}$—散度

  给定两个在领域$\mathcal{X}$上的分布：$\mathcal{D}$和${\mathcal{D}}^{\prime }$。令 $\mathcal{H}$为$\mathcal{X}$上的假设类集合。$h$是集合$I(h)$的特征函数，即$x\in I(x)⟺h(x)=1$.分布$\mathcal{D}$和${\mathcal{D}}^{\prime }$的$\mathcal{H}$—散度为$$d_{\mathcal{H}}(\mathcal{D},{\mathcal{D}}^{\prime })=2\underset{h\in \mathcal{H}}{\sup }|P{r}_{\mathcal{D}}[I(h)]-P{r}_{{\mathcal{D}}^{\prime }}[I(h)]|.$$优点：

1. 对于有限VC维的假设类$\mathcal{H}$，$\mathcal{H}$—散度能通过有限的样本估计。
2. 对于任意的假设类$\mathcal{H}$，$\mathcal{H}$—散度小于等于$L^1$散度
   注：
   1.假设类（hypothesis class）：在一般的分类中，假设类是您正在考虑的一组可能的分类函数; 学习算法从假设类中选择一个函数。
   2.特征函数：设$X$是非空集合，
   $${\phi }_A(x)=\{\begin{array}{l}1,x\in A\\ 0,x\notin A\end{array}$$3.本文探讨的是二分类问题，标签 $y=1$ or $y=0$。所以$h(x)=1$，表示标签为1的样本。又$x\in I(x)⟺h(x)=1$。所以此时$x\in I(x)$是指$x$是标签为1的样本。
   
   定理二 假设空间$\mathcal{H}$的$VC$维是$d$。如果${\mathcal{U}}_S,{\mathcal{H}}_T$是大小为$m^{\prime }$，分别服从于${\mathcal{D}}_S$和${\mathcal{D}}_T$的无标签样本，那么对于任意的$\delta \in (0,1)$，对于任意的$h\in \mathcal{H}$有$${ϵ}_T(h)\le {ϵ}_S(h)+\frac{1}{2}{\hat{d}}_{\mathcal{H}\Delta \mathcal{U}}({\mathcal{U}}_S,{\mathcal{U}}_T)+4\sqrt{\frac{2d\log (2m^{\prime })+\log (\frac{2}{\delta })}{m^{\prime }}}+\lambda$$
   定理二说明：对于分类器$h$，目标域误差小于源域的误差加上样本点的散度再加上一些常数。