【ML算法学习】子空间不一致度量（SDM）、测地线流核（GFK）及域排名（ROD）

子空间不一致度量（SDM）、测地线流核（GFK）及域排名（ROD）

1.子空间不一致度量Subspace Disagreement Measure（SDM）

大多数迁移学习方法都涉及到降维：现有$D$维数据需要降维，降低到$d$维，这里的$d$怎么选择？子空间不一致度量可以反映出两个域在多少维的子空间下能够保持最大一致性。计算方法如下：

首先计算源域$\mathcal{S}$和目标域$\mathcal{T}$的$PCA$子空间，记为$PC{A}_{\mathcal{S}}$和$PC{A}_{\mathcal{T}}$。并将源域和目标域合并，计算其$PCA$子空间$PC{A}_{\mathcal{S}+\mathcal{T}}$。直观地说，如果源域和目标域相似，那么上述的三个子空间在格拉斯曼空间上都不应该相距太远。SDM依据这一概念，根据主角度定义如下：
$$\mathcal{D}(d)=0.5\left[\sin {\alpha }_d+\sin {\beta }_d\right]$$
其中${\alpha }_d$表示$PC{A}_{\mathcal{S}}$和$PC{A}_{\mathcal{S}+\mathcal{T}}$之间的主角（取维度为$d$时），${\beta }_d$表示$PC{A}_{\mathcal{T}}$和$PC{A}_{\mathcal{S}+\mathcal{T}}$之间的主角。$\sin {\alpha }_d$或$\sin {\beta }_d$称为最小相关距离，这两个值很小时表明$PC{A}_{\mathcal{S}}$和$PC{A}_{\mathcal{T}}$对齐程度高（在$d$维），两个正弦值取最大时表明两个子空间正交（即$\sin {\alpha }_d=\sin {\beta }_d=1$），在这种情况下，域适应将变得很困难，因为一个子空间上的方差无法迁移到另一个子空间。$\mathcal{D}(d)$表示两个主角的总度量。

为了确定最佳维度$d$，采用贪婪策略：应取尽可能高的$d$（以保持源域中的方差以构建良好的分类器），但不应高到两个子空间开始具有正交方向，即 d ∗ = min ⁡ { d ∣ D ( d ) = 1 } d^*=\min \{d \mid \mathcal{D}(d)=1\} d∗=min{d∣D(d)=1}。

2.测地线流核Geodesic Flow Kernel（GFK）

1. 子空间不一致度量Subspace Disagreement Measure

   通过上述的子空间不一致度量，确定嵌入域子空间的最优维度$d$。

2. 构造测地线流Construct geodestic flow

   首先设${\mathbf{P}}_{\mathcal{S}},{\mathbf{P}}_{\mathcal{T}}\in {\mathbb{R}}^{\mathrm{D}\times \mathrm{d}}$表示源域和目标域子空间的基（即上一步骤中的$PCA$嵌入域子空间，在所有的方向上两两正交），令${\mathbf{R}}_{\mathcal{S}}\in {\mathbb{R}}^{\mathrm{D}\times (\mathrm{D}-\mathrm{d})}$表示${\mathbf{P}}_{\mathcal{S}}$的正交补集，即${\mathbf{R}}_{\mathcal{S}}^{\mathrm{T}}{\mathbf{P}}_{\mathcal{S}}=0$。使用黎曼流形的正则欧几里得度量，将测地流参数化为$\mathbf{\Phi }:t\in [0,1]\to \mathbf{\Phi }(t)\in G(\mathrm{d},\mathrm{D})$，其中$\mathbf{\Phi }(0)={\mathbf{P}}_{\mathcal{S}}$ and $\mathbf{\Phi }(1)={\mathbf{P}}_{\mathcal{T}}$（在假设的流形空间中，源域和目标域通过映射函数$\mathbf{\Phi }(\cdot )$分别映射到0和1上）。此外，对0和1之间的其他点$t$，有如下关系。
   $$\mathbf{\Phi }(t)={\mathbf{P}}_{\mathcal{S}}{\mathbf{U}}_1\mathbf{\Gamma }(t)-{\mathbf{R}}_{\mathcal{S}}{\mathbf{U}}_2\mathbf{\Sigma }(t)$$
   其中${\mathbf{U}}_1\in {\mathbb{R}}^{\mathrm{d}\times \mathrm{d}}$ 和${\mathbf{U}}_2\in {\mathbb{R}}^{(\mathrm{D}-\mathrm{d})\times \mathrm{d}}$是正交矩阵，它们由下面这一对SVD（奇异值分解）得到。
   $${\mathbf{P}}_{\mathcal{S}}^{\mathrm{T}}{\mathbf{P}}_{\mathcal{T}}={\mathbf{U}}_1\mathbf{\Gamma }{\mathbf{V}}^{\mathrm{T}},{\mathbf{R}}_{\mathcal{S}}^{\mathrm{T}}{\mathbf{P}}_{\mathcal{T}}=-{\mathbf{U}}_2\mathbf{\Sigma }{\mathbf{V}}^{\mathrm{T}}$$
   其中$\mathbf{\Gamma }$和$\mathbf{\Sigma }$是$\mathrm{d}\times \mathrm{d}$ 维的对角矩阵，对角元素为$\cos {\theta }_i$和$\sin {\theta }_i$（$i=1,2,\dots ,\mathrm{d}$），${\theta }_i$记作源域和目标域子空间的主角，且$0\le {\theta }_1\le {\theta }_2\le \cdots \le {\theta }_{\mathrm{d}}\le \pi /2$，它们测量子空间的重叠程度。另外，对角阵$\mathbf{\Gamma }(t)$和$\mathbf{\Sigma }(t)$的对角元素为$\cos \left(t{\theta }_i\right)$ 和 $\sin \left(t{\theta }_i\right)$。

3. 计算测地线流核Compute geodesic flow kernel

   测地流将源域到目标域的平滑路径参数化，若考虑关于$t\in (0,1)$的子空间$\mathbf{\Phi }(t)$，则计算$\mathbf{\Phi }(t{)}^{\mathrm{T}}x$即是将特征向量到该子空间的投影（若$x$来自源域且$t$接近于1，则投影更接近于目标域）。若用这些投影得到域不变特征来构造分类器，理论上说就能在目标域也表现良好。

   GFK将原始特征和投影扩展到所有子空间，并强制进行相似性度量，该度量对任何倾向于源域或目标域或任何两者之间的子空间都是鲁棒的。对于两个原始的$\mathrm{D}$维特征向量$x_i$和$x_j$，将其投影计算为$\mathbf{\Phi }(t)$（$t\in (0,1)$），并将所有投影连接到无限维特征向量${\mathbf{z}}_i^{\infty }$和${\mathbf{z}}_j^{\infty }$，用它们的内积定义测地流核如下。
   $$⟨{\mathbf{z}}_i^{\infty },{\mathbf{z}}_j^{\infty }⟩={\int }_0^1{\left(\mathbf{\Phi }(t{)}^{\mathrm{T}}{\mathbf{x}}_i\right)}^{\mathrm{T}}\left(\mathbf{\Phi }(t{)}^{\mathrm{T}}{\mathbf{x}}_j\right)dt={\mathbf{x}}_i^{\mathrm{T}}\mathbf{G}{\mathbf{x}}_j$$
   其中，$G\in {\mathbb{R}}^{\mathrm{D}\times \mathrm{D}}$为半正定矩阵，这部分用到核技巧，内核函数在无限维特征之间诱导内积。矩阵$G$可以从先前定义的矩阵以闭合形式计算如下。
   $$\mathbf{G}=\left[\begin{array}{ll}{\mathbf{P}}_{\mathcal{S}}{\mathbf{U}}_1& {\mathbf{R}}_{\mathcal{S}}{\mathbf{U}}_2\end{array}\right]\left[\begin{array}{cc}{\mathbf{\Lambda }}_1& {\mathbf{\Lambda }}_2\\ {\mathbf{\Lambda }}_2& {\mathbf{\Lambda }}_3\end{array}\right]\left[\begin{array}{c}{\mathbf{U}}_1^{\mathrm{T}}{\mathbf{P}}_{\mathcal{S}}^{\mathrm{T}}\\ {\mathbf{U}}_2^{\mathrm{T}}{\mathbf{R}}_{\mathcal{S}}^{\mathrm{T}}\end{array}\right]$$
   其中对角矩阵${\Lambda }_1$、${\Lambda }_2$和${\Lambda }_3$的对角元素如下。
   $${\lambda }_{1i}=1+\frac{\sin \left(2{\theta }_i\right)}{2{\theta }_i},{\lambda }_{2i}=\frac{\cos \left(2{\theta }_i\right)-1}{2{\theta }_i},{\lambda }_{3i}=1-\frac{\sin \left(2{\theta }_i\right)}{2{\theta }_i}$$
   该方法的优势在于不需要人工确定任何参数。

3.域排名Rank of Domain（ROD）

• 面向问题：在未运行算法的前提下，如何确定哪一个数据集作为源域，能够在目标域上提供最佳性能？
• 计算ROD包括3个步骤：
  1. 利用SDM确定最优维数$d$；
  2. 在每一个维度$i\le {\mathrm{d}}^{\ast }$，用两个一维高斯近似两个域的分布，然后计算它们之间的对称KL散度；
  3. 计算主角的KL散度加权平均值，即$\mathcal{R}(\mathcal{S},\mathcal{T})=\frac{1}{{\mathrm{d}}^{\ast }}{\sum }_i^{{\mathrm{d}}^{\ast }}{\theta }_i\left[KL\left({\mathcal{S}}_i\Vert {\mathcal{T}}_i\right)+KL\left({\mathcal{T}}_i\Vert {\mathcal{S}}_i\right)\right]$，其中${\mathcal{S}}_i$和${\mathcal{T}}_i$是上述源域和目标域的分布，它们根据投影到主向量（与第$i$个主角相关）上的数据估计得到。
• 结论：$\mathcal{R}(\mathcal{S},\mathcal{T})$更小的一对域，更容易适应。因为这两个域在几何上排列良好（小主角），分布相似（小KL散度）。

4.参考鸣谢

• Gong B, Shi Y, Sha F, et al. Geodesic flow kernel for unsupervised domain adaptation[C]//2012 IEEE conference on computer vision and pattern recognition. IEEE, 2012: 2066-2073.
• Gong B, Shi Y, Sha F, et al. Supplementary Material Geodesic Flow Kernel for Unsupervised Domain Adaptation[J].
• 《小王爱迁移》系列之五：测地线流式核方法（GFK）https://zhuanlan.zhihu.com/p/27782708

5.注

• 才疏学浅，欢迎批评、指导和交流；
• 看完觉得还行记得点个赞哦~