6、基于DSCM和SaMLDa的领域自适应方法

基于DSCM和SaMLDa的领域自适应方法

1. 领域自适应的自适应度量学习

在领域自适应中，一般可分为无监督领域自适应（目标领域无标注数据）和半监督领域自适应（目标领域有少量标注图像指导学习过程）两种情况。定义 $T_l$ 为标注目标实例集（可为空），$T_u$ 为未标注目标集，$S_1, \ldots, S_{N_S}$ 表示 $N_S$ 个源领域，$X_r$ 为当前包含不同源标注实例（真实标签或预测标签）的训练集，$Y_c$ 为类别标签，$Y_d = {s_1, \ldots, s_{N_S}, t}$ 为领域相关标签（$t$ 指目标领域），$w_d = (w_{s_1}, \ldots, w_t)$ 为特定领域权重集。

1.1 自适应度量学习领域自适应框架（SaMLDa）

提出的 SaMLDa 框架受相关方法启发，通过迭代添加目标领域未标注图像并移除源图像来优化 $W$。该框架假设存在一个度量学习组件 $f_W(X_r, W_r, w^r_d)$，它以初始变换 $W_r$、标注训练实例集 $X_r$ 和可选的特定领域权重 $w^r_d$ 为输入，使用实例的类别标签 $Y_c$ 或领域相关标签 $Y_d$，输出更新后的变换 $W_{r + 1} = f_W(X_r, W_r, w^r_d)$。

1.2 自适应度量学习领域自适应算法步骤

1. 使用初始标注集 $X_1$（若有标注目标实例则包含在内），将 $W_0$ 设为训练集的第一个主成分分析（PCA）方向，并计算 $W_1 = f_W(X_0, W_0, w^0_d)$。降维的好处是减少学习参数，尤其在训练样本较少时很重要，通常也能提高性能。