67、联合集多源模型自适应方法研究

联合集多源模型自适应方法研究

1. 模型训练阶段

1.1 阶段一：模型自适应训练

在阶段一的训练中，为防止识别能力退化，添加了交叉熵项。训练时，使用损失函数 $L_B$ 来计算输出对数和平均对数之间的差异，公式如下：
$L_B = E_{x_T \in D_T} \sum_{i=1}^{k} \sum_{j=1}^{k} [\sum_{c \in \Phi_S^j} ||C_{j,c}(B_i(x_T)) - \delta_{i,c}(x_T)|| 1 + CE(C_j(B_i(x_T)), y_j)]$
其中，$\delta {i,c}(·)$ 是使用来自 $B_i$ 的特征的类 $c$ 的平均对数，计算方式为：
$\delta_{i,c}(·) = \frac{1}{\sum_{j=1}^{k} 1(c \in \Phi_S^j)} \sum_{j=1}^{k} C_{j,c}(B_i(·))$
通过最小化 $L_B$ 的 $L_1$ 范数项，每个骨干网络被训练以产生能使不同分类器的每类对数一致的特征，这些特征被认为是域不变的。同时，为使每个骨干网络与所有分类器兼容，额外添加了交叉熵项。

与典型的对抗学习不同，这里的对抗学习是在两组骨干网络 ${B_i} {i=1}^{k}$ 和分类器 ${C_i} {i=1}^{k}$ 之间进行的。并且，使用与训练 ${C_i} {i=1}^{k}$ 不同的损失函数来训练 ${B_i} {i=1}^{k}$，避免了可能导致骨干网络过度相似的问题。这种对抗学习与跨模型一致性兼容，能增强学习特征的模型不变性。

阶段一