Deep Cocktail Network-优快云博客

DeepCocktailNetwork(DCTN)旨在解决多源域适应问题，通过使用多个有标注的源数据集来改善未标注目标数据集的表现。DCTN包括特征提取器、多个域判别器和类别分类器，以及最终的目标分类算子，能够处理domain shift和category shift，通过在线硬域批挖掘和目标判别适应增强模型效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Deep Cocktail Network

在这里插入图片描述

1.motivation

domain adaptation是由于获得大量的标注是一件耗时的工作，希望能通过利用已经有标注的source数据集来提升网络在没有标注的target数据集上的表现.本文的出发点是希望使用多个source数据集来进行domain adaptation。multi-source domain adaptation作者认为主要存在两个问题**1)domain shift:**包括源域和目标域，以及不同目标域之间；2） category-shift: 目标域的标签不一定完全一样。受目标域的概率分布可以由多个源域概率分布加权来表示，作者提出了deep cocktail network(DCTN)来解决上述问题。

在这里插入图片描述

2.method

在这里插入图片描述

(1) overview

网络结构主要包含三个部分 Feature Extractor(共享参数）将图像空间映射到特征空间；Domain Discrinator，一共有N个，N为源域的个数，即每一个源域都要和穆标宇训练一个分类器；Category Classifier,也是N个，每一个源域有一个category分类器。

以及最后的target classification operator，利用前面N个category 分类器来的分类loss进行weighted combination.

(2)Feature extractor

F为特征提取，将所有的图片映射到特征空间F(x), x表示输入图片

（3）Domain Discriminator

${D_{s_j}\}_{j=1}^N$ 表示N个discriminator， $D_{s_j}$ 用来区分F(x)是来自源域还是目标域

$Scf(xt;F,Dsj)=−log(1−Dsj(F(xt)))+αsjS_{cf}(x^t;F,D_{s_j}) =-log(1-D_{s_j}(F(x^t))) + \alpha_{s_j}$

其中 $αsj\alpha_{s_j}$ 是source-specific concentration constant表示第j个discriminator在源域 $X_{sj}$ 的平均值。 $S_{cf}(x^t;F, D_{s_j})$ 是target-source perplexity scores 就是分类的loss,用作后续的加权平均, $α\alpha$ 作用是相当于进行了normalize.

（4）category classifier

（5）Target classification operator
$Confidence(c|x^t):=\sum_{c\in C_{s_j}} \frac{S_{cf}(x^t;F,D_{s_j})}{\sum_{c\in C_{s_k}}S_{cf}(x^t;F, D_{s_k})}C_{s_j}(c|F(x^t))$

3. training

$min_{F}max_{D} V(F, D;\bar{C}) = L_{adv}(F, D) + L_{cls}(F,\bar{C})$

其中
$L_{adv}(F, D) = \frac{1}{N}\sum_j^N E_{x\sim X_{s_j}}[log D_{s_j}(F(x))]+E_{x^t\sim X_t}[log(1-D_{s_j}(F(x^t))]$
让网络学习分类误差最小，discriminator误差最大这样让source domain和target domain在feature space上混淆了，这样domain shift就变小了

**Online hard domain batch mining **

在这里插入图片描述

一共有N个源域，每个源域sample M个，一共N*M个样本。对N个discriminator中最大的进行更新

Target Discriminative Adaptation

作者认为荣国multi-way adversary，DCTN已经能学习到domain-invariant的特征，但是在target domain的分类能力不行。

为了逼近理想的target分类器，给target domain中的每一个样本打上pseudo labels(就是用之前的网络进行inference),然后在将target domain的数据和source domain的数据联合训练

在这里插入图片描述

因为没有针对target训练一个分类器，所以将target classification error反传到multi source的category classifier. 具体来说，对target的样本 $(xt,y^)(x^t, \hat{y})$ 对源域中含有 $y^\hat{y}$ 类别的计算对应的分类loss，求和。
在这里插入图片描述