论文笔记:Deep Domain Confusion Maximizing for Domain Invariance
概述
提出编码MMD(最大 均值差异, Maximun Mean Discrepancy)来测量在 CNN中学习到的隐藏特征之间的距离。通过这种方法,网络通过最大化标签依赖性同时最小化域不变性来自动学习跨域表示。
方法
提出了如下损失函数来表示上述问题,
L
=
L
C
(
X
L
,
y
)
+
λ
MMD
2
(
X
S
,
X
T
)
\mathcal{L}=\mathcal{L}_{C}\left(X_{L}, y\right)+\lambda \operatorname{MMD}^{2}\left(X_{S}, X_{T}\right)
L=LC(XL,y)+λMMD2(XS,XT)
其中,第一项是分类损失,第二项是域间距离。
文章添加了一个较低维度的“瓶颈”适应层。他们的直觉是,低维层可以用于正则化源域分类器的训练,并防止对源域分布的特定细微差别进行过拟合。