笔记：Semi-supervised domain adaptation with subspace learning for visual recognition (cvpr15)

最新推荐文章于 2025-06-05 12:21:57 发布

原创

最新推荐文章于 2025-06-05 12:21:57 发布 · 3.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#迁移学习 #域自适应 #子空间学习

本文提出SDASL框架，利用子空间学习进行半监督的域自适应，减少domain shift影响。通过学习领域不变的低维结构，并结合目标域未标记样本，优化分类器。算法在源域和目标域上学习映射，使同类样本在子空间中表示相似，同时保持无标记样本的结构信息。目标函数包含结构化风险、结构保护和流形正则化三个损失项。实验基于decaf模型的FC8层特征进行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文基于子空间学习提出了一种半监督的域自适应框架（SDASL）。在这个框架中，一方面学习一个领域不变（domain invariant）的低维结构（low-dimension structure），也就是子空间，从而减少不同域上数据分布不同带来domain shift影响；另一方面通过正则项利用目标域上的unlabeled样本来学习目标域上的结构信息。具体而言，首先在源域和目标域上分别学习一个映射（这个映射用一个矩阵表示），可以将样本表示映射到一个低维的公共子空间上，然后在这个子空间上进行分类，使用线性分类器。整个流程可以用下图表示：
architecture
需要注意的是文章算法使用的并不是直接图像rgb特征，而是图像在decaf上第8层全连接层输出。
我们希望这个子空间首先具有这样的性质：对于属于同类的样本，不管来自于哪个域，它们的表示应该尽可能相似，这个通过拉普拉斯矩阵来构造损失；同时，为了充分利用目标域上丰富的无标记样本，我们要求相近的无标记样本最后得到的分类器输出也相似。这种相似关系在算法的输入空间上刻画，通过affinity matrix表示。本文针对上面的目标构造了三个损失项，一个在文章称为结构化风险（structural risk），它是分类损失；第二个称为结构保护（structure preservation），保证同类的样本（不管来自于哪个域）都有相近的表示；第三个称为流形正则（manifold regularization），它的假设是如果两个样本相似，那么最终分类器的输出也应该相似。这样就可以充分利用半监督条件下的不带标记的样本。最后目标函数的构成如下：
loss
本文对目标函数，优化方法对工作进行了介绍，下面具体分析。
目标函数
1．结构化风险（structural risk）
这个损失可以看成一个子空间上线性分类器的分类损失，它的表示如下：