【论文笔记】迁移自适应学习综述

最新推荐文章于 2023-12-19 20:12:41 发布

转载

最新推荐文章于 2023-12-19 20:12:41 发布 · 4.2k 阅读

37 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/orzyt/p/10614105.html

文章标签：

#人工智能 #数据结构与算法

本文是对《Transfer Adaptation Learning: A Decade Survey》论文的笔记，探讨了在源域和目标域分布不匹配的情况下，如何通过实例权重调整、特征自适应、分类器自适应和深度网络自适应等方法进行迁移学习。论文详细阐述了各种方法，如基于直觉和核映射的权重调整、特征子空间和变换、对抗式自适应等，以实现更好的跨域学习效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文题目：《Transfer Adaptation Learning: A Decade Survey》

论文作者：Lei Zhang

论文链接：http://cn.arxiv.org/pdf/1903.04687.pdf

介绍

在很多实际的情况中, 源域(source domain)和目标域(target domain)之间存在：

分布不匹配(distribution mismatch)
领域偏移(domain shift)

独立同分布(independent identical distribution, i.i.d)的假设不再满足!

迁移学习(transfer learning)假设源域与目标域拥有不同的联合概率分布
\[ P(X_{source}, Y_{source}) \neq P(X_{target}, Y_{target}) \]
领域自适应(domain adaptation)假设源域与目标域拥有不同的边缘概率分布, 但拥有相同的条件概率分布
\[ P(X_{source}) \neq P(X_{target}), P(Y_{source} | X_{source}) = P(Y_{target} | X_{target}) \]

实例权重调整自适应

当训练集和测试集来自不同分布时, 这通常被称为采样选择偏差(sample selection bias)或者协方差偏移(covariant shift).

实例权重调整方法旨在通过非参数方式对跨域特征分布匹配直接推断出重采样的权重.

基于直觉的权重调整

直接对原始数据进行权重调整.

首次提出于NLP领域¹, 主要的方法有著名的TrAdaBoost².

基于核映射的权重调整

将原始数据映射到高维空间(如,再生核希尔伯特空间RKHS)中进行权重调整.

分布匹配

主要思想是通过重新采样源数据的权重来匹配再生核希尔伯特空间中源数据和目标数据之间的均值.

主要有两种非参数统计量来衡量分布差异:

核均值匹配(kernel mean matching, KMM)

\[ \begin{array}{l} {\min \limits_{\beta}\left\|E_{x^{\prime} \sim P_{r}^{\prime}}\left[\Phi\left(x^{\prime}\right)\right]-E_{x \sim P_{r}}[\beta(x) \Phi(x)]\right\|} \\ {\text {s.t.} \quad \beta(x) \geq 0, E_{x \sim P_{r}}[\beta(x)]=1} \end{array} \]

Huang等人³首次提出通过调整源样本的\(\beta\)权重系数, 使得带权源样本和目标样本的KMM最小.

最大均值差异(maximum mean discrepancy, MMD)⁴ ⁵

\[ d_{\mathcal{H}}^{2}\left(\mathcal{D}_{s}, \mathcal{D}_{t}\right)=\left\|\frac{1}{M} \sum_{i=1}^{M} \phi\left(x_{i}^{s}\right)-\frac{1}{N} \sum_{j=1}^{N} \phi\left(x_{j}^{t}\right)\right\|_{\mathcal{H}}^{2} \]

weighted MMD⁶方法考虑了类别权重偏差.