Partial Transfer Learning with Selective Adversarial
Networks
摘要:对抗学习应用于深度网络中学习可迁移的特征初有成效,它降低了源域及目标域之间的分布差异。目前已有的对抗网络假设源域和目标域共享全部的标记空间。在迁移过程中,源域中类别往往很多,而目标域通常只和源域其中一小部分相关,直接迁移肯定会产生负迁移的影响。论文提出了部分迁移学习,减轻了标记空间的约束,目标域标记空间可以仅是源域的子集。论文提出的网络称为选择性对抗网络(SAN),通过挑选出源域中outlier类减轻负迁移影响,并在共享的标记空间中最大化匹配数据分布提升正迁移的影响。
从大数据的角度来看,可以假设源域中大规模训练集包含了目标域的所有类别,目标域的label仅是源域的子集,如图1所示,源域中的outlier(‘sofa’)将产生负迁移。
方法描述
部分迁移学习目标域标记空间是源域标记空间
的子集,
,实际应用中也是经常由大数据集(如ImageNet)向小数据集(CIFAR10)迁移。假设源域
包含
类共
个样本,目标域
包含
类共
个未标记的样本。源域和目标域