一、综述
在以“训练和测试数据必须来自相同的特征空间中,并且具有相同的分布”的假设下机器学习与数据挖掘技术许多算法表现良好。然而,在实际应用中,这种假设可能不成立。当分布发生改变时,绝大多数统计模型需要从头开始使用新收集的训练数据进行重建。在真实世界的应用中,重新收集训练数据并且重新训练模型是昂贵的或者不可能的。但我们在另一个感兴趣的域中有足够的训练数据,后者的数据可能在不同的特征空间中,或者遵循不同的数据分布。如果成功地进行知识迁移,将避免大量昂贵的数据标记工作,从而极大地提高学习的性能。
传统的机器学习方法大多数都假设已标注数据与未标注数据的分布是相同的。与之相反的是,迁移学习允许源空间、任务空间,并且在测试集和训练集中的分布是不同的。与迁移学习密切相关的学习技术是多任务学习框架,这个框架尝试同时学习多个任务,即使它们是不同的。多任务学习的一个典型方法是发现能使每个任务受益的共同(潜在)特征。多任务学习的一个典型方法是发现能使每个任务受益的共同(潜在)特征。
数据域(domain)由两个部分组成:特征空间和边缘概率分布。如果两个域是不同的,它们具有不同的特征空间或者不同的边缘概率分布。
一个任务(task)由两个部分组成:空间的标签 ,和一个目的预测函数.
Transfer Learning. 给定一个源域 Ds 和一个学习任务Ts,一个目标域Dt 和 一个学习任务 Tt,迁移学习的目的是使用在 Ds 和 Ts 上的知识帮助提高在目标域 Dt上的预测函数 fT(x) 的学习,其中 Ds≠Dt或者 Ts≠T。
在某些情况下,当源域和目标域彼此不相关时,暴力转移可能失败。在最坏的情况下,它甚至可能损害目标域学习的性能,这种情况通常称为负迁移。
根据源任
分割任务上的Domain(一)
最新推荐文章于 2024-05-31 17:05:50 发布