【笔记】几个概念：域自适应、注意力机制和知识蒸馏

本文记录了如题所述的三个概念的学习笔记，更新于2019.06.05。

域自适应

域自适应学习（Domain Adaptation Learning）能够有效地解决训练样本和测试样本概率分布不一致的学习问题。在传统的机器学习算法中，通常假设训练样本和测试样本来自同一概率分布，然后设计相应的模型和判别准则对待测试的样例的输出进行预测。但是，很多场景下是不满足这个概率分布相同的约束的，域自适应学习问题就是为了解决这种源域和目标域概率分布不一致的情况。

自适应学习假设：

• 协变量迁移假设
• 概念迁移（Concept shift）假设
• 先验概率迁移（Prior probability shift）

分类：

从不同的学习场景看，域自适应学习可分为：分类问题、回归问题和聚类问题。
解决多源域自适应学习问题的方法可以分为三大类：基于源于判别函数学习的方法、基于正则化项加权组合的方法和基于流形平滑性假设的方法。

理论分析：

域自适应学习理论研究主要集中于：

1. 学习的可行性：满足什么条件才可能实现域自适应学习？
2. 学习的鲁棒性：域自适应学习的鲁棒性与普通意义上的鲁棒性是不同的，在域自适应学习的鲁棒性中，将训练样本分布和测试样本分布之间存在的差异视为“扰动”，通过克服扰动，实现对目标域的学习。
3. 学习的统计估计一致性：域自适应学习算法应使用尽可能少的样本数，具有尽可能好的泛化能力，实现最小的误差上界。

注意力机制

注意力机制（Attention Mechanism）源于对人类视觉的研究，主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。在计算能力有限的情况下，注意力机制是解决信息超载问题的主要手段（一种资源分配方案），将计算资源分配给更重要的