机器学习常识 15: 主动学习

摘要: 主动学习是人机交互支撑的学习场景.

1. 基本思想

• 动机. 要想获得良好的学习效果, 通常需要大量的带标签数据. 在有些领域, 标签易于获取; 但在另外的领域, 打标签是专家的事情, 耗时耗力. 能不能使用更少的标签, 训练良好的学习器呢?
• 基本要求. 交互式的学习场景. 即: 人类专家根据机器的指定, 对相应数据打标签.
• 归属. 可以看作半监督学习的一种, 因为训练数据的一部分提供了标签.

2. 主动学习的几种具体场景

• 冷启动封闭世界主动学习. 有 500 个样本, 先都没有给标签. 现在专家答应给其中 100 个打标签, 但其它 400 个需要机器预测.
• 冷启动开放世界主动学习. 有 500 个样本, 先都没有给标签. 现在专家答应给其中 100 个打标签. 机器需要对另外的一些样本 (未知样本) 进行预测.
• 一般情况下的封闭世界主动学习. 有 500 个样本, 其中 20 个标签已知. 现在专家答应给 80 个打标签, 但其它 400 个需要机器预测.
• 一般情况下的开放世界主动学习. 自己补上.

3. 主动学习的核心问题

哪些样本的标签更有价值?

• 代表性强的样本. 把数据进行聚类, 聚类中心的样本具有良好的代表性. 其它样本很可能与它有相同的标签. 用这种思想可以设计出"基于聚类的主动学习方法".
• 不确定性强的样本. 有些样本有墙头草的潜质, 难于界定正负. 如果知道它们的标签, 就可以使用 SVM 进行分类, 相应地, 这次样本可能成为支撑向量 (support vector). 可以去复习一下 机器学习常识 12: SVM.