主动学习理论全解析
1. 主动学习的定义与背景
主动学习适用于学习者能够对数据来源进行一定控制的广泛场景。例如,在拟合回归函数时,学习者可以自行提供一组数据点来测量响应值,以降低估计的方差。这类问题在实验设计的范畴下已经研究了数十年。近年来,机器学习社区对主动学习二元分类器这一特定任务产生了浓厚兴趣,该任务带来了一些基础的统计和算法挑战,其数学基础的理解也在逐步形成。
在传统的机器学习中,学习分类器的任务通常在监督学习的框架下进行。监督学习假定存在一个由数据点 (x)(来自集合 (X))及其标签 (y)(来自集合 (Y))组成的训练集,目标是学习一个函数 (f: X \to Y),以便准确预测未来数据点的标签。过去50年里,在解决围绕这一模型的许多基本问题上取得了巨大进展,比如确定学习一个准确分类器所需的训练点数量。
然而,监督学习框架并不适用于许多现代学习任务,因为它假设所有训练点都自动带有标签。在实际情况中,原始、丰富且容易获取的数据往往是未标记的,而标记数据需要明确获取且成本高昂。因此,学习者通常从大量未标记的点开始,需要策略性地决定哪些点需要标记,即如何最好地利用有限的预算。
例如,在语音识别中,未标记的训练数据是原始语音样本,收集起来非常容易,几乎可以无限获取。但每个语音样本的“标签”是将其分割为音素,生成一个这样的标签需要大量的人力和时间。过去几十年,研究实验室和政府投入了大量资源创建英语语音的标记数据集,但我们的目标已经超越了现有数据集所能提供的范围,如创建其他语言或特定语境下的英语识别器。主动学习的希望在于避免更多耗时的数据标记工作,利用原始语音的易获取性显著减少所需的标记数量。
早期的主动学习研究采用了成员查询模型,该模型
订阅专栏 解锁全文
42



被折叠的 条评论
为什么被折叠?



