9、非可实现情况下的主动学习：正负结果分析

非可实现情况下的主动学习：正负结果分析

1 引言

在机器学习领域，主动学习是一种强大的技术，它允许算法主动选择最有价值的数据点进行标注，从而在有限的标注资源下提高学习效率。然而，在实际应用中，数据往往存在噪声和非可实现性等问题，这给主动学习带来了挑战。本文将探讨在非可实现情况下主动学习的正负结果，包括处理有界率类噪声的积极成果以及在真正非可实现情况下的消极结果。

2 可实现情况下的主动学习优势

在某些特殊情况下，主动学习可以实现指数级的节省。例如，当 F 是一维阈值函数类时，主动学习是可行的。另外，如果 F 是 $R^d$ 中过原点的线性分隔器类，并且假设 $P_X$ 在 $R^d$ 的单位球面上均匀分布，那么在可实现情况下，主动学习可以通过 $n = O(log(1/ϵ))$ 个标注查询和 $m = O(1/ϵ)$ 个未标注示例成功完成任务，而被动学习则需要 $n = Ω(1/ϵ)$ 个标注示例。这表明主动学习在特定条件下具有显著的优势。

3 处理有界率类噪声的积极结果

3.1 有界率类噪声假设

我们将可实现性假设替换为有界率类噪声假设。具体来说，假设存在一个函数 $f ∈ F$，使得 $P(Y = f(X)|X) = 1 - η(X)$，其中 $η(X) < 1/2$ 是给定 X 时的噪声率。由于 $η(X) < 1/2$，最优贝叶斯分类器在 F 中。

3.2 自适应采样器处理噪声

为了处理噪声，我们使用自适应采样器根据教师的噪声答案找出“真实”标签。自适应采样与被动采样不同，其样本大小是一个随机量，可能取决于已观察到的样本。以下是一个关于自适应采样的引理：

<