6、学习理论中的偏差 - 复杂度权衡与无免费午餐定理

学习理论中的偏差 - 复杂度权衡与无免费午餐定理

1. 引言

在机器学习领域，我们常常面临诸多挑战，比如训练数据可能会误导学习者，导致过拟合问题。为了应对这一挑战，我们通常会将搜索空间限制在某个假设类 H 中。这个假设类可以被看作是学习者对任务的先验知识的体现，即认为假设类 H 中的某个成员是该任务的低误差模型。然而，我们不禁会思考，这种先验知识对于学习的成功是否真的必要？是否存在一种通用的学习者，它无需任何先验知识，就能应对任何任务呢？

2. 无免费午餐定理

无免费午餐定理明确指出，不存在这样的通用学习者。具体而言，对于二分类预测任务，每个学习者都存在一个它会失败的分布。以下是该定理的详细内容：
- 定理内容 ：设 A 是针对定义域 X 上 0 - 1 损失的二分类任务的任意学习算法，m 是小于 |X|/2 的任意数，表示训练集大小。那么，存在 X × {0, 1} 上的分布 D，满足：
- 存在函数 f : X → {0, 1}，使得 LD( f ) = 0。
- 在 S ∼ Dm 的选择上，至少有 1/7 的概率使得 LD(A(S)) ≥ 1/8。
- 定理证明思路 ：
- 设 C 是 X 的一个大小为 2m 的子集。任何只观察到 C 中一半实例的学习算法，对于 C 中其余实例的标签没有任何信息。
- 存在 T = 22m 个从 C 到 {0, 1} 的可能函数，记为 f1, …, fT。对于每个函数 fi，定义分布 Di 如下：
[
D_i({(x, y)}) =
\begin{cases}
1