6、学习中的偏差 - 复杂度权衡与无免费午餐定理

学习中的偏差 - 复杂度权衡与无免费午餐定理

1. 学习问题中的基本概念与思考

在学习问题中，我们常常面临一个关键问题：训练数据可能会误导学习者，导致过拟合。为了克服这个问题，我们通常会将搜索空间限制在某个假设类 $H$ 中。这个假设类可以被看作是学习者对任务的先验知识，即认为假设类 $H$ 中的某个成员是该任务的低误差模型。

例如，在木瓜口味预测问题中，基于我们对其他水果的经验，我们可能会假设颜色 - 硬度平面上的某个矩形可以（至少近似地）预测木瓜的口味。那么，这种先验知识对于学习的成功是否真的必要呢？是否存在一种通用的学习者，即对特定任务没有先验知识，却能应对任何任务的学习者呢？

一个具体的学习任务由 $X \times Y$ 上的未知分布 $D$ 定义，学习者的目标是找到一个预测器 $h: X \to Y$，使其风险 $L_D(h)$ 足够小。问题在于，是否存在一个学习算法 $A$ 和一个训练集大小 $m$，使得对于每一个分布 $D$，如果 $A$ 接收到来自 $D$ 的 $m$ 个独立同分布（i.i.d.）示例，就有很大的概率输出一个风险较低的预测器 $h$。

2. 无免费午餐定理

无免费午餐定理正式回答了上述问题，该定理表明不存在这样的通用学习者。具体来说，对于二元分类预测任务，对于每一个学习者，都存在一个分布，在这个分布上该学习者会失败。

定理内容 ：设 $A$ 是关于 $X$ 域上 $0 - 1$ 损失的二元分类任务的任何学习算法，$m$ 是小于 $|X|/2$ 的任意数，表示训练集大小。那么，存在 $X \times {0, 1}$ 上的一个分布 $D$，使得：