9、机器学习中的可学习性：从非均匀学习到一致性

机器学习中的可学习性：从非均匀学习到一致性

1. 非均匀可学习性的无免费午餐定理

在机器学习领域，非均匀可学习性是一个重要的概念。任何有限 VC 维类的可数并集都是非均匀可学习的。然而，对于任何无限域集 $X$，$X$ 上所有二元值函数的类并不是有限 VC 维类的可数并集。这意味着在某种意义上，无免费午餐定理对于非均匀学习同样成立：当域不是有限时，不存在针对所有确定性二元分类器类的非均匀学习器。不过，对于每个这样的分类器，都存在一个简单的算法（即仅包含该分类器的假设类的经验风险最小化算法）来学习它。

将定理中给出的非均匀可学习性结果与单独对任何特定 $H_n$ 进行不可知 PAC 学习的任务进行比较是很有趣的。非均匀学习器对 $H$ 的先验知识或偏差较弱，它在整个类 $H$ 中搜索模型，而不是专注于一个特定的 $H_n$。这种先验知识弱化的代价是，与任何特定的 $h \in H_n$ 竞争所需的样本复杂度增加。

2. 最小描述长度与奥卡姆剃刀原理

2.1 最小描述长度

设 $H$ 是一个可数假设类，我们可以将 $H$ 写成单元素类的可数并集，即 $H = \bigcup_{n \in N} {h_n}$。根据霍夫丁不等式，每个单元素类都具有均匀收敛性。此时，SRM 规则变为：
$\arg\min_{h_n \in H} \left[ L_S(h) + \sqrt{\frac{-\log(w(n)) + \log(2/\delta)}{2m}} \right]$
等价地，我们可以将 $w$ 看作是从 $H$ 到 $[0, 1]$ 的函数，那么 SRM 规则变为：
$\arg\min_{h \in H} \